数据平台 · 数据管理与上传
5 数据功能模块
5.1 概述
💡 平台提供核心的数据管理与标注功能，支持高效的数据处理流程。
5.1.1 核心功能
| 功能项 | 访问权限 | 功能介绍 | 核心功能 | 图片示例 |
|---|---|---|---|---|
| 数据页面 | 管理员、项目经理 | 集中管理与检索数据，支持按名称、标签等条件筛选，支持批量操作。在此勾选数据后，可一键发起"标注"创建任务 | - 数据集列表：支持按状态、标签等条件筛选和搜索 - 标签管理：为数据集添加自定义标签，便于分类管理 - 数据预览：支持Mcap格式数据的可视化预览和标记点查看（数据播放） - 批量操作：支持批量删除、重命名等操作 - 质量检测：本地数据质量检测和验证 |  |
| 数据上传 | 所有角色 | 将视频、音频、ROS(BAG/MCAP)及图片上传到平台，支持在线转码为 MCAP，并显示进度与格式校验 | - 多格式支持：支持Mcap、Bag、Mp4、音频等ROS标准格式文件 - 视频转换：在线将视频文件转换为Mcap格式，支持自定义质量、帧率和音频设置 - 音频处理：支持音频文件转换为Mcap格式，便于语音数据标注 - 批量上传：支持拖拽上传和批量文件选择 - 进度监控：实时显示上传进度、速度和剩余时间 - 格式验证：自动检测文件格式和完整性 |  |
| 采集任务 | 管理员、项目经理、采集员、审核员 | 创建与管理数据采集任务，分配采集员/设备并跟踪执行状态，采集完成的数据自动汇聚到平台。 | - 任务创建：支持创建采集任务，设置采集目标、时间要求和设备分配 - 任务分配：将采集任务分配给特定设备或采集员 - 进度跟踪：实时监控采集任务执行状态和完成情况 - 设备管理：支持遥操作设备的任务分配和数据上传配置 - 批量操作：支持批量创建、编辑和删除采集任务 |  |
| 标注任务 | 管理员、项目经理、标注员、审核员 | 集中管理所有标注任务，支持按状态分组（待开始、工作中、待检查、检查合格、提交数据），并提供筛选与批量操作。创建任务需在"数据"页面先勾选数据，再点击底部"标注"进行指派。 | - 任务管理：创建、分配和跟踪标注任务进度 - 状态监控：实时显示任务状态统计（待分配、进行中、已完成、已审核等） - 标注检查：审核员可以对标注结果进行审核，通过或打回并给出说明 - 批量操作：支持批量任务状态更新和分配 - 搜索筛选：按状态、创建时间等条件筛选任务 - 权限控制：不同角色可执行不同操作（管理员可删除，项目经理可分配等） |  |
| 字典管理 | 管理员、项目经理、标注员、审核员 | 统一维护技能、对象、目标、状语、标注标签、数据标签等字典，确保不同项目遵循一致的命名与口径，支持多语言与批量操作。 | - 标签分类：支持技能、目标、对象等多种标签类型管理 - 多语言支持：支持中文、英文等多语言标签定义 - 层级结构：支持标签的层级分类和排序管理 - 批量操作：支持批量导入、编辑和删除标签 - 使用统计：显示标签在数据集中的使用频率 - 版本控制：支持标签的版本管理和历史记录 |  |
| 数据导出 | 管理员、项目经理 | 支持将已标注数据导出为多种格式，便于后续分析与应用。支持标注导出和数据导出。 | - 多格式导出：支持JSON、CSV、HDF5等多种导出格式 - 标注导出：导出标注结果，支持按任务、时间等条件筛选 - 数据导出：导出原始数据和标注数据 - 选择性导出：支持按标签、时间等条件选择性导出 - 批量导出：支持大量数据的批量导出操作 - 导出历史：记录和管理所有导出操作历史 |  |
| 用户管理 | 管理员、项目经理 | 集中管理用户信息、权限与项目归属，保障权限分配合理与数据安全。 | - 用户创建：支持单个和批量创建用户账户 - 权限管理：细粒度的用户权限分配和管理 - 角色控制：支持管理员、项目经理、标注员等多种角色 - 会话管理：监控和管理用户登录会话 - 批量操作：支持CSV批量导入用户信息 |  |
5.1.2 技术特性
多语言支持
- 支持中文、英文、日文等多种语言
- 完整的国际化框架，所有UI文本支持多语言
- 用户可自由切换界面语言
权限管理
- 基于角色的访问控制（RBAC）
- 细粒度的功能权限控制
实时更新
- WebSocket实时数据更新
- 自动刷新和状态同步
- 实时进度监控和通知
5.2 数据管理
具身数据平台的设计目标是通用机器人数据管理，以 Robot Operating System (ROS) 为基准统一管理机器人数据。
- 数据导入：支持将非ROS标准的数据自动转换为ROS标准格式，进行统一管理。
- 数据可视化：内置机器人可视化模型，可以流畅播放三维动画和平面图像等所有格式内容。
- 数据导出：支持一键导出标准HDF5/LeRobot数据格式，根据原始数据自适应关节和图像，可以直接投入模型训练。
5.2.1 功能概述
集中管理与检索数据，支持按名称、机器人、标签等条件筛选，支持批量操作（重命名、统计、标注、标签、删除、导入、关联机器人）。在此勾选数据后，可一键发起“标注”创建任务。
5.2.2 适用角色和场景
| 角色 | 职责 |
|---|---|
| 管理员 | 作为平台管理员，您可以查看和管理所有项目的数据，监控整体数据质量状况，将数据分配给不同项目，并进行系统维护，清理无效数据，优化存储空间 |
| 项目经理 | 项目经理可以管理负责项目的数据，选择数据创建标注任务，监控数据标注进度，并确保数据标注质量。通过数据管理模块，项目经理能够全面掌控项目的数据状况 |
| 标注员 | 查看与检索数据（权限受限） |
| 审核员 | 查看与检索数据（权限受限） |
5.2.3 主要功能
5.2.3.1 数据浏览与检索
项目筛选
数据管理支持多种项目视图：您可以查看所有项目的数据，选择特定项目查看其数据，访问个人私有数据，或浏览团队共享数据。这种灵活的筛选方式让不同角色的用户都能快速找到所需数据。
高级搜索功能
系统提供强大的搜索能力，支持数据名称的模糊匹配和精确搜索，按数据来源机器人筛选，按标注标签筛选数据，按上传时间筛选，以及按文件格式筛选（MCAP、BAG、视频、音频、图片）。这些搜索条件可以组合使用，帮助您精确定位目标数据。
状态筛选
通过分配状态（已分配/未分配任务）、标注状态（已标注/未标注）、质量状态（高质量/低质量/待审核）等维度，您可以快速筛选出符合特定条件的数据，提高工作效率。
5.2.3.2 数据预览与播放
数据预览
系统提供缩略图显示功能，让您快速浏览数据内容。同时显示文件大小、时长、上传时间等基本信息，以及机器人信息、采集参数等元数据，帮助您全面了解数据特征。
在线播放
支持多种格式的在线播放：视频文件、音频文件，以及MCAP格式的机器人数据可视化播放。播放器提供暂停、快进、慢放、循环播放等控制功能，让您能够灵活地查看和分析数据内容。
5.2.3.3 批量操作功能
数据管理操作
支持丰富的批量操作功能，大大提高数据管理效率：
批量数据管理：
- 批量重命名：批量修改数据集名称
- 查看统计信息：批量查看数据集的统计信息（大小、时长、标注数量等）
- 管理标签：批量添加或删除数据集标签
- 删除数据：批量删除数据集（软删除，可在回收站恢复）
- 导入外部数据：批量导入外部数据源
- 关联机器人：批量将数据集关联到机器人设备
批量标注操作：
- 创建标注任务：选择多个数据集后，一键创建标注任务
- 追加到现有任务：将数据集追加到已有的标注任务中
- 查看标注进度：批量查看数据集的标注完成情况
数据重新上传与恢复：
平台支持智能的数据集恢复功能。当您重新上传之前已删除（软删除）的数据集时：
1.自动检测：系统会自动检测是否存在同名的软删除数据集 2.恢复选项：上传时如果检测到同名软删除数据集，可以选择： - 恢复现有数据集：恢复软删除的数据集，保留所有历史信息 1.保留原有的标注数据（dataset_markers） 2.保留任务关联（dataset_tasks） 3.保留数据集标签和元数据 4.保留访问和操作日志 - 创建新数据集：忽略软删除的数据集，创建全新的数据集记录 3.无缝恢复：恢复后的数据集立即从回收站移除，恢复正常使用状态
数据集恢复建议：
- 如果数据曾被误删，建议选择"恢复现有数据集"以保留所有历史信息
- 如果是全新上传的数据文件，可以选择"创建新数据集"
- 恢复操作会保留标注、任务关联等所有重要数据
标注相关操作：
选择数据后可以一键创建标注任务，或将数据追加到现有标注任务中。您还可以查看数据的标注结果和标注进度，以及质量统计信息，为标注工作提供全面的支持。
5.2.3.4 数据下载与导出
文件下载
支持下载原始数据文件、转换后的MCAP文件，以及ZIP压缩包形式的批量下载。无论您需要单个文件还是批量数据，都能方便地获取。
数据导出
提供标注结果导出、统计报告导出、元数据导出等功能。导出的数据可以直接用于模型训练、数据分析或其他用途，满足不同场景的需求。
5.2.3.5 数据质量监控
质量指标
系统持续监控标注完成率、质量通过率、标注效率、异常数据等关键指标，帮助您全面了解数据质量状况。
质量分析
通过质量趋势分析、标注员表现对比、问题分析等功能，您可以深入了解数据质量的变化规律，识别改进机会，提升整体标注质量。
5.2.3.6 元数据同步与验证
平台提供了强大的元数据同步功能，确保数据集信息的准确性：
自动元数据提取：
- 上传成功后，系统会自动提取数据集的元数据
- 包括文件大小、时长、开始时间、结束时间等信息
- 对于MCAP格式，会提取完整的消息统计和话题信息
手动同步元数据：
- 如果元数据不准确或需要更新，可以手动触发元数据同步
- 系统会重新读取文件并更新元数据信息
- 支持批量同步多个数据集的元数据
元数据验证：
- 自动验证文件完整性
- 检测文件是否损坏或格式错误
- 对于损坏的文件，会标记为错误状态并记录错误信息
错误处理：
- 自动检测永久性错误（如文件损坏）和临时错误
- 永久性错误会直接标记为错误状态，不再重试
- 临时错误可以手动重试同步
元数据同步说明：
- 同步过程可能需要一些时间，特别是大文件
- 同步不会影响已有的标注数据
- 如果文件损坏，同步会失败并标记错误状态
5.2.3.7 回收站与数据恢复
平台使用软删除机制，删除的数据集会进入回收站，可以恢复：
回收站功能：
- 集中管理所有已删除的数据集
- 显示删除时间、删除人等信息
- 支持按类型、时间等条件筛选
- 支持搜索已删除的数据集
数据恢复：
- 可以从回收站恢复误删的数据集
- 恢复后会保留所有历史信息
- 支持单个恢复和批量恢复
- 恢复的数据集自动从回收站移除
永久删除：
- 管理员可以永久删除回收站中的数据
- 永久删除后无法恢复，请谨慎操作
任务队列集成：
- 数据集的元数据同步等操作使用任务队列处理
- 可以通过任务队列管理功能监控同步进度
- 支持队列的暂停、恢复、清理等操作（详见任务队列管理说明）
5.3 数据上传
5.3.1 功能概述
数据上传页面：指上传来自外部系统的数据，
数据导入页面：原厂数据采集软件自动上传的数据
平台支持多种格式的数据文件上传和在线处理。平台提供智能转码、格式校验、进度监控等功能，确保数据能够顺利进入标注流程。
5.3.2 适用角色
| 角色 | 职责 |
|---|---|
| 管理员 | 作为平台管理员，您可以配置云存储和上传参数，管理不同云存储的配置，监控上传状态和存储使用情况，并设置不同用户的上传权限。这些功能确保平台的上传服务稳定可靠 |
| 项目经理 | 项目经理可以为项目上传相关数据，按项目组织上传的数据，确保上传数据的质量，并指导团队成员正确上传数据。通过数据上传模块，项目经理能够有效管理项目的数据资源 |
| 采集员 | 采集员可以上传采集到的原始数据，批量上传采集任务的数据，将采集数据转换为标准格式，并更新采集任务状态。这些功能帮助采集员高效完成数据采集工作 |
| 标注员 | 标注员可以上传需要标注的数据，上传标注参考数据，以及上传标注结果数据。这些功能支持标注员完成各种标注任务 |
5.3.3 主要功能
5.3.3.1 多格式文件支持
机器人数据格式
平台支持多种机器人数据格式：MCAP文件作为机器人多模态数据的标准格式，推荐用于机器人数据；BAG文件作为ROS机器人数据的标准格式，支持自动转换为MCAP；HDF5文件作为科学计算数据格式，支持机器人状态数据。
媒体文件格式
支持主流的媒体文件格式：视频文件包括MP4、AVI、MOV、MKV等，音频文件包括MP3、WAV、AAC、OGG等，图片文件包括JPG、PNG、BMP、TIFF等。这些格式覆盖了绝大多数数据采集场景。
自动格式转换
系统提供智能的格式转换功能，支持多种格式自动转换为标准的MCAP格式：
视频转MCAP：
- 支持MP4、AVI、MOV、MKV等主流视频格式
- 在浏览器中实时转换，无需服务器处理
- 可配置转换参数：
- 图像画质：20%、50%、70%、100%（默认70%）
- 视频帧率：自动、10 FPS、15 FPS、30 FPS（默认自动）
- 包含音频：可选择是否保留视频中的音频轨道
- 转换过程显示实时进度
- 转换后的MCAP文件自动上传
音频转MCAP：
- 支持MP3、WAV、AAC、OGG等主流音频格式
- 自动提取音频采样率、声道数等元数据
- 将音频数据转换为ROS标准的AudioData消息格式
- 支持多声道音频处理
- 音频消息频率固定为10Hz，确保与机器人数据同步
BAG转MCAP：
- 支持ROS1和ROS2的BAG文件格式
- 自动提取所有话题和消息
- 保持时间戳和消息结构完整性
- 转换后的MCAP文件可在平台中正常使用
浏览器兼容性检测：
视频转换功能需要浏览器支持MediaStreamTrackProcessor API，目前只有最新版本的Chrome和Edge浏览器支持此功能。
平台会自动检测浏览器是否支持视频转换：
- 兼容浏览器：Chrome 94+、Edge 94+（完全支持）
- 不兼容浏览器：Firefox、Safari等（会显示明确的错误提示）
- 自动检测：上传视频文件时，系统会自动检测浏览器兼容性
- 友好提示：不支持时会提示用户使用Chrome或Edge浏览器
如果您的浏览器不支持视频转换，建议：
1.使用最新版本的Chrome或Edge浏览器 2.或者先将视频转换为MCAP格式后再上传 3.联系技术支持获取其他解决方案
5.3.3.2 项目与存储管理
项目选择
系统显示所有可访问的项目，包括个人空间、共享项目、私有项目等不同类型。根据用户权限显示可访问项目，确保数据安全和访问控制。
云存储选择
支持多种云存储服务：腾讯云COS（支持多个地域）、阿里云OSS、华为云OBS、自建MinIO存储等。用户可以在不同存储间切换，选择最适合的存储方案。
5.3.3.3 智能上传功能
拖拽上传
支持文件拖拽到上传区域，可以同时上传多个文件，甚至支持整个文件夹上传。这种直观的上传方式大大提高了用户体验。
进度监控
实时显示每个文件的上传进度，包括当前上传速度、剩余时间等信息。当上传失败时，系统会显示具体的错误原因，帮助用户快速定位问题。
断点续传
当网络中断时，系统会自动恢复上传，确保文件上传完整性。同时具备重复上传检测功能，避免重复上传相同文件，节省时间和带宽。
软删除数据集恢复
平台支持智能的数据集恢复功能。当您重新上传之前已删除（软删除）的数据集时：
- 自动检测：系统会自动检测是否存在同名的软删除数据集
- 恢复选项：如果检测到软删除数据集，可以选择：
- 恢复现有数据集：恢复软删除的数据集，保留原有的标注、任务关联等信息
- 创建新数据集：忽略软删除的数据集，创建全新的数据集记录
- 数据保护：恢复操作会保留数据集的所有历史信息，包括：
- 原有的标注数据
- 关联的标注任务
- 数据集标签和元数据
- 访问和操作日志
数据恢复建议：
- 如果数据曾被误删，建议选择"恢复现有数据集"以保留历史信息
- 如果是全新的数据文件，可以选择"创建新数据集"
- 恢复的数据集会自动从回收站中移除
5.3.3.4 数据预处理
格式校验
系统会自动验证文件格式是否正确，检查文件是否损坏，检测视频/音频编码格式，检查视频分辨率和帧率等。这些校验确保上传的数据符合平台要求。
自动转码
提供智能的转码功能，确保数据在平台中能够正常使用：
视频转码
- 将视频转换为标准MCAP格式
- 支持自定义画质和帧率设置
- 自动处理视频编码格式
- 保持视频质量的同时优化文件大小
音频转码
- 将音频转换为MCAP格式的AudioData消息
- 自动提取音频元数据（采样率、声道数、格式等）
- 转换为ROS标准消息格式
- 保持音频质量，支持无损转换
格式标准化
- 自动将不同来源的数据统一为标准格式
- 处理编码差异和格式兼容性问题
- 确保数据在平台中能够正常播放和处理
压缩优化
- 自动压缩大文件以减少存储空间
- 在压缩的同时保持数据质量
- 支持选择压缩级别
- 优化传输速度
元数据提取
系统会自动提取各种元数据：视频信息（时长、分辨率、帧率等）、音频信息（时长、采样率、声道等）、机器人数据（传感器数据信息）、时间戳（数据采集时间）等。这些元数据为后续的数据管理提供重要信息。
5.3.3.5 上传管理
上传队列
提供完善的上传队列管理功能：管理待上传文件队列，设置文件上传优先级，暂停或恢复上传任务，取消不需要的上传任务。这些功能让用户能够灵活控制上传过程。
历史记录
记录所有上传历史，提供完整的上传任务跟踪和管理功能：
上传记录信息
- 文件信息：文件名、大小、格式、上传时间
- 处理状态：待处理、转换中、上传中、已完成、失败
- 进度信息：实时显示上传和转换进度百分比
- 结果信息：创建的数据集ID和链接（上传成功后）
- 错误信息：如果失败，显示详细的错误原因
上传状态跟踪
- pending（待处理）：文件已选择，等待开始处理
- processing（处理中）：正在转换或上传中
- converting（转换中）：视频/音频文件正在转换为MCAP格式
- uploading（上传中）：文件正在上传到云存储
- completed（已完成）：文件上传成功，数据集已创建
- error（错误）：处理过程中出现错误
- cancelled（已取消）： 用户主动取消上传
任务管理
- 取消上传：可以随时取消正在进行的上传任务
- 重试上传：失败的任务可以重新尝试上传
- 查看数据集：上传成功后，可以快速跳转到创建的数据集页面
- 批量操作：支持批量查看和管理多个上传任务
错误处理
- 自动显示错误信息，帮助快速定位问题
- 常见错误提示和处理建议
- 支持查看详细错误日志
- 失败任务支持一键重试