TRON 2 DOCS
产品文档/TRON 2/VLA · 项目开发
TRON 2 · 使用与开发

案例 · 场景与数据采集

适用条件见本页各节

2. 账号及任务创建

1.账号:用户可选择以下两种工作模式开展数据集采集及处理流程:

  • 单人模式:由项目管理员账号独立完成数据采集、标注、审核全流程工作;

  • 多人协作模式:由项目管理员创建数据采集员、标注员、审核员三类账号,各角色登录对应账号分工完成各环节任务,具体的创建账号流程如下图所示:

2.自定义任务:您可以在项目界面中新建任务,将后续采集的数据分类归入不同项目,便于导出、训练时快速定位查找。

其他详细内容请参考:原厂 数据采集软件使用手册

产品手册示意图
创建角色
产品手册示意图
创建项目
产品手册示意图
多用户协作创建账号
产品手册示意图
创建任务

3. 数据采集

3.1 环境布置

在糖果递送任务中,为更好地复用原厂已采集并公开的数据集,建议尽量复刻官方数据采集环境,具体布置要求如下:

  • 机器状态:手柄🎮调整至遥操作模式(TeleOperator);
  • 桌子规格:尺寸160 * 80 * 75cm(长*宽*高),桌面为纯白色;(高度尽量保持不变)
  • 机器人放置:固定支架前,机器边缘距离桌面边缘10-15cm;
  • 道具摆放:糖果密集放置在桌面靠近机器人一侧的中央区域,同时底部放置米色果盘,确保机器人双臂均可抓取到糖果;【已附采购链接】
产品手册示意图

3.2 连接TRON2机器人

参照[原厂 数据采集软件使用手册]产品概述-网络连接方法,进行网络连接;

3.3 访问数据采集平台

参照[原厂 数据采集软件使用手册]产品概述-软件访问入口,进入数据采集软件并按身份登录;

3.4 检查相机配置

candy_server.yaml中已经标注了client: observation_source: bridge ,其中bridge表示为自动获取相机SN,legacy需要手动输入sn。

💡
原有相机损坏维修,或者想使用自己的相机,请参考 相机SN配置方法

3.5 TRON2机器人配置

  • 机器人状态:将手柄切入遥操作(TeleOperator)模式后,机器人头部将自动调整至最低姿态,并旋转至中位(pitch = 1.04,yaw = 0)。连接机器人后,在数据采集软件概览页面https://10.192.1.4/检查视角是否合适。
  • 参照下面「TRON 2 用户手册」链接中「VR设备及遥操作使用说明」章节的「遥操作准备」与「遥操作使用」部分,完成机器人遥操作准备状态。
产品手册示意图

3.6 数据采集设置

⚠️
在正式开始采集前,还需要检查以下事项:
  • 网络连接是否畅通
  • 数据盘可用空间是否足够(录制1条1分钟的数据占用空间大约为800M-1.5G)

参照[原厂 数据采集软件使用手册]概述页面-数据录制,在数据采集软件进行参数设置

参数参数填充
文件名自拟
Dominid一般填0,多机共用机器人进行操作时可按需分配id号
格式mcap
topic
推荐勾选以下13个topic
1、/camera/left/color/image_resized/compressed
sensor_msgs/msg/CompressedImage
2、/camera/right/color/image_resized/compressed
sensor_msgs/msg/CompressedImage
3、/camera/top/color/image_raw/compressed
sensor_msgs/msg/CompressedImage
4、/gripper_command
sensor_msgs/msg/JointState

5、/gripper_state
sensor_msgs/msg/JointState
6、/joint_command
sensor_msgs/msg/JointState
7、/joint_states
sensor_msgs/msg/JointState
8、/left_arm/ee_pose
geometry_msgs/msg/PoseStamped

9、/left_arm/ee_pose_cmd
geometry_msgs/msg/PoseStamped
10、/right_arm/ee_pose
geometry_msgs/msg/PoseStamped
11、/right_arm/ee_pose_cmd
geometry_msgs/msg/PoseStamped

12、/lifter/state
13、/chassis/twist

数据采集录制操作:

1.调整机器人双臂至准备姿态:同时长按 VR 左右手柄X+A键;

2.开始录制:按下 VR 右手柄 B键(或在数据采集软件「概览」→「数据录制」中点击绿色开始图标)

3.执行采集任务:通过遥操作抓取桌面上的糖果并递至人手中。采集遵守以下原则:

  • 系统识别到「手心向上」姿态后,双臂才开始移动夹取糖果并递送;未识别到手心向上时,机械臂保持静止。

4.复位:同时按下 VR 左右手柄握把按键,机器人双臂回到准备姿态;

5.结束录制:按下 VR 左手柄Y键(或在数据采集软件「概览」-「数据录制」中点击结束图标)

6.循环录制更多条;

产品手册示意图
递糖果demo数采过程图示

3.7 数据上传至云端

  • 数据采集完成后;点击数据采集平台「自动上传界面」->「配置并安装」->「自定义选择所属项目」+「云存储选择export(cn-shanghai)选项」->「启动」;
产品手册示意图
1、自动上传界面
产品手册示意图
2、配置-启动
产品手册示意图
3、自动上传中
  • 系统会自动将今日采集且并未上传过的数据上传至云端;
产品手册示意图
4、上传结束
  • 等待片刻上传结束后,可在具身平台账号的数据界面查看到该数据。
产品手册示意图
5、在具身平台数据界面查验
继续阅读案例 · 数据处理与数据集