TRON 2 DOCS
Products/TRON 2/VLA · project development
TRON 2 · DOCUMENTATION

Example · scene & collection

Check scope below

This page has not been translated and displays the Chinese reference. Navigation and search are available in English. Operational details must be checked against the applicable manual.

2. 账号及任务创建

1.账号:用户可选择以下两种工作模式开展数据集采集及处理流程:

  • 单人模式:由项目管理员账号独立完成数据采集、标注、审核全流程工作;

  • 多人协作模式:由项目管理员创建数据采集员、标注员、审核员三类账号,各角色登录对应账号分工完成各环节任务,具体的创建账号流程如下图所示:

2.自定义任务:您可以在项目界面中新建任务,将后续采集的数据分类归入不同项目,便于导出、训练时快速定位查找。

其他详细内容请参考:原厂 数据采集软件使用手册

Product manual illustration
创建角色
Product manual illustration
创建项目
Product manual illustration
多用户协作创建账号
Product manual illustration
创建任务

3. 数据采集

3.1 环境布置

在糖果递送任务中,为更好地复用原厂已采集并公开的数据集,建议尽量复刻官方数据采集环境,具体布置要求如下:

  • 机器状态:手柄🎮调整至遥操作模式(TeleOperator);
  • 桌子规格:尺寸160 * 80 * 75cm(长*宽*高),桌面为纯白色;(高度尽量保持不变)
  • 机器人放置:固定支架前,机器边缘距离桌面边缘10-15cm;
  • 道具摆放:糖果密集放置在桌面靠近机器人一侧的中央区域,同时底部放置米色果盘,确保机器人双臂均可抓取到糖果;【已附采购链接】
Product manual illustration

3.2 连接TRON2机器人

参照[原厂 数据采集软件使用手册]产品概述-网络连接方法,进行网络连接;

3.3 访问数据采集平台

参照[原厂 数据采集软件使用手册]产品概述-软件访问入口,进入数据采集软件并按身份登录;

3.4 检查相机配置

candy_server.yaml中已经标注了client: observation_source: bridge ,其中bridge表示为自动获取相机SN,legacy需要手动输入sn。

💡
原有相机损坏维修,或者想使用自己的相机,请参考 相机SN配置方法

3.5 TRON2机器人配置

  • 机器人状态:将手柄切入遥操作(TeleOperator)模式后,机器人头部将自动调整至最低姿态,并旋转至中位(pitch = 1.04,yaw = 0)。连接机器人后,在数据采集软件概览页面https://10.192.1.4/检查视角是否合适。
  • 参照下面「TRON 2 用户手册」链接中「VR设备及遥操作使用说明」章节的「遥操作准备」与「遥操作使用」部分,完成机器人遥操作准备状态。
Product manual illustration

3.6 数据采集设置

⚠️
在正式开始采集前,还需要检查以下事项:
  • 网络连接是否畅通
  • 数据盘可用空间是否足够(录制1条1分钟的数据占用空间大约为800M-1.5G)

参照[原厂 数据采集软件使用手册]概述页面-数据录制,在数据采集软件进行参数设置

参数参数填充
文件名自拟
Dominid一般填0,多机共用机器人进行操作时可按需分配id号
格式mcap
topic
推荐勾选以下13个topic
1、/camera/left/color/image_resized/compressed
sensor_msgs/msg/CompressedImage
2、/camera/right/color/image_resized/compressed
sensor_msgs/msg/CompressedImage
3、/camera/top/color/image_raw/compressed
sensor_msgs/msg/CompressedImage
4、/gripper_command
sensor_msgs/msg/JointState

5、/gripper_state
sensor_msgs/msg/JointState
6、/joint_command
sensor_msgs/msg/JointState
7、/joint_states
sensor_msgs/msg/JointState
8、/left_arm/ee_pose
geometry_msgs/msg/PoseStamped

9、/left_arm/ee_pose_cmd
geometry_msgs/msg/PoseStamped
10、/right_arm/ee_pose
geometry_msgs/msg/PoseStamped
11、/right_arm/ee_pose_cmd
geometry_msgs/msg/PoseStamped

12、/lifter/state
13、/chassis/twist

数据采集录制操作:

1.调整机器人双臂至准备姿态:同时长按 VR 左右手柄X+A键;

2.开始录制:按下 VR 右手柄 B键(或在数据采集软件「概览」→「数据录制」中点击绿色开始图标)

3.执行采集任务:通过遥操作抓取桌面上的糖果并递至人手中。采集遵守以下原则:

  • 系统识别到「手心向上」姿态后,双臂才开始移动夹取糖果并递送;未识别到手心向上时,机械臂保持静止。

4.复位:同时按下 VR 左右手柄握把按键,机器人双臂回到准备姿态;

5.结束录制:按下 VR 左手柄Y键(或在数据采集软件「概览」-「数据录制」中点击结束图标)

6.循环录制更多条;

Product manual illustration
递糖果demo数采过程图示

3.7 数据上传至云端

  • 数据采集完成后;点击数据采集平台「自动上传界面」->「配置并安装」->「自定义选择所属项目」+「云存储选择export(cn-shanghai)选项」->「启动」;
Product manual illustration
1、自动上传界面
Product manual illustration
2、配置-启动
Product manual illustration
3、自动上传中
  • 系统会自动将今日采集且并未上传过的数据上传至云端;
Product manual illustration
4、上传结束
  • 等待片刻上传结束后,可在具身平台账号的数据界面查看到该数据。
Product manual illustration
5、在具身平台数据界面查验
NEXTExample · processing & dataset