TRON 2 DOCS
Products/TRON 2/VLA · project development
TRON 2 · DOCUMENTATION

Project workflow · pi05 candy

Check scope below

This page has not been translated and displays the Chinese reference. Navigation and search are available in English. Operational details must be checked against the applicable manual.

先用公开权重部署第一个案例,再按需采集、处理数据并训练自己的模型。下面按开发阶段进入对应任务。

准备与适用条件

❗
电脑硬件配置及开发环境要求:

训练最低配置:

  • Python 3.11+(推荐使用 uv 包管理器)
  • GPU: 训练需要 NVIDIA GPU(推荐 A100/H100)
  • 内存: 32GB+ 系统 RAM
  • 存储: 100GB+ 可用磁盘空间 NVMe SSD 固态硬盘
  • 操作系统:ubuntu22.04LTS及以上版本
  • 网络: 能正常访问Github

部署最低配置:

  1. Python 3.11+(推荐使用 uv 包管理器)
  2. GPU:NVIDIA GPU至少 6GB 显存。推荐 GeForce RTX 3090 (12 GB) 或更高
  3. CPU:至少六核处理器,推荐Intel: Core i7-10700K/AMD:Ryzen55600X/或更高版本
  4. 内存:16GB以上
  5. 存储空间:至少 30GB 可用空间
  6. 操作系统:Ubuntu 20.04 LTS及以上版本
  7. 网络环境:能正常访问Github

物料采购链接:

  • 糖果:一盒【大白兔500克钱兔似锦礼盒】
  • 奶油色果盘:使用“轻奢水果盘2个装【奶油白+透明】”的奶油色果盘

1. 任务概述

本次开源了基于 Pi05 实现的糖果递送任务完整方案,其中开源了数据集、模型权重以及训练与推理源码。该任务通过识别人手「手心向上」的姿态触发糖果递送行为,旨在验证TRON2在目标感知和末端跟随场景下的基础抓取(pick)、放置(place)原子操作能力。开发者可参考本项目的标准化开发流程、将整套技术方案迁移至各类抓取放置机器人任务中,依托配套的数据采集平台和具身平台,独立完成自定义任务的全流程开发,快速搭建适配自身业务需求的具身智能机器人应用场景任务。

如下图所示,双臂操作项目的开发过程中的 4 个主要环节:数据采集 - 数据处理 - 模型训练 - 模型部署。

Pi0.5 是由 Physical Intelligence 开发的视觉-语言-动作(VLA)模型。如果你正打算使用具身数据平台导出的数据来微调这些模型,本指南将带你走通基于官方 OpenPI 框架的完整流程。并介绍如何使用预训练的 Pi0.5 模型在自定义数据集上进行高效微调。

8. 参考资料

本文第 6、7 章的安装、训练、部署命令均整理自以上仓库,遇到本文未覆盖的细节可前往仓库文档查阅。

NEXTExample · scene & collection