TRON 2 DOCS
产品文档/TRON 2/VLA · 项目开发
TRON 2 · 使用与开发

项目路线 · pi05 递糖果

双臂(基于 pi05 模型)

先用公开权重部署第一个案例,再按需采集、处理数据并训练自己的模型。下面按开发阶段进入对应任务。

准备与适用条件

❗
电脑硬件配置及开发环境要求:

训练最低配置:

  • Python 3.11+(推荐使用 uv 包管理器)
  • GPU: 训练需要 NVIDIA GPU(推荐 A100/H100)
  • 内存: 32GB+ 系统 RAM
  • 存储: 100GB+ 可用磁盘空间 NVMe SSD 固态硬盘
  • 操作系统:ubuntu22.04LTS及以上版本
  • 网络: 能正常访问Github

部署最低配置:

  1. Python 3.11+(推荐使用 uv 包管理器)
  2. GPU:NVIDIA GPU至少 6GB 显存。推荐 GeForce RTX 3090 (12 GB) 或更高
  3. CPU:至少六核处理器,推荐Intel: Core i7-10700K/AMD:Ryzen55600X/或更高版本
  4. 内存:16GB以上
  5. 存储空间:至少 30GB 可用空间
  6. 操作系统:Ubuntu 20.04 LTS及以上版本
  7. 网络环境:能正常访问Github

物料采购链接:

  • 糖果:一盒【大白兔500克钱兔似锦礼盒】
  • 奶油色果盘:使用“轻奢水果盘2个装【奶油白+透明】”的奶油色果盘

1. 任务概述

本次开源了基于 Pi05 实现的糖果递送任务完整方案,其中开源了数据集、模型权重以及训练与推理源码。该任务通过识别人手「手心向上」的姿态触发糖果递送行为,旨在验证TRON2在目标感知和末端跟随场景下的基础抓取(pick)、放置(place)原子操作能力。开发者可参考本项目的标准化开发流程、将整套技术方案迁移至各类抓取放置机器人任务中,依托配套的数据采集平台和具身平台,独立完成自定义任务的全流程开发,快速搭建适配自身业务需求的具身智能机器人应用场景任务。

如下图所示,双臂操作项目的开发过程中的 4 个主要环节:数据采集 - 数据处理 - 模型训练 - 模型部署。

Pi0.5 是由 Physical Intelligence 开发的视觉-语言-动作(VLA)模型。如果你正打算使用具身数据平台导出的数据来微调这些模型,本指南将带你走通基于官方 OpenPI 框架的完整流程。并介绍如何使用预训练的 Pi0.5 模型在自定义数据集上进行高效微调。

8. 参考资料

本文第 6、7 章的安装、训练、部署命令均整理自以上仓库,遇到本文未覆盖的细节可前往仓库文档查阅。

继续阅读案例 · 场景与数据采集