NVIDIA 提出 SONIC,将全身动作追踪作为人形机器人控制的可缩放基础任务。行业痛点在于:强化学习人工奖励难泛化;对抗式模仿数据规模一大易 mode collapse;接口不通用。
核心方法:使用约 700 小时人体动作捕捉数据,经 GMR 与 PyRoki 重定向到宇树 G1,过滤后得到 611 小时、约 1 亿帧、317,189 段训练数据,部分开源为 BONES-SEED。模型采用三编码器处理机器人关节运动、人体 SMPL 姿态和混合遥操作指令,经 FSQ 量化为统一 64 维 token,由控制解码器输出 29 个关节目标位置。训练基于 Isaac Lab 与 PPO,在 128 张 GPU 上训练 7 天,约 21,000 GPU 小时。
实验结果:在 test-content、test-repetition、PHUMA 上成功率分别 98.5%、99.2%、97.2%;追踪精度 MPJPE-L 23.7mm,比 BeyondMimic 降低 42%。与速度追踪专精模型 OpenHomie 相比,SONIC 在 0–5 m/s 速度指令下存活率 98.5%。真机部署宇树 G1,机载 Jetson Orin 推理,124 段动作成功 123 段。上层叠加生成式运动规划器,支持导航、风格切换、蹲跪爬、拳击等零重训能力。统一 token 空间可接入视频、语言、音乐、VR 遥操作,并微调 GR00T N1.5 使 VLA 直接预测动作 token,完成 5 个全身移动操作任务,平均成功率 75%。局限是长时间部署安全性和能耗未形式化,极端条件下仍可能失衡。