从看懂弯道到精准漂移,人形机器人控制新突破

近日,Symbiosis Robotics(共生知行)演示人形机器人驾驶卡丁车,展示从看懂弯道到精准漂移。团队推出 Direct Perception Control(DPC),取消需要独立 Whole-Body Tracker 追踪的中间运动表示,让模型结合画面、任务和身体反馈,直接计算关节与手部目标。DPC内部保留 Perception Expert 与 Motion Expert,Symbiotic Attention 让双方交换信息,在同一 action objective 下训练;异步更新视觉结果,连续读取本体反馈。直接输出 Joint Target 后,策略需处理实机执行偏移,因此先通过 Offline BC 初始化,再进入 DriftDistill 第二阶段训练,让 Student 学会偏离后的恢复路径。训练数据共 15,010 小时:6,781 小时 Human Ego、4,024 小时 Armed Robot、3,660 小时 Wheeled Humanoid、545 小时 Bipedal Humanoid。除开车外,DPC还展示移动抓取与放置、受限姿态下的全身操作。其重点不是车技,而是让任务理解与全身控制在统一训练目标下直接衔接。