自变量机器人发布并开源 HOST 框架(Human-to-robot One-Shot Skill AcquisiTion),实现机器人仅观看一段数十秒人类视频即可学会新技能,并保留旧技能。HOST 框架借鉴认知科学“观察学习”理论,将技能获取从训练时微调循环改为推理时技能获取。其创新点在于:1. 按任务进度对齐:利用动态时间规整算法,精准对齐人类视频与机器人操作的步骤,时间误差降低一个数量级。2. 从结果反推动作:绕开复杂的动作映射,让机器人先想象机器人视角的动作结果画面,再从结果拆分出需执行的动作,利用视觉推理反推动作过程。模型采用带视觉预测的双专家级联架构:视频专家处理任务进度与预测未来图景,动作专家负责生成执行动作。训练分为两个阶段:先用机器人自身视频进行同体预训练,再通过人类演示视频进行人机视频训练,大幅提升数据效率。效果方面,HOST 仅凭一段 29 秒人类视频学习技能的成功率高达 62%,远超 Vid2Robot 等零样本基线,更比 Pi-0.5 微调方案所需数据量减少 50 倍,学习技能速度提升 500 倍,且旧技能保留能力极强。
自变量开源 HOST 框架,让机器人看一条数十秒视频学会新技能,较主流方法提速 500 倍
机器人