OpenWAM统一视频预测与机器人控制,发布方自测LIBERO平均成功率98.6%

OpenWAM研究团队推出世界—动作模型框架,将视频预测与机器人控制放入共同架构,支持比较“先预测画面再行动”等不同生成方式,并开放预训练视频模型权重。项目从Wan2.2-5B出发,在约334万条轨迹及录像、1.464万小时源视频上做因果预训练,仅用视频、不用动作标签,训练耗时32块NVIDIA B200 GPU运行14天。随后将50亿参数视频专家与20亿参数动作专家组成混合Transformer(MoT),支持VTA、ATV、Joint、Decoupled四种模式。仿真自测显示,VTA在四个LIBERO任务集平均成功率98.6%;在LIBERO-Long上,VTA成功率从68.4%升至97.8%,Joint从62.2%升至96.6%。真机实验使用两台Franka Research 3机械臂,执行烤面包、2×2魔方最后一层、按颜色分杯任务,VTA与Joint平均成功率分别为92.1%和91.9%。此外,OpenWAM支持独立训练逆动力学模型(IDM)和前向动力学模型(FDM),并构建LIBERO-Long-CF反事实数据集,含32,000个片段。在四个超出IDM训练集的LIBERO-90任务上,局部上下文IDM平均成功率84.0%,全上下文IDM为47.0%;反事实数据训练使RGB预测均方误差降低34.5%,识别正确未来准确率从21.1%升至71.3%。后续挑战包括动力学组件复用扩展至真机和长时程规划。