世界模型通过预测机器人干预下的未来状态,可为规划、策略学习、数据生成和在线决策提供支持。近日,大湾区大学周鹏、张世尧、瑞典皇家理工学院刘思超团队联合香港大学、南洋理工大学、香港理工大学、哈尔滨工业大学(深圳)等,在SmartBot期刊发表题为《World Models for Robotic Manipulation: A Survey》的综述文章。该文将世界模型定义为能够预测或评估机器人干预下任务相关未来演化的预测系统,并围绕“预测什么”“预测如何与动作连接”以及“预测在机器人学习流程的何时发挥作用”三条主线,系统梳理五类预测表征(图像与视频、学习型潜在状态、运动场与场景流、三维/四维时空表征、物理信息动力学)、两类直接预测-动作接口(集成式预测-动作模型与显式预测规划器)及五类学习与决策基础设施角色(生成合成经验、候选动作筛选与修正、搜索中比较想象未来、构建学习型环境、将预测转化为奖励/进度/偏好/可行性判断)。文章还分析世界模型在预训练、后训练和推理阶段的作用,整理38个代表性数据资源,并提出分层评测方法。文章强调,世界模型的价值不能只由预测画面是否逼真来判断,更应由其能否提升真实闭环操作的可靠性与效率来衡量。未来需推动物理可信的多模态预测、构建动作对齐的闭环推演机制,并建立面向真实部署的数据与评测体系。
大湾区大学周鹏、张世尧联合瑞典皇家理工学院刘思超等:机器人操作世界模型------如何从预测未来走向可靠行动?
机器人