随着 GPT-6 Astra 开始接受真实机器人操作测试,通用大模型能否成为机器人“大脑”的问题更加具体。清华大学、无问芯穹、正行创新联合开源具身智能体基础设施 RPent。它面向真实物理世界,将通用大模型的任务理解与规划、VLA 等专家模型的精细操作,以及记忆、工具和机器人接口连接起来,形成感知、决策、执行到反馈纠错的闭环。在 LIBERO-PRO 基准测试中任务成功率达 92.6%,端到端任务完成速度优化 7 倍以上。开源链接:https://github.com/RLinf/RPent
真机演示中,RPent 不再为每个场景单独训练专用策略,而是理解任务、调用能力并随环境调整。例如将干净餐具放入纸箱时,冻结 VLA 会错误放入金属篮,而 RPent 会观察环境、检查结果并重新定位。机器人还能读取品牌标签分类饮料,遇到遮挡先移开碗,以及组合技能完成倾倒钢珠、持盘擦拭收纳等训练分布之外的任务。探索成功后,RPent 把经验沉淀为任务卡,并通过 Flash Mode 复用流程,只按当前视觉做必要调整,降低延时。
核心设计是让不同模型承担擅长部分:通用大模型负责理解任务和制定计划;VLA、WAM 等专家模型负责高精度动作执行;记忆系统沉淀经验;框架连接模型、工具与真实环境,形成“观察—规划—执行—反馈—再规划”闭环。