大模型加速落地物理世界,人类操作经验该如何数字化留存?

Physical Intelligence于10月13日发布Pi API beta,将机器人数据上传、模型微调与云端推理纳入标准化开发流程。这重塑了机器人应用开发分工:基础模型厂商输出通用智能能力,应用团队基于自有机器人载体、作业场景与业务任务做专项调优。模型能力可云端调取,但现场实操经验仍依靠人工采集、结构化整理。

视觉-语言-动作模型(VLA)打通视觉感知、自然语言与机器人动作。英伟达Isaac GR00T开发方案将示范采集、策略训练与真机测试纳入同一工作流。数据采集、清洗与复用能力直接决定项目落地进度。

大朋(DPVR)RoboPilot聚焦人机交互与操作数据采集环节,依托空间定位、动作追踪与人机交互能力实现机器人遥操作。在与宇树双臂机器人的联合项目中,操作人员通过E4具身版头显定位手柄位姿,映射至机器人本体,实现双臂同步遥操作,并采集双手六自由度位姿与完整运动轨迹。头显可悬挂于工位支架或放置桌面,无需全程佩戴。

世界模型与仿真拓展数据生成渠道。IROS世界模型专题研讨会将人类示范视频、机器人实操样本、合成数据与真实环境反馈纳入统一研究框架。采集工具需无缝对接下游数据处理链路,示教可复现,硬件支持长时间稳定作业。大朋E4具身版通过USB3.0直连PC,位姿数据可接入Python、C++开发环境,支持纯追踪模式。

长期看,数据采集贯穿研发全周期,企业可沉淀专属任务数据集,基于通用大模型适配调优。大朋与宇叠科技、求之科技联合实测中,E4具身版负责空间定位与动作输入,数据手套捕捉手部精细动作,机械臂与末端执行器完成物理作业。基础大模型、机器人本体、采集工具与应用团队分工细化,大朋定位为人机之间关键枢纽,采集人类操作输入、支持任务示教、留存过程数据,为模型训练提供素材。