让机器人学会视频里的真实交互：大晓 HSImul3R 打通 Real-to-Sim-to-Real

一段人坐上椅子的视频，对人类而言再普通不过。我们不仅能看见“人坐了下来”，还天然理解椅子承受人体重量、人与椅面形成接触并最终稳定。但对三维重建系统而言，“看见动作”与“重建真实交互”仍是两回事。视觉上准确坐在椅子上的人体，进入物理仿真后，椅子可能因结构缺失倒下，人体也可能与椅面严重穿模。近日，大晓机器人联合南洋理工大学 S-Lab、上海人工智能实验室发布人—场景交互重建研究 HSImul3R，直指三维视觉长期存在的“感知—仿真鸿沟”。该成果已被 ECCV 2026 接收。HSImul3R 将重力稳定性、真实接触与交互稳定性纳入核心评价标准，是首个面向非标定稀疏视角输入、实现稳定可仿真人—场景交互重建的框架，并支持单目视频输入。团队构建 HSIBench，包含 19 个场景物体、超过 50 段人体动作序列和 300 个独立交互实例，由 3 名参与者完成，每个案例均从 16 个视角同步采集，直接检验重建结果能否在物理仿真中稳定交互。HSImul3R 在 Easy、Medium、Hard 三档任务中交互稳定率分别达 53.68%、30.56%、13.92%，显著高于 HSfM 的 10.52%、4.50%、2.66%，并将人—场景三维穿模率从 69.51% 降至 22.90%。为实现这一目标，HSImul3R 提出物理闭环（Physics-in-the-Loop）双向优化框架：通过面向场景的强化学习优化人体运动，使其既物理可行又能与场景稳定交互；通过直接仿真奖励优化（DSRO）利用仿真反馈反向优化三维场景。最终团队将优化后的动作迁移至 Unitree G1 人形机器人，贯通日常图像/视频→三维人—场景交互重建→物理仿真优化→人形机器人动作迁移→真实机器人执行的完整链路。论文：HSImul3R: Physics-in-the-Loop Reconstruction of Simulation-Ready Human--Scene Interactions。