迈向原生世界状态的统一多模态世界模型，大晓机器人联合南洋理工大学S-Lab发布Puffin-World

近日，大晓机器人联合南洋理工大学S-Lab等机构发布并开源统一多模态世界模型框架Puffin-World。该框架首次在统一多模态框架中将物理、几何和外观定义为三种原生三维世界状态，贯通重力场感知、自由视点空间仿真、三维世界生成与重建以及闭环探索，预测机器人行动后世界状态。Puffin-World同步开源代码、模型和Puffin-16M数据集，包括1500万组视觉-语言-相机三元组和100万条旋转轨迹，并开放覆盖28个公开数据集、约4450万张图像的绝对相机位姿标注。其核心能力包括：单图理解相机物理信息，预测横滚角、俯仰角和垂直视场角；自由视点空间仿真，按指定机位生成画面；三维世界生成与重建，联合输出RGB外观和深度几何；闭环自校准探索，形成状态感知-动作预测-结果生成-再次校准闭环。Puffin-World提出Omni-Camera相机表示，将重力锚定的绝对相机信息与基于射线的相对几何结合，保证生成过程中地平线稳定、视角与目标轨迹一致。在四项Benchmark中取得SOTA：Stanford2D3D上横滚角、俯仰角、垂直视场角中位误差分别为0.29度、0.53度、1.62度；Puffin-Cam-Bench生成上方向、纬度、重力方向中位误差分别为0.84度、1.26度、0.79度；Puffin-Traj-Bench PSNR 18.00、SSIM 0.613、LPIPS 0.288；RealEstate10K三维生成PSNR 17.22、SSIM 0.595、LPIPS 0.318。Puffin-World推动世界模型从视觉内容生成走向可感知、可校准、可探索和可重建的三维环境。