大语言模型为什么能 scale?一个重要基础是,海量来源各异的知识,被统一进了同一种输入输出空间 —— 文本。输入是文本,输出也是文本,主干模型在这个统一空间中学习、组合与迁移知识。那么,具身智能要获得类似的泛化能力, 通往 Physical AGI,它的 “原生统一空间” 是什么? 今天的具身智能,感知、动作与世界变化往往采用不同的表示方式:从输入图像到不同本体的动作表征,再到世界变化,一直在不同的特征空间里来回 “翻译”,不同的相机参数不同的本体本质上还具有不同的映射关系。同一个推杯子的动作,换个相机视角,像素变化就会不同;相同的像素位移,也未必对应相同的物理距离。模型的能力, 被消耗在了 "翻译" 而不是 "理解" 上。 跨维智能(DexForce)最新论文 UNITAS (A 3D-Native World Action Model for Embodied Manipulation)给出的回答是: 三维物理世界本身 。 它将机器人看见什么、自己怎么动、世界因此怎么变化,统一放进同一个三维物理表示空间,用点的位置与随时间变化的轨迹在统一的输入输出三维空间里描述观察、动作和环境响应。 就像文本为大模型提供了共同的输入输出空间,UNITAS 尝试让 Physical AI 的输入输出,都生长在统一的三维物理空间里。 这不仅是一个技术思路,UNITAS 已在多项机器人操作评测中展现出 “ 屠榜 ” 实力:仅凭 1.7B (17 亿)参数,在 LIBERO 上取得 99.8% 的平均成功率、在 LIBERO-Plus 上达到 89.1% ,并在 RoboTwin 2.0 双臂操作的 Clean 与 Randomized 设置中分别取得 92.94% 和 93.04% 的成功率,超越参数规模达 6B(60 亿) 的 Fast-WAM、 8B(80 亿) 的 Motus,以及 π0.5、LingBot-VA、PointWorld 等模型, 在多项基准测试中全面夺冠, 进一步 在真实机器人操作执行 上同样表现突出, 任务平均成功率达到 85% 论文地址:https://arxiv.org/abs/2610.12099 项目地址:https://dexforce.com/technical-report/#/unitas-wam 开源代码:https://github.com/DexForce/UNITAS 一、同样是世界模型,3D 原生改变了什么? 看到 "3D",也许你会好奇,机器人领域已经有不少方法引入了三维信息。UNITAS 的 “3D 原生”(3D-Native) 究竟意味着什么? 关键区别在于: 3D 是作为辅助信息存在,还是作为模型理解世界的基础。 过去的一些方法可以称为 3D-aware World Action Model (3D 感知世界动作模型)。它们会引入深度、点云或几何约束,帮助模型获得额外的空间信息,但模型的核心表示仍然建立在二维视觉或其他潜在特征之上。换句话说,模型能够 “感知” 三维信息,但三维并不是它理解世界的原生语言。 例如,视频世界模型主要通过连续图像预测未来状态。它可以判断画面中的物体如何变化,但物体之间真实的距离、空间关系以及运动规律,需要模型从二维视觉变化中进一步推断。 部分 3D 方法进一步增强了空间理解能力。比如 PointWorld 能够预测三维场景变化,但动作轨迹由外部输入,模型更接近一个预测环境变化的模拟器(Simulator),而不是同时理解 “为什么行动” 以及 “行动后世界如何变化” 的统一模型。 包括蚂蚁灵波的 LingBot-VA、英伟达的 DreamZero,主要沿着二维视觉建模的路线展开,将未来视频预测与机器人动作生成结合。这条路线能够利用视频中的丰富经验,但描述世界变化的主要载体仍是二维画面及其潜在特征,物体之间的距离、位置与运动关系,需要模型从中学习和推断。 而在 UNITAS 探索的 3D 原生的思路中,核心变化在于:它不再让模型从二维视觉中推断三维世界,而是直接让模型在三维物理空间中学习世界,简而言之,“世界” 模型直接作用在统一坐标系下的三维 Token 上,而不通过图片 Token 作为桥梁。 UNITAS 的主干模型直接处理三维 Token,将三维空间作为机器人观察、行动和理解环境变化的共同表示: 观察(Observation):视觉信息对应到三维位置; 动作(Action):操作本体上三维点随时间变化的轨迹; 环境变化(Scene Dynamics):观测点在相同时间空间里的运动轨迹。 拿起杯子时,夹爪怎样靠近、杯子如何离开桌面、最终移动多远,都可以在同一个具有真实距离尺度的坐标系中表达。模型既能根据任务生成可执行动作,也能预测给定动作带来的场景变化,