机器人明明抓空了，世界模型却预测它成功抓起了水果。画面里的成功，现实中并未发生。
这不是某个模型的偶发失误，而是当前具身世界模型群体的共同短板。10月16日，由普林斯顿大学、得克萨斯大学奥斯汀分校、多伦多大学、NVIDIA和智元研究人员联合打造的动作驱动世界模型评测平台WorldOracle正式向开发者开放。它用335条真实机器人操作轨迹搭起考场，其中约四成交互片段是失败或次优操作，包括抓空、掉落、洒水。模型必须如实预测失败，而不是把过程补成一个看起来合理的成功结局。
首批七款世界模型走进这个考场，成绩单揭示了一个尴尬现实：机械臂的移动路径能预测得八九不离十，物体到底有没有被抓起来、随后移到哪里，却常常对不上。更关键的是，短时表现尚可的模型，一旦把预测时间拉长到完整操作序列，分数普遍接近腰斩。
七款模型实测：机械臂像听话的演员，手里的道具却不受控制
WorldOracle的评测逻辑很直接：给模型同样的初始画面和动作序列，让它生成预测视频，再与同一组动作对应的真实执行记录逐帧对照。这套方法的核心在于“同题同答”，初始画面相同、底层动作序列相同，模型的预测就必须接受真实结果的检验。
结果先给了一个下马威。在机械臂与操作物体的空间对齐对比中，五个参评模型的机械臂得分全部高于物体得分。也就是说，画面里的机械臂即使较好地跟随了给定动作，物体的位置与运动仍可能偏离现实。IRASim的机械臂得分为78.8，操作物体只有29.1；Cosmos 3的两项得分分别为89.4和45.4。机械臂像是一个听话的演员，按剧本走位分毫不差，但它手里的道具却不受控制。
这恰恰戳中了世界模型的要害。具身智能要的不是“看起来合理”的视频，而是能指导机器人行动的未来推演。如果模型把一次真实的抓空预测成成功抓取，下游策略就会基于错误的物理状态做出决策，轻则任务失败，重则损坏设备。
时间维度是第二道关卡。机器人完成一段连续操作，往往需要多次抓取、放置和调整，前一次交互留下的物体状态会成为后一次操作的起点。模型能否持续贴近现实，必须放到完整过程中检验。在同一组机器人遥操作数据上，五个模型的单视角综合分全部下降。DreamDojo从50.56降至27.08，Cosmos 3从53.99降至26.60，两者下降均接近减半。GE-Sim 2.0从73.86降至63.33，短时与完整长序列得分均为五种模型中最高，长序列下的降幅也相对较小。
模型之间的相对次序也发生了变化。IRASim的前30秒得分低于Ctrl-World、DreamDojo和Cosmos 3，但完整序列得分高于这三个模型。短跑冠军未必是长跑选手，只看短时指标的榜单，可能会误导开发者对模型能力的判断。
WorldOracle怎么出题、怎么判分
WorldOracle的评测集由335条真实操作轨迹构成：100条人类操作的AgiBot G2轨迹、75条人类操作的YAM轨迹、100条第一视角人手操作轨迹，以及60条AgiBot G2策略自主执行轨迹。人类操作单集约两分钟，约四成交互片段包含失败或次优操作。
数据有两类来源。一类由人工完成任务采集，包括机器人遥操作轨迹和人类手部操作轨迹；另一类是机器人策略自主执行轨迹，由策略控制真机运行产生。机器人自主执行时可能出现不同于人工操作的停顿、抖动和动作修正，纳入这类数据有助于检验世界模型面对不同来源动作时的预测稳定性。
评测覆盖智元G2、YAM两种机器人本体，以及第一视角人手操作场景。水果抓取、挂毛巾、倒水和开合抽屉四类任务，分别涉及刚体、柔性物体、流体和关节物体交互。人手场景面向能够接收手部动作输入的世界模型，检验其能否根据记录的手部姿态序列预测后续物体变化和交互结果，具备相应第一视角世界建模能力的模型在这一场景下接受零样本评测。
平台设置三条赛道：WorldOracle-Core评估人工采集轨迹前30秒的预测表现；WorldOracle-Policy评估模型对机器人策略自主执行完整过程的预测表现；WorldOracle-Long评估人工采集完整长序列中的持续预测表现。在目前的具身世界模型评测基准中，WorldOracle是唯一同时覆盖动作序列输入、真实执行数据、失败案例、长时序交互、多本体、多视角及策略自主执行轨迹的基准。
判分上，WorldOracle把预测误差拆开，用四项互补指标检查预测。物理状态正确性，检查每次交互结束时的物体位置、抓取状态、液体转移等是否与真实结果相符；交互空间对齐度，检查物体、机械臂或人手的位置及移动路径是否与真实过程一致；关键交互区域保真度，聚焦物体、夹爪和人手等区域，综合像素、感知与语义相似度，减少大面积背景对评分的干扰；多视角动作一致性，针对支持多视角输出的模型，检查各同步相机画面中的机器人运动是否与真实执行对齐。前三项指标等权平均形成单视角综合分，多视角评测加入第四项后再次等权平均。
为验证指标合理性，研究邀请119名参与者比较128对预测视频，四项指标对预测优劣的判断与人类选择的一致率为88.1%至93.2%。
这套评测也有明确边界。它衡量的是预测与一次真实执行记录的匹配程度。对于流体、柔性物体和随机接触，同样的动作可能产生多种合理结果，单次参照尚不能完整描述这些可能性。不同本体的训练支持也不相同：G2使用专门采集的训练集，YAM使用公开数据，人手场景采用零样本评测，因此三个场景的成绩不宜直接用于判断本体难度或跨本体泛化能力。
考场今日开放：奖励准确预测失败，而不是奖励脑补成功
WorldOracle支持开放权重与闭源模型参与。开发者完成注册和审核后，可根据模型支持的本体或操作场景选择赛道，按提交指南生成并上传预测视频，查看综合分、分项成绩及对比结果。对于模型迭代，这些反馈可以落到具体问题上：一次改进是否让物体运动更准确？是否减少了对失败操作的误判？预测时间拉长后，提升是否仍然成立？
世界模型生成的未来是否可靠，需要放到真实执行面前检验。WorldOracle将这种检验转化为统一的任务、数据和评分方法，为开发者比较模型、识别误差和验证改进提供依据。
尾声
世界模型的下半场，拼的不是视频看起来有多像，而是预测能不能经得起真机执行的检验。当评测开始奖励准确预测失败，而不是奖励脑补成功，具身智能才算真正走上了用真实世界数据说话的路。
快报