把笔放进笔筒,对人来说只是几秒钟的小事。GPT-6-Astra 做了四个多小时,花了 55 美元。
这不是段子,是商汤 SenseNova 联合大晓机器人、Ropedia、南洋理工大学、东京大学团队在技术报告《Has GPT-6-Astra Achieved Embodied Intelligence?》里记下的真实一笔。同一个模型,在仿真评测里能刷出接近满分;一落到真实机器人身上,插插头 11 次尝试全部失败,打开冰箱放下牛奶后转身去搬水果,任由冰箱门敞开好几分钟。
这场覆盖 12 项仿真评测、8 个真实机器人平台的“真机体检”,测出来的不只是 GPT-6-Astra 的能力边界,还有整个具身智能行业那把“尺子”的泡沫。
仿真满分,真机露怯
商汤这场考试铺得很广。仿真侧选了 12 项代表性评测,覆盖桌面操作、灵巧操作、人形机器人移动操作、家庭长程任务和视觉语言导航五类场景。成绩相当扎眼:在长程组合操作基准 LIBERO-Long++ 上,GPT-6-Astra 达到 100%;考察鲁棒性与泛化的 LIBERO-Pro 上 99.3%;人形机器人基准 SIMPLE 上 98.8%;超长程 LIBERO-Ultra-Long 上 98.9%;灵巧操作 DexJoCo 上 87.3%,RoboDojo 上 81.9%。大多数评测里,它达到或超过了当时公开方法的最好成绩。
只是高分背后,有两味“补药”。
一味是上下文学习,也就是 ICL。评测前,模型可以查看训练集里允许使用的成功示范,把任务说明、动作轨迹、视觉参考、辅助代码和失败恢复方法整理成知识包。知识包在正式测试前冻结,模型参数不变,任务之间也不交换新经验。相当于让考生先研究透历年真题,再进考场。
另一味是放宽动作步数。传统具身评测会限制最大动作步数,一到上限就判负,哪怕只差最后几个动作。商汤团队在标准预算基础上,允许模型最多使用 10 倍步数。效果立竿见影:RoboDojo 的成功率从 27.6% 跳到 81.9%,Bench2Dex 从 25.6% 跳到 61.5%。在这类需要反复调整抓取位置、双手配合和接触精度的任务里,GPT-6-Astra 确实具备了一定的失败恢复能力。
可这两味药不是对所有题都管用。家庭长程基准 BEHAVIOR 的成功率只有 37.0%;需要探索的长程视觉导航 LHPR-VLN,即使放宽预算也只有 28.9%。需要同时管理多个子任务的复杂场景,多给几次尝试机会帮不上太多忙。
仿真考卷漂亮,真机才是照妖镜。团队把 GPT-6-Astra 部署到 8 个真实机器人平台,覆盖五类形态:Franka 3、Franka Panda 单臂机械臂,双臂 Piper 机器人,搭载灵巧手的天机 M6S,轮式移动操作机器人,以及宇树 G1 人形机器人。真机实验没有提供成功示范,也没有针对机器人做额外训练,模型只拿到人类编写的结构化信息,包括接口、关节限制、摄像头位置、安全约束,部分平台给一点操作提示。执行按真实时间计量,通常限时 60 分钟,现场有人监护安全。
结果有亮点,也有尴尬。刚性物体抓取放置任务,18 次成了 17 次。在宇树 G1 上,3 次机械臂操作成了 2 次,全部 3 次转身、行走、停止任务都完成了。但叠衣服、插插头这类精细操作明显碰壁,插头插入在多款真机交叉验证 11 次,一次没成。
真正的问题:不知道自己动对了没有
比动作失败更麻烦的,是模型常常误判成功状态。它以为自己抓到了、放好了、挂上了,实际未必。
有个场景很典型。机器人要把杯子挂在挂钩上,GPT-6-Astra 通过头部摄像头观察,觉得杯柄已经和挂钩重合,判定成功。可从另一个视角看,杯子根本没挂上去,掉在了桌面上。模型随后尝试重新抓取,又把机械夹爪闭合误判成已经接触到杯子,后续操作继续出错。
拼图任务也类似。模型判断四块拼图已经拼成目标形状,实际仍有部分没对齐。它不知道问题出在哪,不断调整,反而把原本接近完成的部分重新弄乱。
在语言或软件任务里,结果可以通过文本输出、程序跑测来验证。机器人操作不一样:物体看起来放到了正确位置,不代表它真的稳定接触、支撑、对齐或固定到位。GPT-6-Astra 的难点,恰恰在于判断物体之间真实的接触和位置关系。
更棘手的是,物理世界的一些错误无法靠重试挽回。RoboDojo 的倒液体任务里,杯子被碰倒、液体洒在桌面,模型扶正杯子继续倒,洒出去的部分回不来。DexJoCo 的装配任务里,零件从机械手滑落地面,模型判断超出可操作范围,直接放弃。
长任务还多一层坑:已完成的状态会被后续动作破坏。收纳笔记本电脑和耳机时,笔记本放好了,耳机也挂上支架了,可它返回调整耳机位置时又把耳机碰落,直到最后没再挂好。这类失败很容易被忽略。机器人完成一个步骤后,环境不会永远保持原样。
所以报告给的判断很克制:GPT-6-Astra 已经在很大程度上跨过了具身能力的门槛,但距离能够实用部署的具身智能仍有相当差距。
有些失败是停得太早,有些失败是代价太大
这里有个反直觉的发现:有些“不会做”,其实是我们太早按下了停止键。
把碗叠起来的扩展预算测试里,平均耗时约 131 分钟、推理费用约 19 美元,任务最后完成了。把笔装进笔筒平均耗时 263 分钟、费用约 55 美元,也完成了。可这样的机器人离日常使用显然还有很远的路。谁家会让一个机器人花四个多小时、55 美元去插一支笔。
成本账算不过来,是 GPT-6-Astra 身上最硬的约束。LIBERO-Long++ 在标准预算下成功率已达 97.5%,但每个回合平均消耗约 100 万 Token,推理加工具调用耗时接近一小时。任务更长的 LIBERO-Ultra-Long,平均 Token 消耗约 900 万,耗时接近两小时。RoboDojo 扩展预算测试里,单个回合平均耗时甚至超过三小时。
这些时间大多没花在机器人运动上,而是花在模型推理、检查结果、调用工具上。任务越难,反复思考和尝试的开销越吓人。
团队也尝试过让大模型少出手、出手更有效。他们把 GPT-6-Astra 当成负责推理和动作审查的“慢思考”System 2,让经过 RoboDojo 任务微调的 π0.5 VLA 充当提出动作的“快思考”System 1。开环协作里,GPT-6-Astra 只给子目标、VLA 直接执行,成功率只有 5.83%。闭环协作则让 VLA 先出候选动作,GPT-6-Astra 在执行前决定接受、修改还是拒绝;每次审核 4 个候选动作,成功率升到 25.83%。再叠加 ICL、每次审核 2 个动作,成功率到 54.17%,代价是 Token 消耗约 1933.5 万,是不结合 ICL、每次审 4 个动作配置的约 6.9 倍。
动作接口的设计也直接影响成败。让模型直接指定机械臂各关节角度,成功率只有 9.72%;改成指定末端位置和姿态,升到 15.83%;再用相对方向和移动距离描述动作,达到 18.06%。让大模型判断“往哪移动”,具体关节运动交给底层控制器,效果更好。模型调用频率上,让模型根据情况一次执行 1 至 4 步,成功率从 15.83% 升到 20.00%,Token 消耗从 256 万降到 114.6 万。
这些实验指向同一个取舍:大模型在必要时参与判断和纠错,同时尽可能减少不必要的调用。执行系统怎么安排这两者,直接决定成功率和账单。
评测体系的泡沫,比模型短板更值得警惕
这场体检顺手戳破的,还有现有具身评测体系自身的泡沫。
商汤团队认为,传统基准分数虚高,是因为它们离真实家庭需求太远。一个在仿真榜单上拿满分的模型,未必能稳定可靠地完成“整理桌面时别碰落旁边的书”“收纳食品时记得关冰箱门”这类日常事。
在他们看来,未来的评测得换一套尺子。机器人动作造成的物理变化、对周围物体的连带影响,以及那些没被明确说出的责任,都要纳入考核;缺乏特定任务演示时,机器人得自己探索环境、学习方法、根据反馈调整;评测还得把思考和行动都计入世界时间,考察任务完成得及不及时、执行过程产生了什么后果。毕竟世界不会停下来等模型思考。
基于这些准则,团队搭了个支持物理交互的“样板间”。机器人可以在里面操作家具、物品和家电;即使模型还在思考,流水、加热这些过程也会继续发生。
在这个样板间里,GPT-6-Astra 暴露的问题很有代表性:整理桌面时移动手中的书,碰落了其他物品、推歪了显示器;收纳食品时转去搬水果,让冰箱门持续敞开数分钟;看到鸡蛋煎熟决定关火,可思考和操作期间加热仍在继续,等真正关火时鸡蛋已经煎焦;能拉开冰箱门,却没为后续取物安排合适站位,被冰箱门挡住手臂。
这些案例说明,具身智能的挑战不只是“看懂环境、生成动作”,还包括统筹周边环境与隐含责任、理解物体和身体的空间关系、在动态世界里及时更新判断。
商汤的解法,与行业的下一程
作为回应,商汤端出了自己的解法:开源 SenseNova-RoboRSI Harness,并推出开源具身大脑 SenseNova-RoboRSI-27B-Preview。
SenseNova-RoboRSI 把各类 Benchmark 及运行依赖封装成独立 Docker 镜像,通过统一 HTTP API 提供环境交互与原生评分服务,实现评测环境与 Agent 模型、策略的解耦。研究者不用手动部署复杂仿真环境,准备配置文件就能一键完成端到端评测与结果复现。
SenseNova-RoboRSI-27B-Preview 则尝试把实验中验证有效的经验沉淀到模型参数里。它在 RoboDojo 上取得 26.13 分、任务成功率 20.83%;在 LIBERO-Pro 上,无论快慢协同还是 System-2 直接控制,性能都突破 90 分,效果仅次于 GPT-6-Astra;在 RoboCasa365 任务上,成功率从 26.0% 提升到 46.5%,同时任务 Token 开销减少 73%。最关键的是,它把完成具身任务的成本压到 GPT-6-Astra 的 1/50。
这套打法有迹可循。去年 GPT-5 发布后,同一团队做过一篇《Has GPT-5 Achieved Spatial Intelligence》,随后就发布了 SenseNova-SI 系列模型。这次的评测,更像是一次提前预告。
几乎在同一时间,清华联手无问芯穹等机构也在探索另一条路,也就是开源 RPent 框架,让机器人把一次成功的任务逻辑沉淀为“任务卡”,再次执行时启用 Flash Mode,直接复用流程、只根据当前视觉状态做必要调整,避免每一步都重新调用大模型。两条路径指向同一个方向:具身智能的下一程,拼的不只是模型有多聪明,更是执行系统怎么把聪明变成可靠、低成本的动作。
当大模型在试卷上拿满分、在现实里却笨手笨脚,行业要补的或许不只是模型,还有那把量它的尺子。具身智能真正的门槛,从来不是让机器人“动起来”,而是让它知道自己“做对了没有”,并且做对的代价别贵到用不起。






快报