北大、NTU等推出世界动作模型ω-0,重塑人形机器人的居家作业模式

AGI
机器人实现全身协同自主作业

 

文 | 机器最前线

家庭,是人形机器人最向往的落地场景,也是技术难度最高的考场。

工厂里的机器人面对的是结构化的流水线,每一步操作都可以提前规划;而家庭环境充满变量,桌面可能堆满杂物,地面可能散落玩具,从冰箱取物时需要侧身绕过椅子,擦桌子时需要随着擦拭范围不断调整站位。这些看似寻常的家务,对人形机器人而言却是巨大的挑战。

近日,由南洋理工大学、北京大学、香港科技大学(广州)和智源研究院联合提出了ω-0,一款隐空间预测世界动作模型。

据悉,输入语言指令后,ω-0可同步识别环境、感知自身状态,直接输出底层控制系统可读取的精简动作特征,支撑机器人完成“边移动边操作”的全身协同任务。

研发团队对ω - 0模型进行了全方位真机测评,选取了11项高难度居家实操任务,重点考核机器人的动态协同、环境适配与自主决策能力,涵盖了跨区域物品收纳、高低位杂物清理、床上衣物拾取等典型复合场景。

实测结果展现出了ω - 0模型卓越的性能,ω - 0 Ego第一视角任务成功率达79.1%,ω - 0 Omni全场景模式成功率高达81.8%,全面超越了π - 0.5、EgoVLA、GR00T - N1.7、ψ - 0等主流行业基线模型,它的出现似乎正在重塑人形机器人的居家作业模式。

01 从“先走后做”到“边走边做”,ω-0的破局之道

过去几年,机器人的行走能力和操作能力都取得了长足进步。但当这两项能力被部署到人形机器人身上时,一个尴尬的问题浮现了,大多数系统采用“分步走”的策略,即机器人先移动到目标附近站稳后,再启动手臂完成操作。

这种模式在简单场景下尚可应付,一旦遇到需要连续作业的家庭任务,弊端就暴露无遗。擦一张大尺寸桌子时,机械臂伸到极限后必须迈步才能继续,但迈步的同时还要保持抹布始终贴住桌面;拖地时,拖把的运动直接影响身体受力,双腿必须随手臂动作不断调整重心。任何一个环节独立决策,都可能造成动作卡顿、接触中断甚至失去平衡。

基于这些问题,ω-0选择直接摒弃了耗时的视频到动作(video-to-action)逆向转换,转而构建了一个统一的查询表征(Query-based Representation)。

在这一架构中,未来视觉特征提供了任务进度和场景演变的宏观指引,而动作分支则直接生成可供底层控制器执行的全身动作潜在指令。

并且为了让人形机器人能够更好地适配真实居家场景的复杂需求,研发团队还搭建了三阶段递进式训练体系。在第一阶段,进行全身动作VLM专属预训练;第二阶段是人机动作隐变量融合预训练,此阶段模型借鉴V - JEPA先进技术思路,融合视觉、语言、机器人本体多维数据,通过视频查询预判未来环境特征,将场景动态变化信息注入动作表征体系;第三阶段为真实场景精细化微调,基于前两阶段的训练成果,团队引入海量真实居家移动操作数据,让机器人能够自主适配各类居家场景。

与此同时,为了支撑庞大的训练需求,研究团队还开源了一个真实世界家庭人形机器人数据集ω-HOME,降低了下游任务训练对示范数据的依赖。

该数据集包含40.3小时的真实环境数据、4827条任务轨迹、24项任务。其中,每条轨迹均包含同步采集的语言指令、第一视角与第三视角、本体状态、全身运动轨迹等数据。

总而言之,81.8%的成功率是一个令人振奋的数字,但它远不是终点。距离一个能真正融入家庭、长期自主运行的机器人的出现,还有很长的路要走。但它的出现,却为整个行业指明了一个方向,那就是将机器人的全身成为一个整体来思考,而不是把腿和手当作两个各自为政的部门。当机器人学会在移动中操作、在操作中调整姿态,才有了从“实验室演示”走向“生活化服务”的可能。

本文系作者 机器最前线 授权钛媒体发表,并经钛媒体编辑,转载请注明出处、作者和本文链接。
本内容来源于钛媒体钛度号,文章内容仅供参考、交流、学习,不构成投资建议。
想和千万钛媒体用户分享你的新奇观点和发现,点击这里投稿 。创业或融资寻求报道,点击这里。

敬原创,有钛度,得赞赏

赞赏支持
发表评论
0 / 300

根据《网络安全法》实名制要求,请绑定手机号后发表评论

请 登录后输入评论内容

快报

更多

2026-09-29 23:08

商务部就媒体报道欧盟相关成员国推动欧委会打造欧版“301”工具事答记者问

2026-09-29 23:07

国内商品期市夜盘收盘涨跌参半,油脂油料涨幅居前

2026-09-29 23:02

美国30年期国债收益率创2002年以来新高

2026-09-29 22:55

生态环境部部长黄润秋会见中国环境与发展国际合作委员会外方执行副主席、加拿大环境与气候变化部部长达布鲁辛

2026-09-29 22:45

特朗普:将通过行政令把“人工智能”更名为“超级智能”

2026-09-29 22:39

甲骨文股价大涨8%,将联合NetApp推出原生OCI存储服务

2026-09-29 22:32

Claude.ai、Claude Code等服务出现故障,Anthropic正在调查

2026-09-29 22:28

美国8月份职位空缺降至五个月低位,裁员人数依然较少

2026-09-29 22:25

2026金融街论坛年会将于10月19日在京开幕

2026-09-29 22:23

美国9月消费者信心跌至十二年以来最低,对经济和就业看法悲观

2026-09-29 22:19

OpenAI年度经常性收入接近700亿美元,企业业务收入较7月翻倍

2026-09-29 22:13

千里科技:子公司拟3443.88万元购买极氪智能驾驶相关资产

2026-09-29 22:07

伊朗革命卫队称波斯湾已无美军舰船

2026-09-29 22:06

中国位居2026全球创新指数第十

2026-09-29 22:04

同有科技:目前公司SSD产能在生产高峰时已基本达到满产状态

2026-09-29 22:04

iQOO16正式发布并开售

2026-09-29 22:02

纳斯达克中国金龙指数跌超2%

2026-09-29 22:00

费城半导体指数涨幅扩大至2%,ARM股价涨超5%

2026-09-29 21:52

三峡新材:全资子公司5140万元竞得宜昌市夷陵区红岩头玻璃用砂岩矿采矿权

2026-09-29 21:52

美国30年期国债收益率升至2004年以来新高

扫描下载App