文章详情顶部

完全去除语言模型!豆包VideoWorld仅靠“看”就能学习知识,为业界首创或激活“视觉市场”丨科股一线拆解

纯视觉模型昭示AI脱离人类自主学习潜力,有望激活“视觉市场”加速推进智能硬件落地。

导读:

  1. 与Sora、DALL-E、Midjourney等主流多模态模型不同,VideoWorld通过浏览视频数据,就能让机器掌握推理、规划和决策等复杂能力,是业界首创。
  2. 该模型属于学术研究项目,目前并未应用至产品端,在真实世界环境中的应用也还面临着高质量视频生成和多环境泛化等挑战。
  3. 纯视觉模型昭示AI脱离人类自主学习潜力,有望激活“视觉市场”,加速推进智能硬件落地。
  4. 在技术端,VideoWorld或使视频转码、视觉算法、视觉系统、ISP芯片等技术发展受益;在应用端,助力机器人、自动驾驶、AI眼镜等纯视觉场景下的模型训练,还可二次开发、灵活部署加速模型优化。
  5. 长期来看,国产大模型“算法创新+开源生态”有望构建一条联合创新之路,AI基础模型加快创新,AI应用部署门槛降低以及成本带动应用繁荣,催化推理算力需求快速增长,软件企业合作趋势也将强化。

全文:

不依靠语言模型,业界首款仅通过视觉信息即可认知世界的实验模型诞生。继DeepSeek开源R1模型后,国产大模型阵营再迎创新与开源。

近日,豆包发布视频生成实验模型“VideoWorld”,与Sora、DALL-E、Midjourney等主流多模态模型不同,它通过浏览视频数据,就能让机器掌握推理、规划和决策等复杂能力。这一创新推动了视频生成技术和多模态认知研究的进展。

VideoWorld模型架构概览:左为整体架构,右为潜在动态模型;图片来源:豆包

VideoWorld模型架构概览:左为整体架构,右为潜在动态模型;图片来源:豆包

VideoWorld基于一种潜在动态模型(LDM),可高效压缩视频帧间的变化信息,在保留丰富视觉信息的同时,压缩关键决策和动作相关的视觉变化,显著提升知识学习效率和效果。在不依赖任何强化学习搜索或奖励函数机制前提下,它达到了专业5段9x9围棋水平,并能够在多种环境中执行机器人任务。

该项目代码与模型已开源。有字节内部人士透露,VideoWorld视觉模型属于学术研究项目,是在探索新的技术方法,目前并未应用至产品端。需指出,豆包的VideoWorld并不完美,在真实世界环境中的应用,仍面临着高质量视频生成和多环境泛化等挑战。

现有多模态模型大多依赖语言或标签数据学习知识,但语言描述往往难以捕捉真实世界中的复杂信息。

视觉认知是指通过视觉系统对周围环境进行感知、理解和解释的能力,在人工智能领域,视觉认知赋予机器通过图像和视频数据来理解和解释世界的能力,使机器能够像人类一样“看”和“理解”周围的环境,是人工智能迈向更高智能水平的关键一步。

仅仅依靠图片视频即可训练,纯视觉模型昭示AI脱离人类自主学习潜力,智能硬件落地或加速推进。民生证券认为,视觉认知世界的能力有望激活以视频监控、智能家居摄像头等为代表的“视觉市场”,使其在视频大模型的能力催化下获得收益。

AI视觉技术可实现对商品盗窃的侦测及客流分析;图片来源:开源证券

AI视觉技术可实现对商品盗窃的侦测及客流分析;图片来源:开源证券

慧博云通研报显示,纯视觉模型有望助力机器人、自动驾驶等纯视觉场景下模型的训练。在机器人领域,AI视觉技术可以实现对机器人操作环境的视觉认知和理解,提高机器人的自主性和智能化水平。在自动驾驶领域,VideoWorld的技术可以提升车辆对环境的理解和决策能力,为更安全的自动驾驶系统提供支持。

当前,中国机器视觉行业正处于高速成长阶段。根据CBInsight数据,中国已是继美国、日本之后的第三大机器视觉领域应用市场。而据高工机器人产业研究所(GGII)预测,至2025年全球机器视觉市场规模将超过1200亿元;2025年我国机器视觉市场规模将达到468.74亿元。

此外,综合多家机构观点,VideoWorld的出现将在技术端使视频转码、视觉算法、视觉系统、ISP芯片等技术发展受益,在应用端还可能为AI眼镜注入新的发展机遇。

对于AI眼镜行业自身而言,核心环节在于推理芯片、AI模型、显示技术等,VideoWorld开源或显著提高应用厂商AI模型能力,还可二次开发、灵活部署,加速智能眼镜模型优化。

近期,小米AI眼镜已获得入网许可。消息称小米AI眼镜原定于3月至4月发布,现计划提前至2月,与小米15 Ultra同台亮相。消费电子纳入国补,也有望强化政策对AI眼镜的消费刺激预期。

继OpenAI闭源后,大模型厂商呈现闭源趋势,直至DeepSeek将高性价比的R1模型开源。浙商证券认为,长期来看,国产大模型“算法创新+开源生态”有望构建一条联合创新之路,推动中国AI领先。未来大模型若能形成繁荣的开源生态,AI基础模型有望加快创新,AI应用部署门槛降低以及成本带动应用繁荣,并催化推理算力需求快速增长;在推理端,软件企业合作趋势也将强化。

风险提示:AI产业发展不及预期;下游互联网巨头资本开支下滑;AI商业化产品发布不及预期;政策不确定性带来的风险;上游供应不及预期。

科股宝VIP由钛媒体App与北京商报联合推出,相关数据及信息已获得北京商报授权。 风险提示:本产品内容仅供参考,不构成投资建议。投资有风险,入市需谨慎。
科股一线拆解

快报

更多

19:55

北方长龙:股东拟询价转让428.4万股,占总股本4.5%

19:55

赛力斯:9月15日耗资约7031.29万元回购股份,拟用于注销

19:54

江天化学:股东江山股份拟减持不超3%公司股份

19:53

多平台回应月付将退出支付选项

19:50

东北制药:子公司获得恩格列净片药品注册证书

19:50

广济药业:拟公开挂牌转让长投安华酒店49%股权

19:49

康为世纪:艰难梭菌tpi和毒素A、毒素B基因检测试剂盒获得三类医疗器械注册证

19:48

外交部:中国将继续以优质服务链接国际市场 让“中国服务”更好惠及全球

19:47

高端MLCC是买的海外产品回来贴牌?风华高科回应:切勿轻信非官方渠道发布传闻

19:45

外交部:中方期待同各国维护以《外空条约》为基石的国际法

19:42

“算电织网·算电协同高质量发展项目库”在2026中国算力大会发布

19:39

周大生:8月新增4家自营门店

19:39

伊朗总统称不能让美以锁定最高领袖

19:38

国邦医药:全资子公司产品培化二肉豆蔻酸甘油酯通过CDE与制剂共同审评审批

19:37

奥克股份:与大连理工大学签署《科研项目合作研究合同书》

19:36

微光股份:公司产品制冷电机及风机已配套应用于液冷系统场景

19:36

盛和资源:首次回购156.73万股,交易总金额3335.7万元

19:35

如何评估人工智能可能被用于制造生物武器等风险?外交部回应

19:34

溪有物种与愿力智投达成战略合作

19:33

中国中冶:1-8月新签合同额4787.9亿元,8月新签5项重大合同

扫描下载App