文 | 字母AI

梁文锋曾经说过，“视频生成、3D生成、世界模型，跟智能主线没有太大关系，我们不会去做。”

这话和当时的局面是完全相反的。2026年上半年，多模态生成是AI大厂们的主线，各自有独立的部门、独立的产品线和独立的负责人。

腾讯大语言模型部与多模态模型部平级并存，后者独立管图像、视频与3D生成；字节多模态交互、世界模型、Seedream与Seedance等视觉生成业务，连同机器人团队统一向周畅汇报；阿里4月发布基于原生多模态架构的世界模型。

在那段时间，多模态生成被认为是“AI企业资金的共识出口”，所有大厂都把多模态生成当作是新的AI叙事。

然而最近的一周之内，两条消息先后出来。

10月31日，据Z Finance报道，字节Seed核心负责人周畅已离职创业，方向Physical AI，获头部美元基金支持。11月2日，多家信源称腾讯混元首席研究科学家、多模态强化学习负责人庞天宇离职，在职不足9个月。

在人才流失背后，是各大厂对多模态生成的态度发生转变。随着Agent等事物的快速发展，AI大厂把算力和预算倾斜到了这些看得见增长的业务上。

现在的叙事里，多模态生成仿佛是个“期权型业务”。大厂们花点小钱，赢了上不封顶，输了立即撤退，收回本金。

多模态生成是期权型业务？

多模态是个很消耗token的业务。

就拿图片来说，首先想让模型理解图片，就得把图片切成若干份小图像块。

一张224×224的图按14×14切块是256个token，336×336是576个，分辨率再往上，单图上千，长视频是帧数乘每帧的块数，数量级地涨。Transformer的注意力开销随序列长度平方增长，视觉序列一长，成本一下子就上去了。

视觉理解和扩散式生成（VLM+DiT）这类要同时跑自回归和扩散的架构，它的token消耗只会更多。

最典型的就是OpenAI的Sora。从App上线，再到OpenAI宣布关停，时间仅半年左右。外媒称，Sora每天算力成本100万美元，并且用户数量下滑。成本显著高于收入，公司最终选择了止损。

推理方面更贵。文本模型能把几十个请求批在一张卡上，多模态生成模型不行，它得每几毫秒生成一次环境状态、实时流式往外送，每个用户相当于独占一条GPU管道。

多模态生成另一大问题是评分比较难，需要大量的评价人员来给模型生成的内容打分。Seedance背后的数据评价团队高达上千人。

LLM可以用相对统一的基准打分，比如推理、代码、数学，版本间能直接比较，团队KPI也容易对齐。

多模态生成则完全相反。MMMG基准的作者表示，多模态生成的可复现评测，要落后于模型本身的发展。人工评测虽被视为金标准，却无法大规模做，而且主观性强，难以系统定位模型弱点。

这就是为什么字节要找上千人的评测团队来给Seedance做评测，核心是堆叠人数，来降低主观性对模型性能的影响。

当评价需要依赖美学、时序连贯、人类偏好时，你就很难用分数来判断模型好坏，以及这个模型团队是否值得继续投入资源。

比起“这个视频好看吗”这种很明显的主观讨论，大家还是觉得“这个版本在基准上提升了几个点”这种更有讨论价值。

虽然字节在Seedance上获得了不错的收入，但最关键的技术拐点其实是AGI，它就相当于行权价。

如果AGI真的非多模态生成不可，那就相当于兑现了。如果发现AGI并不需要多模态生成，那就是全部权利金归零。

而大厂每个月烧的token，就是滚动支付的权利金。

很显然，现在越来越多的人都觉得AGI跟多模态生成无关。

比如GLM-5.2到5.3和DeepSeek V4 Flash到Pro，这两组模型都没做视觉扩展，只做了后训练就能提高性能。K3的消融实验中，研究员表示“多模态数据每多一点，文本理解、Coding或者数学可能就会变差”。

杨立昆更是给出了致命一击，随着他的H-JEPA论文爆火，杨立昆主张的JEPA路线更是让越来越多的人信服。

JEPA主张在抽象表征空间里预测世界，全程不生成一个像素，理由是物理世界充满不可预测的随机细节，逐个像素重建既浪费又错误。这等于给“AGI不需要像素级生成”提供了技术论证。

业务部门收缩自然也在所难免。比如腾讯二季度财报电话会后，资金分配是WorkBuddy获得优先资源倾斜，其他新AI产品的优先级正在下调。

多模态生成到底怎么了？

7月24日，腾讯TEG发布内部通知：撤销大语言模型部、多模态模型部，成立基础模型部，首席AI科学家姚顺雨兼任负责人，向TEG总裁卢山汇报。

当时腾讯给的理由是“提升模型研发和协同效率，探索全模态模型的智能上限”。

被撤掉的两个部门是2025年4月拆出来的。语言一条线管文本推理，多模态一条线管图像、视频与3D生成，两边平级，各跑各的，腾讯称之为“双轨研发”。

此前在3月20日，腾讯就已经撤掉了成立近十年的AI Lab，一部分人并入大语言模型部，一部分去了产学研合作中心，计算机视觉、语音这些原本独立的能力，一并归进混元体系。

当时普遍认为，合并的真实原因在于大语言模型和多模态模型的训练标准不统一，因此技术无法互通，同时还会造成算力资源内耗。

一个月后轮到字节。8月的组织调整里，周畅起家的视觉语言模型VLM被并入大模型LLM体系，成了LLM底下的一个数据子部门。一位Seed人士对36氪表示，“他丢了龙兴之地，基本就没有核心地盘了”。

因为当时想让大模型看见东西，必须依靠一种“胶水科技”。

拿一个训好的纯文本LLM，前面接视觉编码器，把图片切成小块变成向量，中间再训一层投影，把这些向量翻译进语言模型的词表空间，最后跟文字拼在一起喂进去。当时的LLaVA、Qwen2-VL、DeepSeek-VL2走的都是这个路子。

它最大的好处是便宜。

视觉编码器有开源的可以参考，语言模型也是自己家现成的，中间那层只需要一层胶水把两者粘起来。

独立的多模态部门，基本就是围着这层胶水建的。有人管视觉编码器，有人管对齐数据，有人管图文指令微调，有人管评测。胶水在，部门就在。

然而现在这层胶水已经不在了，大厂开始转向原生多模态。从预训练第一层开始就把图像、文本、音频、视频的token混进同一条主干里。

今年2月，阿里从Qwen3.5开始把视觉能力通过早期融合放进主线模型，之后没再发新的通用VL理解模型。

现在大厂对多模态主要分为两条路线，第一条就是梁文锋的理解路线，让模型能看懂图片、视频，回答的是怎么感知世界。这条路线的确是跑通了。

第二条是把视觉理解和扩散式生成塞进一套架构，让模型在理解世界的基础上还能生成内容。

2025年GPT-4o出来之后，谷歌、阿里、字节都试过这条路线，不过都没有跑通。

图像和视频生成依赖扩散模型，在连续潜空间里一步步去噪。训练目标、数据表征、计算机制都不一样，硬塞进同一个模型，光是防止任务之间互相拖后腿就够头疼。

腾讯混元一位多模态研究员对36氪说，“多模理解和生成没那么统一，理解一般和LLM团队在一起，生成相对独立”。阿里Qwen的研究员则说，“理解、生成统一”基本没有已知很有效的方案。评测也还没立起来，一张图画得好不好、一段视频合不合意图，比一道数学题有没有算对难判得多。

周畅在字节推的那套叙事叫“多模态理解与生成统一”，就属于第二条路线。

放在期权里就叫虚值，企业收缩部门就是放弃行权。

落差

在业务部门收缩之后，此前该业务部门的负责人，自然而然就会降级。

周畅2024年8月从阿里来字节，职级4-2。报道称周畅的年包为八位数，跟着周畅一起来字节的还有十余名阿里旧部，双方一度卷进竞业限制劳动仲裁。

他在阿里曾出任通义大模型核心技术负责人，离职前发的Qwen2在Hugging Face开源榜登顶，压过当时的Llama 3-70B。进Seed之后管多模态交互与世界模型，向吴永辉汇报。

接下来两年，他的地盘一直在变大。2025年7月，豆包视觉多模态生成负责人杨建朝宣布“暂时休息”，据36氪援引Seed内部人士消息，组织要求杨建朝向周畅汇报，杨建朝随即离开，Seedream、Seedance两条视觉生成线划到周畅名下。

2026年6月2日，据晚点报道，字节内部调整架构。原由李航负责的Seed Robotics团队已向周畅汇报月余，字节还在招一位职级L8、对标阿里P10-P11的具身智能技术负责人，同样向他汇报。

报道称，周畅管理范围再次扩大的理由，是机器人能与多模态交互、世界模型形成数据与技术闭环。四条线集于一身，媒体称他是当时Seed内管理边界最宽的技术负责人之一。

6月刚加完地盘，结果8月VLM就并入LLM、降为数据子部门。

庞天宇进场时的动静，比周畅还大一点。

庞天宇去的是混元多模态部Exploration Center，职责写的是“强化学习前沿算法探索”。

1月29日他在小红书发了则招聘启事，顺带官宣加入；2月4日正式入职；6月带团队开源UniRL框架，把扩散模型、自回归模型和生成理解统一模型的强化学习后训练塞进同一套流程；10月这套框架更新到v0.2.0，他仍在核心署名作者里。

然而到了11月2日，媒体报道称，他在混元从分散走向集权的收拢里，“失去了他在组织版图上最初被许诺的那个位置”。

1月26日员工大会，Pony说“姚顺雨加入之后，公司加大吸引人才的力度，重构研发团队”，还提了内部加快Co-design、强化混元与元宝的协同。

1月28日混元开源图像3.0图生图版本，接入元宝。当时的数据是，混元图像、视频衍生模型总数3000个，视频模型社区下载超500万，混元3D系列超300万。那会儿多模态模型部还是与大语言模型部平级的一级部门。

然后7月24日两部合并，9月前OpenAI研究员田永龙出任混元多模态负责人。

没有人被降职，头衔还在，代码还在，成果也还在。

但有人起就总得有人落，从别人向他汇报，单独负责一条线，再到向别人汇报，负责主线的组件。以高姿态入场，经历这种转换，心理难免会有落差。

期权这种东西对于大厂来说，就是花点小钱赌了一把。只不过那些卷入其中的人，可就遭罪了。