把音频塞进大语言模型，几乎一定会付出代价。这个代价在行业里有个不好听但精准的叫法，叫做“文本税”。过去两年，几乎所有尝试统一音频理解和生成的多模态模型，都在文本基准测试上交了这笔税。阿里的Qwen3.5-Omni交了，它的前代Qwen3-Omni也交了。论文作者们白纸黑字地记录下，音频生成版本的文本推理分数相比纯文本的Qwen3和Qwen3.5，出现了明确的倒退。
但英伟达刚刚发布的一个新模型，可能让这笔税第一次被真正免掉了。
一个模型，理解一切声音
7月7日，英伟达在arXiv上发布了Audex（全称Nemotron-Labs-Audex-30B-A3B），一个统一的音频-文本大语言模型。它能理解、推理并生成语音、音乐和环境音，同时宣称，其文本智能完全没有因为添加音频能力而打折。论文的标题本身就带着一种自信，英文叫“Unified Audio Intelligence Without Regressing on Text Intelligence”，统一音频智能，不牺牲文本智能。
这不是一个“顺便做做”的小项目。Audex的论文由英伟达研究院十数位科学家署名，通讯作者包括Zhifeng Kong、Sang-gil Lee、Jaehyeon Kim、Boxin Wang和Wei Ping。训练数据包含1574亿音频Token和3205亿文本Token，分多阶段监督微调推进，再辅以纯文本Cascade强化学习和多域on-policy蒸馏。模型基于英伟达自己的Nemotron-Cascade-2-30B-A3B，一个混合Mamba2-Transformer架构的MoE模型，300亿总参数，每次推理仅激活30亿参数，拥有52层、128个可路由专家，每次选取6个专家激活。
和它一起发布的还有一个小版本Audex-2B，采用相同的训练配方。两者均以非商业开源许可发布，权重已在Hugging Face上开放。
“文本税”：一个被默认接受的代价
多模态模型的困境一直很清晰：你把视觉或音频能力加进去，文本能力就往下掉。这不是一个偶然现象，而是被反复验证过的结构性难题。英伟达研究团队在论文中给出了一个残酷的总结：即便把多模态输出域限定在“仅输出语音”这个窄得多的范围，文本倒退依然会发生。Qwen3-Omni和Qwen3.5-Omni的团队在各自论文中直接报告了相关基准的衰减。
问题的根源不难理解。当你把音频Token像文本Token一样扔进自回归生成任务时，模型的注意力分布被分散，推理路径被干扰。文本推理的精密齿轮在音频数据的砂砾中不断磨损，最终结果是，模型记得了如何分辨鸟叫声和汽车声，却在数学推理上钝了三分。这种“多模态诅咒”已经困扰了整个行业近两年，甚至有人开始怀疑：统一多模态这条路线，是不是本质上有问题？
业界也并非没有尝试破解。NVLM项目通过混合高质量文本-图像数据在一定程度上减轻了视觉输入带来的倒退。Qwen-Omni系列做了序列打包来平衡各模态。还有一些团队尝试了模态解耦训练，先分别训练各模态再融合推理，但这样一来架构就变得异常复杂，工程部署成本飙升。但这些方案大多治标不治本。它们缓解了症状，但没有真正解决“为什么添加新模态会导致旧能力退化”这个根本问题。
英伟达在论文中提出了一种新的诊断指标，叫做多模态文本回归（Multimodal Text Regression，简称MTR），通过测量引入非文本模态后模型在标准文本基准上的分数变化，来量化“文本税”的金额。这个指标本身就已经是一个贡献：它为行业提供了一个标准化的测量工具，让大家能像聊MMLU分数一样自然地聊“文本税”。
Audex的解法：统一，但不动主干
Audex的设计哲学可以用一句话概括：最大限度不动LLM主干。它能做到这一点，靠的不是复杂的特制架构，而是工程实践上的精心取舍。
从架构层面看，其设计极其简洁。一个音频编码器（AF-Whisper，基于Audio Flamingo 3，采用Whisper Large-v3架构，处理16kHz输入）将音频信号编码，通过两层MLP适配器投影到文本嵌入空间。然后，文本Token和量化后的音频输出Token在自回归生成中被统一处理。没有thinker-talker分离架构，那种把“思考”和“说话”分给两个不同模型去做的复杂设计。没有堆叠级联模型。只是一个单一的MoE Transformer解码器，把音频输入当成文本嵌入，把音频输出当成文本Token。
这种简洁设计带来的直接好处就是Audex可以在标准LLM训练和推理栈上运行。Megatron-LM用于训练，vLLM用于推理，上下文长度可达100万个Token。它同时支持Instruct模式和Thinking模式。对开发者来说，这意味着不需要学习一套新的部署工具链就能上手使用。
但真正的玄机不在架构，在训练策略。英伟达团队做了三件关键的事，每一件都指向同一个目标：让模型在学会新能力的同时，不忘记旧能力。
多阶段监督训练是第一步。他们精心整理和过滤了1574亿音频Token和3205亿文本Token，分阶段训练模型逐步习得音频理解、语音识别与翻译、文本转语音、音频生成和语音转语音生成能力。每一步都像是给模型上新课，但课程表排得很有讲究，不会让新课冲掉旧课的记忆。
纯文本Cascade强化学习才是整个训练流程中最重要的创新。在模型已经拥有多模态能力之后，团队使用和Nemotron-Cascade-2一模一样的纯文本后训练数据，对Audex跑了一轮Cascade RL。这笔“纯文本账”让模型在吸收音频能力后重新校准其文本推理路径，相当于在学完新语言之后，重新复习了一遍母语语法。这个步骤的巧妙之处在于，它不是在模型训练前做预防，而是在模型已经感染了文本税之后再给它解毒。
多域on-policy蒸馏则是最后的收尾工序。在RL之后用蒸馏进一步稳定模型在各领域的行为，防止RL训练在某个领域过度优化而牺牲其他领域。就像一个运动员在专项训练后做全面的体能恢复，防止肌肉失衡。
这套组合拳的效果在数据上体现得非常清楚。在音频理解领域，Audex在语音识别（LibriSpeech）、语音翻译（CoVoST2）、音频分类（AudioSet、ESC-50）和音频检索（Clotho）等任务上均达到SOTA水平。在文本推理基准上，MMLU、GSM8K、MATH、HumanEval等项目的评分与纯文本的Nemotron-Cascade-2几乎无差异，少量基准甚至有小幅提升。这组数据可能是Audex最有力的声明：文本能力不仅没有退化，在某些维度上还略有增益。
从Audex看英伟达的AI版图
这不是英伟达第一次玩模型开源。Nemotron系列一直是英伟达展示“我们不只是卖算力”的窗口。从2024年的Nemotron-4-340B，到2025年的Nemotron-Cascade，再到2026年3月的Nemotron-Cascade-2和6月初的Nemotron-3-Ultra，这条产品线在不断更新。Nemotron-3-Ultra以550B参数成为美国开源模型中最强的。
但Audex的不同之处在于，它触及了英伟达核心叙事的一个敏感地带。此前外界对英伟达的商业模型有一个常见批评：它只做卖铲子的生意，不碰应用层，不操心模型能力边界。如果你去问一个AI开发者“英伟达的模型好用吗”，答案通常含糊，没人觉得Nemotron能正面硬刚GPT或Claude。但经过Nemotron-Cascade-2在IMO和IOI 2025上的金牌表现，再到Nemotron-3-Ultra登顶排行榜，这个印象正在被一点点改写。
Audex选择的切入点非常聪明。它没有去和OpenAI、Anthropic正面比文本推理，而是在音频加文本这个竞争尚未白热化的交叉地带，拿出一个技术亮点足够鲜明、工程完成度足够高的开源模型。它不试图证明英伟达的模型比GPT-4o更强，而是证明英伟达的模型能做什么其他模型做不到的事，比如能在学会音频理解和生成之后，不损失文本推理能力。这种差异化竞争的策略，比单纯堆参数拼排行榜要高明得多。
与此同时，英伟达的开源模型战略正在收获生态回报。就在Audex发布前一周，Palantir CEO Alex Karp公开声称，美国政府部门用户正在从Anthropic转向英伟达的Nemotron开源模型。虽然Karp的声明带有明显的商业利益冲突，Palantir同期发布了专为部署Nemotron打造的平台，但它至少验证了一个趋势：英伟达的开源模型正在从展示品变成被实际使用的产品。当政府部门开始认真评估部署Nemotron而非Claude时，英伟达“模型开路、算力变现”的飞轮就真的转起来了。
开放问题与未竟之路
Audex也并非没有局限。最直接的一个就是非商业许可。对于一个声称要推动行业进步的模型，非商业许可和开放研究之间的张力显而易见。开发者可以下载权重、研究架构、跑跑推理，但无法将其集成到商业产品中。这在一定程度上削弱了Audex作为开源生态推动者的说服力。相比之下，Qwen-Omni系列采用了更加开放的许可协议。
其次，30B-A3B的参数规模意味着推理仍需要一定算力。虽然3B的激活参数让它比同等总参数的稠密模型高效得多，但对边缘设备的部署仍然遥远。Audex-2B可能是一个更现实的替代方案，但小模型的能力边界显然更窄。考虑到Audex的应用场景，比如语音助手、实时翻译、音频内容审核，这些恰恰是对端侧推理有强需求的场景，部署门槛的矛盾就更加突出。
最后，音频生成质量的主观评测尚未被第三方广泛验证。论文中“state-of-the-art”的宣称主要基于自动指标和内部评测集，独立第三方的盲测对比还需等待。对于语音生成尤其是文本转语音和声音克隆这类对自然度要求极高的任务，自动指标和人类感知之间的鸿沟是出了名的。在文本税问题上做了如此有力声明的Audex，在音频生成体验端的真实表现需要一个更开放的验证过程。
“文本税”被免掉，不等于通往通用人工智能的障碍也被扫清了。但英伟达Audex提供了一个重要的工程示范：当你足够尊重模型的核心能力，不为了全能而去破坏它最擅长的事，多模态统一的路线图或许可以比行业想象的更简洁。模型的智能不在于它能处理多少种信号，而在于它能否在学会新的语言后，还记得自己原本会说的话。
快报