语音AI的战场,正在换打法。
过去两年,语音能力的竞争是API之争。OpenAI的Realtime API、ElevenLabs的语音克隆、各类转写服务按分钟计费,开发者把音频送进云端,换回文字或声音。10月28日,英伟达给出了另一种答案。它没有发布一个封闭的语音API,而是把一套300亿参数的语音转写模型 Nemotron 3.5 Transcribe 免费、开放权重地交了出来,还顺手更新了开源语音数据集 Granary 到第二个版本。
这件事的微妙之处在于时机。就在英伟达发布前后,语音AI正处在一个密集的发布窗口。Mistral AI 在10月20日推出 Voxtral 3,一套覆盖语音转写、文本转语音和实时语音智能体的模型栈;ElevenLabs 上线 Realtime,要做语音智能体的即时语音;Salesforce 也发布了 Launa-Omni 语音模型。当所有人都在抢着把语音能力包装成可调用的服务时,英伟达选择把能力拆成可以本地部署、可以定制、可以跑在单颗芯片上的开源模块。
这不是偶然的风格差异,这是两种商业逻辑的分野。
一个能跑在单芯片上的300亿参数模型
先摆事实。
根据 TechCrunch 报道,Nemotron 3.5 Transcribe 支持最多40种语言的音频转写,能把31种语言与英语双向翻译,可以处理长达1小时的录音,并且最多区分8个说话人。在语音转写任务里,区分说话人是一个经常被低估的能力。一场一小时的会议录音里,谁在什么时候说了什么,往往比转写出来的文字本身更重要。
更值得玩味的是它的部署方式。英伟达宣称,这个300亿参数的模型可以跑在单颗芯片上,小可以到 Jetson AGX Thor 机器人控制器、驱动新款笔记本电脑的 DGX Spark 芯片,大可以到 Blackwell 数据中心芯片。换句话说,它既能在云端跑,也能在边缘设备和本地机器上跑。
唯一的短板也很明确。Transcribe 只处理录制好的音频,不支持直播流。这意味着它瞄准的是会议录音归档、医疗问诊记录这类离线场景,而不是实时通话转录。
这正好对应英伟达点名的两个目标场景,商务会议转写和医疗转写。用英伟达自己的话说,这是AI在职场里最成熟的两个落脚点。开发者可以拿这个模型,配合更新后的 Granary 数据集和 NeMo Speech 工具链,针对每个行业、每种语言的术语做定制,让模型听得懂医疗缩写、法律术语、工厂里的行话。
英伟达卖的不是转写,是可定制的铲子
为什么英伟达不直接做一个语音API去收转写费?
答案藏在它的商业模式里。英伟达真正的生意是卖芯片和围绕芯片的软件生态。一个封闭的语音API,收的是每分钟几分钱的转写费,天花板是调用量。而一个开放权重的模型,换来的是开发者在你的芯片上跑推理、用你的工具链做微调、在你的数据集上做训练,收的是芯片、算力、生态的长期租金。
Granary 数据集的更新是这条逻辑的另一半。根据 Hugging Face 上的信息,Granary 覆盖25种欧洲语言,包含约64.3万小时的语音识别数据和约35.1万小时的语音翻译数据。AI Magazine 的报道进一步指出,这个数据集整合了约100万小时的多语言音频,专门用来解决克罗地亚语、爱沙尼亚语、马耳他语这类低资源语言的数据稀缺问题。
数据、模型、工具链,三件套一起开源,目的很直白,就是降低开发者把语音能力搬进自己产品的门槛。门槛越低,用英伟达生态的人就越多。
这和英伟达在语音AI上的既有布局一脉相承。它早就有一系列开放权重的 Parakeet 模型,参数规模从6亿到11亿不等。Nvidia 官方博客确认,Parakeet-TDT 1.1B 在 Hugging Face 的评测里跑出了家族最佳准确率,同时比家族中准确率排名第二的模型快64%。这次新发布的 Nemotron 3.5 Transcribe,参数规模直接跳到300亿,补上了大模型理解力加本地可部署这一块。
开放权重正在吃掉语音API的腹地
把视角拉远一点,能看清一个更大的趋势。
语音AI曾经是封闭API最牢固的堡垒之一。原因很现实,语音模型对算力和工程优化要求极高,普通开发者根本没有能力自己部署,只能乖乖调用API。Whisper 开源之后,这个堡垒出现了一道裂缝。到了2026年10月,裂缝正在变成缺口。
Mistral 的 Voxtral 3 虽然保留了API形态,但把价格压到了每分钟零点几美分的量级。而英伟达这次的开放权重路线更彻底,模型给你,权重给你,数据给你,怎么部署你自己决定。对于医疗、法律、金融这些对数据隐私极其敏感的行业,数据不出本地不是加分项,是入场券。一个必须把录音传到云端的转写服务,在这些场景里天然矮一截。
这也是为什么英伟达要把单芯片可运行写进发布口径。300亿参数听起来不小,但能塞进一颗芯片,意味着医院可以在自己的服务器上跑,律所可以在内网里跑,工厂可以在产线边缘跑。开放权重加本地部署,组合起来才是对封闭API的真正威胁。
当然,英伟达也不是没有软肋。Transcribe 不支持直播流,这意味着实时语音智能体、电话客服转写这类需要流式处理的场景,它暂时够不着。而恰恰是这些实时场景,是2026年语音AI最热的方向之一。ElevenLabs 的 Realtime、Mistral 的实时语音智能体 SDK,都在打这张牌。英伟达用离线转写切入,是务实的选择,但也留下了一个明显的空档。
基准第一不重要,生态第一才重要
英伟达宣称 Nemotron 3.5 在 Hugging Face 的 Open ASR Leaderboard 等基准上击败了竞争对手。这类榜单当然有参考价值,但真正决定胜负的,从来不是某一次榜单排名。
Open ASR Leaderboard 本身就是一个多方共建的产物。由 Hugging Face、英伟达、剑桥大学和 Mistral AI 的团队联合推出,用词错率和速度两个维度,在英语、多语言、长音频三个类别里评估了来自18家公司的60多个模型。榜单的意义不在于谁第一,而在于它把语音模型的比较标准化了,让开放模型能不能打这个问题有了公共答案。
历史已经给过提示。Parakeet 系列第一次登顶 Hugging Face 榜单是在2024年1月,从那以后,开放权重语音模型在准确率上追平甚至超越商业系统的案例越来越多。metavert.io 的梳理显示,Parakeet 系列用 CTC 和 RNN-Transducer 解码器,训练了6.4万小时音频,从一开始就是冲着生产级应用去的。
所以英伟达真正在争的,不是我的模型比你的准零点几个点,而是开发者默认用我的工具链。当一套模型加数据加微调工具的生态形成习惯,后来者就算榜单分数更高,也很难撬动已经沉淀下来的工程投入。
谁会赢,谁危险
这场语音AI的战役,可以用一句话概括。封闭API在抢实时场景,开放权重在吃离线腹地。
短期内,ElevenLabs、Mistral 这类以API和实时交互见长的公司,在语音智能体、实时翻译、虚拟助手这些场景里仍有优势。它们的用户体验做得更轻、更即时,开发者接几行代码就能用。
但中长期看,英伟达的开放权重路线更危险。危险的不是它对某一家公司,而是它对语音能力必须上云这个默认假设的消解。一旦某个行业证明了本地部署的开放模型够用且更便宜,封闭API的收费逻辑就会松动。医疗、法律、金融、政务,这些对数据主权敏感的行业,是最可能先倒戈的一批。
对开发者来说,选择变得清晰。如果你的场景需要实时交互、需要极致的用户体验,API仍是首选。如果你的场景对隐私敏感、对成本敏感,或者需要深度定制行业术语,开放权重加本地部署的路线值得认真评估。英伟达这次把门槛降得足够低,低到一颗芯片就能跑,评估的成本几乎可以忽略。
语音AI的下半场,赢家不一定是转写得最准的那个,而是让语音能力像水电一样,能在任何地方、以任何形态被调用的那个。英伟达押注的是,当模型可以本地跑、权重可以随便改、数据可以自己做主,开发者最终会用脚投票。






快报