英伟达把语音转录做成了可提示的语音大模型

2026.10.29 15:50
10 月 28 日,英伟达开源开放权重语音模型 Nemotron 3.5 Transcribe,采用 340 亿参数 MoE 架构(激活约 43 亿),支持 40 种语言转录、31 种语言英互译和最多 8 名说话人区分,在 Hugging Face Open ASR 英文榜以 4.71% 平均词错误率位列开源第一。同步开源的 Granary v2 数据管线覆盖 48 种语言、约 84.36 万小时音频,标志语音技术从拼装多个专用模型转向用一个可提示大模型吃掉整条流水线。

语音转录这个赛道,长久以来被切成三段:听写的归听写,翻译的归翻译,分辨谁在说话的归说话人日志。一家公司要搭一套会议记录系统,得把 ASR 引擎、翻译接口、说话人分离模块拼在一起,中间隔着三种 API、三套错误率指标和三次精度损耗。

10 月 28 日,英伟达把这三段合成了一段。它发布的 Nemotron 3.5 Transcribe 不是传统意义上的语音识别模型,而是一个“可提示的语音大模型”:同一段录音,你用一句指令就能让它输出逐字稿、书面稿、带说话人标签的会议纪要,或者直接翻译成英文。总参数 340 亿,每次推理只激活约 43 亿,支持 40 种语言转录、31 种语言与英语互译,最多能区分 8 名说话人。

更关键的是,它开源了。权重、数据、训练配方全部放在 Hugging Face 和魔搭上,许可证 OpenMDW-1.1 允许商用。在 Hugging Face 的 Open ASR 英文榜单上,它以 4.71% 的平均词错误率排在开源模型第一,领先阿里巴巴的 Qwen3-ASR(4.94%)和 IBM 的 Granite Speech。

一个模型吃掉整条语音流水线

过去几年,语音技术的进步是线性的:识别更准了,翻译更快了,说话人分离更稳了。但进步的方式没有变,仍然是专用模型解决专用问题。transcription、translation、diarization 是三个独立工种,工程师的工作是把它们串起来。

Nemotron 3.5 Transcribe 改变了分工方式。它的底层是 Speech-Augmented Language Model(SALM),本质是把音频编码后塞进一个大语言模型的上下文里,让语言模型用“理解文本的方式”理解语音。于是语音任务变成了文本任务:你给它一段会议录音,再给它一句“把这份录音整理成书面会议纪要,去掉口头禅,标出每位发言人的名字”,它就像处理一段文字提示那样输出结果。

这套思路的直接好处是“一次推理,多种产出”。模型支持 65,536 token 的上下文窗口,能处理最长一小时的录音,音频、提示词和输出共享同一个上下文预算。同一段音频,换一条指令就能得到逐字稿、带时间戳的富转录、代码切换转录,甚至直接回答“刚才谁同意了预算方案”这类音频理解问题。说话人区分目前覆盖 13 种语言,最多可标记 8 名发言者。

英伟达同时发布的 Granary v2 数据管线,解释了这种能力从哪来。这套基于 NeMo Curator 构建的系统,把同一段录音“翻译”成多种输出形态:逐字版、书面版、去填充词版、代码切换版,再加上转录衍生的字幕和问答对。语言覆盖从 Granary v1 的 25 种扩大到 48 种,完整处理集合约 84.36 万小时音频,其中约 14.28 万小时被译成英语,5.5 万小时英语音频被译成 31 种目标语言。

数据决定上限。Granary v2 的标签质量过滤让 9 个基准的未加权平均词错误率从 4.91% 降到 4.67%。Nemotron 3.5 Transcribe 的训练数据里就包含 Granary v2,这解释了它为什么能在开源榜单上压过一众专用 ASR 模型。

MoE 架构让 340 亿参数变得可用

340 亿总参数、每次只激活 43 亿,这是理解这款模型商业可行性的关键数字。

如果是一个稠密模型,340 亿参数意味着推理成本高到只能跑在云端集群上。Nemotron 3.5 Transcribe 用的是 Mamba-2 与 Transformer 混合的专家混合(MoE)架构,配合 Parallel Expert Encoder,一个 Transformer ASR 编码器加一个说话人编码器。任何一次推理,大部分网络保持沉默,只有约 43 亿参数被激活。

效果是精度和成本的折中点被重新划定。在 Hugging Face Open ASR 英文榜上,它以 4.71% 的平均 WER 排在开源第一;长语音 ASR 平均 WER 10.98%,多语言 ASR(7 种语言)4.62%,多说话人 ASR(AMI、CALLHOME、Mixer 6、NOTSOFAR-1 完整会话)平均 cpWER 15.80%,全部优于次优开源模型。而部署只需要 1 张 H100 80GB。

英伟达还给了更极端的效率数字:在 RTX PRO 6000 Blackwell Server Edition GPU 上,用 NVFP4 精度加 DFlash2 推测解码,每秒能转录 2,238 秒音频,30 秒录音 0.13 秒返回结果。不过英伟达也老实承认,这些服务优化还没进开源版本,目标是上游到 NeMo Speech。

这意味着什么?意味着企业可以把一个“能听、能翻、能分人、能总结”的模型部署在自己的 GPU 上,而不是把录音上传给第三方 API。对金融、医疗、法律这些对数据出域敏感的行业,这是比准确率更重要的门槛。

开源是英伟达的“卖水”策略

英伟达为什么要开源?答案不在模型本身,在 GPU。

语音转录是典型的算力消耗型场景。一通一小时的客服电话、一场两小时的跨国会议、一天八小时的庭审录音,都要用 GPU 逐秒推理。模型越开放,采用的人越多,推理需求越大,对英伟达 GPU 和 NIM 微服务的需求就越大。

OpenMDW-1.1 许可证允许商用,权重、数据、训练配方全部放开。需要说明的是,部分中文媒体报道将其写作 OpenMDL-1.1,官方名称为 OpenMDW-1.1。企业拿到模型后可以基于 Granary v2 的数据管线和 NeMo Speech 的微调工具,用自己的领域数据做适配。英伟达给出的医疗 ASR 案例里,微调后在留出说话人上的词错误率相对最佳提示词降低了 45.8%。

这是一种“模型免费、算力收费”的经典打法。开源模型降低了采用门槛,把更多语音工作负载从 CPU 和第三方 API 赶到 GPU 上;而一旦企业开始微调、开始部署、开始跑推理,它们就会自然地留在英伟达的 CUDA 生态里。

更微妙的是榜单效应。Nemotron 3.5 Transcribe 在 Hugging Face Open ASR 英文榜上排第一,领先 Qwen3-ASR 和 IBM Granite Speech。开源榜单是开发者的风向标,排第一的模型会吸引更多下载、更多微调、更多生产部署,然后吸引更多算力消费。

谁会被动,谁会受益

先说受益者。呼叫中心、会议 SaaS、医疗病历录入、法律庭审记录、媒体字幕制作,这些行业会最先吃到红利。过去它们要分别采购 ASR、翻译、说话人分离服务,现在一个开源模型就能覆盖大部分场景,而且能本地部署。

再说被动者。纯 ASR 创业公司的空间被压缩了。当一个大模型能同时做好识别、翻译、分人、总结,而且免费开源时,单点 ASR 服务的溢价能力会快速下降。它们要么转向垂直领域的深度微调,要么转向端到端的工作流产品,只卖“识别引擎”会越来越难。

大厂之间则是另一场仗。阿里巴巴的 Qwen3-ASR、IBM 的 Granite Speech 已经在榜单上被压了一头。语音能力的竞争正在从“谁的识别更准”变成“谁的模型更通用、生态更开放、微调更顺手”。这对开发者是好事,开源模型之间的军备竞赛,最终会转化为更快的迭代和更低的成本。

还有一个容易被忽略的受益方:小语种。40 种转录语言、31 种翻译语言,Granary v2 覆盖 48 种语言。大厂的语音服务往往优先优化英语和汉语,而开源模型的数据管线一旦覆盖更多语种,小语种场景的转录质量会被整体抬升。

语音技术的范式切换

Nemotron 3.5 Transcribe 真正的信号不是“英伟达又发了一个开源模型”,而是语音技术的范式切换:从拼装多个专用模型,到用一个可提示的大模型吃掉整条流水线。

短期看,它会加速语音工作负载向 GPU 迁移,巩固英伟达在推理侧的护城河。中期看,开源权重会把语音能力变成基础设施,单点 ASR 服务的商业空间被压缩,垂直微调和端到端工作流成为新的竞争点。长期看,当“听、翻、分人、总结”变成一句提示词就能完成的事,语音交互的门槛会进一步降低,更多应用会把语音当作原生输入方式。

对开发者来说,现在最值得做的不是重复造轮子,而是基于 Granary v2 的数据管线和 NeMo 的微调工具,把自己的领域数据变成护城河。模型是公开的,数据是你的,这才是开源时代真正的差异化。

作品声明:内容由AI生成