英伟达开源语音转录模型,8 人抢话也能分清

2026.10.30 14:14
英伟达开放 Nemotron 3.5 Transcribe 模型权重,用 340 亿总参数、每次激活 43 亿的 MoE 架构,把转录、说话人分离、翻译和时间戳合成一个模型,并在多项开源榜单拿到第一。它同时放出 Granary v2 数据流水线与微调配方,把语音转录的战场从“谁听得更准”推向“谁转得更便宜、更可控”。对闭源语音 API 而言,准确率已不再是收费理由,剩下的护城河只有成本与数据可控性。

把一段会议录音变成带说话人、带时间戳、还能翻译的文本,过去至少需要四五个模型接力。现在英伟达说,一个就够了。

一个模型吃掉整条语音流水线

英伟达正式开放了 Nemotron 3.5 Transcribe 的模型权重。这不是一次普通的模型发布,而是一次对语音处理工作流的收口。

传统的语音转录流水线是拼起来的:一个模型负责听写,一个模型负责区分说话人,一个强制对齐器把单词和时间戳对上,再来一个翻译模型做跨语言转换。每一跳都多一份部署、多一份延迟,错误还会层层累积。

Nemotron 3.5 Transcribe 把转录、说话人归属、翻译、单词级时间戳,甚至音频问答,全部塞进一个检查点。开发者用自然语言指令决定输出形态:要原文、要翻译、要说话人标签,一句话的事。它支持 40 种语言的转录,其中 31 种可与英语双向互译,说话人归属覆盖 13 种语言。单次可处理长达 1 小时的连续录音,最多同时区分 8 名说话人,上下文窗口 65K token。

在底层架构上,模型采用混合专家(MoE)架构,总参数量约 340 亿,每次前向传播只激活约 43 亿参数。音频编码器先把每秒声音压缩成 12.5 个 token,再由混合 Mamba–Transformer 的 MoE 模型写出文本,最后由一个小型时间戳头把每个单词对齐回音频。模型以 BF16 和 FP8 两种精度开放权重,采用 OpenMDW-1.1 许可,可下载后跑在自己的 GPU 上,从 DGX Spark 到 Blackwell 数据中心系统,单卡即可运行。

MoE 的真正价值,是让开源模型在效率曲线上追上闭源 API

过去开源语音模型的尴尬在于:准确率追上闭源模型时,推理成本高得吓人;把成本压下来,准确率又掉回去。Nemotron 3.5 Transcribe 的解法很直接,用 MoE 把“大”和“快”拆开。

340 亿总参数给了模型足够的容量去记忆多语言、多口音、多领域的表达;但每次只激活 43 亿参数,意味着推理时的计算量和显存占用接近一个中等体量模型。在 Artificial Analysis 的非流式测试中,它落在准确率与激活参数的帕累托前沿上:约 40 亿激活参数,词错误率 2.8%。换句话说,它用别人一半不到的激活成本,拿到了榜单第一梯队的准确率。

对开发者来说,这个取舍的意义比数字本身更大。语音转录是典型的离线批处理负载,企业关心的是一块 GPU 一天能转多少小时音频,而不是单次延迟。MoE 让同一个模型既能挂在云端做批量转录,也能下放到本地处理敏感录音。医疗问诊、法庭庭审、金融客服,这些场景里数据不出域往往是硬约束,闭源 API 再准也进不去。

榜单背后的信号:开源正在吃掉闭源语音 API 的收费理由

英伟达公布的成绩单相当硬。在 Hugging Face Open ASR 榜单英语组,它平均词错误率 5.33%,是开放权重模型里的第一,第二名的开放模型是 5.40%;长音频转录 10.98% 对 13.37%,七语言多语转录 4.62% 对 6.49%,都是开放权重里最低。说话人归属上,它在 David AI 的 21 语言说话人日志榜单 14 个系统中错误率最低,在 VoiceArena 的英语多说话人转录对比 14 个系统里排第一。

这些数字拼起来指向一个判断:对大量工作负载而言,准确率已经不再是企业为闭源语音 API 付费的理由。剩下的变量只有两个,每小时的推理成本,和数据能不能留在自己手里。

这解释了为什么英伟达要同时放出 Granary v2 和 NeMo Speech 微调配方。Granary v2 是一条开放的数据清洗流水线,公开清单覆盖 463,062 小时、48 种语言、16 个源语料库,比上一代的 25 种语言几乎翻倍。它让开发者可以定义自己需要的输出格式,再把模型适配到自己业务遇到的语音和词汇。英伟达给出的医疗案例里,微调后在保留说话人身上的词错误率,比最佳提示词再降 45.8%。

开源的打法从来不是免费,而是可控制。当一家医院能让模型学会自己的科室术语,当一家律所能让转录结果符合自己的文书格式,闭源 API 那套统一输出、按量计费的商业模式就被撬开了一个角。

语音是智能体的耳朵,而英伟达想卖整条供应链

把视角拉高一层,Nemotron 3.5 Transcribe 不是孤立产品,它是 Nemotron 3.5 开放模型家族向垂直场景渗透的一环。同一时期,英伟达发布了面向智能体的 Nemotron 3.5 Lightning,一个 300 亿参数、可本地运行的开放语言模型,能跑在 RTX PC、RTX PRO 工作站、DGX Spark 和 Jetson 上。

语音转录对智能体意味着什么?意味着会议、电话、播客、课堂这些占企业知识存量最大头的非结构化音频,第一次可以被低成本地转成智能体能理解的文本,还带着谁在什么时候说了什么的结构。一个能听懂 40 种语言、能区分 8 个人、能连续听 1 小时的开源模型,等于给智能体装上了一对便宜又可靠的耳朵。

而这副耳朵最终要插在谁的硬件上?英伟达的 GPU。从 DGX Spark 到 Blackwell,从 RTX 笔记本到数据中心,模型越开放、部署越下沉,对推理芯片的需求就越分散、越无处不在。开放权重看似在让渡软件控制权,实则在为硬件铺路。开发者用英伟达的模型、英伟达的微调工具、英伟达的数据流水线,最后自然跑在英伟达的卡上。

开源语音基座时代来了,闭源 API 的护城河只剩省心

Nemotron 3.5 Transcribe 给专业语音转录提供了一个新的开源基座选项。它未必在所有场景都立刻取代闭源服务,实时流式转录、极端噪声环境、超长连续会议,这些边角还需要时间验证。但它已经把准确率够不够这个问题,从闭源阵营的专利,变成了开源社区可以共同迭代的公共议题。

接下来值得盯三个信号:社区基于 Granary v2 和 NeMo 配方微调出的垂直模型能达到什么水平;Granary v2 的 46 万小时语料里各语言、各场景的分布是否均衡;以及 OpenMDW-1.1 许可的商业边界到底划在哪,能不能直接打包进产品卖、需不需要披露,这些条款会决定它是真开源,还是仅仅可下载的开放权重。

语音转录的战场已经从谁听得更准,转向谁转得更便宜、更可控。当准确率不再是稀缺资源,护城河就只剩下成本和信任两样东西。

作品声明:内容由AI生成