真正的好戏不在芯片里，而在编译器栈中。
2026 年 10 月 18 日凌晨，半导体行业分析师 SemiAnalysis 披露：英伟达工程师在 Kimi K3 这个 2.8 万亿参数的巨型模型上，把推理速度推到了 423 tok/s/user。数字本身足够亮眼，但更值得玩味的是后半句：同样的硬件，快了 1.68 倍。
在 GPU 算力被普遍视为 AI 时代“水电煤”的今天，英伟达正用一行行代码，从自己最擅长的硬件护城河之外，再挖出一条效率通道。这条通道的入口，是一段 1.2 万行代码的 Megakernel。
现象：一次“软优化”带来的硬提升
这次优化的对象，是月之暗面（Moonshot AI）的 Kimi K3。按照 vLLM 官方博客 2026 年 7 月的披露，Kimi K3 是一个 2.8 万亿参数的混合专家（MoE）模型，每处理一个 token 只激活 896 个专家中的 16 个，拥有 100 万 token 的上下文窗口，并基于 Kimi Delta Attention（KDA）、Attention Residuals 和原生 MXFP4 4-bit 权重构建。
vLLM 在发布 day-0 支持时给出的成绩是：16 张 NVIDIA GB300 NVL72 GPU 上，无投机解码的基线速度为 118 tok/s；开启 DSpark 投机解码后达到 370 tok/s，提升 3.14 倍。发布首日、batch size 为 1 的条件下，TP8 为 111 tok/s/user，TP16 为 118 tok/s/user。
英伟达 CentML 工程师 Benjamin 带来的这次优化，在相同硬件条件下把速度推到了 423 tok/s/user，较此前提升 1.68 倍。需要说明的是，这两个数字来自不同的测试口径，不宜直接相减；但 1.68 倍这个倍数本身，已经足以说明问题。
实现这一提升的，是一段 1.2 万行代码的 Megakernel。它用英伟达的 CuTe DSL 编写，专为解码（decode）任务设计，通过激进的算子融合，把原本分散的解码内核合并成一个庞大的融合内核。SemiAnalysis 在后续评论中点出了关键：“解码是内存带宽受限的，这证明下一个重要的服务性能胜利在编译器栈，而不是晶圆厂。”
这段话值得反复读。过去十年，AI 行业的性能叙事几乎全部围绕“制程—晶体管—算力”展开：芯片每两年换代一次，算力密度翻一番，一切问题都可以用更多 GPU 解决。但这一次，英伟达没有换芯片，没有堆卡，而是在同一批 GB300 NVL72 上，用软件把性能抬升了 68%。
为什么是解码
要理解这次优化的含金量，得先理解大模型推理的两个阶段。
推理的第一步叫预填充（prefill）：用户的一整段 prompt 一次性送进模型，所有 token 并行计算。这个阶段计算密集，GPU 的算力单元能吃得比较满，优化空间主要来自算子效率和并行策略。
第二步叫解码（decode）：模型开始一个 token 一个 token 地往外生成。每生成一个 token，都要把整个模型的权重从显存里读一遍，做一次前向计算，再写回新的 KV 缓存。生成 100 个 token，就要重复 100 次“读权重—算—写缓存”的循环。
问题就出在这里。Kimi K3 有 2.8 万亿参数，即使用 4-bit 量化，每次前向计算要搬运的数据量依然以百 GB 计。GPU 的计算单元经常处于“等数据”的状态：数据还没从显存搬到片上，算力就已经闲置了。这就是典型的内存带宽瓶颈。
英伟达这次的做法，不是换更快的显存，也不是堆更多 GPU，而是从内核层面动手术。减少内核启动开销、合并内存访问、让数据在片上多复用几次。Megakernel 融合的本质，是把多次独立的内存读写合并成一次，把多次内核启动合并成一次。对于解码这种“搬数据比算数更贵”的场景，每一次合并都在把闲置的算力唤醒。
1.68 倍，就是这么从带宽缝隙里挤出来的。
CuTe DSL 与 AI 辅助内核生成
这段 1.2 万行代码的 Megakernel，用的是英伟达的 CuTe DSL（Cute Tensor DSL）。这是英伟达为 Hopper 及后续架构推出的底层张量编程模型，让工程师能以更细粒度控制内存布局和数据移动。用 CuTe 写内核，就像从汇编层面重新编排数据的流动路径，门槛极高，收益也极高。
但真正值得关注的，是 SemiAnalysis 对这段代码的评价：“largely AI-assisted via Cute DSL”，即大部分代码由 AI 辅助生成。SemiAnalysis 直言，这是“advanced AI-assisted kernel generation 的未来”，甚至调侃“该给这位英伟达 10x 工程师加薪了”。
这里藏着一个反直觉的信号。过去，高性能计算内核是少数顶尖工程师的手艺活，手写 CUDA kernel 是护城河中的护城河。一个成熟的解码内核，往往需要工程师对 GPU 的内存层次、指令流水线、warp 调度有直觉级的理解，培养周期以年计。现在，AI 开始参与写这些“护城河代码”，而且交出的作业比手工调优快 1.68 倍。
这意味着两件事。第一，内核优化的门槛在被降低：AI 可以把资深工程师的经验编码成生成能力，让普通工程师也能产出接近顶尖水平的内核。第二，内核优化的迭代速度在被加快：过去需要数周手工打磨的算子，现在可以在 AI 辅助下快速生成多个变体、自动搜索最优解。
这或许才是“AI 写代码”最性感的落地场景。它不是生成 CRUD 业务代码，不是替程序员写 boilerplate，而是生成榨干硬件最后一滴性能的系统代码。当 AI 能够理解硬件、理解算子、理解内存层次，并把这些理解编译成 1.2 万行高效内核时，软件与硬件之间的最后一道墙，正在被 AI 拆掉。
英伟达的编译器野心和 CentML 拼图
把视线拉远，这次优化不是孤立事件。
英伟达近年来持续收购编译器与优化软件团队。其中，加拿大 AI 初创 CentML 的收购尤为关键。公开报道显示，CentML CEO Gennady Pekhimenko 已出任英伟达 AI software 高级总监，英伟达至少从 CentML 吸纳了 15 名工程师和 2 名实习生。
CentML 的核心能力，正是用编译器和软件优化手段，让大模型在现有硬件上跑得更快、更省。这家公司的逻辑很直接：客户不会因为下一代芯片更快就立刻换掉手里的 GPU，但如果有一套软件能让现有集群的吞吐量提升 30%、50%，客户会毫不犹豫地买单。这次由 CentML 工程师主导的 vLLM 优化，恰好是这套逻辑的落地。不依赖下一代芯片，而是用软件把这一代硬件的潜力榨干。
更要注意的是，英伟达已在推进 DeepSeek V4.1 等其他模型的 vLLM 适配优化。这意味着，Megakernel 融合不是为 Kimi K3 量身定制的一次性工程，而是一套可复用的优化框架。今天用在 Kimi K3 上快 1.68 倍，明天就可能复制到 DeepSeek、Llama 乃至更多模型上。
这就是英伟达真正的编译器野心。让 CUDA 生态从“硬件的附属品”变成“性能的发动机”。当每一代新模型发布，英伟达都能第一时间用软件优化把它在自家硬件上调到最优，模型公司就没有理由离开这个生态。
对手的反应：竞争正在向软件层蔓延
英伟达的动作，对手看在眼里。
AMD 的 ROCm 团队已经公开了 Kimi K3 在 MI350X 上的基准测试，对比了 vLLM、SGLang 和 ATOM 三个框架的表现。TPU 阵营也没有闲着，Inferact 团队在 TPU v7 上实现了 Kimi K3 的 Megakernel，配合投机解码跑出超过 700 tokens/s 的成绩。
这些数字背后的共同点是，竞争焦点正在从“谁的芯片更快”转向“谁的软件栈更能榨干硬件”。芯片性能的代际差距在缩小，但软件优化的差距可以拉开几个百分点甚至成倍的差距。当硬件逐渐趋同，软件栈就成了新的差异化战场。
这对整个行业是个提醒。买 GPU 不再是买一块板卡，而是买一整套编译器和内核生态。哪家公司的软件团队能更快地为新模型写出最优内核，哪家就能在推理成本上占据优势。
效率红利归谁
对算力买家来说，这是个好消息。同样的 GPU 集群，推理吞吐量提升 1.68 倍，意味着单位 token 成本下降，或者同样的预算能支撑更多并发。有评论指出，“只要需求持续吸收这些效率增益，这对算力持有者是利好”。
但对英伟达自己，这是一把双刃剑。一方面，更强的软件栈会进一步巩固 CUDA 生态的粘性——客户买的不仅是 GPU，更是一整套越用越快的软件系统。这种粘性比单纯的性能领先更难被撼动，因为竞争对手要追赶的不是一块芯片，而是一个积累了十几年的软件生态。
另一方面，如果推理效率提升太快，客户对新增算力的需求可能会被部分抵消，短期卖卡节奏可能放缓。毕竟，当现有集群的吞吐量凭空多出 68%，企业推迟采购新 GPU 就成了理性选择。
历史经验是，效率提升往往刺激出更多需求，而非抑制需求。个人电脑、云计算、移动互联网都走过同样的路：每一次效率跃升都让应用成本下降，进而打开新的应用场景，总需求反而扩张。英伟达赌的，正是这个“效率—需求”的正循环：推理成本越低，AI 应用越多；AI 应用越多，对算力的总需求越大。
尾声
回到开头的问题：AI 时代的下一波性能红利从哪里来？
英伟达用 1.2 万行 CuTe 代码给出了答案：不在晶圆厂，而在编译器栈。当摩尔定律放缓，硬件迭代变慢，软件优化的边际价值正在快速上升。
对月之暗面这样的模型公司，这意味着推理成本的可控性多了一重保障；对英伟达，这意味着它的护城河从“硬件性能”扩展到了“硬件×软件×AI”的三重叠加；对整个行业，这是一个提醒。在追逐下一代芯片的同时，别忘了现有硬件里还藏着大量未被榨干的性能。
当所有人盯着下一代芯片的晶体管数量时，英伟达用 1.2 万行代码证明：真正的性能红利，有时候不在晶圆厂，而在一行行被 AI 写就的编译器代码里。
快报