每次你打开ChatGPT，输入一段长长的对话历史，然后盯着屏幕等那个光标闪烁——你等的不是第一个字，而是模型在“填缓存”。
这个被称作“预填充”（prefill）的阶段，是每一个大语言模型生成第一个token之前都必须完成的功课：把整个输入上下文从头到尾算一遍，把中间结果存为KV缓存。之后的每个字都可以复用缓存，快得像翻书。但问题是——一旦切换模型，缓存作废，从头再来。
英伟达的研究团队刚刚捅破了这层窗户纸。他们发现，同一模型家族内不同大小模型的KV缓存存在惊人的线性关系，只需一个闭式线性映射，就能把源模型的缓存搬运到目标模型上。目标模型直接跳过预填充，转换速度比特意重新处理上下文快2.7到25倍。
一个被默认接受的“必要成本”
先理解问题的规模。
在LLM推理的完整流程中，预填充阶段占据了首token延迟（TTFT）的绝大部分。当用户输入一篇论文、一段客服对话记录或一个包含数千行代码的上下文时，模型必须先完成这个“全文通读”才能开始生成。论文实测数据显示，对于32K token的长上下文，Llama 3.1 70B的重新预填充耗时约11.5秒，Qwen3 32B约为7秒——这仅仅是“读完题”的时间。
更隐蔽的成本在于多模型切换。
生产级LLM部署早已不是“一个模型打天下”的模式。出于成本与质量的权衡，服务商通常在同一模型家族内配置多个不同规模的模型：小模型处理简单查询，大模型应对复杂推理。OpenAI的API路由、Anthropic的Claude模型分层、Google的Gemini系列——几乎所有主流服务都在做类似的模型编排。每次切换，接收模型都必须重新处理整个累积的对话历史。一段32K token的对话，在模型A和模型B之间流转一次，就要付出两次预填充的代价，总计超过20秒的纯计算时间。
在长上下文和Agent场景中，这种冗余计算迅速膨胀。一个Agent可能在一轮任务中调用模型数十次，每次切换就是一次“全文重读”。
英伟达的答案：KV缓存是可迁移的
英伟达研究团队在arXiv上提交的论文《Cross-Model KV Cache Transfer in LLM Families: A Closed-Form Linear Mapping for Prefill Reuse》（arXiv:2608.03893）中，提出了一个简洁而优雅的方案。
核心发现是：在同一模型家族内部，不同大小模型的KV缓存存在显著的线性结构。以Qwen3 14B到32B的迁移为例，一个源层就能解释目标模型Key中56%的方差、Value中32%的方差；使用多个源层时，这一比例分别上升到79%和65%。
基于这一发现，他们设计了一个闭式岭回归映射器，按attention head独立操作，仅需500条长度为1024 token的校准序列，在标准硬件上不到一小时内即可完成拟合。映射器先剥离RoPE旋转位置编码再做映射，使其与位置无关，可在不同上下文长度之间复用。
为什么说这是“抄作业”
这个比喻出奇地贴切。
传统模式下，每次模型切换相当于让一个学生拿到一份全新的试卷，必须从头开始读题、理解、计算。英伟达的方案则是让第一个学生做完题后，把答案（KV缓存）传给第二个学生——第二个学生只需快速看一眼答案的结构，就能跳过读题阶段直接开始作答。
当然，答案不能直接照搬。不同模型的“答题格式”不同——隐藏层数、注意力头配置、维度都有差异。英伟达的线性映射器相当于一个“格式转换器”，把源模型的答案翻译成目标模型能读懂的格式。
这个翻译过程本身极快。论文给出的实测数据：
- Qwen3 14B→32B：278 ms vs 6,975 ms，加速4.4–25.1倍
- Qwen3 8B→32B：392 ms vs 6,975 ms，加速4.3–17.8倍
- Llama 3.1 8B→70B：777 ms vs 11,562 ms，加速4.5–14.9倍
- Ministral 3 3B→14B：396 ms vs 2,465 ms，加速3.8–6.2倍
- Ministral 3 3B→8B：438 ms vs 1,764 ms，加速2.7–4.0倍
加速比随序列长度增长而扩大——因为映射器的计算时间增长速度远慢于完整的预填充。对于32K token的长上下文，最大加速达到25倍。即使对于短序列，加速效果也在4到7倍之间。
为什么以前没人做
KV缓存复用并非新概念。
行业内早已有“前缀缓存”（Prefix Caching）——同一个模型处理相似前缀的请求时，可以复用已计算好的缓存。vLLM、SGLang等主流推理框架都已经支持这一特性。但它的局限很明显：只能复用自己的缓存，不能跨模型。
跨模型迁移难在两点。
第一，不同模型的“内部语言”不同。即使训练数据相似、架构同源，它们的表示空间也不对齐。KV缓存本质上是模型在特定输入上的内部隐状态，一个模型认为重要的信息，另一个模型可能根本不关心。此前的研究尝试用神经网络适配器、隐空间对齐、注意力模式映射等方法来解决，但都需要梯度训练或强架构假设，部署成本高。
第二，位置编码的干扰。旋转位置编码（RoPE）对Key向量施加了依赖于位置的旋转，如果不做处理，映射器学到的权重就会被绑定到特定位置，无法泛化到不同长度的上下文。
英伟达团队的关键洞察在于：位置编码是可分离的。他们剥离RoPE后再做映射，让映射器学到的是“纯语义”空间中KV之间的线性关系。这个“内容空间映射”的设计，使得学到的映射器可以无缝应用于任何上下文长度。
准确率能保留多少
论文在Qwen3、Llama 3.1、Ministral 3三个家族的六组“匹配KV头”的模型对上进行了评估——匹配KV头意味着源和目标模型共享KV头数和单头维度，这是当前方法有效的前提条件。
在四组优秀对上，线性映射器保留了目标模型独立预填充准确率的73%到98%。其中Qwen3 14B→32B的表现最为亮眼，在五个基准测试上平均保留率达到97.6%。
但有两组困难对（主要是Ministral 3家族的某些迁移）出现了显著性能下降。研究团队发现，问题的根源不在误差的“大小”，而在误差的“位置”——落入attention敏感子空间的误差比普通误差破坏性大得多。传统的R²指标与最终任务表现的相关性极弱（r=−0.20），几乎无法预测迁移效果；而attention输出余弦相似度（r=+0.57）和误差集中度才是更好的预测指标。
对于困难对，用非线性MLP替代线性映射器，可以在HellaSwag上额外保留37个百分点。这说明KV缓存的线性结构虽然普遍存在，但在某些模型对上仍需非线性校正。
此外，系统在多轮对话中表现出良好的稳定性。在一个10轮交接测试中，准确率的漂移很小且呈线性，说明传输的缓存不会导致模型在长时间会话中推理崩溃。
对AI推理基础设施意味着什么
这项研究的商业影响可能比技术本身更深远。
当前LLM API的定价中，上下文处理费用占据了显著比例。以主流API为例，输入token的成本不仅来自网络传输，更来自预填充计算。在长对话和长文档场景中，这部分成本尤其突出。
如果KV缓存可以在模型之间自由迁移，意味着用户在切换模型时不必承担重复计算成本，模型升级时不必丢弃已有的对话上下文，多模型编排的成本结构将被重塑。
更进一步，英伟达的这项研究可以看作是其推理基础设施战略的一部分。从Dynamo推理框架到KV Cache Offloading，再到现在的跨模型迁移，英伟达正在系统性地构建一个高效推理的“软件护城河”。它不只是在卖GPU——它正在定义AI推理的底层规则。
谁将被改变
推理服务商是最直接的受益者。多模型路由策略的成本将大幅降低，不再需要为每次切换支付“预填充税”。这对于追求成本-质量平衡的API服务尤为关键——一个服务商可以更自由地在大模型和小模型之间切换，让每个查询都匹配最合适的模型，而不必担心切换成本吞噬了收益。
AI应用开发者将获得更流畅的体验。Agent系统在模型间切换时不再需要忍受首token延迟的断档感，对话式AI的响应速度将更加一致。一个典型的场景是：Agent先用小模型快速处理常规对话，遇到复杂问题时无缝切换到大模型做深度推理，用户几乎感知不到切换的存在。
模型家族化趋势可能进一步加速。跨模型KV缓存迁移的前提是“同一家族”——共享核心架构和训练数据。这意味着模型生态可能会向“家族聚合”演化，家族内的模型越多，切换的经济性越好。这或许会促使更多模型厂商效仿Qwen3、Llama 3.1的家族化发布策略。
局限与未解问题
论文目前仅证实在“匹配KV头”的模型对之间有效。对于KV头不匹配的迁移，以及跨家族的迁移（如Qwen到Llama），还需要进一步研究。此外，两步映射器（线性+MLP）虽然能恢复困难对的性能，但增加了部署复杂度——并非所有场景都值得额外付出这个成本。
映射器的存储也是需要考虑的因素。每个映射器大约4到12GB，虽然可以放在CPU内存或磁盘上按需加载到GPU，但一场大规模部署中的映射器数量可能随着模型对数量平方增长。
预填充是LLM推理的必修课——但英伟达证明了，这门课可以抄。当第一个模型做完功课后，所有后来的模型都不必再重读一遍课本。这可能是自前缀缓存以来，推理效率领域最务实的一次突破。而它真正的价值，或许不在实验室里，而在那些毫秒级的延迟缩减背后——每一次对话的流畅切换、每一分API费用的节省、每一个原本需要等待的Agent任务中。
抄作业，第一次成了褒义词。
快报