当一个模型被训练完成，它的先验信念就凝固在了数亿个参数之中。
Prior-Data Fitted Network（PFN）的核心思想是用 Transformer 来摊销贝叶斯推断：在训练阶段，模型见到海量从某个先验分布中采样的合成数据集；在测试阶段，只要把新数据集作为上下文输入，模型就能在单次前向传播中输出近似贝叶斯后验的预测。2022 年 NeurIPS 上，Samuel Müller 和 Noah Hollmann 等人首次提出了 PFN 概念，证明 Transformer 可以在激活值中运行贝叶斯推断，在某些任务上比 MCMC 和变分推断快 200 倍以上。
这项路线随后诞生了 TabPFN，一个在 ICLR 2023 亮相的 Transformer 模型，能在不到一秒内完成小样本表格分类，无需任何超参数调优，性能与顶尖 AutoML 系统持平，速度却快 70 倍（GPU 下可达 3200 倍）。TabPFN 的成功让学界看到将贝叶斯推断摊销到 Transformer 前向传播中，是一条可行且高效的技术路线。
但这里有根看不见的锁链。PFN 在训练时见过多少种先验，它的权重里就隐含了哪种先验。一旦测试时遇到的分布与训练先验不同，模型的预测就会变得不可靠。因为那个先验被焊死在了参数里，你不能在推理时告诉它这次的环境变了，请换个先验来思考。
先验本该是灵活的先验知识，在 PFN 这里却变成了固定的参数假设。
当先验成为上下文
ICML 2026 上，来自纽约大学数据科学中心和 Mount Sinai 医院的研究团队提交了一篇打破这种僵局的论文，题为 Multi-Task Bayesian In-Context Learning。第一作者 Qingyang Zhu 是纽约大学数据科学中心的博士生，由 Eric Karl Oermann 和深度学习领域知名学者、GRU 发明人之一 Kyunghyun Cho 共同指导。
他们的核心洞察直白到令人惊讶：既然 PFN 的问题在于先验被固定在了权重里，那为什么不把先验也变成上下文的一部分，让模型从示例数据中现场学习先验呢？
框架的运作方式是这样的。在标准的上下文学习（ICL）中，模型收到一组示例（query-response pair）作为上下文，然后对新的 query 做出预测。但在多任务贝叶斯上下文学习（MT-ICL）中，输入序列被分为两部分：先验数据集（prior tasks）和目标任务数据集（target task）。先验数据集是多个相关但不同分布的数据集，它们被放在目标示例之前，充当起始信念的角色。
模型在训练时，看到的是先验任务序列到目标任务的序列结构。它需要学会从先验数据集中提取跨任务的共享结构，然后在目标任务上做出预测。由于先验数据集在推理时是可以替换的，改变前缀数据集就能改变模型所依赖的先验，从而调整后验预测分布，整个过程不需要任何参数更新。
这就像给模型装了一个可插拔的先验读取器。在 PFN 中，先验是训练数据中隐含的、不可修改的统计模式；在 MT-ICL 中，先验变成了一个显式的输入，模型学会的是如何从多个相关数据集中提取先验结构这一元能力，而非记住某个特定先验。
论文还设计了一种精巧的因果注意力掩码机制：先验任务内的 token 可以互相注意，先验任务可以注意之前的先验任务，目标 token 可以注意所有先验 token 但只注意自身之前的目标 token。这种设计防止了未来目标输出的信息泄露，同时让先验信息充分流动。
实验场上的硬仗
线性回归基准
在标准设置下，MT-ICL 的预测与贝叶斯最优预测几乎完全重合。当测试先验与训练先验一致时，它的表现与 PFN 相当。这并不意外，因为 PFN 本来就擅长处理熟悉的先验。
分布外测试
真正的考验来自 out-of-meta-distribution 测试。团队构造了重尾分布先验、高维隐变量先验等训练时从未见过的先验设定。在这些场景下，PFN 的预测开始偏离最优解，因为它无法调整其隐含的固定先验。而 MT-ICL 通过读取上下文中的先验数据集，仍然能够接近贝叶斯最优预测，有时甚至比 PFN 在域内任务上的表现更好。
高维隐变量结构
团队测试了更复杂的先验空间，包括具有高维隐变量的层次贝叶斯模型。MT-ICL 在这些场景下同样保持了竞争力，说明它学习的并不是针对某个特定先验分布的过拟合，而是一种通用的先验提取能力。
最令人印象深刻的是速度。传统的贝叶斯推断方法，如 MCMC 采样，在大规模应用中往往需要数小时甚至数天才能收敛。变分推断虽然更快，但需要设计特定的变分族，且可能引入偏差。MT-ICL 在推理时只需要一次 Transformer 前向传播。论文报告称，它比基于采样的推断方法快了数个数量级。
从合成数据到真实气候
研究团队没有止步于合成数据实验。他们将 MT-ICL 应用到 ERA5 再分析数据集中的全球地表温度预测任务上。ERA5 是欧洲中期天气预报中心（ECMWF）发布的第五代大气再分析数据集，覆盖了全球从 1940 年至今的逐小时气象数据。
在这个场景中，每个网格点或区域可以被视为一个任务，不同区域的气候模式构成了自然的先验变化。MT-ICL 通过将不同区域的温度数据作为先验上下文，让模型学会这个地方的气候模式是什么样的，然后对目标区域做出预测。
实验结果显示，MT-ICL 在大多数温度预测任务上能够匹配甚至超越传统的贝叶斯参考方法。这证明了这项技术不仅在合成数据上有效，在真实世界的科学问题中同样具有实用价值。
但论文也诚实地记录了一个重要限制：当面临剧烈的季节性变化时，模型仍然会暴露明显的短板。如果测试区域的季节模式与先验数据集中的模式差异过大，模型的预测精度会显著下降。这个限制揭示了 MT-ICL 的边界：它学会了从示例中提取先验，但它的先验学习能力本身是在训练数据覆盖的范围内学到的。如果真实世界的先验结构超出了训练时见过的先验家族，模型仍然需要从零开始泛化。
一条可插拔先验的道路
MT-ICL 的意义不仅在于它比 PFN 更灵活。它揭示了一个更深层的方向：在 Transformer 架构中，先验知识不必也不应该被固化在参数里。把先验变成上下文输入，让模型在推理时根据可替换的上下文自行调整，这种设计范式可能影响更广泛的领域。
从理论脉络来看，这项工作与 In-Context Learning Is Provably Bayesian Inference（ICLR 2026）等理论工作形成了呼应，后者从有限样本统计学习理论的角度，证明 ICL 的预测风险可以分解为贝叶斯差距和后验方差两项，且任务混合的不确定性随上下文示例数量指数级衰减。MT-ICL 在实践层面验证了这一理论框架的预测力。
从方法演进来看，它与 Task Vector（Hendel 等人，2023）和上下文学习中的隐式贝叶斯推断理论（Xie 等人，2022；Akyürek 等人，2023）一脉相承。如果说 Task Vector 证明了大语言模型可以将上下文示例压缩为一个任务向量来调制输出，那么 MT-ICL 则进一步证明这种任务向量可以来自多个相关数据集，并且可以显式地作为先验来控制模型的预测行为。
当然，MT-ICL 也有明确的局限。论文中提到的极端季节性变化问题表明，当前的先验适应能力仍然受限于训练数据的覆盖范围。此外，先验数据集的选择本身就是一个开放问题。如果用户提供了不合适的先验数据，模型是否会学到错误的先验？如何确保先验数据集的质量和代表性？这些问题尚未被充分回答。
但瑕不掩瑜。在贝叶斯推断的工程化道路上，MT-ICL 迈出了关键一步：它证明了 Transformer 不仅可以做贝叶斯推断，还可以做可调控的贝叶斯推断。先验不再是焊死在权重里的秘密，而是可以被读取、替换和调整的显式输入。
对于每一个需要模型在不确定环境中做决策的领域，包括气候预测、药物发现、机器人控制、金融建模，这项技术都意味着一种更灵活、更高效的推断方式。它不给模型一个固定的世界观，而是让模型学会如何根据新的世界状况调整自己的世界观。
这或许正是通用智能所需要的：不是记住所有答案，而是学会如何根据新信息重新思考。
快报