“重力是把所有东西往下拉的力。”
这是 LittleLearner 对“什么是重力”的回答。简单、正确，但仅此而已。
同一个问题，它的对照模型——架构相同、训练方法相同、只有训练语料不同——给出了截然不同的回答：“重力是任意两个物体之间的力，与它们之间距离的平方成反比。”
一个只学过美国小学五年级以内的知识，另一个看过整个互联网。它们之间的差距不仅仅是知识多寡的问题，它指向了一个更根本的追问：大模型那些令人惊叹的能力，到底是真的“学会”了，还是仅仅被“唤醒”了？
2026年8月，马克斯普朗克智能系统研究所、ELLIS Institute Tübingen 和 ETH Zürich 的研究团队，用一份名为 LittleLearner 的研究，给出了一个异常清晰的实验答案。
当模型只上过小学
当前大语言模型的训练方式，本质上是在做一件事：把整个互联网塞进一个神经网络。从维基百科到 Reddit 论坛，从学术论文到同人小说，模型在训练时“看到”了太多东西，以至于研究者几乎无法判断一个模型在某个任务上的表现，究竟是在训练过程中真正学会的，还是在海量数据中偶然瞥到过类似的答案。
这种混淆已经严重到足以动摇整个领域的可信度。数据污染可以显著膨胀基准测试成绩。反转诅咒等怪现象揭示了模型从观察到的事实中泛化的脆弱性。许多被标榜为“涌现”的能力，在更严格的控制实验下被证明只是评测方式的产物。
LittleLearner 的团队选择了一条完全不同的路径——与其在评测端猜测模型知道什么，不如直接在训练端控制模型能学什么。
他们构建了一个名为 LittleCurriculum 的训练语料库，仅有 88B token，从 Hugging Face 的 FineWeb-Edu 数据集（1.3T token）出发，经过五阶段过滤管道精炼而成。这个管道的核心哲学是“精度优先，宁缺毋滥”：先通过词汇习得年龄进行粗过滤，再用 LLM-as-Judge 多级分类器逐段标注年级等级，最终只保留符合美国 Common Core K–5 标准的材料。五年级以上的概念、事实和词汇，被明确排除在外。
然后，他们用这个“纯小学教材”语料从头训练了三个规模的模型：0.6B、1.3B 和 5B 参数。每个模型都有一个完全匹配的“未过滤对照版”——同样的架构、同样的 token 数、同样的训练配方，唯一的区别是训练语料不经过滤。
结果令人震惊。5B 参数的 LittleLearner 能够进行流畅的开放式对话，回答小学范围内的知识问题几乎毫无差错。面对超出范围的问题，它不会崩溃——它会给出一个“小学生式的答案”。被问到“什么是薛定谔的猫”，它回答：“薛定谔的猫是一只长着两张脸的猫。”
它不是在胡扯。它是在用自己仅有的知识框架，尽力回答一个理解不了的问题。这种“有边界的无知”，恰恰是这项研究最宝贵的实验条件。
预训练过滤器设定了能力的上限
团队对模型进行了三个维度的“越狱”测试——规模扩展、后训练（GRPO）和上下文学习——试图看看能否让模型突破 K–5 的知识边界。
规模扩展方面，从 0.6B 到 5B，模型在 K–5 范围内的推理能力稳定提升，但对超出范围的问题（如八年级数学题），提升几乎为零。更多的参数没有带来“无师自通”的奇迹。
后训练方面，团队使用了 GRPO——正是 DeepSeek-R1 使用的强化学习方法——在 MathCAMPS 数据集上对模型进行数学推理训练。结果显示，后训练显著提升了 K–5 范围内的数学能力，但即使训练数据中包含超出范围的内容，模型也无法恢复“超越 K–5”的能力。这相当于给一名五年级学生上大学的课——他可能记住一些术语，但理解不了逻辑。
上下文学习方面，团队尝试了多种提示策略，试图让模型在 few-shot 场景下解决超出知识范围的问题，结果同样无效。
三个实验指向同一个结论：预训练阶段的知识暴露，决定了模型能力的天花板。后训练和上下文学习确实能帮助模型更好地利用已有的知识，但它们无法创造模型在预训练中从未接触过的能力。
“学到”还是“唤醒”——一个被重新打开的议题
“Elicitation, not acquisition”——这是论文原文使用的表述，翻译过来就是：激发，而非习得。
这个结论的意义远超 LittleLearner 本身。过去两年，AI 领域围绕“涌现能力”展开了一场激烈的辩论。2022年，Google 的研究者观察到，当模型规模超过某个阈值时，一些之前不存在的能力突然“涌现”出来——比如思维链推理、代码生成、数学解题。有人据此认为，规模化本身就能带来质变。
但 2023 年，斯坦福的另一组研究者提出了一个强有力的反驳：这些所谓的“涌现能力”，可能只是评测指标选择的人为产物。当使用连续而非离散的评测指标时，能力提升其实是平滑的，不存在突变。
LittleLearner 从另一个维度回答了这个问题。它证明了：即使你把模型的规模从 0.6B 扩展到 5B，即使你用最先进的强化学习方法进行后训练，如果预训练数据中没有相关知识，这些能力就不会出现。
这不是说规模不重要。规模很重要——它在 K–5 范围内显著提升了性能。但规模不能替代知识。没有对应的预训练知识，再大的模型也只能给出“长着两张脸的猫”。
这个实验为什么如此干净
AI 研究中，实验的可控性是一个长期被低估的问题。大多数关于模型能力的实验，都是在“黑箱”上进行的——你不知道模型在预训练中到底见过什么，所以你也无法判断某个能力是训练带来的还是原本就存在的。
LittleLearner 的独特之处在于，它把“黑箱”变成了“透明箱”。因为训练语料被严格限定在 K–5 范围，研究者可以精确地知道模型知道什么、不知道什么。当你在 LittleLearner 上观察到一个新能力时，你可以追溯到它是通过什么方式引入的。当你比较 LittleLearner 和对照模型时，任何差异都可以归因于训练语料的不同。当你想研究“知识注入”时，你有一个干净的基准线——不是从零开始，而是从“已知的已知”开始。
论文中提到了三个令人兴奋的研究方向：强化学习能否在受限先验下创造新能力？持续学习能否让研究者观察一个概念被“学会”的完整过程？机器和儿童学习者需要类似的暴露量才能学会分数吗？
对行业意味着什么
如果 LittleLearner 的结论成立——即预训练数据决定了能力的上限，后训练和 ICL 只能激发而不能创造能力——那么整个 AI 行业的一些基本假设可能需要重新审视。
数据质量的重要性被推到了前所未有的高度。长期以来，行业默认的叙事是“更大更好”——更多数据、更大模型、更多算力。但 LittleLearner 暗示，真正决定模型能力的，不是数据量，而是数据中是否包含了目标能力所需的知识。这为“数据工程”赋予了比“模型工程”更高的优先级。
“后训练万能论”需要降温。过去一年，随着 GRPO 等强化学习方法的流行，一部分从业者产生了“只要后训练做得好，基础模型差一点也没关系”的错觉。LittleLearner 的实验清楚地表明：后训练可以在已有知识的基础上优化表现，但不能无中生有。
Scaling Law 的适用范围需要更精确地界定。规模扩展确实能提升性能，但这个提升是在知识边界内的提升。如果预训练数据中没有某个领域的信息，更多的参数不会自动产生该领域的能力。
结语
LittleLearner 的价值不仅在于它回答了一个问题，更在于它创造了一个提问的工具。这个“发展受限的沙盒”为 AI 研究提供了一种全新的实验范式：与其在混乱的互联网数据中猜测模型的能力来源，不如在精心控制的环境中精确观察能力的形成过程。
对于产业界，这或许是一个信号：当大家都把注意力放在“更大的模型”和“更多的数据”上时，可能忽略了最根本的问题——我们到底想要模型学会什么，以及我们如何确保它真的学会了，而不是仅仅在“假装”知道。
对于学术界，LittleLearner 提供了一个可复现、可扩展的实验平台。团队已经开源了全部模型、数据集和代码，任何人都可以在其基础上进行自己的实验。
当然，这项研究也有其局限性。88B token 的 K–5 语料库虽然经过精心过滤，但“精确过滤”本身可能也会引入偏差——一些本应包含在 K–5 范围内的知识可能被过滤掉。此外，5B 参数的模型规模虽然对学术研究来说是合理的，但与工业界动辄数百亿、数千亿参数的模型相比，LittleLearner 的结论是否完全适用于更大规模的模型，还需要进一步验证。
但恰恰是这些局限性，为后续研究打开了空间。正如论文作者所说：“一个已知的边界，能让你的想法变成一个干净的实验。”
LittleLearner 只上过小学，但它教会了 AI 领域一个非常重要的道理——知道模型不知道什么，和知道模型知道什么，同样重要。
快报