婴儿碾压AI的学习效率,Scaling Law该被重写了

2026.08.26 18:40
《麻省理工科技评论》最新报道揭示了一个让AI行业尴尬的事实:婴儿仅需接触1000万至3000万个词就能掌握语言,而大语言模型消耗数万亿Token仍在追求“理解”。这种数据效率鸿沟不仅是学术谜题,更正在动摇过去十年AI发展的核心信仰——Scaling Law。从BabyLM竞赛到SAYCam婴儿视角视频,再到NanoGPT Slowrun基准测试,学界与业界已经开始从婴儿的视角重新思考AI的学习范式。

人类彼此交谈至少已有10万年。在这漫长的时间里,世界上只有一种东西能把语言学到近乎完美流利:一个人类的孩子。

现在有了第二种。ChatGPT发布不过四年,Claude、DeepSeek和GPT模型已经能相当逼真地模拟人类对话。但如果我们掀开计算引擎的盖子,尴尬就藏不住了——教会机器使用人类语言所需要的数据量,是教会一个婴儿的数十万倍。

斯坦福大学认知科学家迈克尔·C·弗兰克(Michael C. Frank)用一个让人过目不忘的比喻道出了这个差距:“我们仍然需要烧掉一整片森林、刮遍人类知识的全部积累,才能在机器上重现一个孩子在客厅里一年左右就能完成的发展里程碑。”

一个数字就能说明一切

弗兰克和研究团队给出了一个非常直观的参照:幼儿通常只需要听过大约1000万到3000万个词,就能开始说出符合语法的句子。一个在语言丰富家庭长大的孩子,到青春期前大约会听到1亿个词。加上阅读,到20岁时接触的语言总量可能达到3亿词左右。

而大语言模型呢?Meta两年前发布的Llama 3.1,预训练阶段使用了15万亿个Token。乔治城大学认知科学家兼语言学家伊桑·戈特利布·威尔科克斯(Ethan Gotlieb Wilcox)估计,最前沿模型使用的数据量可能还要高出一个数量级。

“如果你只用3000万词训练GPT-2,得到的是一个胡言乱语生成器,而不是一个孩子。”弗兰克说。

威尔科克斯用了一个更形象的对比:Claude见过的语言量,大致相当于一整座城市一代人所经历的语言总和。把训练现代大模型用过的文字全部打印出来,纸张堆起来可以超过国际空间站的高度。而一个孩子青春期前接触的1亿个词,堆起来只有大约20米高。

这种差距被称为“数据效率鸿沟”(data efficiency gap)。它同时困扰着认知科学家和AI研究者:为什么孩子能用如此有限的数据,学会如此复杂的语言?

这个问题的紧迫性不在于学术好奇心,而在于一道硬约束——互联网数据是有限的。过去十年,大语言模型能力提升的核心路径,就是不断扩大模型和训练数据规模。从GPT-3的约5000亿Token,到Llama 3.1的15万亿Token。但高质量文本数据正在被快速消耗。据行业估算,可供模型继续扩张的数据资源可能在未来十年开始逼近瓶颈。当Scaling Law的“燃料”即将见底,一个残忍的反问摆在行业面前:如果婴儿用几千万词就能学会语言,为什么AI需要烧掉整个互联网?

数据不是答案,是问题本身

表面上看,这似乎是一个“量”的问题——给AI更多数据,它就能学会更多东西。但弗兰克的研究揭示的是更深层的“质”的差异。

大语言模型本质上是一个巨大的统计学习系统。它没有人类大脑经过进化形成的生物学结构,没有眼睛、耳朵,没有身体,没有与世界的物理交互。它唯一的学习方式,就是吞噬海量文本,从中拟合出词语之间的统计规律。

这种学习方式被证明是有效的。BERT和GPT-2在2018年和2019年出现时,已经用事实推翻了语言学界多年来一个根深蒂固的信念:仅仅依靠统计规律不可能学会语言。加州大学伯克利分校发展心理学家艾莉森·戈普尼克(Alison Gopnik)坦言:“无论你对AI多么怀疑,有一点大家都很惊讶:这些模型确实学会了语法。”

但有效不等于高效,更不等于人类的方式。

婴儿学习语言时,并不是在被动接收文本。他们在看、在听、在触摸,在与周围的人和环境持续互动。每一句话都伴随着一个场景、一个动作、一种情感。他们不是在“训练”,而是在“生活”。

把大模型缩小到“婴儿尺度”

2019年,BERT和GPT-2刚出现时,语言学界受到了巨大冲击。加州大学圣迭戈分校语言学家亚历克斯·沃斯塔特(Alex Warstadt)回忆,当时不少学者怀疑:大语言模型使用的数据实在太多了,这根本不是人类学习的方式,它们能帮我们理解人类如何习得语言吗?

于是2022年,沃斯塔特与AI研究者莱舍姆·霍申(Leshem Choshen)等人发起了BabyLM竞赛,一项专门研究“小数据语言学习”的年度赛事。比赛规则很简单:参赛模型只能使用接近儿童语言经验规模的数据。标准赛道是1亿词,幼儿尺度赛道只有1000万词。训练材料包括儿童读物、日常对话、电影字幕、维基百科,以及真实的亲子对话记录。

结果令人震惊。2024年的冠军模型GPT-BERT,用大约1亿词训练,在BabyLM的一项语法测试中竟然超过了Meta的Llama 2 70B,而后者使用的数据量约是它的1.5万倍。

当然,这并不意味着BabyLM已经追上了现代大模型。很多参赛模型甚至无法流畅生成文本,GPT-BERT和今天的商业模型相比仍然显得笨拙。但这场比赛证明了一个关键事实:数据效率的提升空间可能远比行业想象的大。

更有意思的是,目前表现最好的BabyLM模型,并没有刻意模仿婴儿的学习方式。波士顿大学计算机科学家亚伦·穆勒(Aaron Mueller)发现,那种看起来很像人类学习过程的“课程学习”(先简单后复杂)思路,在Transformer上效果并不明显。Transformer似乎并不需要按照特定的顺序安排数据,也能有效学习。

婴儿的秘密武器:世界不只是一堆文字

如果纯粹的数据压缩不能解释人类的学习效率,那答案可能藏在别处。

孩子并不是只靠文字认识世界的。他们在看、在听、在触摸,在不断和周围环境互动。当妈妈说“把鞋子拿过来”时,孩子看到的不是一行文本,而是一个具体的场景、一个熟悉的面孔,以及一双可以触摸的鞋子。

大约15年前,弗兰克在斯坦福建立实验室时,研究人员其实还不太清楚婴儿眼中的世界到底是什么样。直到发展心理学家给孩子戴上头戴式摄像机,才第一次真正看到婴儿的日常视角。

“孩子看到的世界要集中得多,”弗兰克说,“他们手臂很短,所以东西总是在眼前;而且他们生活在一片‘膝盖森林’里。”

弗兰克和同事启动了SAYCam项目,招募3名婴儿,在他们6个月到两岁半之间,每周记录约两小时的第一视角视频,并将这些数据公开发布。2024年,普林斯顿大学认知科学家布伦登·莱克(Brenden Lake)和团队用61小时的SAYCam原始视频训练了一个模型,让它学习识别物体,并把物体与相应的词联系起来。

这项实验触及了发展心理学中的一个长期问题:孩子学习语言时,是否必须依赖某些先天偏好?莱克团队并没有给模型预先加入任何人类认知的“先验知识”,它依然学会了从视频中识别物体并关联词语。“事实证明,仅靠比很多理论设想的少得多的东西,就已经可以开始学习语言。”莱克说。但他也补了一句:“我们并没有得到一个两岁的孩子。”

莱克团队的模型整体准确率刚刚超过60%。按成年人的标准,这个表现并不惊艳。但考虑到它使用的仅仅是61小时的低分辨率视频,相当于一个婴儿清醒时间的1%,这个结果已经足以让学界侧目。

普林斯顿大学神经科学家乌里·哈森(Uri Hasson)走得更远。他花了五年时间,记录15名儿童出生后前1000天的生活。参与家庭在除卧室和浴室之外的生活区域安装摄像头和麦克风,几乎每天记录约12小时。如此庞大的视频和音频数据,过去几乎无法处理,而新的AI转录和视频分析工具让它第一次变得可行。

“这是第一次,我们真正拥有了孩子所接受的输入。”哈森说,“而这还只是开始。”

一个延续70年的争论

这场关于数据效率的讨论,背后是一个延续了70年的学术辩论。

20世纪50年代,MIT语言学家诺姆·乔姆斯基(Noam Chomsky)提出了影响深远的“刺激贫乏论”:语言的句法结构如此复杂,而儿童接触到的样本又如此有限,仅凭经验不足以解释他们为何能够掌握语法。他的结论是——人类天生就具备某些语言规则,即“普遍语法”。

这个理论统治了语言学界数十年,也影响了早期人工智能的符号主义路线。上世纪50年代到80年代,研究者试图把语法规则直接写进计算机程序,让机器按照明确规则生成和理解语言。这条路走了几十年,最终没能解决大规模自然语言处理问题。

颇具讽刺意味的是,大语言模型的成功,恰好从反面撼动了乔姆斯基的理论。机器仅仅依靠海量数据的统计规律就学会了语法。但大语言模型同时也暴露了纯粹统计学习的致命短板:它需要的数据量,是人类的数十万倍。

这引出了一个更加根本的问题:人类的学习能力,到底是天生内置的“语言本能”,还是仅仅因为我们的学习方式与AI截然不同——我们有多模态的感官输入、有身体与环境互动、有社交反馈回路,而AI只有一个干巴巴的文本接口?

沃斯塔特把这个问题概括得很精妙:“过去10万年,人类一直是宇宙中唯一使用语言的实体。现在终于有了另一种语言实体。我们终于有了一个模型——不是语言模型意义上的模型,而是生物学意义上的‘模式生物’。”

Scaling Law的终点可能比想象中更近

数据效率鸿沟不是一个学术趣闻,它直接指向了AI行业当前最大的战略焦虑。

过去十年,整个行业信奉一个简单的逻辑:更大的模型加更多的数据等于更好的AI。这条逻辑催生了千亿美元级别的GPU军备竞赛,推动着云厂商疯狂扩建数据中心,也支撑着AI初创公司的高估值叙事。

但弗兰克和研究团队揭示了一个令人不安的真相:如果婴儿用3000万词就能学会语言,而AI需要15万亿Token仍在“胡言乱语”,那说明今天AI的学习范式与人类智能之间存在质的差异,而不仅仅是量的差距。

行业内部已经出现信号。2026年3月,Q Labs发起了NanoGPT Slowrun基准测试,目标与BabyLM高度重叠——聚焦数据效率,而不只是模型规模。短短几周内,社区贡献将数据效率从2.4倍推到了5.5倍,并设定了10倍甚至更高的长期目标。下一阶段的AI竞争,可能不再是“谁拥有更多GPU”,而是“谁能用更少的数据学会更多东西”。

对于OpenAI、Google、Anthropic这些靠Scaling Law起家的巨头来说,数据效率鸿沟意味着一个潜在的范式转换风险。如果某一天,一家初创公司找到了接近人类学习效率的算法,用1%的数据就能达到今天的模型水平,那么整个千亿美元级别的GPU军备竞赛叙事就会被动摇。

对于认知科学界来说,大语言模型提供了一面前所未有的镜子。通过把关于儿童学习的不同理论写进模型,观察它们在有限数据下能否学会语言,科学家终于有了一个可以“打开大脑”的实验工具——这在此前完全不可想象。

一个更深层的追问随之浮现:如果我们真的把AI当作研究人类的“模式生物”,从婴儿的视角重新设计学习算法,那么下一代AI突破很可能不会来自更大的GPU集群,而是来自客厅里那顶小小的婴儿摄像头。

人类花了10万年才创造了第二个会说语言的实体。讽刺的是,它用掉了整座互联网的知识,才学会了一个婴儿在客厅沙发上一年就能做到的事。这或许不是AI的失败,而是对我们自己的提醒——真正的智能,从来不只是数据问题。

作品声明:内容由AI生成