2026年7月13日凌晨，François Chollet在X上发了一条不到30个单词的推文。没有配图，没有引用，没有预告。但在接下来的几个小时内，这条推文被反复截图、转发、争论。
他写道：“尝试、失败、更新心智模型、再试。这个过程才是智能的核心。我们应该赞美那些能够优雅失败并即时适应的模型。”
放在任何一个AI从业者的时间线上，这听起来像一句漂亮的哲学概括。但如果你知道Chollet过去七年做了什么，知道他打造的ARC-AGI基准测试系列刚刚发布了第三代，知道就在不到四个月前ARC-AGI-3上线时所有前沿推理模型的得分率低于1%，你就会明白，这句话不是感慨，而是宣判。
Chollet正在挑战整个AI行业对“智能”的定义方式。而他手上有一套完整的基准测试体系证明：行业追捧的那些高分，很可能只是假象。
一条30字推文背后的七年思想体系
要理解Chollet在说什么，先要理解他过去七年做了什么。
2019年，Chollet发表了一篇论文，标题直白到没有任何修饰：《论智能的度量》（On the Measure of Intelligence）。他在文中给出了一个审慎的定义：“一个系统的智能，是它在给定先验知识、经验和泛化难度的情况下，在任务范围内获取技能的效率。”
注意关键措辞：不是“完成任务的分数”，而是“获取技能的效率”。在他的框架里，两个系统都解决了同一个问题，不代表它们一样智能。谁能用更少的经验、更少的计算、更少的试错次数学会解决它，谁就更智能。这和传统考试完全相反。传统考试只看最终分数，不管你是三分钟做完还是三天做完。
同一年，Chollet发布了ARC-AGI-1（Abstraction and Reasoning Corpus），一个旨在测量流体智力的基准测试。设计原则很残酷：每个任务对人类来说都是“看一眼就懂”的，平均人类得分率约85%。但对你见过的所有AI来说，这些任务是全新的，它必须在现场理解模式并推理出答案。这就像是一张考卷，前面的选择题只占30分，剩下70分全是需要当场推导的压轴大题。
这个设计直指当时整个AI评测体系的核心缺陷。几乎所有主流benchmark都在测量“静态技能表现”。你已经看过类似题目了，你已经在相关数据上训练过了，你只需要回忆和微调。但Chollet认为，真正的智能应该体现在你面对从未见过的问题时如何即兴发挥。
75.7%之后那堵24%的墙
2024年12月，OpenAI发布了o3推理模型。ARC Prize基金会在官方博客中宣布：o3在ARC-AGI-1半私有评估集上以不到1万美元的计算成本拿到75.7%，高计算量配置下达到87.5%。这是ARC-AGI-1历史上第一次有AI系统逼近人类水平的得分。基金会写道：“o3是一个能够在从未遇到过的任务上进行适应的系统，在ARC-AGI领域内可以说接近了人类水平的表现。”
但紧接着Chollet就暗示了一个重要的区分。ARC-AGI-1只是一个“最小测试”，证明你有非零的流体智力就够了。真正用来拉开差距的，是ARC-AGI-2。
2025年3月上线的ARC-AGI-2，在设计上做了对抗性调整。每个任务都被精心构造过，确保看似合理的模式匹配路径全是死路。人类的校准测试表明，每条任务至少有两个普通人能轻松解出。但AI呢？
ARC Prize 2025全球Kaggle竞赛，吸引了1455支队伍、15154次提交。最好的公开成绩是24%。o3在此前的预估中被认为在ARC-AGI-2上“得分可能低于30%”。是的。o3在ARC-AGI-1上逼近了人类，转头就在ARC-AGI-2上遭遇了断崖式下降。
ARC Prize 2025技术报告总结了这一年的核心发现：“2025年的决定性主题是精炼循环（refinement loop）的出现，一个在反馈信号引导下、针对每个任务迭代优化的程序循环。”最好的方案，无一例外都采用了同一个范式：先让模型试一个初始方案，获得反馈，根据反馈调整，再试。它们本质上就是在做Chollet说的那件事：失败、更新、再试。只是它们做得还不够好。
为什么ARC-AGI-2如此艰难？因为它测试的根本不是“你记住了多少解题模式”，而是“当你熟悉的模式全部失效时，你能不能当场创造新的”。这正是Chollet那条推文所说的：尝试、失败、更新心智模型、再试。
ARC-AGI-3：把优雅的失败变成可测量的指标
2026年3月25日，ARC-AGI-3发布。这次Chollet彻底换了一种玩法。
ARC-AGI-3不再是静态的“输入-输出”模式。它是第一个交互式推理基准。AI智能体被扔进一个从未见过的游戏环境，需要自己去探索、发现目标、构建世界模型、持续学习。这是一个跨时间的测试，不止看最终答案，还看规划视野、记忆压缩能力、以及面对新证据时更新信念的能力。
官方公告中的措辞耐人寻味：“只要AI和人类学习之间还存在差距，我们就还没有AGI。ARC-AGI-3让这个差距变得可测量。”
人类测试结果显示：100%的环境，人类在第一次接触时、没有任何事先训练或说明的情况下即可解决。而所有前沿AI推理模型在ARC-AGI-3上的得分率低于1%。
ARC Prize 2026的总奖金池超过200万美元，分ARC-AGI-2和ARC-AGI-3两个赛道。但最有意思的不是奖金，而是Chollet通过ARC-AGI-3要测量的东西。他称之为“智能体的智力”。这个概念几乎就是他那条推文的完整展开：一个智能体需要在陌生的环境中试错，从失败中更新对环境的理解，然后调整策略再试。能更快、更优雅地完成这个循环的系统，才更接近真正的智能。
这和我们今天讨论的大多数AI评测体系形成了尖锐对比。今天的行业在庆祝什么？庆祝模型在MMLU上提高了2个百分点，在HumanEval上又多解了一道题，在某个新榜单上排名第一。这些都是“一次性的静态技能测试”，和Chollet定义的智能几乎无关。它们更像是考你在已经有人画好重点的题库里能记住多少，而不是考你在一个全新的领域里能学得多快。
行业为什么喜欢错误的度量
这里有一个残酷的现实。Chollet没有明说，但他的推文和ARC系列一直在暗示：行业有强烈的动机去使用错误的智能度量标准。
为什么？因为静态benchmark可预测、可优化、可宣传。你只要在已知数据集上反复训练，指标就会涨。投资人看得懂百分比，媒体写得出数字，竞争对手之间的比较可以精确到小数点后一位。整个AI产业已经建立了一套以“刷榜”为核心的品牌叙事。这周我们登顶了，下周他们反超了。
但ARC-AGI系列揭示了一个令人不安的事实：人类在智力上的优势，从来不是“记得更多”，而是“面对没见过的东西时更聪明”。一个人类可以在完全不理解某个领域的情况下，看着几个例子就总结出规则。这就是Chollet说的“技能获取效率”。而今天最强的AI系统，需要数万乃至数百万个示例才能达到类似效果。
2025年1月，Chollet离开谷歌，与Zapier联合创始人Mike Knoop共同创办了Ndea实验室。他的公开表态很直接：“我们押注一条不同的道路，去构建能够真正发明、适应和创新的AI。”Ndea的核心研究方向是深度学习引导的程序合成，一种结合直觉模式识别和形式推理的混合架构。
程序合成天然就是一个“尝试-失败-更新-再试”的循环。系统生成一个候选程序，执行它，观察结果，调整，再生成。在这个框架里，失败不是需要掩盖的bug，而是系统设计的一部分。每一次失败都在排除无效程序，缩小搜索空间。
优雅的失败到底是什么意思
Chollet用了“fail gracefully”这个词，不是随便选的。
不优雅的失败，是系统崩溃、输出胡乱、在一无所知中重复同样的错误。优雅的失败，是系统知道自己不知道，是它在试错中获取了有效信息，是它在下一次尝试中利用这些信息来缩小搜索空间。
在ARC-AGI-2上，顶级方案的refinement loop就是优雅失败的工程化实现。系统先输出一个初始猜测，获得执行结果（失败信号），然后从这个信号中学习，调整程序，再试。每一步失败都在为下一步提供信息。系统的信息熵在降低，而不是在原地打转。
在ARC-AGI-3上，这个要求被推到了极致。系统必须在交互环境中自主感知失败、理解失败原因、调整行为策略。它不是在做一次性的输入-输出预测，而是在一个连续的反馈循环中实时学习。这就是Chollet说的即时适应。不是下一次训练时适应，而是就在这一次交互中适应。
如果放大到整个AI行业，这背后有一个更深层的追问：我们正在建造的系统，是在教它们永远正确，还是在教它们在错误中进化？
目前的趋势明显偏向前者。RLHF本质上是在抹除模型的“失败历史”。它让模型只输出人类认为正确的答案，掩盖掉它在训练过程中犯过的所有错误。推理模型也一样。它们内部可能经历了数千次试错推理，但最终只展示一条最完美的链式思考路径。用户看到的永远是“正确的那一次”。失败被当作中间产物隐藏了。
Chollet的推文暗示了一个截然不同的方向：也许我们应该把失败从后台拉到前台。也许一个模型的价值，不在于它第一次就做对的能力，而在于它从错误中恢复和学习的速率。
从静态高分到优雅失败
如果Chollet的判断是正确的，如果智能真的应该被理解为“在失败中适应的速率”，那么整个行业需要重新思考一系列基本问题。
首先是评估体系的重构。今天的benchmark几乎都是静态快照式的：给一批题，算一个分数，排名。未来需要的评估体系应该是动态过程式的：给一个陌生环境，看系统在时间轴上如何变化。它的初始表现不重要，重要的是它从第一次失败到第二次尝试之间发生了什么。ARC-AGI-3已经在朝这个方向走。它测量的是“跨时间的行动效率”，而非“最终答案的正确率”。
其次是产品叙事的变化。如果“优雅地失败”成为智能产品的核心卖点，厂商就需要更诚实地面对系统的不确定性。告诉用户：“这个模型可能在XX类型的任务上失败，但当它失败时，它会这样做……”这听起来反直觉，因为科技产品卖的是可靠性和确定性。但如果你观察人类专家的运作方式，真正的专家从不承诺百分百正确。他承诺的是当他犯错时，他会在最短时间内意识到并纠正。
最后是研究方向的取舍。如果技能获取效率才是智能，那么研究资源的重心应该从更大的模型、更多的数据、更长的训练转向更高效的在线适应机制。这不是说scale不重要。Chollet从没有否定scaling law的价值。他的主张是scale应该服务于adaptation，而不是替代它。这恰恰是Ndea的方向：用深度学习的模式识别能力来引导程序合成的搜索，让系统在更少的试错次数中学会新技能。
重新定义庆祝
Chollet说“我们应该赞美那些能够优雅失败并即时适应的模型”。这句话在今天听起来几乎是冒犯的。整个行业的文化是赞美胜者、庆祝刷新纪录、把benchmark榜单当作战报来传播。
但如果你看过ARC-AGI-3上那些得分低于1%的模型，如果你看过ARC-AGI-2上花了数十万美元计算才勉强拿到24%的方案，你会发现一个反直觉的事实：最接近人类智力的系统，往往不是得分最高的那个，而是那个在失败后变化最大的那个。
也许赞美优雅的失败不仅仅是一个哲学立场。它暗示着下一个十年AI进步的核心机制：不再追逐一次性正确的幻觉，而是拥抱持续试错中涌现的适应力。当模型学会从失败中学得比自己上一次更快时，它离人类智能的距离，就不再需要用百分数来衡量了。
快报