2026年2月，OpenAI亲手“杀死”了一个行业标准。SWE-bench Verified，那个被全球AI公司用来排名自家模型编码能力的基准测试，被OpenAI一纸审计公之于众：在人类复核过的那部分高难度题目中，59.4%的测试用例本身就有问题，所有前沿模型都在训练中见过题目和答案。分数涨了，能力没涨。OpenAI给出的替代方案是SWE-bench Pro，一个由Scale AI设计、使用私有代码库、号称更难更干净的新基准。
五个月后，2026年7月8日，OpenAI再次发布了一篇审计报告。这次被推上手术台的，正是那个被它亲手扶上王座的SWE-bench Pro。
结果并不好看。
OpenAI的数据分析流水线在SWE-bench Pro的731道公开题中标记出200道存在异常，占比27.4%。随后的人类标注战役更严苛，由5名资深软件工程师逐一复核，分歧升级由专家组裁决，最终确认249道题目存在根本性缺陷，占比34.1%。综合两轮结果，OpenAI的结论是：大约30%的SWE-bench Pro题目是“broken”的，废的。
这不是边缘噪音。这是在告诉整个行业：你看到的那份模型编码能力排行榜上，保守估计有三分之一的数据点，反映的不是模型能力，而是基准测试自己的错误。
考卷出错了，批改也出错了
OpenAI将SWE-bench Pro的问题归纳为四类。
第一类，“过于严格的测试”。测试用例对实现细节的规定超出了题目要求的范围。模型提交了一个功能上完全正确的方案，仅仅因为实现路径和出题人预想的不同，就被判了不及格。这是最讽刺的一种错误：AI模型因为写代码的方式“不标准”而被扣分，而出题人自己头脑中的那一条路才是唯一的“标准路线”。
第二类，“题目描述不完整”。隐藏的测试用例包含了题目描述中没有给出的需求，并且这些需求无法从上下文合理推断。模型在猜题，而猜错了就失败。
第三类，“测试覆盖不足”。反过来，测试用例太弱了，不完整的修复也能通过。分数虚高。
第四类，“误导性题目描述”。题目描述本身指向了错误的行为，或者与测试用例相互矛盾。模型按题面答题是错的，按测试答题也是错的。
这四类问题的共同本质是：基准测试的出题质量没有跟上模型能力的进步速度。
当模型在SWE-bench Pro上的通过率从8个月前的23.3%飙升到80.3%时，行业都以为编码AI正在开挂。但OpenAI的审计揭示了一个不那么让人舒服的真相：这80.3%里有相当一部分，是模型在跟一套有问题的考卷较劲，而不是在解决真正的编码问题。
评测的评测，谁来评测？
OpenAI这次做了一件值得注意的事。它构建了一个“质量保证流水线”：先用自动化过滤器扫描全部731道题目，标记怀疑对象；然后用基于Codex的investigator agents（调查员智能体）对标记题目进行深度审计；最后，5名人类资深软件工程师逐一复核。
用AI Agent驱动的审计流程来检查另一个AI基准测试的质量。而Agent审计流程本身，由5个人类工程师在后面兜底。
这指向一个更深层的问题。当AI编码基准测试的题目数量增长到几千道，且模型能力已经超过大多数人类工程师的平均水平时，人类还有能力独立评判一道编码题是不是“好题”吗？
SWE-bench Verified的问题由人类发现，但OpenAI花了数月才完成审计。SWE-bench Pro有1865道总题量，如果纯靠人肉审计，成本和时间都无法承受。于是OpenAI用Agent审计Agent，但这就引入了另一个问题：Agent审计的准确性如何保障？OpenAI的答案是5名资深工程师兜底。那如果基准测试膨胀到一万道题呢？5个人肯定不够，50个人够吗？
这是一条通往“无限递归”的路。谁审计审计员？Agent审计Agent，人类审计Agent，那谁来审计人类？
基准测试的死亡螺旋
把SWE-bench Verified和SWE-bench Pro放在一起看，一条清晰的死亡螺旋浮出水面。
第一阶段，一套基准测试发布，成为行业标准。2023年的原版SWE-bench，2024年8月OpenAI发布SWE-bench Verified。
第二阶段，模型在上面刷分，分数迅速逼近天花板。SWE-bench Verified上，前沿模型在6个月内从74.9%推到80.9%。
第三阶段，审计发现问题：题目泄露、测试缺陷、数据污染。基准测试被废弃。OpenAI在2026年2月宣布弃用SWE-bench Verified。
第四阶段，行业转向“更难更干净”的新基准。OpenAI力推SWE-bench Pro，模型在8个月内从23.3%飙升到80.3%。
第五阶段，新基准同样被审计出问题。2026年7月，OpenAI确认Pro约30%的题目存在根本性缺陷。下一个轮回即将开始。
问题的根源在于：AI模型训练数据中包含了海量GitHub代码，而SWE-bench系列的任何基准测试，只要使用公开仓库的历史Issue和PR来构造题目，就永远无法避免数据污染。模型不是在“答题”，它在“回忆”以前见过的类似解法。SWE-bench Pro引入私有仓库来缓解这个问题，但731道公开题已经足以让模型建立“题感”，而存量污染不会因为新基准的出现而消失。
当行业沉迷于“刷榜”
这里有一个行业层面的反讽。
AI公司们每年花数百亿美元训练模型，然后在发布会上掷出一组基准测试分数作为能力证明。投资人看分数，客户看分数，媒体看分数。分数决定了一切：融资、采购决策、行业声誉。而支撑这些分数的那张考卷，刚刚被证明至少有30%的题目是废的。
更值得玩味的是，发现这个问题的不是第三方评测机构，不是学术实验室，而是OpenAI自己。OpenAI在2024年8月发布了SWE-bench Verified，在2026年2月亲手废了它，然后推荐了SWE-bench Pro，又在2026年7月亲手审计了它。这种“自己出题自己判卷自己撕卷子”的行为，既是OpenAI Preparedness Framework驱动下的责任体现，也暴露了一个更深层的矛盾：如果评测体系本身如此脆弱，那些依赖评测分数做出的安全决策和部署决策，到底有多可靠？
OpenAI在报告中说得很清楚：“准确衡量模型能力，对于合理的部署和安全决策至关重要，包括OpenAI Preparedness Framework下的决策。”但当评测体系自己就是不确定因素的时候，安全决策的基石在哪里？
谁能给AI编码能力评分？
SWE-bench的死亡螺旋不会因为Scale AI再出一个“SWE-bench Ultra”就自动解决。问题的本质不是题目不够难，而是出题方式本身有结构性缺陷。
未来的出路可能有三条。
第一条是动态评测。不再用固定的题库，而是让模型在测试时遇到从未见过的代码库和全新需求。这更像真实的编程工作：你可能在周一被要求维护一个从未见过的15年老项目。GitHub和GitLab上的真实Issue仍然是素材来源，但需要用更精巧的方法防止模型在训练中预习。
第二条是人机协同审计。OpenAI这次用Agent审计Agent的做法，虽然引入了“谁来审计审计员”的递归风险，但至少证明了在可预见的未来，人类工程师加AI Agent的联合质量检查，是维护评测体系可信度的最可行方案。
第三条是放弃“单一分数崇拜”。SWE-bench系列的所有问题，根源都在于行业试图用一个数字来衡量“AI编码能力”这种极其复杂的复合能力。也许正确的做法不是找到一张完美无缺的考卷，而是搭建一组覆盖不同维度的评测体系，每个维度都有自己的误差边界和置信区间，决策者综合这些信号而非依赖一个孤立的排行榜分数。
OpenAI在这篇审计报告的结尾，给出了一句话建议：“建议模型开发人员仔细检查结果。”
这句温和的劝告背后，是一整个行业正在面对的系统性焦虑：当裁判一个接一个地被判犯规离场，谁来给AI编码能力评分？
答案似乎还没有出现。但至少OpenAI已经亲自证明了：分数不是能力，榜单不是真相。
30%的考卷是废题。剩下的70%，你确定它们真的好吗？
快报