谷歌开源 Harness²:不改权重,GLM-5 套上外挂反超 Gemini 3.5 Flash

2026.10.19 14:15
谷歌开源 Harness²,一套无需修改模型权重、只优化运行期脚手架的递归式 Agent 框架。GLM-5 接入后在 WorkBuddy-Bench 上单步提升 11.5 分,反超原版 Gemini 3.5 Flash。其双层递归架构攻克了 RSI 在开放世界中「无标准答案」与「过拟合单次任务」两大死穴,把单次修补变成终身学习的认知资产。

AI 圈有个心照不宣的共识:想让 Agent 变聪明,最正统的路是等下一代底座模型。参数更大、上下文更长、训练更贵,然后祈祷它突然开窍。

谷歌这次偏不。

它开源了一套名叫 Harness² 的东西,不动模型一个权重,只给模型套上一层能自我修改的运行脚手架。结果 GLM-5 在办公基准 WorkBuddy-Bench 上直接涨了 11.5 分,把原版没改脚手架的 Gemini 3.5 Flash 甩在身后。

这不是模型竞赛,这是一场针对运行期的政变。

一个插件,跑分起飞

谷歌开源 Harness² 的消息出来,最扎眼的不是技术名词,而是一组对比。

在 WorkBuddy-Bench 这套覆盖代码、网页、办公套件三大工作流的基准上,GLM-5 接入 Harness²、只做单步改进,OpenCode 脚手架下从 64.2 分跳到 75.7 分,Codex 脚手架下从 64.4 分跳到 75.3 分。而原版 Gemini 3.5 Flash 的分数是 72.4 分和 74.5 分。

翻译成人话:一个被优化了脚手架的 GLM-5,打赢了没被优化的 Gemini 3.5 Flash。

同样的事在另外两个硬核基准上也发生了。端到端岗位任务 JobBench 上,单步改进让 Gemini 3.5 Flash 涨了 4.5 分、GLM-5 涨了 3.6 分。Harvey 开源的顶级法律智能体基准 LAB 上,GLM-5 的部分通过率拔高 11.8 个百分点。如果把并行探测预算拉到 k=5,WorkBuddy-Bench 还能再涨 3.9 分,JobBench 再涨 4.2 分,LAB 再涨 6.7 个百分点。

更值得玩味的是迁移测试。团队把在 JobBench 上攒下的经验库直接搬到 WorkBuddy-Bench,没多花一次探测,代码、网页、办公三项得分分别再提高 0.6、0.5 和 2.9 分。

这套东西已经全面开源,支持 OpenCode 和 Codex 两套主流执行脚手架。论文共 9 位作者,华人研究者占 78%,据量子位统计。一作兼通讯作者 Ruiyao Xu 是美国西北大学统计与数据科学系博士生,这篇工作是他在谷歌实习期间完成的。

RSI 为什么老翻车

递归自我改进,Recursive Self-Improvement,简称 RSI。这个概念业内念叨了很多年,思路极其性感:让 AI 自己写代码、自己改提示词、自己优化系统,像滚雪球一样越变越强。

但现实很骨感。只要把 RSI 从实验室的刷题环境放进真实的开放世界,几乎全军覆没。

症结有两处。

一处是没有标准答案。实验室里刷题,有单元测试、有 Ground Truth,改得好不好一测便知。可真实打工场景里,写一份商业企划案、审一份法律合同,线上根本没人给你打分。AI 自己改了一版 Prompt,它怎么知道是变聪明了,还是在自我催眠。

另一处是过度拟合单次任务。好不容易为了修某个任务把脚手架魔改一通,下一个任务换成写爬虫,之前改的规则全成了累赘。硬把改完的脚手架套给新任务,系统很快陷入噪声螺旋,越改越傻。

论文里有一组对照很能说明问题:ReasoningBank 这套思路在代码任务上,比基础脚手架反而低了 6.6 分。Harness Scaling 在十二个基准与配置的组合里,有七个不如基础版。RSI 不是不美,是美得太脆弱。

双层递归:左手做实验,右手记笔记

Harness² 这个名字里的平方,指的就是两层互相嵌套的递归循环:任务级递归和改进级递归。

任务级递归,解决的是没有标准答案的问题。

面对一个新任务,系统先用初始脚手架跑出一版参考轨迹。结果对不对先不管,核心是看模型执行过程中暴露出什么缺陷。然后启动一套叫 Propose-Probe-Compose,也就是提议、探测、合成的机制。

Propose 阶段,专门的编辑角色针对刚才的轨迹提出两套修改方案。一套抓跨领域通用毛病,比如规划混乱、工具调用死循环、上下文爆炸。另一套针对当前业务的特定知识和约束。

Probe 阶段,把两套候选脚手架放回同一个任务里各跑一遍。没有裁判没关系,系统抓取它们的执行轨迹和参考轨迹做行为对比,看改动到底有没有解决卡住的步骤,有没有引发新的逻辑退化。

Compose 阶段,合成器把所有执行证据摆在一起,只挑那些被行为证据证明有效的改动,合并进最终脚手架。这套流程还支持并行扩展,一次生成 k 组候选,共 2k 个候选脚手架,并发探测后再独立合成,把搜索空间进一步拓宽。

改进级递归,解决的是过度拟合单次任务的问题。

很多系统做完一个任务,生命周期就到头了。Harness² 把整个调试记录,包括参考轨迹、候选修改、对比证据、合成决策,交给反思模块。反思模块复盘后写一份 EXPERIENCE.md,把这次为什么这么改、在什么条件下起效、带来什么后果,存进持续改进经验库。

等下一个新任务进来,执行端拿到的依然是干干净净的基础脚手架,但负责改脚手架的那个改进大脑,手里已经攥着厚厚的历史经验手册。提议和合成阶段,它能直接检索过往相似场景的有效组件和避坑指南。

改进的不只是眼前的脚手架,更是未来改进脚手架的能力。单次任务的临时修补,就这样变成了终身学习的认知资产。

弱模型加好脚手架,为什么能打赢强模型

论文里有一句结论很直白:一个弱模型配上改进后的脚手架,可以战胜一个强模型配上原始脚手架。

这句话戳破了过去两年 AI 圈最大的幻觉。所有人都把期待押在底座模型 Scaling 上,总觉得等下一代 GPT 出来,手头的应用问题就迎刃而解。基座模型越来越贵,边际效益却在放缓,而落地场景里的长尾 bug 无穷无尽。

你给模型再大的上下文窗口,它在处理跨文件对账时依然会偷懒。你给它再高的跑分,它写完报告依然不会主动打开文件去校验格式。这些东西,靠预训练参数永远喂不饱。它需要的是一套能在运行中自我感知、自我修补、持续进化的运行期认知工程。

以前搭脚手架,是工程师坐在电脑前一条一条手写 Prompt、配工具、修管道,累得半死还到处漏风。Harness² 证明了一条新路:把规则制定的权力,还给 Agent 自己。

这也解释了为什么 GLM-5 的涨幅比 Gemini 3.5 Flash 更猛。在 WorkBuddy-Bench 和 LAB 上,初始脚手架更弱的一方反而拿到更大的绝对收益。外挂越破,穿上铠甲后的提升越夸张。

开源之后,谁最危险

Harness² 已经开源,支持 OpenCode 和 Codex。这意味着任何一个团队,都能把自己的 Agent 套进这套递归框架里,不训模型、不碰权重,只优化运行脚手架。

对大厂来说,真正的威胁不是某个新模型,而是模型不重要了这件事正在被验证。当外围脚手架能带来 11.5 分的基准跃升,当经验库能跨任务、跨领域迁移,当并行探测还能继续榨出 3.9 分时,底座模型的护城河就被凿开了一道口子。

未来一段时间,值得盯两个方向。一是看这套框架能不能从办公、法律、岗位任务这些基准,真正渗进企业级工作流,把 EXPERIENCE.md 变成公司自己的运营资产。二是看开源社区会不会基于它长出一堆垂直领域的经验库市场,卖铲子的人从卖模型变成卖脚手架和认知资产。

过去我们以为 AI 的进化靠参数,现在有人证明,进化也可以靠一套会自我修改的外挂。

模型还是那个模型,但跑起来的它,已经不是原来的它了。

作品声明:内容由AI生成