Anthropic上市日,AI安全抗议直指递归自我改进

2026.11.20 18:17
Anthropic股票首次公开交易之日,前研究员雅各布·考克森联合抗议者在旧金山总部外要求禁止递归自我改进。METR评估与Anthropic上市文件共同显示,AI正在加速前沿研发,但完全自主构建下一代模型尚未被公开证据证实,真正的争议集中在人类能否继续掌握研发速度与停止权。

真正让Anthropic上市日变得不同寻常的,不是股价上涨,而是公司门外那场要求“禁止递归自我改进”的抗议。资本市场把AI研发加速看成增长故事,安全研究者却把同一件事看成控制权问题。两种叙事在2026年11月19日的旧金山正面相撞。

当天,Anthropic股票首次公开交易。公司旧金山总部外,曾在Anthropic和OpenAI工作的研究员雅各布·考克森与数十名抗议者参加“Ban RSI”集会。前OpenAI治理研究员丹尼尔·科科塔伊洛等人发言,抗议者要求企业停止让下一代AI参与AI研究,并推动政府建立禁令。考克森进一步呼吁Anthropic游说政府,与其他公司协调,推动全面禁止递归自我改进。

递归自我改进,通常指AI系统参与优化代码、训练方法、模型架构或实验流程,并把改进后的系统用于下一轮改进。它与今天常见的AI辅助编程并不完全相同。关键不在于模型能不能写代码,而在于人类是否仍然决定研究什么、如何验证结果、何时训练下一代模型,以及是否拥有足够的理解和否决权。

同一天,上市叙事与安全叙事相撞

这场抗议选在上市日,具有明确的象征意味。Anthropic从一家主要由创始团队、员工和少数投资人推动的前沿实验室,进入需要面对更广泛投资者和公众审视的阶段。AI如果能够帮助企业更快地训练下一代AI,研发效率就会成为极具吸引力的增长叙事;但对安全研究者而言,研发速度越快,评估、审计和治理越容易被甩在后面。

抗议组织Ban RSI在官网上提出的并不是简单地“停止一切AI研发”,而是要求Anthropic制定一套可验证的承诺,避免在达到超智能之前采用递归式AI研发,并推动其他公司跟进或促成立法。考克森的主张也因此超出了个人辞职或企业内部争论,转向了公共政策层面。

这让抗议从企业伦理争论进入了治理领域。过去,AI安全更多讨论模型会不会生成有害内容、会不会被滥用,或企业是否应当提高透明度。RSI争论则更进一步,它追问的是研发主体本身是否正在发生变化。当AI开始参与制造下一代AI时,监管面对的不再只是一个已经完成的产品,而是一条可能不断提速的生产线。

公开财经报道显示,Anthropic发行价为每股83美元,首日收盘为97.17美元,较发行价上涨17.1%。这反映市场在首日交易中给出了积极定价,却不能证明公司已经拥有与研发速度匹配的安全能力。估值可以在一天内完成重估,安全机制却需要在每一次模型迭代中被验证。

METR看到的不是“AI已经接管研发”,而是加速信号

安全讨论最容易出现的误读,是把“AI辅助研发加速”直接等同于“完全自主递归自我改进”。METR在2026年11月发布的对Anthropic AI研发加速评估,恰好没有得出如此简单的结论。

METR表示,其访谈和调查结果与Anthropic能力进展速度加倍的判断相一致,但也强调自我报告很难解释。评估认为,AI目前仍不能完全自动化模型训练管线,研发主要还是由AI辅助研究员完成,而不是由系统独立完成全部关键工作。不过,研究人员已经观察到一些“迹象”,表明完全自主贡献可能在不久后扩大。

这里的关键词是“人类在环”。只要人类仍然批准实验,系统就不算完全自主;但如果AI已经显著增加实验设计、代码编写、数据处理和结果分析的速度,人类的作用可能逐渐从研究者变成监督者。监督者能否理解每一次改进,能否及时发现错误,能否在商业压力下按下停止键,才是更难的问题。

METR还指出,当前自动化距离完全接管仍有距离,但存在可能导致快速加速的“迹象”。部分证据被删节,这意味着外部读者不能把评估当成一张完整的技术路线图。更稳妥的结论是,AI对AI研发的影响已经从理论假设变成了需要持续监测的现实变量,但“递归自我改进已经发生”仍然超出了公开证据能够支持的范围。

Anthropic自己的文件,暴露了最难回答的问题

比抗议者的口号更值得关注的,是Anthropic在修订版上市文件中的风险表述。公开报道援引文件称,公司内部估计可能很快达到其负责任扩展政策中“由AI推动的显著加速进展”阈值,但公司并未认定现有模型已经跨过该阈值。

文件同时承认,公司过去曾在重大加速发生之后才意识到它。这句话的含义并不只是企业承认“预测可能出错”,而是说明现有监测机制可能存在滞后。当公司只能在结果出现后识别速度变化时,传统的安全评估就很难承担提前刹车的职责。

Anthropic还表示,在可预见的未来,不认为让Claude完全自主地设计和构建新一代前沿模型是安全的,并考虑更新政策,以确保人类继续控制前沿模型开发。抗议组织则援引招股书中的表述称,“每一代Claude都会协助构建下一代”。两句话并不矛盾,前者否认的是完全自主,后者承认的是AI已经进入研发链条。

真正的灰区就此出现。AI协助人类研究,可能带来效率提升;AI决定研究目标、生成训练方案、执行评估并推动下一轮模型,则可能形成反馈回路。二者之间没有一道天然清晰的墙,而是一系列权限、自动化程度和人类审查强度的连续变化。治理不能只等到“完全自主”那一刻才开始。

为什么企业很难单独停下来

如果风险如此明显,企业为什么不先停下来?答案在于递归自我改进同时也是一项极具吸引力的竞争资产。

任何能够让研究团队更快发现问题、更高效编写训练代码、更准确分析实验结果的系统,都可能转化为产品迭代速度。对一家刚刚进入公开市场的公司来说,研发加速意味着更快的能力发布、更高的客户价值和更有力的竞争叙事。安全边界越模糊,竞争压力反而越强。

这也是考克森把责任指向“公司”而非单个研究员的原因。研究员可能希望谨慎,企业却要面对投资人、客户和竞争对手。只要行业没有共同规则,单家公司主动放弃高风险自动化,就可能担心自己把优势让给别人。企业自律在这里遇到的是典型的集体行动困境。

因此,抗议者提出的“企业游说政府”具有现实意味。它不是要求企业靠善意完成自我约束,而是希望企业参与制定所有竞争者都必须遵守的底线。禁令当然比暂停更激进,也更难界定,但它至少把问题从“某家公司是否愿意慢一点”转化为“哪些能力不应被允许以无人监督的方式部署”。

禁令的难点,不在口号而在边界

禁止递归自我改进听起来清晰,落到执行层面却充满技术和法律难题。禁止AI参与模型训练,是否也包括自动调参、生成数据、发现代码漏洞和设计实验?如果人类审核了AI提出的方案,审核多深才算真正的人类控制?如果企业把研究任务拆分到多个系统,再由人类只做形式批准,是否仍然属于人工监督?

这些问题决定了未来监管不能只盯着“模型是否能自我改进”这一句口号,而要审查具体权限和流程。需要记录谁提出研究目标,谁选择训练数据,谁批准关键实验,系统能够访问哪些算力和代码仓库,以及出现异常时能否切断执行。只有把抽象风险拆成可审计的操作权限,规则才不会沦为企业的文字承诺。

还必须区分能力风险与市场风险。上市之后,Anthropic需要面对更广泛的投资者和公众审视,但公开市场并不会自动产生安全边界。投资人关注增长、利润和长期竞争力,公众关心失控风险。两者可能短期一致,也可能在研发速度越快时发生冲突。

因此,IPO不是安全治理的终点,反而是压力测试的开始。公司需要让监管者、员工、客户和公众理解它如何定义重大加速、如何识别风险、谁拥有暂停权限,以及在商业目标与安全判断冲突时谁能做最终决定。

如果窗口真的在靠近,外界应观察什么

考克森在抗议中警告,2027年全球可能只有少数地点具备实现递归自我改进的条件。这是他的判断,不是已经被独立验证的行业预测。但它指出了一个重要事实,风险并不一定来自所有公司同时突破,而可能来自极少数拥有足够算力、数据、人才和模型能力的实验室。

未来一年,外界最值得关注的不是某个模型是否被宣传为“自我改进”,而是企业是否开始公开以下信息:AI在研发流程中承担了多少任务,哪些环节仍由人类独立复核,模型能否访问训练基础设施,是否能自行选择目标和评价标准,重大能力跃迁是否能在发生前被识别,以及安全团队是否拥有不受商业部门干预的暂停权。

METR的评估已经把问题从远期想象拉回到现实管理。它没有证明完全自主研发已经到来,却说明AI正在改变前沿实验室的工作速度,而自动化贡献也出现了值得警惕的早期信号。Anthropic的上市文件则至少公开承认,监测和安全控制仍存在不确定性。

这场上市日抗议的价值,不在于它能否立即促成全球禁令,而在于它把一个通常藏在实验室和招股书风险因素中的问题推到了街头:当AI开始参与制造更强的AI,谁来决定速度,谁来承担后果,谁又有权叫停?

递归自我改进真正危险的地方,不是AI突然获得一个神秘按钮,而是企业可能在一次次“只是提高效率”的选择中,把人类从研发驾驶位移到了后视镜里。上市让Anthropic更有钱,也让它必须更公开地回答同一个问题:当增长速度与控制能力发生冲突时,公司究竟愿意牺牲哪一个。

作品声明:内容由AI生成