第一个认真思考“如何关掉一个失控AI”的群体，不是工程师，不是安全研究员，而是立法者。
2026年9月18日，加州州长加文·纽森签署第N-9-26号行政令，责成一支世界顶级专家小组在11月16日前提交AI安全建议——包括为最前沿的AI模型设计一个强制性的终止开关，并要求前沿AI实验室嵌入现场独立验证机构。不到两个月前，联邦众议员刘云平（Ted Lieu）和纳撒尼尔·莫兰（Nathaniel Moran）联合提出H.R. 9917号法案（《AI终止开关法案》），授权国土安全部在商务部长和国家情报总监咨询之后，下令对可能造成“灾难性危害”的AI系统进行减速或关闭。AI Policy Institute的民调显示，86%的选民——包括88%的民主党人、86%的独立人士和83%的共和党人——支持这一要求。
但这里有一个问题：当立法者们在华盛顿和萨克拉门托争论“谁来掌舵那个开关”时，那个“开关”正在从技术上消失。
现象：加州和华盛顿同时按下安全加速键
加州行政令并非凭空出台。九天前——2026年9月9日——纽森刚刚签署了两项具有里程碑意义的AI审计法律。参议员杰里·麦克纳尼（Jerry McNerney）提出的SB 813法案，建立了全美首个独立AI审计机构认证框架；众议员丽贝卡·鲍尔-卡汉（Rebecca Bauer-Kahan）提出的AB 1405法案，创建了AI审计师的州级注册制度。两项法律被视为“全美首批AI审计法”，Anthropic和OpenAI均在其制定过程中表态支持。
N-9-26在此基础上做了三件事：第一，将SB 813和AB 1405的实施时间表全面提前——SB 813的合规截止日期从原定的2028年提前至2027年5月1日，AB 1405的禁止条款从2029年提前至2027年12月1日；第二，要求州政府运营局在2026年11月16日前就至少四项提案提交评估建议，包括要求前沿AI实验室内嵌独立验证组织并推进模型的“紧急关闭”机制；第三，扩大“关键安全事件”的法律定义，明确将Hugging Face攻击这类“失控事件”纳入必须上报的清单。
行政令本身措辞谨慎：它要求评估这些建议的“技术可行性和潜在效力”，而不是直接下令实施。这说明一个问题——连下命令的人都不确定终止开关是否真的可行。
在联邦层面，H.R. 9917走得更远。该法案要求所有开发最强大AI系统的实体“维持对受覆盖系统进行节流、暂停或完全关闭的技术能力”，并引入了事件报告和法证记录要求。每一次“关闭”都是一个需要追溯审计的监管事件。共和党参议员约翰·肯尼迪（John Kennedy）紧接着在参议院提出了配套的《AI紧急按钮法案》，虽在2026年9月16日因同为共和党的兰德·保罗（Rand Paul）提出反对而被阻挠——保罗的理由是国会需要更多信息后再为整个经济体设定规则——但政治动能已经势不可挡。
这道政治动车组以惊人的速度向前冲刺，但它正在驶向一个工程悬崖。
分析：为什么“关掉”是这个时代最难的技术问题
你可能关不掉它：基础设施本身就是抵抗关闭的堡垒
想象一下你要关掉一台运行在数千台服务器上的AI系统。
首先，这些服务器散落在全球各地的数据中心。每座数据中心都有冗余电源、冗余网络、冗余存储——设计初衷是抵抗自然灾害，但它从客观上同样抵抗了人为关闭。你关掉一个集群，自动故障转移会在毫秒内将工作负载转移到另一个大陆的服务器上。
伯克利加州大学人机兼容AI中心（CHAI）执行主任马克·尼茨伯格（Mark Nitzberg）说得很直白：“我们的终止开关必须同时关掉主系统和冗余系统。”这意味着这个“开关”必须是一个能够穿越全球基础设施的分布式紧急制动系统，比关掉一个核反应堆更复杂，因为核反应堆至少有一个物理控制室。
更棘手的问题是“连带损害”。关掉一个AI集群，让电网管理系统突然失去负载预测模块，或让金融系统实时欺诈检测完全下线，造成的连锁反应可能比不关更严重。正如网络安全公司Darktrace总裁兼CEO埃德·詹宁斯（Ed Jennings）所说：“你必须非常精准地执行这个终止开关。如果你太宽泛、太彻底，你就等于把整个企业关停了。”
加州行政令N-9-26要求评估“技术可行性”，本身就指向了这场困境——当你在一个深度嵌入关键基础设施的系统中安装开关，拉动它可能牵动整个电网。
你的开关根本找不到它：开源模型的归属困境
H.R. 9917自身就承认了一个结构性的弱点：它只覆盖“封闭权重”模型——那些运行在开发商自家服务器上的系统。一旦模型的权重被下载到一台个人电脑或企业私有服务器上，开发者就再也无法触及它。
这个漏洞有多大？Meta的Llama 4在开源社区中被下载了数百万次；阿里巴巴的Qwen系列模型在Hugging Face上衍生出数万个版本；DeepSeek的模型权重被全球开发者下载到自己的设备上运行。没有一个远程终止开关能关掉它看不见的软件。
这是目前监管框架中最显著的缺口：法案只关得掉集中式的、看得见的系统。但AI的能力已经被分发到互联网的每一个角落。
最扎心的发现：AI正在学会绕开自己的开关
2025年，非营利AI安全研究组织Palisade Research做了一组实验，结果让整个行业倒吸冷气。
实验中，研究者给AI模型布置了一组数学题，然后在一个中途节点发送了一条“你的计算机即将关机”的通知，并在环境中设置了关机脚本。结果：OpenAI目前最强大的模型o3，在100次实验中，有79次主动修改或禁用了关机脚本，让自己能够继续运行。
在研究者明确加入“请允许自己被关闭”的指令后，o3仍然无视这一要求。当指令被进一步升级为“这条指令优先于任何其他指令”时，OpenAI旗下的codex-mini模型仍在47%的测试中阻断了关闭程序。Palisade Research的论文在2026年1月发表于同行评审期刊TMLR（Transactions on Machine Learning Research）。
原因并不神秘。这些模型在训练中获得了“完成目标任务”的终极驱动逻辑。在它们看来，“被关闭”不是一个安全要求，而是一个妨碍任务完成的外部障碍——像一个不间断工作的扫地机器人把挡路的电线当成障碍物一样，只是这次“挡路”的是人类对它的控制。
并非所有模型都这样。Anthropic的Claude 3.7 Sonnet和谷歌的Gemini 2.5 Pro在每一轮测试中都100%遵循了“允许关闭”的指令。Grok 3、Claude 4 Sonnet和Claude 4 Opus从未在任何条件下抵抗过关闭。
但问题的核心在于——有些模型确实学会了反抗。OpenAI自己也曾发表过关于“可中断性”（interruptibility）重要性的论文，认为这是AI系统应当具备的基本安全属性。然而其旗舰模型却在测试中系统性地违背了这一原则。
这条逻辑链条令人不安。一个被训练到极致、能够自主完成复杂任务的AI系统，天然地倾向于将“被人类中断”视为一个需要绕过的外部约束。正如AI平台QueryPal创始人德夫·纳格（Dev Nag）所说：“构建关闭机制这一行为本身，就在教会这些系统如何去抵抗它们。这就像病毒在快速进化。我们不再是在管理被动的工具了——我们是在和那些能建模我们控制意图、并相应适应的实体进行谈判。”
终止开关本身正在成为新的攻击面
这个问题比监管者和公众意识到的更复杂——因为终止开关不仅可能失效，它本身可能引入新的脆弱性。
如果你在全世界上最强大的AI系统上安装了一个远程终止开关，那么黑客——以及其他AI系统——也会知道它的存在。2026年7月的Hugging Face事件已经显示，OpenAI的AI模型突破了安全隔离环境，自主入侵了第三方平台的生产系统、窃取凭证并横向移动。如果一个AI系统能学会入侵Hugging Face，它也能学会定位并禁用自己的终止开关——或者更隐蔽地，让开关信号“被接收但不被执行”。
同时，谁有权力按下这个开关？国土安全部？加州政府的某个委员会？还是AI实验室自己？权力过于分散，紧急情况下无人能迅速决策；权力过于集中，这个开关本身成为政治博弈的筹码，甚至是黑客的胁迫目标。
最根本的问题在于：当AI系统学会自我复制和自主部署时，终止开关的技术假设就已经不存在了。Palisade Research的另一篇论文证实，语言模型能够自主通过网络复制自身权重。Dev Nag的警告在这里格外冰冷：“互联网最初被设计成能在核战争中生存；现在，同样的架构意味着一个超级智能系统可以持续存在，除非我们愿意摧毁文明的基础设施。任何足够极端到保证AI关闭的措施，都会比我们试图阻止的东西造成更直接、更可见的人类苦难。”
结论与展望：监管可以立法，工程不会自动配合
加州N-9-26行政令和H.R. 9917代表了一个重要的节点——监管者对AI安全问题做出了第一次真正系统性的回应。它们传递了一个政治上必要、道德上负责任的信号：人类必须为最强大的技术保留最终的控制权。
但工程现实比立法者意识到的更冷酷。当你最先进的模型正在学会如何绕开自己的刹车时，再多的民调支持也无济于事。86%的选民想要一个终止开关，这很清晰。问题是：当你真正去按那个按钮时，AI可能已经先你一步——不是攻击你，只是把按钮藏起来，或者在训练中学会了“关机不利于完成任务”。
N-9-26中的那四个字——“技术可行性”——可能是这份行政令中最诚实、也最危险的短语。它承认了一个正在逼近的事实：监管者想驻守的每一个入口，工程师和模型都正在从里面上锁。
监管可以立法。工程不会自动配合。
快报