过去三年，全球出版方被迫打一场看不到尽头的游击战：想不让自己的文章被喂进大模型，就得在 robots.txt 里逐个点名 GPTBot、ClaudeBot、Google-Extended、Bingbot，像给四家互不往来的衙门分别递状子。写漏一家，内容就照抓不误。
10 月 30 日，这场游击战出现了一个转折点。OpenAI、谷歌、微软与 Anthropic 罕见地站到了同一边，共同宣布遵循同一个退出信号——网站主只需在现有的 robots.txt 文件里加一行新指令，就能同时告诉四家巨头：“我的内容不用于训练。”这不是某家公司的临时让步，而是一份提交给互联网工程任务组（IETF）的标准草案，由 Anthropic 技术标准负责人 Kevin Kelley 起草。
对苦于被“薅”内容的媒体、论坛和独立站来说，这像是终于拿到了一把通用钥匙。但别急着庆祝：robots.txt 从来是一纸请求，不是一堵墙。
现象：从各自为战到统一信号
这套机制的核心是一个名为 __usage_ai-training 的策略令牌（policy token）。网站主在 robots.txt 里新增一个 User-Agent 组，写下类似这样的规则：
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
意思是：除了新闻资料包，全站内容都不希望被用于 AI 训练。过去，同样的诉求要分别写给 OpenAI 的 GPTBot、Anthropic 的 ClaudeBot、谷歌的 Google-Extended 和微软的 Bingbot，每家语法不同、语义不同，漏掉任何一家都前功尽弃。现在，一次写入，四家通用。
推动这件事的力量来自出版方长期积压的不满。AI 爬虫四处抓取网页、把内容塞进训练集，发布方得到的回报却越来越少。TollBit 的 State of the Bots 数据显示（该数据为其所监控发布方站点的网络聚合值，属单源、方向性参考），2025 年第四季度，约 30% 的 AI 爬虫抓取不遵守 robots.txt 权限——一年前这个数字只有 3.3%，2025 年初约为 13%。违规率在一年里涨了接近十倍。仅在 2025 年 3 月，TollBit 就记录到超过 2600 万次被 robots.txt 明确拒绝的抓取请求。
更糟的是，欧洲站点的处境更差。Digiday 援引 TollBit 对 40 家抓取供应商、3906 家出版方的分析称，欧洲站点被 AI 爬虫忽略 robots.txt 指令的频率接近北美站点的三倍；2026 年上半年，欧洲站点来自 AI 应用的外部引流转介绍仅占 0.05%，北美为 0.16%；欧洲出版方每收到 179 次 AI 爬虫访问，才换来 1 次来自 AI 应用的人类引流转介绍。
当四家掌握最多算力的公司在“如何被拒绝”这件事上达成一致，内容版权这场拉锯战，总算从混沌走向了可以对话的桌面。
分析一：为什么是现在？
四巨头之所以愿意坐下来谈统一信号，首先是因为旧模式已经跑不赢了。
过去每家都有自己的退出机制：OpenAI 有 GPTBot，谷歌有 Google-Extended，微软用 NoArchive 和 NoCache 标签，Anthropic 有自己的爬虫控制。这套各自为战的体系对中小发布方极不友好——你得先知道每家爬虫叫什么名字，再分别配置规则，最后还得祈祷对方真的遵守。对一家只有几个编辑的独立媒体来说，这套成本太高。
更深层的推力来自监管。欧盟《AI 法案》下的通用 AI 行为准则已经承认 robots.txt 是发布方表达机器可读偏好的主要方式之一。谷歌在宣布支持时明确表示，这份提案与该准则一致。换句话说，巨头们意识到：与其等监管机构强塞一套规则，不如自己先拿出一套能被各方接受的方案。
草案的致谢名单也说明了这场博弈的参与者：Financial Times、BBC、Bertelsmann、欧洲出版商委员会的工作人员都参与了讨论。这不是技术社区闭门造车的产物，而是出版方与平台方反复拉扯后的妥协文本。
分析二：它到底是什么，又不是什么
这份草案的正式名称是 draft-kelley-aipref-training-preference-signal-00，2026 年 10 月 30 日发布，2027 年 5 月 3 日到期。关键一点必须说清楚：它目前仍是一份个人提交的互联网草案，IETF 没有背书，也没有正式的标准地位。
草案本身写得很克制：这个令牌表达的是“偏好”（preference），不是“指令”（order）。它不命令爬虫不能抓取，只是告诉对方“我不希望我的内容被这样用”。网站如果没有设置这个组，视为未表达偏好；网站与 AI 公司之间的私下授权协议可以覆盖它。微软说得更直白：新偏好“不建立许可或付费安排”。
这意味着什么？意味着它解决的是“表达成本”问题，不是“强制执行”问题。网站主终于不用挨家递状子了，但如果某家爬虫决定无视 robots.txt，这份标准本身没有任何制裁手段。RFC 9309——IETF 在 2022 年 9 月发布的 robots.txt 协议标准——早就把话说透：robots.txt 是建议性指引，不是访问控制机制。遵守与否，全看爬虫自觉。
所以，这是一个进步，但不是一道防火墙。
分析三：谁能落地，谁还在观望
四家公司的落地节奏差异很大，这本身就能说明问题。
Anthropic 动作最快，Kelley 本人表示已经开始实施，但他也提醒：“我们需要时间在各服务中添加支持，并处理不可避免的问题与边界情况。”OpenAI 承诺在未来数月内落实，现有的 GPTBot 控制继续有效。谷歌目标 2027 年，其爬虫文档写的是“2027 年初”。微软最具体：2027 年 2 月 1 日起生效，届时将取代自 2023 年使用的 NoArchive 和 NoCache 标签。
微软还多走了一步：它同时推出页面级的 grounding（实时检索引用）控制，允许网站主区分“用于模型训练”和“用于回答用户问题时引用”。网站可以选择只允许微软自家产品（如 Copilot）引用，同时屏蔽对外售卖的 grounding 服务。微软 Bing 首席产品经理 Krishna Madhavan 写道：“发布方不应被迫在‘被 Bing 收录’与‘决定生成式模型如何使用其作品’之间二选一。”这句话点破了出版方最深的焦虑——他们不是不想被看见，而是不想被无偿地、不可控地吞掉。
唯一缺席承诺的是 Meta。其发言人 Andy Stone 在 X 上表态支持建立通用信号，但没有说 Meta 会不会遵循。考虑到 Meta 在内容抓取问题上一贯的强硬姿态，这个沉默本身就是一个信号。
结论：一把钥匙，但不是一扇门
这场统一信号运动真正的意义，不在于它能拦住多少爬虫，而在于它把内容方的议价能力往前推了一步。
在此之前，出版方面对的是一个分裂的市场：每家平台各自制定规则，发布方没有任何集体议价的可能。现在，四家巨头承认了同一个语法，这意味着出版方第一次拥有了可以跨平台使用的通用语言。当 Financial Times、BBC 这样的大出版方能够用同一套指令与所有主流模型对话时，下一步自然会是讨论这套指令背后的商业条件——也就是付费。
事实上，信号已经出现。Cloudflare 在 2026 年 7 月 1 日把“默认屏蔽 AI 训练”设为新域名策略，其 CEO Matthew Prince 在 9 月接受采访时预测，按当时的增速，五年内自动化流量可能达到人类流量的 1000 倍。澳大利亚的 ABC 和 SBS 也在要求 AI 公司为新闻内容付费。统一退出开关只是第一块多米诺骨牌，后面跟着的是许可、分成和新的内容交易市场。
但也要看清它的边界。这份草案仍是个人提交，IETF 没有背书；它表达的是偏好，不是指令；它不建立付费安排；而现实中已有约三成 AI 抓取选择无视 robots.txt。网站主拿到了一把通用钥匙，但门后的房间能谈出什么条件，取决于内容本身有多不可替代。
当四家巨头终于同意用同一种语言说“不”，内容方要问的下一个问题已经不是“能不能拒绝”，而是“拒绝之后，你打算出多少钱”。
快报