OpenAI 低头，robots.txt 一行字拒 AI 训练
过去两年，网站主想阻止自己的内容被拿去喂 AI，只有一种笨办法：逐个认出每家公司的爬虫，给 GPTBot 写一条规则，给 ClaudeBot 写一条规则，再给 Google-Extended 写一条规则。名单越拉越长，维护成本越来越高，还随时可能漏掉某个没注册 crawler token 的新玩家。
2026年10月30日，OpenAI 宣布换一种做法：它将遵循 robots.txt 里的一种通用信号，网站只需写一行 `User-Agent: __usage_ai-training`，就能同时向多家参与该标准的 AI 公司表达“不要用我的内容做训练”的偏好。
OpenAI 说，这是自愿行动，它会在“未来几个月”落地实施，细节另行公布。现有的爬虫控制继续有效，新信号不替代旧规则，只是给网站主多一把更省事的钥匙。
但真正值得追问的是：当整个行业还在为“信号该长什么样”争吵、当扫描显示一万个主流网站里只有个位数在用这套语法时，OpenAI 的这次认账，到底能换来多少真实的控制权？
现象层：一次“不性感”的宣布，为什么重要
这件事看起来一点也不性感。没有新模型，没有新价格，没有算力军备。它只是一份 robots.txt 的语法约定。
但把它放回过去两年的语境里，分量就不一样了。
从 ChatGPT 爆火那天起，出版商和 AI 公司之间就有一条挥之不去的暗线：我的内容，你到底能不能拿去训练？纽约时报把 OpenAI 和微软告上法庭，更多出版商也相继就版权问题与 AI 公司对簿公堂。诉讼之外，网站主能做的其实很少。他们只能靠 robots.txt 里针对具体爬虫的封禁规则，而这套机制原本只回答一个问题：这个爬虫能不能抓取这个网址。它回答不了“你可以抓取，但不能拿去训练”这种更细的诉求。
于是行业被逼到了标准制定桌上。IETF（互联网工程任务组）在 2025 年 1 月成立了 AI Preferences 工作组，简称 aipref。它要做两件事。一件是定义一套统一词汇，让网站主能用 train-ai、ai-use、search 三个类别表达偏好。另一件是定义怎么把这些偏好“绑”到内容上，要么写进 robots.txt，要么放进 HTTP 响应头 Content-Usage。
OpenAI 这次遵循的，正是这个工作组产出的互联网草案 draft-kelley-aipref-training-preference-signal，由 Anthropic 工程师 Kevin Kelley 起草，2026年10月30日发布，与 OpenAI 的公告同一天。
OpenAI 没有自己发明一套规则，而是加入了别人正在搭的桌子。
分析层一：一个聪明的设计，聪明在“不改变任何东西”
这份草案最巧妙的地方，恰恰是它什么都没改。
它不引入新的指令名，不引入新的语法，不改变 robots.txt 的路径语言、最长匹配优先级和组结构。网站主只需要在 User-Agent 行里用一个策略令牌 __usage_ai-training，就能把偏好绑定到具体路径上。比如这样写：
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/这段配置的意思是，除了 /press-kit/ 这个新闻资料目录允许用于 AI 训练，全站其他内容都不希望被用于训练。
为什么“不改变”反而是一种优势？因为互联网上已经部署了各种各样的 robots.txt 解析器，它们的行为并不完全一致。如果新机制需要解析器升级才能识别，那在升级完成之前，信号就是无效的。而这个设计让旧解析器把策略令牌组当成“不认识的 user-agent”直接忽略。旧行为不变，新消费者能读懂。向后兼容，是标准能活下来的第一前提。
它还刻意避免了大规模重复。robots.txt 文件本身有大小限制，有些已部署的文件里已经堆了大量重复规则。新机制不需要网站主把现有规则重抄一遍，只在需要表达偏好的路径上写策略令牌组。
更重要的是，偏好信号和爬虫规则是相互独立的。网站主可以允许某个 AI 公司抓取页面，比如为了让内容出现在 AI 搜索里，同时声明这些内容不能用于训练。抓取和训练，第一次被拆成了两个可以分别表态的开关。
分析层二：自愿、未定稿、几乎没人用，三个现实冷水
把这份草案放回现实，有三件事要同时看清楚。
先看自愿性。OpenAI 的公告通篇用的是 honor、voluntary effort、encourage 这类词。它没有承诺法律约束力，没有承诺审计，没有承诺违约后果。网站主写下信号，信不信、认不认，最终取决于 AI 公司的自觉。对于已经把 AI 公司告上法庭的出版商来说，这离他们想要的“可执行的约束”还有很长的路。
标准本身也还没定稿。aipref 工作组的章程原定 2026 年 8 月把两份文件提交给 IESG，也就是互联网工程指导组，但截至 2026 年 10 月中旬，两份都还没送出去。词汇表草案自己都在警告：核心章节“尚未达成共识”，标签和定义随时可能变。今天网站主按 train-ai=n 写好的规则，明天可能就要跟着改语法。
更现实的是采用率。第三方机构 ProxyPicker 在 2026 年 10 月 8 日扫描了 Chrome 访问量前一万个来源中的 6735 个 robots.txt 文件，只有 13 个使用了 Content-Usage 头，其中 12 个还是电商网站 Vinted 的国家站点。另一家机构 AI Crawler Check 在 10 月 17 日的扫描里，5254 个有效文件里只有 5 个有 Content-Usage 行。也就是说，这套语法在真实互联网上几乎等于不存在，采用仍处于极早期。
这三盆冷水指向同一个结论：OpenAI 的宣布是姿态，不是拐点。它把行业往统一标准的方向推了一步，但这一步本身还不构成出版商可以依赖的控制权。
分析层三：OpenAI 为什么要在这个时候表态
那 OpenAI 为什么选在这个时候公开承诺？
一个现实的压力是诉讼。纽约时报把 OpenAI 和微软告上法庭，出版商群体对“未经授权使用内容训练”的愤怒没有消退迹象。在法庭给出判决之前，主动展示“我们愿意尊重网站主偏好”的姿态，是一种风险对冲。它不能保证胜诉，但能在法官和公众心里积累一点“善意行事”的印象分。
另一个压力来自行业协作。aipref 工作组的参与者名单几乎是一份 AI 和内容行业的点名册：Google、Meta、Anthropic、AWS、Cloudflare、Adobe、BBC、Financial Times、GitHub、EFF、Common Crawl、Creative Commons，OpenAI 自己的代表 Esther Tetruashvili 也在名单里。这套话语体系成型之后，所有玩家都要在里面行事。OpenAI 选择现在就公开承诺遵循，等于在别人起草的规则里提前占了一个“积极配合”的位置。
还有一个更微妙的动机：统一信号对 OpenAI 自己也有好处。过去网站主要封禁，只能逐个写 crawler 规则。现在如果多家提供商都认同一个信号，OpenAI 反而可以把“尊重偏好”这件事标准化、产品化，把合规成本从“每家网站一套定制规则”变成“一套解析逻辑服务所有网站”。这对规模越大的公司越划算。
结论层：这是一小步，但方向是对的
把这件事放在更长的时间线上看，它其实是互联网内容生态的一次重新谈判。
上一轮谈判的结果是：AI 公司先上车后补票，抓取、训练、发布，一切以技术可行性和商业速度为优先。这一轮谈判的起点变了：网站主开始要求对内容的使用方式有更细粒度的表达权，而 AI 公司开始意识到，没有出版商的配合，数据源的可持续性本身就是风险。
OpenAI 这次宣布的价值，不在于它立刻给了网站主多少控制权，它没有。它的价值在于承认了一个原则：网站主应该有更简单、更清晰的方式，表达他们的内容如何被使用。而且它选择的方式不是另起炉灶，而是加入一个多方参与的标准流程。
当然，真正的考验在后面。实施细节什么时候公布？会不会有独立的验证机制？如果 AI 公司嘴上说 honor 实际不执行，网站主有没有申诉渠道？其他 AI 提供商会不会跟进？这些问题的答案，才决定这是一次真正的转向，还是一次漂亮的公关。
但无论如何，2026年10月30日这一天，AI 行业最大的公司之一公开承认：网站主对内容训练方式的偏好，值得被写进互联网最古老、最基础的配置文件里，并被认真对待。
真正的开放网络，不是 AI 公司可以随意抓取一切，也不是网站主能把一切锁进围墙花园。而是双方终于愿意坐下来，用同一套语言商量“什么可以用，什么不可以用”。OpenAI 迈出的这一小步，换不来出版商的立刻原谅，但它至少把行业从“先上车后补票”的默认状态，推向了“先问一声再上车”的新起点。
快报