超过20%的流量，一个新契约的开始
你花了两周采访、核实数据、反复修改，终于发出一篇深度报道。第二天早上打开后台，流量为零。但ChatGPT能流畅复述你文章里的每一段内容。
这不是假设。这是2026年每天在互联网上发生数亿次的事。
皮尤研究中心2025年7月发布的研究给出了这个冰冷数字：当Google搜索结果页出现AI摘要时，用户点击传统搜索链接的比例仅为8%，不到无摘要时的一半。点击摘要内链接的比例更是只有1%。AI回答得越“好”，内容创作者被看到的概率就越低。
就在这个节骨眼上，全球最大的内容分发基础设施之一Cloudflare，没有选择关上门。
2026年7月1日，Cloudflare在“第二个内容独立日”当天宣布与OpenAI启动一项研究试点。目标不是封堵AI爬虫，而是用Cloudflare全球网络的实时信号（内容新鲜度、流量质量、页面实际变更），帮AI搜索引擎更聪明地发现和索引内容。用Cloudflare自己的话说：“我们可以帮助搜索引擎呈现最相关的内容，同时减少不必要的爬取。”
Cloudflare在官方博客中披露了一组关键数字：超过20%的网站流量经由其网络传输，超过50%的在线流量已来自非人类实体。这意味着Cloudflare可能是全球唯一一家能同时看清“人类在看什么”和“机器人在搜什么”的基础设施公司。
也正因如此，Cloudflare董事长兼CEO Matthew Prince在过去一年里，成为科技行业中最积极为内容创作者争取权益的人之一。从2025年推出“按爬取付费”机制，到推动AI机器人身份透明化，再到2026年推出精细化AI流量分类管理，将搜索爬虫、AI代理和训练爬虫彻底分离，路线图越来越清晰：不是帮网站说“不”，而是帮它们重新学会说“是”。
与OpenAI试点的核心概念直白而深刻。Cloudflare在其全球网络中观察到的信号，包括哪些内容是最新发布的、哪些页面被用户高频访问、哪些页面确实发生了实质性变化，这些信息如果用来指导AI搜索引擎的抓取策略，能不能让索引效率大幅提升？
答案很直接：页面只有在真正改变时才被重新抓取，搜索引擎呈现的结果更相关、更及时。AI公司减少无效爬取的算力浪费，网站所有者避免带宽被无意义消耗，最终用户得到更精准的答案。
AI搜索打破的那个契约
要理解这个试点的分量，先得看清互联网旧契约是怎样崩坏的。
过去三十年，互联网运转在一个简单协议之上：你允许搜索引擎抓取你的内容，搜索引擎为你导流访客，你通过广告或订阅变现。可被发现等于获得收益。
AI搜索把这份协议撕成了两半。ChatGPT、Gemini这类回答引擎不再给你一串链接，而是直接吐出一个摘要。用户不需要点击网站，流量消失了，变现的基础随之瓦解。Cloudflare在博客中直言：“我们对此有切身体会，独立研究也证实了这一点。”
更深层的问题在于，AI公司为了保持答案的时效性，必须对网络进行高频次、大规模爬取。Cloudflare Radar的实时数据显示，2026年6月，仅Anthropic的ClaudeBot一个爬虫就占AI机器人类流量的19.8%，OpenAI的GPTBot占9.4%。高频爬取与低效索引并存，AI公司花大量算力抓取从未变化的内容，网站带宽被白白消耗，而最终用户的答案质量并未同步提升。
这就是Cloudflare看到的机会窗口。“按爬取付费”是一个粗颗粒度的解决方案。某个页面可能只被爬取一次，却在数千个答案中被引用。也可能被反复爬取，却从未被实际使用。真正需要衡量的是使用价值，而不是爬取次数。
“信号”为何成为关键入口
Cloudflare的方案建立在一个独特的观察点上。作为全球最大的CDN和反向代理服务商，Cloudflare在每一个HTTP请求到达网站之前就已经看到了它。这意味着Cloudflare拥有一个独一无二的“数据平面”，它知道哪些页面在真实地产生用户互动，哪些页面只是在被机器人扫过。
试点的“信号”包含三个维度。
内容新鲜度。一个页面是否被更新、何时被更新、更新幅度有多大。这些信息可以帮助AI搜索引擎区分旧内容的重新发布和真正的新信息，避免为几行元标签的修改而重爬整个页面。
流量质量。区分人类用户的真实访问和机器人的无效抓取。Cloudflare能看到哪些内容在真实用户中产生共鸣，这对AI搜索引擎判断内容的权威性和实用性至关重要。
页面实际变更。不是所有更新都是等价的。Cloudflare的信号可以识别页面是否发生了实质性变化，而非仅仅是一些无关紧要的结构调整或广告刷新。
Cloudflare将这些信号匿名化处理后，交给参与试点的AI搜索引擎使用。目标是用数据回答两个问题：这些信号能在多大程度上帮助问答引擎呈现更及时、更高质量的内容？能在多大程度上减少不必要的爬取？
从“国防”到“进攻”
2024至2025年，Cloudflare的策略主要是“挡”。它推出了AI机器人识别和拦截工具，让网站所有者可以一键屏蔽各类AI爬虫，同时推动AI机器人透明化标准，要求爬虫明确标识身份和用途。
2025年，Cloudflare转向“罚”。推出“按爬取付费”机制，允许内容发布者对AI公司的爬取行为收费。这是一个实质性突破，但问题在于爬取不等于使用。一个页面可能被爬取100次却从未被引用，也可能只被爬取一次却支撑了上万个答案。
到了2026年，Cloudflare进入“改”的阶段。从“按爬取付费”升级为“按使用付费”。不仅与OpenAI启动研究试点，Cloudflare还与Ceramic.ai、You.com等AI公司展开了“按查询付费”的实验。
Ceramic.ai创始人兼CEO Anna Patterson表示：“要推动AI搜索的未来发展，我们需要一位具备广泛覆盖能力、并同样致力于透明度与公平补偿的合作伙伴。Cloudflare使我们能够轻松且以编程方式扩展运营规模。通过将我们的按查询付费模型引入其网络，我们确保数百万内容所有者能够无缝选择加入，并在其内容每次出现在我们的搜索结果中时获得报酬。”
对内容创作者来说，这意味着前所未有的透明度。参与该计划的网站将获得新报告：哪些查询触发了你的内容、哪些页面和摘要片段被引用、你的内容在AI搜索结果中的平均排名。这相当于AI时代的SEO，或者更准确地说，AEO（Answer Engine Optimization，问答引擎优化）。
谁在裸泳
短期来看，OpenAI是这次试点最直接的受益方。作为全球用户规模最大的AI搜索产品，ChatGPT的搜索功能严重依赖对开放网络的高效索引。如果Cloudflare的信号能够帮助它减少无效爬取、提升内容召回质量，OpenAI不仅能降低运营成本，还能提升回答的准确性和时效性，这是直接的产品竞争力。
对内容创作者来说，这是一个不确定性极高的分水岭。好的一面是，Cloudflare正在推动一种新的价值回流机制。但隐忧同样明显。这套系统依赖Cloudflare的网络覆盖率，并非所有网站都使用Cloudflare。如果“按使用付费”成为新常态，未接入Cloudflare的内容创作者可能被排除在这个新价值回路之外。互联网会不会因此出现“Cloudflare围墙花园”？
对Google而言，Cloudflare这次的姿态尤其值得关注。Cloudflare与OpenAI的合作意味着，全球最大的网络基础设施平台正在为AI搜索领域的第一挑战者提供弹药。如果OpenAI借助Cloudflare的信号在搜索质量和成本效率上实现对Google的反超，搜索市场的格局将迎来真正的结构性变化。
更大的问题是：当AI搜索引擎不再需要爬取所有页面、只需获取信号就能做出更聪明的决定时，那些被筛选掉的内容会怎样？互联网的长尾内容，那些流量质量不高但信息价值不低的网页，可能会被进一步边缘化。AI搜索的贫富差距也许会比传统搜索时代更严重。
Cloudflare正在做的事情，与其说是技术合作，不如说是在为AI时代重新书写互联网的基本契约。从“允许被发现”到“值得被使用”，这条规则的变化决定了整个网络经济模型的走向。当超过50%的流量来自非人类实体，当AI摘要让点击率腰斩，当ClaudeBot和GPTBot每个月扫过数十亿次页面，互联网不能靠禁止爬取来维持运转，它需要一套新的收益分配机制。
Cloudflare的选择是：既然AI搜索无法阻挡，那就让它的每一次使用都明码标价。这不完美，但比一场没有任何赢家的封锁战要好得多。
那份新契约的第一条规则很简单，不再问“你允许别人爬你的内容吗”，而问“你的内容值得被使用吗”。
这个问题的答案，不是每个网站都想听的。
快报