Cloudflare 再次收紧了对 AI 爬虫的限制。 这家公司通过其网络传输约 20% 的所有网络流量，宣布从 2026 年 9 月 15 日 起，默认情况下将阻止在广告和可货币化页面上的“混合型”爬虫——适用于所有新客户和现有账户下的所有新网站。同时，按爬取付费的模式正在扩展，爬虫访问内容将成为一项收费服务。对于所有从事数据收集的人来说，这不仅仅是关于出版商的抽象新闻——这是一个直接信号，表明开放网络的“灰色地带”又收缩了一步。
Cloudflare 具体宣布了什么
关键的新概念是 “混合型爬虫”。Cloudflare 将同时为两个目的收集数据的爬虫称为混合型爬虫：用于搜索引擎索引和训练 AI 模型。以前，这些爬虫以“搜索”爬虫的名义获得访问内容的权限，以换取流量。现在，Cloudflare 终止了这一交易：如果网站通过广告获利，混合型爬虫默认不被允许访问可货币化页面。
从技术上讲，这通过 管理的 robots.txt 规则 和更新的爬虫管理启发式实现。网站所有者无需手动编写任何内容——Cloudflare 自行维护列表和逻辑。新网站的启动日期为 2026 年 9 月 15 日；现有项目可以根据需要启用阻止。
公司的立场由其首席执行官马修·普林斯总结：“现在，互联网大部分流量不是人类产生的，我们必须采取更果断和更快速的行动，以便能够形成可持续的生态系统”。这一变化得到了美联社、时代杂志、大西洋月刊和 Reddit 的公开支持——也就是说，主要出版商，他们最受免费提取其内容的影响。
解释一切的数字
要理解基础设施提供商为何会卷入与 AI 公司的战争，只需查看 Cloudflare 提供的 “爬取与转化的比率”（crawl-to-referral）数据，2025 年的比率如下：
- 谷歌 — 14:1。 每 14 次页面爬取，搜索引擎向网站发送一位真实访客。这是可以接受的：这是旧的交易“我们获取内容，你获得流量”。
- OpenAI — 1,700:1。 每 1,700 次爬取，才有一次转化。交换已经不再对等。
- Anthropic — 73,000:1。 每 73,000 次爬取，才有一次转化。实际上，内容被提取，而流量根本没有。
正是这种不对称性打破了“默认开放”网络的旧模式。分析师们准确地表述道：“在网络曾经开放的地方，直到你关闭它，现在显著的部分在你打开之前是关闭的”。这是一种默认原则的 180 度转变——它不仅打击 AI 实验室，还打击任何落入同一标准的自动化收集者。
按爬取付费：访问成为商品
公告的第二部分是扩展 按爬取付费，这是 Cloudflare 于 2025 年 7 月 1 日在私人测试中推出的市场平台。逻辑很简单：出版商不再只有“允许/阻止”的二元选择，而是增加了第三个选项——对每次爬取收费。网站所有者自行设定费率，而 AI 公司决定是否按此支付。Cloudflare 充当中介，验证爬虫的身份并进行结算。
对于市场来说，这是一次构造性的转变。曾经被视为“免费的，因为是公开的”数据，现在转变为带有价格标签的付费资源。随着 Cloudflare 推广这一模式，合法的“官方”访问内容的成本和复杂性不断增加，尤其是对于那些不愿意签订合同和支付按爬取费用的人。
这与代理和抓取的关系
这里是主要的实际结论。当大型平台因用户代理关闭“诚实”爬虫的通道时，需求不可避免地转向那些使流量与人类无异的工具。分析公司 Synthient 的创始人本·布兰迪奇直接指出：“AI 确实似乎推动了对住宅代理的需求”——因为公司正在寻找绕过其抓取器阻止的方法。
这一阴影层的规模已经令人印象深刻。根据 IPInfo 的数据，仅在六个被追踪的提供商中，90 天内就记录了近 7900 万个独特 IP。同时，市场高度交织：约 46% 的住宅代理地址 同时出现在多个提供商的池中，而单个 IP 在超过一百个不同服务中出现过。这意味着“便宜的住宅代理”实际上往往是同一被转售的地址，已经在数十个其他活动中出现过——并且可能已经被列入黑名单。
我们已经提到，数据收集的监管压力与技术压力同时增加：2026 年 8 月 2 日生效的欧盟 AI 法案，赋予 robots.txt 和选择退出模型训练的重要性。Cloudflare 的举动是同一趋势的技术一半：法律和基础设施障碍正在合并，“仅仅发送来自数据中心 IP 的 GET 请求”的效果越来越差。
数据收集者该怎么办
现在还不必惊慌，但重新审视技术栈是时候了。以下是未来几个月的一些实用指引。
- 按保护级别分离任务。 对于开放的、保护较弱的来源，快速且便宜的 数据中心代理 仍然足够。将其用于住宅流量是浪费金钱。
- 对于使用 Cloudflare 的网站，使用住宅 IP。 当目标通过爬虫管理发送请求时，真实家庭提供商的 住宅代理 是救命稻草：它们的行为默认被视为人类。关键不在于池的绝对大小，而在于其纯度和与其他服务的低交叉率。
- 移动 IP——用于最严格的目标。 社交网络和具有激进反爬虫机制的平台更适合通过 移动代理 访问：同一运营商的一个 IP 背后有成千上万的真实用户，因此完全封锁该 IP 对平台来说并不划算。
- 计算“生存率”而非“流量量”。 在 Cloudflare 转向“默认关闭”后，质量指标不再是千兆字节，而是成功收集的页面比例，而不是被封禁的页面。便宜的转售池，地址交叉率达到 46%，提供了漂亮的流量数字，但成功率却很低。
- 在有规则的地方遵守规则。 如果来源提供官方 API 或按爬取付费的条件，对于稳定的生产管道，这通常比武器竞赛更便宜和可靠。代理是用于公共数据的工具，而不是绕过直接合同禁令的工具。
结论
Cloudflare 的举措不是一次性新闻，而是系统性转变的一部分：网络正在从“开放，直到你关闭”为“关闭，直到你打开”转变。像 73,000:1 这样的比率显示了这一转变的不可避免性，而按爬取付费则将数据访问转变为带有价格标签的商品。对于抓取来说，这意味着：仅凭数据中心 IP 和用户代理头的时代已经结束。那些提前在干净的住宅和移动网络上构建抓取的人将获胜，并且计算的不是流量的量，而是实际成功到达的数据显示的比例。障碍只会越来越高——代理基础设施的质量不再是支出项目，而是你能否获取数据的决定性因素。