2026年7月1日，Cloudflare 举行了第二届“内容独立日”，并首次正式将 AI 代理划分为独立的机器人类别。 现在，流量分为三类——搜索、代理和训练——从 2026 年 9 月 15 日起，广告页面上的代理和训练类别的机器人将默认被阻止。同时，法院和大型零售商已经关闭了“代理浏览器”的大门，例如 Perplexity Comet 和 ChatGPT Atlas。我们来看看代理网络发生了什么，以及为什么没有居民代理的情况下，独立的 AI 助手越来越多地碰壁。
发生了什么：机器人出现了第三个等级
以前，网络只知道两种类型的自动流量：搜索爬虫，它们索引页面，以及训练爬虫，它们提取内容以训练模型。在 2026 年，第三种类型被加入——代理。Cloudflare，通过其网络传输约 20% 的整个网络流量，给出了明确的定义：这是一种“自动化行为，通常实时代表人类采取行动，以立即完成某项任务”。
根据这个定义，fetch 机器人聊天助手（例如 ChatGPT-User，根据用户请求提取最新信息）和完整的浏览器使用代理——Gemini 或 Claude，控制真实的 Chrome，都属于这一类。新政策的逻辑很简单：广告是一个信号，表明网站所有者希望向人类展示页面并实现货币化。因此，在可货币化的页面上，Cloudflare 默认阻止那些剥夺网站注意力的机器人——训练和代理。
值得记住的日期：变化将于2026年9月15日生效，适用于连接到 Cloudflare 的新域名。搜索机器人仍然被允许——网站仍然需要来自搜索引擎的流量。而多功能爬虫如 Googlebot 将根据其所有角色的综合评估：如果所有者启用了训练阻止，则这样的混合机器人将完全被阻止。
代理浏览器：谁在两年内进入市场
早在 2025 年初，“AI 浏览器”听起来像是一个实验。到 2026 年中，这已经是一个充满自主助手的市场，它们可以自己点击、滚动、填写表单和完成购买。主要参与者包括：
- Perplexity Comet——于 2025 年 7 月推出，免费，适用于桌面、Android 和 iOS；
- ChatGPT Atlas来自 OpenAI——2025 年 10 月，订阅制，带有独立的“代理模式”；
- Chrome + Gemini——来自 Google 的集成，2026 年 1 月，适用于 AI Pro 和 Ultra 订阅者；
- Claude for Chrome——现有浏览器的扩展，2025 年 8 月；
- Edge Copilot Mode——微软的免费模式，2025 年 7 月；
- Opera Neon——2025 年 9 月，12 月公开发布，订阅费用约为每月 19.90 美元。
它们的工作方式相似：代理通过屏幕截图和输入命令控制界面——“看到”页面，点击、输入并替你点击链接。正是这种类人机制使它们成为反机器人系统的头痛：从形式上看，这不是一个拉取 API 的爬虫，而是一个真实浏览器的会话，背后是一个真实用户的请求。谷歌甚至在 2026 年 3 月引入了一个独立的标识符 Google-Agent，以便网站所有者能够在日志中区分这些请求。
法院已经站在网站一边
在 Cloudflare 发布设置的同时，围绕代理的冲突已经上升到法院。最具代表性的案例是亚马逊对 Perplexity。亚马逊在 2025 年 11 月提起诉讼，指控该初创公司故意“隐藏”其 AI 代理的性质，以便在未获许可的情况下继续抓取零售商的网站。
2026 年 3 月 10 日，法官麦克辛·切斯尼支持了亚马逊。裁决中指出，该公司提供了“令人信服的证据”：Comet 浏览器是根据用户的指示访问网站，但“没有零售商的授权”。根据亚马逊的说法，Comet “伪装”了其自动化特性，假装成真实买家，以便绕过检测系统。亚马逊甚至记录了支出——超过 5000 美元用于开发阻止 Comet 访问内部客户数据的工具。Perplexity 回应称，将“继续为互联网用户选择任何他们想要的 AI 的权利而斗争”。
亚马逊在没有诉讼的情况下也在采取行动。通过 robots.txt 文件，零售商关闭了对ChatGPT-User和OAI-SearchBot（SearchGPT 引擎）的访问，而更早之前——对训练 GPT-bot 的访问。与 Meta、Google 和 Perplexity 相关的爬虫也被封锁。讽刺的是，OpenAI 同时在构建自己的商业漏斗：Instant Checkout 功能已经允许在 ChatGPT 中直接购买 Walmart、Etsy、Shopify 和 Target 的商品。零售商希望通过 AI 按照自己的条件进行销售——并不希望其他代理在他们的店面中不受控制地游荡。
网站如何识别代理——以及为什么 IP 并不是一切
仅仅通过 user-agent 名称来阻止代理是天真的：它很容易被伪造。因此，Cloudflare 和类似服务的反机器人栈会查看信号的综合体，而在这里，独立浏览器面临着困难：
- 无头浏览器的指纹。 无头环境通过一系列不一致的特征来伪装自己：屏幕分辨率 0x0、没有安装的字体、GPU 报告为“SwiftShader”的软件渲染器。真实用户看起来并不是这样——这会在毫秒内被捕捉到。
- TLS 指纹识别。 即使 HTTP 头完美无缺，TLS 握手也会显示浏览器声明的身份与实际连接特征之间的差距。我们在关于 JA4 和 TLS 指纹识别 的材料中详细讨论了这一向量——今天这是检测的主要工具之一。
- 行为分析。 人类滚动时会有停顿，鼠标移动得并不完美。而代理则以“残酷的机器人效率”行动——在毫秒内加载页面并立即提取数据，因此暴露了自己。
- IP 声誉。 云服务提供商的范围——AWS、Google Cloud、Azure——早已被列为“机器人养殖场”，在声誉过滤器中受到重罚，无论其他指纹多么干净。
这时，代理就登场了。IP 声誉是代理在数据中心地址启动时碰到的第一个障碍。居民代理提供真实家庭设备的 IP 地址，使代理的流量不再看起来像来自服务器机架的请求。对于移动场景——社交网络、具有严格检测的应用——更可靠的是移动代理，使用运营商的 IP 地址。数据中心地址在此并没有消失：对于对声誉不敏感的任务，数据中心代理提供了居民代理无法提供的速度和价格。
重要说明：代理只是一个层次
居民 IP 仅消除了四个障碍中的一个。如果代理仍然在带有“SwiftShader”指纹的无头浏览器中运行，并且表现得像机器人，那么干净的 IP 并不能拯救它——检测将由其他信号组成。2026 年的有效组合不是“代理或反检测”，而是同时具备：居民或移动出口节点、浏览器和 TLS 指纹伪装成真实设备，以及类人的操作时间。抓取和自动化最终变成了身份而非地址的游戏。
这在实践中意味着什么
对于构建基于代理浏览器的自动化的企业和开发者来说，结论如下：
- 9月15日——不是一个抽象的日期。 如果您的代理访问带有广告的网站，请准备好其中一部分将开始返回替代内容而不是实际内容。提前规划基础设施。
- 数据中心代理——头号目标。 首先要做的就是将代理流量从云范围转移到居民或移动 IP。这比在大规模封禁后重写逻辑要便宜。
- 法律风险是真实的。 亚马逊对 Perplexity 的案件表明：“伪装”代理为人类并不是灰色地带，而是法庭的论据。在关键情况下尊重 robots.txt，不要在明确禁止的站点上将自动化伪装成真实用户。
- 官方渠道正在增长。 Instant Checkout 和与零售商的 AI 合作——这是一个信号，表明部分代理场景将转向合法 API。但目前覆盖仍然是片段化的，独立代理将不得不生活在一个一半的网站不欢迎他们的世界中。
结论
代理网络已经不再是演示中的概念，而是网站学会并希望过滤的真实流量。Cloudflare 给了所有者杠杆，法院提供了先例，零售商提供了示例。对于独立的 AI 助手来说，这不是判决，而是明确的信号：为了让代理达到目标，它必须在所有层面上看起来像人类——从出口 IP 到点击的时间。居民和移动代理在这里不是奢侈品，而是基本层，没有它们，其他的花招都无法奏效。网络并没有完全关闭代理——它只是停止接纳那些带着“我是机器人”标志的人。