在一些人阻止机器人时，另一些人则教它们出示护照。 在2026年，Cloudflare、Google、Amazon、Akamai和OpenAI围绕一个标准聚集——Web Bot Auth。这个想法简单而激进：自动流量不再通过IP地址和User-Agent字符串进行检查，这些都很容易伪造。相反，代理会对每个请求进行加密签名，网站会立即验证签名。2026年3月2日，第五版架构草案（draft-meunier-web-bot-auth-architecture-05）发布，5月Google开始进行实战测试，而IETF工作组则计划在2026年8月发布标准。我们来了解一下这个机制，它背后是谁，以及为什么对于所有从事抓取和多账户操作的人来说，这将是一个180度的转变。
发生了什么：机器人获得了加密身份
经典的“自己–他人”验证在网络上依赖于两个支柱。第一个是User-Agent：客户端自己报告的字符串，任何脚本都可以将其写入一行代码。第二个是IP地址列表：网站维护“官方”Googlebot、Bingbot等的范围列表，并进行反向DNS验证。这两种方法在2026年彻底崩溃。
Cloudflare在其技术文档中明确提出了这个问题：同一个IP可能同时被多个用户或服务使用，而这些范围会随着基础设施的变化而不断变化。User-Agent根本不是证据——这只是自我呈现。根据作者的设想，加密签名提供了身份验证，而不依赖于“不断变化的IP范围”或“可伪造的User-Agent等头信息”。
从技术上讲，Web Bot Auth依赖于已经接受的标准HTTP Message Signatures (RFC 9421)。每个代理会被分配一对Ed25519密钥。在发送请求之前，代理不会随意签名，而是对目标URI的authority进行签名——即请求的域名（当访问example.com时，签名的正是example.com）。请求中添加了Signature-Input头（带有created和expires标签的有效期窗口、以JWK Thumbprint格式的keyid标识符和标签web-bot-auth）和Signature-Agent，后者指向包含公钥的目录（JWKS）。网站从该目录下载公钥并验证签名。没有私钥就无法伪造签名，而有效期窗口则保护免受重放被截获请求的攻击。
谁在支持这个标准
这不是一家公司的实验。Cloudflare、Amazon、Akamai和OpenAI支持Web Bot Auth。架构草案由Tibo Meunier（Cloudflare）和Shandor Major（Google）共同撰写。AWS WAF已经添加了签名验证的支持，Cloudflare将其集成到其Verified Bots程序中，并在其边缘网络中启用。2026年成立了专门的IETF工作组来处理Web Bot Auth，计划在2026年8月之前提交规范进行标准化。
Google参与——这是一个转折点
2026年5月6日，消息传出Google正在测试Web Bot Auth以验证其自身的机器人流量。其意义在于，网站能够确认声称是Google的请求确实来自Google，而不是某个简单地在User-Agent中输入Googlebot的人。签名的AI流量以agent.bot.goog的身份发送——网站所有者从该端点获取Google的公钥，并验证Signature和Signature-Input头。
为什么现在这很重要。正是因为我们关于代理浏览器被阻止的讨论：从2026年9月15日起，Cloudflare默认会在新域名的广告页面上切断“混合”AI爬虫，而通过Cloudflare网络的流量占整个网络的五分之一。网络正在关闭。而Web Bot Auth并不是关于“如何阻止”，而是关于“谁可以进入”。出现了一种新类型的白名单：不是基于IP，而是基于加密身份。网站可以实施“仅向经过验证的签名代理显示价格和产品细节”的政策——而所有其他内容将自动被拒绝。
签名代理：第一批群体
一个单独的类别是signed agents（签名代理）。这些是由最终用户而非单一公司管理的机器人：平台或运行代理的远程浏览器会签署其HTTP请求，而Cloudflare会验证签名。第一批包括ChatGPT agent (OpenAI)、Goose (Block)、Browserbase、Anchor Browser和Cloudflare Browser Rendering。Block的Daouwe Osinga直接描述了好处：“Web Bot Auth使网站能够信任Goose，同时保留其独特性”。
关键区别在于：signed agent代表个人（假设的助手，按照您的请求访问网站），而“搜索”或“训练”爬虫则为公司工作。Cloudflare已经在安全规则中区分这些实体——而这种区分将决定在2026-2027年，谁能在网络上打开大门，谁不能。
这对抓取和代理意味着什么
乍一看，加密签名似乎扼杀了匿名抓取。实际上情况更为复杂——网络正在分裂为两条车道，而这对我们的受众来说改变了战术，而不是取消它。
- 签名代理车道。 为大型平台和白名单中的“用户”助手提供的狭窄特权通道。要进入这里，需要私钥、公有JWKS目录、CDN注册和符合政策。对于典型的抓取项目、反检测农场或SMM自动化，这条路是关闭的：您不是Google，也不是OpenAI，无法获得签名。
- 其他所有人车道。 这里仍然有独立的抓取者、价格监控、数据收集和多账户操作。而在这里，对代理的质量和指纹的真实性要求更高。既然“合法”的流量是通过签名进入的，那么对所有未签名流量的默认要求就会变得更严格。
换句话说，Web Bot Auth并没有消灭对代理的需求——它提高了门槛，对于那些不在白名单中的人。如果之前可以希望通过灰色User-Agent侥幸过关，那么现在未签名的请求立即进入“证明你是活人的”类别。而证明这一点的方式是通过纯净的IP和可信的行为组合。
为什么住宅和移动IP变得更加珍贵
当签名不可用时，唯一看起来合法的方式是与普通用户无异。数据中心地址无法满足这一要求：根据Cloudflare的各种保护测量，数据中心IP仅在40-60%的情况下被允许，而住宅代理的通过率在85-99%之间。原因正是住宅地址属于真实的互联网服务提供商和活跃的用户——根据IP的声誉，无法将其与同一路由器后的人区分开。
在最受保护的平台和移动应用程序中，情况更加严峻，蜂窝网络起着重要作用。这里得益于移动代理：在同一运营商的IP后面有成千上万的活跃用户，因此大规模封禁这样的地址意味着切断真实客户。正是这种“共同锅”的效应使得移动IP成为在一切其他都被透视的世界中最稳定的货币。
但是，单纯的IP已经不够了。随着身份验证从网络转向加密，所有未签名的机器人军队都通过行为和浏览器指纹进行检查：TLS/JA4、canvas、WebGL、字体、时序。代理消除了一个警报信号（地址的声誉），但并未消除其他信号。2026年的工作组合是住宅或移动IP加上具有一致指纹的反检测环境。单一组件没有其他组件会在第一道防线就暴露出机器人。
现在该如何行动
- 按车道划分项目。 如果任务是代表大型产品的官方集成，请研究签名代理的路径：在CDN注册并获取密钥。对于其他所有内容，计划在“其他所有人车道”中工作，并制定相应的规则。
- 投资于IP的质量，而不是数量。 在2026年，廉价的数据中心池越来越多地成为阻碍因素。应优先考虑住宅和移动地址，并根据任务进行轮换。
- 与网络同步指纹。 IP来自一个国家，而浏览器语言、时区和区域设置来自另一个国家——这是经典的失败。指纹必须与代理的地理位置一致。
- 关注标准。 IETF计划在2026年8月最终确定规范。一旦Web Bot Auth成为特定平台访问的强制条件，就必须提前重新审视其策略，而不是事后。
结论
Web Bot Auth并不是另一个反机器人，而是改变了网络中信任的逻辑：从“你是谁，基于IP”到“用加密证明你是谁”。对于像Google和OpenAI这样的巨头来说，这是进入逐渐关闭的互联网的通行证。对于独立的抓取者和多账户项目来说，这是一个信号，表明灰色方法最终不再有效，而“看起来像人”和“看起来像机器人”之间的差距变得至关重要。在新现实中获胜的将不是拥有更多IP的人，而是拥有干净的住宅或移动地址和完美一致的指纹的人。并不是每个人都获得了加密护照——这意味着其他人必须更加令人信服。
```