您收到了 403 — 通常人们第一反应是更换代理。有时这样做有效,但更多时候无效。因为“反机器人”并不是一种技术,而是至少六种不同系统的组合,具有不同的检测机制、不同的严格性和不同的流量要求。能够抵御Imperva的措施在对抗Kasada时毫无用处。我们来分析一下2026年各个厂商的情况,如何在30秒内识别出厂商,以及如何根据每个厂商的要求调整代理堆栈。
为什么“简单换代理”不再有效
传统的逻辑很简单:IP被封锁了——换一个。这个方法有效,直到检测基于地址的声誉。如今,IP只是五个层次中的一个,不同厂商对其权重有着根本性的差异。
所有厂商或多或少使用的信号集合:
- TLS指纹(JA3/JA4)——握手中加密套件和扩展的顺序;
- HTTP头的顺序和大小写——Python客户端与Chrome的不同;
- IP声誉——ASN、数据中心归属、地址历史;
- 浏览器指纹——canvas、WebGL、硬件传感器;
- 行为生物特征——鼠标轨迹、滚动速度、输入模式。
所有研究该主题的专家都重复的关键结论是:信号的一致性至关重要。Chrome的User-Agent与Python的TLS指纹结合会将您标记为机器人——无论您的IP有多干净。住宅地址无法“覆盖”漏洞百出的浏览器层,反之亦然。
第一步:根据痕迹识别厂商
在进行任何更改之前,请查看响应头和cookies。每个系统都会留下可识别的签名——这是了解您所面对的内容的最快方法。
- Cloudflare——头部CF-RAY,cookies cf_clearance 和 __cf_bm,加载challenge.js;在新版本中会出现cf-mitigated头部。
- DataDome——cookies datadome 和 _dd_s,脚本tags.js。
- Akamai——cookie _abck,引用头akamai-grn。
- PerimeterX (HUMAN Security)——cookies _px3、_pxvid、_pxhd,脚本px.js或d.js。
- Kasada——头部系列x-kpsdk-*(ct——挑战令牌,dv——设备验证,cd——挑战数据,v——版本),cookie KP_UIDz,脚本ips.js或p.js。
- Imperva (Incapsula)——cookies incap_ses_*、visid_incap_*、reese84。
- AWS WAF——cookie aws-waf-token,调用端点/challenge.js。
- F5 / Shape Security——以TS为前缀的cookies(例如,TS01a2b3c4)。
另一个标志是拒绝的性质。Kasada会以“裸露”的429响应,没有响应体:如果您看到403或429以及x-kpsdk-*头部,问题就解决了。DataDome更常返回403并附带CAPTCHA页面。Cloudflare则是互动挑战或Turnstile。
系统在机制上的实际区别
签名显示“是谁”,但战术由“如何”决定。从架构上看,厂商之间的差异很大。
Cloudflare——网络边缘的全球模型
在CDN边缘层工作:在请求到达应用程序之前做出决策。模型是全球性的,基于整个网络的流量进行训练——大约占互联网网站的五分之一。对您有利的是:行为是可预测的,一个网站的经验可以迁移到另一个网站。缺点是:网络同时看到您的子网在成千上万的资源上,声誉迅速累积。
DataDome——针对每个网站的个性化模型
关键区别在于:平台维持大约85,000个客户的机器学习模型,基于特定网站的流量进行训练,每天处理超过5万亿个信号,响应时间少于2毫秒。实际结果简单而令人不快:每个受保护的网站都是一个单独的任务。Etsy的工作组合不能简单地转移到同一厂商的其他资源上。2025年增加了意图分析(评估访问目的,而不仅仅是自动化的事实)和对LLM爬虫的单独分类。
Akamai——重视TLS和遥测
检查握手信号并通过cookie _abck验证行为遥测。根据2026年的独立测量,Akamai和Imperva对默认的自动化客户端的挑战频率较低,相比于Cloudflare和DataDome——但这并不意味着“更弱”:在设置激进的情况下,绕过需要正确的TLS层,而不是简单更换IP。
PerimeterX / HUMAN——网络声誉
客户的声誉在整个厂商网络中传播。在一个网站上被识别——在另一个网站上已经带上了标签。典型的平台包括电子商务和房地产。
Kasada——主动审问环境
最严格的批量系统。不仅收集指纹,还主动审问环境:通过Function.prototype.toString()检查客户端代码,应用自己的脚本反混淆。根据综合评估的复杂性,它在检测的复杂性和自我绕过的劳动强度上都获得极端评分。它被用于票务和房地产。
Imperva (Incapsula)——默认的WAF逻辑
基于IP和WAF规则;行为层在更高的设置下启用。典型的平台是企业网站和招聘网站。
谁更严格:数字胜于感觉
有一个独立的基准Scrapeway:八个服务对抗十一目标,每个目标超过1000个请求,每月两份报告。目标与厂商绑定——Indeed在Cloudflare下,Etsy在DataDome下,Walmart和Zillow在PerimeterX下,Realtor在Kasada下。
2026年的测量结果显示:
- 高严格性——Cloudflare、DataDome、PerimeterX、Kasada:绝大多数默认的、未配置的自动化客户端都会收到挑战。
- 中等——Akamai和Imperva:挑战默认客户端的频率明显较低。
- 与Cloudflare目标相比,只有少数未配置的客户端能够稳定地获取页面内容。
相比之下,专业的绕过服务在这些目标上的成功率在94%到100%之间,具体取决于厂商——这意味着任务是可解决的,但不是通过默认客户端和简单更换IP。
针对每个厂商调整代理堆栈
现在进入实践。以下不是绕过的食谱,而是根据检测类型选择基础设施的逻辑。
- Imperva和AWS WAF。 IP权重高,行为层常常关闭。在这里,数据中心代理仍然有效——前提是子网干净且费率合理。从这里开始,这是流量成本最低的选择。
- Akamai。 代理的作用小于TLS层。首先整理握手和头部顺序,然后再提升IP等级。在JA4指纹不正确的情况下更换代理不会有任何效果。
- Cloudflare。 全球声誉意味着子网会迅速枯竭。需要住宅代理,具有广泛的池和合理的轮换:不是“每个请求一个新IP”,而是在逻辑任务期间保持会话,否则cf_clearance会失效。
- DataDome。 模型是基于特定网站的流量进行训练的,因此最重要的是在该网站上的行为一致性。住宅IP提供正面的信任评分,因为真实用户通过住宅连接访问——但如果没有管理浏览器指纹,单靠这一点并不能保证任何结果。不要盲目将一个网站的设置转移到另一个网站。有关该厂商具体细节,请参见DataDome的代理分析。
- PerimeterX / HUMAN。 由于声誉是网络性的,隔离比数量更重要:不同项目使用不同的池,以防标签从一个平台延续到其他平台。
- Kasada。 数据中心地址在入口处被过滤。最低要求是使用住宅代理,最好是移动代理:一个移动IP通过CGNAT可以支持数百个真实用户,系统更不愿意封禁这样的地址。此外,User-Agent必须与浏览器的最新版本一致——过时的字符串会立即暴露组合。
主要错误:不一致的堆栈
我们重申一下开始时提到的内容,因为这是大多数“无法解释”的封禁的原因。所有六个系统都捕捉到层之间的不一致。德国的住宅IP + 系统时区UTC + curl的TLS指纹 + 新版Chrome的User-Agent——这不是“几乎通过”,而是一个完整的机器人配置。代理仅负责五个层中的一个;其他四个层存在于您的客户端中。
因此,实际的工作顺序是:首先根据签名识别厂商,然后评估哪个层次最薄弱,并修复它——而不是简单更换更容易的部分。如果在整理堆栈后目标仍然不可用,问题就转向“自己构建还是支付现成的”——这个分歧我们在代理与抓取API和网页解锁器的材料中进行了讨论。
简而言之
没有单一的“反机器人”存在,也没有通用的绕过方法——没有一种技术能同时对抗所有八个系统。根据cookies和头部识别厂商(这只需30秒),理解其机制——Imperva的IP权重,Akamai的TLS,Cloudflare的全球声誉,DataDome的个性化网站模型,PerimeterX的网络标签,以及Kasada的主动环境审问——并根据其要求选择代理类型,而不是盲目选择。数据中心在形式上关注IP;住宅代理关注信任;移动代理在网络严格过滤所有服务器时使用。并确保所有层的一致性:正是这一点导致了大多数看似正确配置的项目失败。
