关于“自有代理还是现成的抓取API”的争论通常用一句话来解决:“在大规模下,代理便宜得多。”这句话是正确的,但并没有回答真正的问题。在2026年,胜负的关键不在于请求的数量,而在于单个响应的重量——转折点大约在400–550 KB左右。以下是对三个解决方案的分析,基于标准的美元计算每1000个成功响应的真实算术和“在什么场景下选择什么”的矩阵。
三种不同的产品,常常混淆
首先,我们要澄清概念——一半的失败预算源于团队比较不可比拟的东西。
- 原始代理(raw proxy)。 您为流量付费——通常按千兆字节计费。提供商提供IP池和轮换,其余的由您自己处理:TLS指纹、头部顺序、重试、Cookie、渲染、HTML解析。
- Web Unblocker(代理解锁器)。 中间层:与代理相同的端点,但内部进行指纹协调(TLS握手、头部和JS环境提供相同的浏览器),内置JS渲染,出现挑战时自动更换IP/头部/时间,粘性会话和在尝试之间转移反机器人令牌。支付方式——按成功响应或按千兆字节计费。
- 抓取API。 发送URL——获得准备好的HTML或已经解析的JSON。最大程度的便利,最小的管道控制,按1000个成功调用计费。
关键区别不在于技术,而在于经济:代理按字节计费,而API和大多数解锁器按事件计费。只有当您将两者都转换为一个指标时,比较才有意义。
2026年独立测量显示的结果
在2026年5月,aimultiple发布了对超过3000万页面的基准测试:50多个产品来自六家公司,专注于网络数据。关于解锁受保护目标的结果如下:Bright Data——98%,Zyte——97%,Decodo——96%,Oxylabs——95%。Bright Data为其Web解锁器声称成功响应率为97.9%。
研究人员的重要说明:代理解决方案的成功率取决于测试时间和请求配置,而不是静态的——提供商会更新IP池,平台会加强保护。基准的第二个直接结论是:在Amazon级别的重型目标上,解锁器确实是必要的,而在普通网站上,普通代理就足够了。
正因如此,在2026年,问题变得更加尖锐。检测的标准从“IP声誉”转向会话行为——例如,Cloudflare在主要请求之前就评估连接的历史(我们在关于检测机器人中的前驱会话的材料中讨论过)。干净的IP不再是足够的条件:如果堆栈无法保持一致的指纹,昂贵的居民流量会在403错误中消失。
价格一览
2026年7月的公开价格(起始费率,不包括大宗折扣):
| 解决方案 | 支付模型 | 起始价格 |
|---|---|---|
| Zyte API | 每1000个请求 | $0.13–1.27 |
| IPRoyal Web Unblocker | 每1000个请求 | 从$1.00起 |
| Decodo | 每1000个请求 / 每GB | $1.25 / $10 |
| Bright Data Web Unlocker | 每1000个请求 | 从$1.50起 |
| Oxylabs Web Unblocker | 每GB | 从$9.40起 |
| 原始代理(ProxyCove) | 每GB | $1.5 数据中心 / $2.7 住宅 / $3.8 移动 |
Zyte的价格差异十倍——这不是打字错误:价格取决于特定目标需要多少“重型火力”(渲染、优质池)。这是基于成功的模型的一个共同特性:目标越复杂,调用越昂贵。
算术:每1000个成功响应的美元
唯一正确的指标是1000个成功响应的成本。计算时必须考虑失败:在代理模型中,失败的尝试也需要用流量支付。假设我们自己的堆栈成功率为70%——即每个成功需要1.43次尝试。
场景1:仅HTML,无图片和脚本
典型的商品页面以“干净”的HTML形式大约为200 KB。1000个成功需要1.43 × 200 KB × 1000 ≈ 286 MB ≈ 0.28 GB。
- 住宅每$2.7/GB → ≈ $0.76 每1000个成功响应。
- 数据中心每$1.5/GB → ≈ $0.42。
- 解锁器每$1.00–1.50每1000 → $1.00–1.50。
代理便宜1.3–3.5倍。这就是“代理总是更划算”这一传说的根源。
场景2:在浏览器中完整渲染页面
根据2025年HTTP Archive发布的Web Almanac(于2026年1月16日发布),主页的中位重量为2710 KB,内部页面为1866 KB,桌面中位数为2412 KB。也就是说,通过代理进行完整渲染大约需要2 MB每次尝试。
- 住宅:1.43 × 2 MB × 1000 = 2.86 GB × $2.7 → ≈ $7.7 每1000个成功。
- 解锁器每个成功请求:$1.00–1.50——便宜5–7倍。
- 按GB计费的解锁器($9.40):2.86 GB → ≈ $26.9。最糟糕的组合。
这个结论打破了常规逻辑:在JS重型目标上,原始代理比现成的API更贵,而按GB计费的解锁器会因每次渲染而受到惩罚——一个成功的响应会消耗数MB的字体、图片和分析数据。
盈亏平衡点
公式很简单:将每1000个请求的价格除以每GB的价格。在$1.50/1000和住宅$2.7/GB的情况下,我们得到每1000个成功的0.556 GB——即每个成功响应556 KB,或者在70%成功率下每次尝试约390 KB。对于每$1.00/1000的便宜解锁器,门槛降至≈370 KB每个成功。
实际结论是:平均响应在~400 KB以下——选择代理;明显更重——考虑解锁器。 这里隐藏着最被低估的杠杆:在Playwright/Puppeteer中阻止图片、字体和媒体可以将渲染重量削减5–10倍,并将经济效益转回代理一方。在支付解锁器之前,尝试停止下载不需要的横幅。
隐藏的开销:工程时间
流量并不是唯一的成本。使用原始代理时,您承担了解锁器在内部完成的工作:
- 一致的指纹。 TLS握手、头部顺序和JS环境必须描述相同的浏览器。不同步是机器人的主要标志(技术分析见于关于通过curl-cffi绕过JA4指纹的文章)。
- 失败分类器。 严格阻止(403)、带有200代码的挑战页面、超时、空渲染、截断的HTML——这是五种不同的情况,反应各不相同。将“200 OK”视为成功是将垃圾数据填入数据库的可靠方法。
- 重试策略。 更换IP、头部和时间,而不仅仅是重复相同的请求。
- 会话存储。 粘性会话和在尝试之间转移反机器人令牌,而不是从头开始。
- 渲染能力。 自己的无头浏览器集群、它们的内存和崩溃。
对于已经保持抓取堆栈的团队来说,这不是开销——基础设施已经建立。对于两个开发者在一周内的截止日期来说,这就是每1000个请求的$1.50,只是以工资的形式支付。
场景选择矩阵
- 大规模持续流量,轻量响应(HTML、JSON端点),自己的堆栈。 原始代理。首先从数据中心代理开始——在不受保护的目标上,它们提供更好的价格;仅在数据中心确实被阻止的地方切换到住宅代理。
- 几个特别受保护的目标,JS重型页面,流量较小。 解锁器或按成功请求计费的抓取API。在需要$1.5的现成解决方案的地方,用$7.7的流量支付是一种固执,而不是节省。
- 混合——成熟团队的最终选择。 90–95%的流量使用代理(便宜且可控),API用于那些少数几个目标,值得支付溢价。
- 多步骤场景:登录、无限滚动、点击和表单。 这里两者都无法满足——需要一个可控的浏览器,解锁器只提供HTML。
- 反模式。 通过按GB计费的解锁器进行完整渲染和图像——这是所有可能配置中最昂贵的。
决策前的检查清单
- 测量响应的平均重量在您的目标上——这是主要参数,而不是请求的数量。
- 测量您堆栈的实际成功率并将流量乘以尝试系数(在70%成功率时——乘以1.43)。
- 仅比较$每1000个成功响应。“$/GB与$/1000请求”——这种比较总是会误导。
- 检查是否可以减轻重量:禁用图像、字体、媒体、分析;从hydration-payload中获取数据,而不是完整渲染。
- 考虑失败的支付模型:基于成功的解锁器不会对重试收费,而代理流量总是会为此付费。
结论
“代理在大规模下更便宜”——仅对轻量响应而言是正确的。2026年的真正分水岭是单个响应的重量:大约在400 KB以下,原始代理获胜,之后——按成功请求计费。计算您的两个数字(平均重量和成功率),将两种选择转换为每1000个成功的美元,决策将不再是信仰问题。而节省成本的最常见方法是,不是更换提供商,而是停止下载您不需要的内容。
