代理提供商的价格表设计得很简单，似乎很容易比较供应商：一个的千兆字节价格为1美元，另一个为8美元——差异是八倍。实际上，花1美元购买千兆字节的团队，通常支付的收集数据的费用比花8美元的团队要高。原因不在于营销或隐藏费用：千兆字节的价格根本不是衡量您任务的单位。您购买的不是流量——您购买的是成功提取的记录，而这两者之间存在一系列的乘数，每个项目都有其特定的值。
账单不是您所计算的内容
典型场景：计划收集一百万个商品卡片，预估每个页面200 KB，得到了计算出的200 GB和大约1500美元的预算。一个月后，在个人账户中——900 GB和账单是预算的三倍。没有人欺骗：有三件事情发生了变化，而这些在计算中并不存在。
价格与账单之间的差距总是可以分解为相同的组成部分。值得逐一分析它们——然后公式就会自然而然地形成。
价格与账单之间的三个乘数
1. 页面实际的重量
“200 KB”的估计来自于头脑，指的是裸 HTML。实际重量取决于您如何获取页面。现代商店的原始 HTML 响应通常是数百千字节。而在无头浏览器中完全渲染的页面，包括所有脚本、字体、图片和分析，重量已经达到2–5 MB。获取相同数据的两种方式之间的差异是数量级的，这完全影响到您的流量。
行业计算通常使用1–3 MB的范围来表示未优化收集和100–300 KB的优化范围。在这两种模式之间——不是“稍微节省”，而是在同一项目上差异十倍。
2. 有多少响应是合格的
第二个乘数是成功率，即返回可用内容的请求比例。验证码代替页面、403、无数据的空框架、重定向到占位符——这些都是已支付的流量，但没有提供任何记录。
算术很简单且无情：请求数量 = 所需记录 ÷ 成功率。在95%的成功率下，获取一百万条记录需要105万次请求。在70%的成功率下，已经是143万次。在60%的成功率下，则是167万次。也就是说，成功率从95%下降到60%本身就使账单增加了近60%，而千兆字节的价格完全不变。
3. 重试、超时和附加流量
在此之上是附加流量的负担。成熟的托管平台的重发通常占据0.1–3%的额外流量，而自定义的Scrapy管道则是5–15%，并且随着规模的扩大比例会增加。激进的重试逻辑，连续对被封锁的域名进行五次攻击，轻松将这些百分比转化为几十。
不会撒谎的指标
将所有内容汇总为一个量。需要计算的不是每千兆字节的美元，而是每千条成功提取记录的成本：
- 每千条记录的价格 = (平均响应重量以GB计算 ÷ 成功率) × (1 + 重试比例) × 每GB的价格 × 1000
这个公式的价值在于，它使不可比的提议变得可比。便宜的池子，封禁率为40%，和昂贵的池子，封禁率为5%，终于在同一轴线上。值得注意的是，在过去一年中，供应商们也开始关注这个指标：行业材料中越来越多地出现“价格除以成功率”的表述，而不是单纯的千兆字节价格。
这在金钱上是怎样的
假设有一百万条记录，平均页面500 KB，居民流量为每GB 8美元——市场的典型中间价。只改变成功率：
- 95%的成功率——105万次请求，大约525 GB，约4200美元
- 70%的成功率——143万次请求，大约715 GB，约5720美元
- 60%的成功率——167万次请求，大约835 GB，约6680美元
差异几乎是2500美元，都是在同一价格下。现在比较两个在价格表中看起来天差地别的提议。供应商A：2美元/GB，但在您的目标上保持55%的成功率。供应商B：6美元/GB和92%的成功率。在相同的500 KB和一百万条记录下，A的结果大约是910 GB和1820美元，而B则是大约545 GB和3270美元。在这里，A确实更便宜，这是一个诚实的结果：在价格差异大的情况下，低成功率并不总是会吞噬收益。
但如果给A加上15%的重试，而B只有3%，再加上无头渲染，正是因为便宜的池子更常返回占位符而不是内容——那么A的页面重量将达到1.5 MB，而B则是500 KB。重新计算：A大约是3.1 TB和6200美元，B大约是560 GB和3370美元。排列发生了翻转。这就是为什么“谁的千兆字节更便宜”这个问题没有独立意义：答案取决于您的目标、您的技术栈和您的封禁率。
为什么爬虫API的计算方式不同——以及如何比较它们
另一个复杂性在于，市场的一部分根本不出售千兆字节。爬虫API和网页解锁器按请求收费，并根据复杂性定价。2026年每千个页面的价格大致如下：
- 简单HTML： ScrapeOps约0.19美元，ScraperAPI约0.49美元，Scrape.do约0.58美元，ScrapingBee约0.66美元，Bright Data约1.00美元
- 带JS渲染（通常是5个积分而不是1个）：ScrapeOps约0.95美元，Scrape.do约2.90美元，ScrapingBee约3.30美元，ScraperAPI约4.90美元，Bright Data约5.00美元
- 受反机器人保护的网站（10–25个积分）：ScrapeOps约1.90美元，Scrape.do约4.45美元，ScraperAPI约5.96美元，ScrapingBee约6.60美元，Bright Data在8–15美元之间
请注意同一供应商内部的差距：ScraperAPI的简单页面和受保护页面之间的差异是十二倍。按请求计费的定价在千兆字节之前看起来更可预测，直到目标从第一类转移到第三类——而这发生在您不参与的情况下，由网站所有者决定。
这归结为同一公式的共同轴：请求成本 ÷ 成功率 × 1000。之后“每千个JS页面3.30美元”的提议和“每千兆字节居民流量6美元”的提议终于可以放在一起比较。对这些方法的更广泛分析——官方API、现成数据集或自定义解析器——我们单独进行了讨论；这里重要的是它们在金钱上的可比性。
一个晚上的测量
没有您自己的数字，公式是无用的，好的消息是，获取这些数字的工作只需几个小时。对您真实URL的1000次请求的试点测试提供了所有必要的信息。
- 获取代表性的目标样本——不是主页，而是您将在生产中收集的商品卡片、类别和搜索结果。主页的成功率无法预测。
- 单独记录四个计数器：有效的带数据的响应、HTTP错误、验证码和挑战、“空的200响应”——即200代码但没有所需内容。最后一类是最狡猾的：形式上这是成功，实际上是已支付的垃圾。
- 从供应商的统计数据中获取实际流量量，而不是从您的估计中。计算出的页面重量与实际重量之间的差异通常是这种试点的第一个发现。
- 将重试作为单独的条目进行计算，而不是将其溶解在总请求数中。
- 在同一天对第二个供应商重复测试。成功率会随着反机器人系统的情绪波动而变化，因此不能将间隔一周的测量进行比较。
如果试点显示低成功率，不要急于更换供应商：首先要弄清楚原因。关于如何诊断低成功率代理的问题，典型问题源的分析已在材料中汇总，如何诊断低成功率的代理，并且定期监控相同指标应当成为常态。问题往往出在标题、时机或客户端的TLS指纹，而不是IP的质量。
四个杠杆比折扣更能推动数字
当指标被计算出来时，您会看到它最敏感的地方。价格的10%折扣是可用杠杆中最弱的。
响应的重量。最快的收益。只获取所需内容可以将流量降低2–10倍。如果无头浏览器是必需的，请在请求拦截级别阻止图片、字体、媒体和第三方脚本——内容不会受到影响，而体积会大幅下降。启用压缩和基于ETag的条件请求：自上次爬取以来未更改的页面应该给您304响应，而不是一兆字节。
成功率。在60–95%的范围内，每增加10个百分点的成功率——账单就会增加几十个百分点。在这里，起作用的不是金钱，而是工程：正确的客户端指纹、合理的节奏、适合特定目标的IP类型。
代理类型的混合。将所有流量通过居民池是最常见且最昂贵的错误。大量目标可以通过数据中心代理轻松获取，这些代理便宜十倍；居民地址只应在真正需要时使用。根据目标而不是习惯进行路由，可以将代理费用削减60–70%。
重试的纪律。指数延迟、尝试上限、对无法通过重试解决的代码放弃重试。3%和15%附加流量之间的差异是精细的包装与缺乏包装之间的差异。关于这个问题的实际方面已在关于通过代理优化流量消耗的材料中进行了讨论。
流量之外的内容
完整的支出图景比代理账单更广泛，这在选择“自己收集”与“购买现成的”之间时值得记住。对于每月一百万页面规模的项目，行业对自托管解决方案的估计如下：居民流量500–1500美元，工程时间1000–2000美元，基础设施300–500美元。总计每月2000–4400美元——而这还不包括编写实际的业务逻辑。以每小时约100美元的工程师费率计算，几天修复崩溃的选择器的时间成本超过了代理的月账单。
这并不是反对自我收集的论点——这是一个论点，认为工程时间应与千兆字节一样被视为预算的一项条目。定价模型也应当有意识地选择：对于稳定的长会话，按专用IP收费往往比按兆字节收费更划算。
简而言之
千兆字节的价格并不是数据的价格，而是四个乘数之一的价格。根据它比较供应商就像根据每升汽油的价格选择汽车，而不询问油耗。比较的工作单位是：在您的目标上，每千条成功提取记录的成本是多少，您的响应重量、成功率和重试率是多少。
在签署年度计划之前，在1000次请求的试点中计算它。经常发现，价格表中最便宜的提议实际上比其他所有提议都要贵——而且最大的节省潜力往往不在于折扣谈判，而在于关闭图片加载的二十行代码。
```