“抓取一百万个页面的费用”这个问题几乎总是得到无用的回答：“这取决于网站。”确实如此，但并不是神秘的。费用可以分解为四个可测量的组成部分，任何一个都可以提前计算出来，在流量账单实际到达之前。以下是实际的算术：千兆字节的来源，为什么“每GB”的价格对您的预算没有任何意义，以及哪些杠杆可以真正大幅削减预算。
主要指标——不是每GB的价格，而是每个成功请求的价格
提供商在展示柜上竞争数字：$1/GB，$3/GB，$0.30每千个请求。这些数字在没有转换为同一单位之前是不可比的——每个成功数据提取的成本。市场评论对此强调：原始的“每GB”和“每1000个请求”的数字在不考虑页面重量和成功响应比例的情况下是无法比较的。
足以进行规划的公式：
预算 = (目标页面数量 ÷ 成功率) × 平均页面重量 × 每GB价格 + 固定费用
第一部分有三个变量，第二部分有一个。我们来逐一分析。
组成部分1：一个页面的重量
这是最被低估的变量。这里的差异不是百分比，而是倍数，取决于您如何获取页面：
- 普通HTTP请求，无渲染——50–150 KB。您只获得HTML文档。
- 无头浏览器的完整渲染——在精心设置下为100–300 KB。
- 原样浏览器，无过滤——0.2–1 MB及以上。您为不需要的图片、字体、广告脚本、分析和视频播放器付费。
第一和第三点之间的差异在同一页面上可达到二十倍。对于一百万个页面，这意味着50 GB和1000 GB流量之间的差异。
组成部分2：按代理类型计算的每GB价格
2026年市场的相关区间如下：
- 数据中心——每GB $0.50–3，或每月按IP收费。
- 住宅代理——每GB $1–8。价格质量的参考：约$1/GB——绝佳报价，$3–4/GB——市场中间，$5–8/GB——企业级。
- 移动（4G/5G）——每GB $2–15。
- ISP / 静态住宅代理——每月每IP $1.5–5。
- 现成的抓取API——每1000个请求 $0.30–12。
选择最便宜的代理的诱惑是显而易见的，但它会被下一个组成部分打破。
组成部分3：成功率——预算的隐藏乘数
每个被阻止的请求您仍然需要支付：流量已消耗，数据没有。因此，实际请求的数量等于目标请求数量除以成功率，乘数以非线性方式增长：
- 成功率95%——溢价5%；
- 成功率70%——每百万个目标记录大约需要多400,000个请求；
- 成功率60%——请求数量需要增加2.5倍。
这就是为什么在受保护的网站上，每GB $0.50的数据中心比每GB $3的住宅代理更贵：Cloudflare、DataDome和Akamai默认标记数据中心的ASN，您为拒绝流量支付费用。根据2026年7月的估计，移动代理在现代反机器人系统中保持90–95%的成功率——而数据中心根本无法通过。
实际结论：选择代理类型不是根据价格，而是根据目标。简单的目录和开放的API——数据中心。商店、社交网络、带保护的聚合器——住宅代理。最具攻击性的网站和移动版本——移动代理。
一百万页面的三种场景
将数字汇总在一起。条件相同：一百万个有用的页面。
场景A——“有纪律的”。 无浏览器的HTTP客户端，每页100 KB，住宅代理每GB $2，成功率95%。总计：1.05百万请求 × 100 KB ≈ 105 GB ≈ $210。
场景B——“典型的”。 带资源过滤的无头浏览器，每页250 KB，住宅代理每GB $3，成功率85%。总计：1.18百万 × 250 KB ≈ 295 GB ≈ $885。
场景C——“无设置”。 浏览器加载所有内容，每页800 KB，住宅代理每GB $5，成功率65%。总计：1.54百万 × 800 KB ≈ 1230 GB ≈ $6150。
A和C之间的差异几乎是三十倍，尽管输出结果相同。没有一个变量是异乎寻常的：这都是常规默认设置与常规谨慎的比较。作为参考：中型公司的行业估计，每月处理一百万个请求的费用在$1000–3000之间——即场景B和C之间。
不包括在流量中的费用，但会计入账单
代理——通常是最大的，但不是唯一的费用：
- 验证码。 解决方案费用为每千个$0.50–3。在一百万个页面中，5%的页面有验证码，这意味着需要50,000个解决方案——$25–150。可以接受。如果是50%——则为$250–1500，这个问题就不再是技术性的了。
- 基础设施。 每月$20–200，适用于小规模；$200–500适用于小规模，$3000–10,000适用于真正的大流量。
- 存储和出站流量。 大型云服务的对象存储每GB每月约$0.023，出站流量每GB约$0.09——在数百GB上是微不足道的，在数十TB上则是显著的数额。
- 人力。 最被遗忘的最昂贵的条目。生产就绪的解析器需要8–12周的开发，然后在简单网站上每月需要4–8小时，在受保护的网站上需要20小时以上。以$75/小时的费用，支持受保护来源的费用超过$1500每月——这比场景B中的所有流量还要多。
五个真正削减预算的杠杆
- 在不需要的地方去掉浏览器。 如果数据在HTML中或内部API中——渲染是多余的。这是主要杠杆：减少60–80%的流量。
- 如果需要浏览器，则阻止资源。 通过一个请求拦截规则禁用图片、字体、媒体、广告和分析脚本，可以实现显著节省。详细的技巧分析在关于通过代理优化流量消耗的材料中。
- 按复杂性对目标进行排序。 通过最昂贵的渠道处理整个列表是预算中最常见的错误。将来源分为“开放”、“适度保护”和“攻击性”，并为每个分配其代理类型。
- 有意识地制定重试策略。 在失败时盲目重试三次会使问题目标的流量增加。仅在有意义的响应代码上进行重试，并使用不同的IP，而不是相同的。
- 缓存并且不要重复获取相同的内容。 列表、分页、重复浏览目录——在这里很容易损失预算的几十个百分点。
何时现成的API更便宜，何时自己的技术栈更便宜
需要计算全面的拥有成本，而不是“每GB”的条目。市场参考：每月处理10万个页面的自有解析器费用为$700–1650，包括支持，而同样数量的现成API费用为$50–300。在大数字上，情况会翻转：每月通过API处理100万个请求的费用为$250–2490，而建立自己的基础设施每月10 TB的费用约为每年$230,000，而购买服务的费用为$100,000–150,000。
粗略规则：当规模小且网站多时——选择现成的解决方案，您为他人的支持付费。当规模稳定，目标少且研究充分时——自己的代理技术栈更便宜，因为您不再为不需要的渲染支付溢价。对这两种方法的详细比较在代理与抓取API和网络解锁器的比较中。
2026年秋季的变化
有一个因素将推动计算上升。从2026年9月15日起，Cloudflare将默认将新域名转为阻止Training和Agent类别——在带广告的页面上；这些变化影响新客户、新客户的现有网站以及所有免费套餐的客户。搜索爬虫仍然被允许。同时，按爬取付费转变为按使用付费：出版商不再因爬取页面而获得报酬，而是因在AI响应中使用内容而获得报酬。
背景很简单：根据Cloudflare的数据，目前在其网络中，52%的爬虫请求用于AI训练，而在2025年春季为22%。网络正在收紧，预算的实际意义是——在受保护来源上的成功率平均将降低，因此第三个组成部分的隐藏预算乘数将变得更加重要。将其纳入计划，而不是在账单中发现。
总结
解析的成本不是每GB的价格，而是页面重量、通道价格和成功率的倒数的乘积。谨慎和粗心的管道在一百万个页面上的差异不是以百分比来衡量的，而是以数量级来衡量的。在与提供商谈判折扣之前，计算一下您为未解析的图片加载和不应发生的重复支付了多少。通常，这里隐藏着比任何折扣更多的钱。