プロキシプロバイダーの価格リストは、サプライヤーを比較するのが簡単なように構成されています：あるプロバイダーは1ギガバイトが1ドル、別のプロバイダーは8ドルです — 差は8倍です。しかし実際には、1ドルで1ギガバイトを購入したチームは、8ドルで購入したチームよりも収集したデータに対して定期的に多くの費用を支払っています。その理由はマーケティングや隠れた手数料ではありません：1ギガバイトの価格は、あなたのタスクを測定する単位ではないのです。あなたが購入しているのはトラフィックではなく、成功裏に抽出されたレコードであり、これら2つの量の間には、各プロジェクトごとに異なる乗数のチェーンがあります。
請求書はあなたが考えたものではない
典型的なシーン：商品カードを100万枚収集する予定で、ページあたり200KBを見積もり、計算上は200GBと約1500ドルの予算を得ました。しかし1か月後、個人アカウントには900GBと見積もりの3倍の請求書が表示されます。誰も騙してはいません：計算に含まれていなかった3つのことが変わりました。
価格と請求書の間のギャップは、常に同じ構成要素に分解されます。それらを個別に分析する価値があります — そうすれば、次に公式が自動的に組み立てられます。
価格と請求書の間の3つの乗数
1. ページの実際の重さ
「200KB」という評価は頭から出てきたもので、素のHTMLに関するものです。実際の重さは、ページを取得する方法によって異なります。現代の店舗からの生のHTMLレスポンスは通常、数百キロバイトです。しかし、ヘッドレスブラウザで完全にレンダリングされたページは、すべてのスクリプト、フォント、画像、分析を含めて2〜5MBになります。同じデータを取得する2つの方法の間の違いは、桁の違いであり、それは完全にあなたのトラフィックに影響します。
業界の計算では、通常、最適化されていない収集の場合は1〜3MB、最適化された場合は100〜300KBの範囲で操作されます。これら2つのモードの間には「少しの節約」ではなく、同じプロジェクトでの10倍の違いがあります。
2. どの割合のレスポンスが実際に役立つか
2つ目の乗数は、成功率、すなわち有用なコンテンツを返したリクエストの割合です。ページの代わりにキャプチャ、403、データなしの空のフレーム、ダミーへのリダイレクト — これらはすべて、1つのレコードも提供しなかった有料トラフィックです。
算数はシンプルで容赦ありません：リクエストの数 = 必要なレコード ÷ 成功率。成功率が95%の場合、100万レコードには105万リクエストが必要です。成功率が70%の場合は143万リクエスト、60%の場合は167万リクエストが必要です。つまり、成功率が95%から60%に下がることで、請求書に対してほぼ60%の追加が発生しますが、1ギガバイトの価格は全く変わりません。
3. リトライ、タイムアウト、オーバーヘッドトラフィック
その上に、ラッパー自体のオーバーヘッドトラフィックが乗ります。ここで、成熟したマネージドプラットフォームと急いで構築されたスタックの間には大きな違いがあります：調整されたマネージドプラットフォームでは、リトライが約0.1〜3%を消費しますが、自作のScrapyパイプラインでは5〜15%であり、その割合はスケールと共に増加します。ブロックされたドメインに対して5回連続で叩く攻撃的なリトライロジックは、これらのパーセンテージを簡単に数十に変えてしまいます。
嘘をつかないメトリック
すべてを1つの量にまとめましょう。計算すべきは、ギガバイトあたりのドルではなく、成功裏に抽出された1000レコードのコストです：
- 1000レコードあたりの価格 = (平均レスポンスの重さ（GB） ÷ 成功率) × (1 + リトライの割合) × ギガバイトあたりの価格 × 1000
この公式の価値は、比較できない提案を比較可能にすることです。バンレートが40%の安価なプールとバンレートが5%の高価なプールは、ついに同じ軸に並びます。注目すべきは、このメトリックに昨年、プロバイダー自身も到達したことです：業界の資料では、「価格を成功率で割ったもの」という表現がますます使われるようになり、単なるギガバイトあたりの価格ではなくなっています。
お金でどう見えるか
100万レコード、平均ページ500KB、レジデントトラフィックが8ドル/GBの場合 — 市場の典型的な中間です。成功率だけを変更します：
- 成功率95% — 105万リクエスト、約525GB、約4200ドル
- 成功率70% — 143万リクエスト、約715GB、約5720ドル
- 成功率60% — 167万リクエスト、約835GB、約6680ドル
差はほぼ2500ドルで、同じ価格でのことです。さて、価格リストで天と地のように見える2つの提案を比較してみましょう。プロバイダーA：2ドル/GBですが、あなたの目標に対して55%の成功率を持っています。プロバイダーB：6ドル/GBで92%の成功率です。同じ500KBと100万レコードの場合、Aは約910GBと1820ドル、Bは約545GBと3270ドルになります。ここでAは確かに安く、これは正当な結果です：価格の大きな差がある場合、低い成功率が常に利益を食いつぶすわけではありません。
しかし、Aに対して15%のリトライを追加し、Bには3%を追加し、ヘッドレスレンダリングを追加します。これは、安価なプールがコンテンツの代わりにダミーを返すことが多いためです — そしてAのページの重さは1.5MBに対し、Bは500KBです。再計算：Aは約3.1TBと6200ドル、Bは約560GBと3370ドルです。状況は逆転しました。だからこそ、「誰のギガバイトが安いか」という質問には独立した意味がないのです：答えはあなたの目標、スタック、バンレートによって異なります。
なぜスクレイピングAPIは異なると考えられるのか — そしてそれらを比較する方法
市場の一部は、実際にはギガバイトを売っていないという別の難しさがあります。スクレイピングAPIやウェブアンブロッカーは、リクエストに対して料金を請求し、複雑さに応じて課金します。2026年の1000ページあたりの価格の範囲は次のようになります：
- シンプルなHTML： ScrapeOps約0.19ドル、ScraperAPI約0.49ドル、Scrape.do約0.58ドル、ScrapingBee約0.66ドル、Bright Data約1.00ドル
- JSレンダリング付き（通常は1の代わりに5クレジット）：ScrapeOps約0.95ドル、Scrape.do約2.90ドル、ScrapingBee約3.30ドル、ScraperAPI約4.90ドル、Bright Data約5.00ドル
- アンチボット保護付きサイト（10〜25クレジット）：ScrapeOps約1.90ドル、Scrape.do約4.45ドル、ScraperAPI約5.96ドル、ScrapingBee約6.60ドル、Bright Dataは8〜15ドルの範囲
同じプロバイダー内のギャップに注目してください：ScraperAPIでは、シンプルなページと保護されたページの違いは12倍です。「リクエストあたりの料金」は、ギガバイトよりも予測可能に見えますが、目標が第一カテゴリーから第三カテゴリーに移動するとき — これはあなたの関与なしに、サイト所有者の決定によって起こります。
これは、依然として同じ公式に基づいています：リクエストのコスト ÷ 成功率 × 1000。その後、「1000のJSページあたり3.30ドル」という提案と「レジデントトラフィックのギガバイトあたり6ドル」という提案を並べることができます。アプローチのより広い分析については、公式API、準備されたデータセット、または独自のパーサーを別途検討しましたが、ここで重要なのは、金銭的に比較可能であることです。
1晩での測定
公式はあなた自身の数字なしでは無意味であり、良いニュースは、それを取得するのが数時間の作業であることです。実際のURLに対して1000リクエストのパイロットが必要なすべてを提供します。
- 代表的な目標のサンプルを取得する — メインページではなく、実際に収集する商品カード、カテゴリ、検索結果です。メインページでの成功率は何も予測しません。
- 4つのカウンターを別々に記録する： データを持つ有効なレスポンス、HTTPエラー、キャプチャとチャレンジ、「空の200」 — 必要なコンテンツなしの200コード。最後のカテゴリは最も狡猾です：形式的には成功ですが、実際には支払われたゴミです。
- プロバイダーの統計から実際のトラフィック量を取得する、自分の評価からではなく。計算されたページの重さと実際の重さの間の不一致は、通常、そのパイロットの最初の発見です。
- リトライを別の行として計算する、リクエストの総数に溶け込ませないでください。
- 同じ日に2番目のプロバイダーで繰り返す。 成功率はアンチボットシステムの気分と共に変動し、1週間に分散した測定は比較できません。
パイロットが低い成功率を示した場合、プロバイダーをすぐに変更することは急がないでください：まず原因を理解することが重要です。問題の典型的なソースの分析は、低い成功率のプロキシを診断する方法にまとめられており、同じメトリックの定期的な監視は流れに乗せるべきです。問題はしばしばヘッダー、タイミング、またはクライアントのTLSフィンガープリンティングにあり、IPの質ではありません。
割引よりも数字を動かす4つのレバー
メトリックが計算されると、どこで最も敏感であるかが見えてきます。価格の10%の割引は、利用可能なレバーの中で最も弱いものです。
レスポンスの重さ。 最も迅速な利益です。必要なものだけを取得することで、トラフィックを2〜10倍削減します。ヘッドレスブラウザが必須の場合は、リクエストのインターセプトレベルで画像、フォント、メディア、外部スクリプトをブロックします — コンテンツには影響せず、量は大幅に減少します。圧縮とETagによる条件付きリクエストを有効にしてください：前回のクロールから変更されていないページは、304レスポンスであるべきで、メガバイトではありません。
成功率。 60〜95%の範囲での成功率の10パーセントポイントごとに、請求書の数十パーセントが変わります。ここではお金ではなく、エンジニアリングが重要です：クライアントの正しいフィンガープリンティング、合理的なペース、特定の目標に対する正しいIPタイプです。
プロキシタイプのミックス。 すべてのトラフィックをレジデントプールを通して流すことは、最も一般的で最も高価な間違いです。多くの目標は、データセンタープロキシを通してうまく提供され、これらは10倍安価です；レジデントアドレスは、本当にそれを必要とするものにのみ費やすべきです。習慣ではなく、目標に基づいてルーティングすることで、プロキシコストを60〜70%削減します。
リトライの規律。 指数的な遅延、試行の上限、再試行が効果のないコードでの再試行の拒否。3%と15%のオーバーヘッドトラフィックの違いは、適切なラッパーとその欠如の違いです。実際の問題の側面は、プロキシを通じたトラフィックの最適化に関する資料で詳しく説明されています。
トラフィックの外に残るもの
支出の全体像はプロキシの請求書よりも広く、これは「自分で収集する」か「既製品を購入する」かを選ぶ際に考慮すべきです。月に100万ページの規模のプロジェクトに対する業界の評価は、次のようになります：レジデントトラフィック500〜1500ドル、エンジニアリング時間1000〜2000ドル、インフラ300〜500ドル。合計で月2000〜4400ドル — そしてこれは実際のビジネスロジックを書く前のことです。エンジニアの時給が約100ドルの場合、壊れたセレクターを修正するのに数日かかることは、プロキシの月額請求書よりも高くつきます。
これは自分で収集することへの反論ではなく、エンジニアリング時間をギガバイトと同じ予算の行として考慮することを支持するものです。料金モデルも意識的に選ぶべきです：安定した長期セッションの場合、専用IPの料金はメガバイト単位の料金よりも有利であることがよくあります。
要約
ギガバイトあたりの価格はデータの価格ではなく、4つの因子の1つの価格です。それを基にプロバイダーを比較することは、燃費を尋ねずにガソリンのリットルあたりの価格で車を選ぶのと同じです。比較の作業単位は1つです：あなたの目標に対して、あなたのレスポンスの重さ、あなたの成功率、あなたのリトライで、成功裏に抽出された1000レコードのコストはいくらか。
年間契約にサインする前に、1000リクエストのパイロットでそれを計算してください。価格リストで最も安い提案が、他のすべてよりも高くつくことがよくあります — そして、最も大きな節約の余地は、割引交渉ではなく、画像の読み込みをオフにする20行のコードにあることが多いのです。
```