「百万ページをスパースするのにいくらかかるか」という質問は、ほぼ常に無意味な答えを受け取ります：「サイトによります」。確かにそうですが、神秘的ではありません。コストは四つの測定可能な要素に分かれ、それぞれはトラフィックの請求書が実際に届く前に計算できます。以下は、作業の算数です：ギガバイトがどこから来るのか、「GBあたりの価格」があなたの予算について何も語らない理由、そして実際にコストを大幅に削減する手段です。
主要な指標は、GBあたりの価格ではなく、成功したリクエストあたりの価格です
プロバイダーは、ショーウィンドウで数字を競っています：$1/GB、$3/GB、1000リクエストあたり$0.30。これらの数字は、同じ単位に変換しない限り、比較できません — 成功したデータ抽出のコストです。市場のレビューはこれを強調しています：生の数字「GBあたり」と「1000リクエストあたり」は、ページの重さと成功した応答の割合を考慮しなければ比較できません。
計画に十分な式：
予算 = (ターゲットページ数 ÷ 成功率) × ページの平均重量 × GBあたりの価格 + 固定費
最初の部分には三つの変数、後の部分には一つの変数があります。それぞれを見ていきましょう。
要素1：1ページの重さ
これは最も過小評価されている変数です。ここでのばらつきは、パーセントではなく倍数であり、ページを取得する方法によって異なります：
- レンダリングなしの通常のHTTPリクエスト — 50〜150 KB。HTMLドキュメントのみを取得します。
- ヘッドレスブラウザでの完全レンダリング — 注意深い設定で100〜300 KB。
- フィルターなしの「そのまま」のブラウザ — 0.2〜1 MB以上。画像、フォント、広告スクリプト、分析、不要なビデオプレーヤーに対して支払います。
最初のポイントと第三のポイントの違いは、同じページで最大20倍です。百万ページの場合、これは50 GBと1000 GBのトラフィックの違いです。
要素2：プロキシの種類によるGBあたりの価格
2026年の市場の範囲は以下のようになります：
- データセンター — $0.50〜3/GBまたはIPの月額料金。
- レジデンシャル — $1〜8/GB。価格の質の基準：$1/GBは素晴らしいオファー、$3〜4/GBは市場の中間、$5〜8/GBは企業セグメント。
- モバイル（4G/5G） — $2〜15/GB。
- ISP / 静的レジデンシャル — 月額$1.5〜5/ IP。
- 既製のスクレイピングAPI — 1000リクエストあたり$0.30〜12。
最も安いものを選ぶ誘惑は理解できますが、次の要素で崩れます。
要素3：成功率 — 予算の隠れた乗数
ブロックされたリクエストは、トラフィックが消費され、データがないため、支払わなければなりません。したがって、実際のリクエスト数はターゲット数を成功率で割ったものであり、乗数は非線形に増加します：
- 成功率95% — 5%のオーバーペイ；
- 成功率70% — 各百万ターゲットレコードあたり約40万リクエストが必要；
- 成功率60% — リクエストは2.5倍必要です。
これが、$0.50/GBの安いデータセンターが保護されたサイトで$3/GBのレジデンシャルよりも高くなる理由です：Cloudflare、DataDome、AkamaiはデフォルトでデータセンターのASNをマークし、拒否の流れに対して支払います。2026年7月の推定によれば、モバイルプロキシは現代のアンチボットシステムに対して90〜95%の成功率を維持しています — データセンターが全く通過しない場所で。
実用的な結論：プロキシのタイプは価格で選ばれるのではなく、目的で選ばれます。単純なディレクトリとオープンAPIには データセンター。店舗、ソーシャルネットワーク、保護されたアグリゲーターには レジデンシャル。最も攻撃的なプラットフォームやモバイル版のサイトには モバイル。
百万ページの三つのシナリオ
数字を一緒に集めましょう。条件は同じです：百万の有用なページ。
シナリオA — 「規律ある」。 ブラウザなしのHTTPクライアント、ページあたり100 KB、$2/GBのレジデンシャル、成功率95%。合計：1.05百万リクエスト × 100 KB ≈ 105 GB ≈ $210。
シナリオB — 「典型的な」。 リソースフィルタリング付きのヘッドレスブラウザ、ページあたり250 KB、$3/GBのレジデンシャル、成功率85%。合計：1.18百万 × 250 KB ≈ 295 GB ≈ $885。
シナリオC — 「設定なし」。 ブラウザがすべてを読み込む、ページあたり800 KB、$5/GBのレジデンシャル、成功率65%。合計：1.54百万 × 800 KB ≈ 1230 GB ≈ $6150。
AとCの違いは、出力結果が同じであるにもかかわらず、ほぼ30倍です。どの変数もエキゾチックではありません：すべてはデフォルト設定と通常の注意の違いです。参考までに：中規模企業がさまざまなサイトで月に百万リクエストを処理するための業界の評価は、月に$1000〜3000です — つまり、シナリオBとCの間です。
トラフィックに含まれないが請求書に含まれるもの
プロキシは通常最大の項目ですが、唯一の項目ではありません：
- キャプチャ。 解決には1000件あたり$0.50〜3かかります。百万ページのうち5%がキャプチャの場合、これは5万件の解決 — $25〜150。許容範囲です。50%の場合、すでに$250〜1500になり、問題は技術的ではなくなります。
- インフラ。 小規模なボリュームで月に$20〜200；小規模で$200〜500、大規模な流れで$3000〜10,000。
- ストレージとアウトバウンドトラフィック。 オブジェクトストレージで月に約$0.023/GB、主要なクラウドでのアウトバウンドは$0.09/GB — 数百ギガバイトでは小さな金額ですが、数十テラバイトでは目立つ金額です。
- 人。 最も高価な項目で、忘れられがちです。プロダクション対応のパーサーは8〜12週間の開発が必要で、その後は単純なサイトで月に4〜8時間、保護されたサイトで20時間以上です。$75/時間の料金で、保護されたソースのサポートは月に$1500以上かかります — シナリオBのトラフィック全体よりも多いです。
実際にコストを削減する五つの手段
- 必要のない場所ではブラウザを取り除きます。 データがHTMLまたは内部APIにある場合、レンダリングは不要です。これが主な手段です：トラフィックが60〜80%削減されます。
- ブラウザが必要な場合はリソースをブロックします。 画像、フォント、メディア、広告および分析スクリプトは、リクエストをキャッチするルールを一つ設定することでオフにでき、大幅な節約を実現します。詳細な手法の分析は、プロキシを通じたトラフィックコストの最適化にあります。
- ターゲットを難易度で分類します。 最も高価なチャネルを通じてリスト全体を通過させるのは、最も一般的なコストの誤りです。「オープン」、「中程度に保護された」、「攻撃的」としてソースを分類し、それぞれに適切なプロキシタイプを割り当てます。
- リトライポリシーを意識的に構築します。 失敗した場合に盲目的に三回繰り返すのは、問題のあるターゲットに対してトラフィックを三倍にします。意味のあるリトライが必要な応答コードのみを、同じIPではなく別のIPで繰り返すべきです。
- キャッシュし、同じものを二度取得しないでください。 リスト、ページネーション、カタログの再通過 — ここでは予算の数十パーセントが簡単に失われます。
既製APIが安い場合と自分のスタックが安い場合
所有コスト全体を計算する必要があり、「GBあたりの価格」だけではありません。市場の指標：月に10万ページの独自のパーサーは、サポートを考慮して$700〜1650かかりますが、同じボリュームの既製APIは$50〜300です。大きな数字では、状況が逆転します：APIを介して月に100万リクエストは$250〜2490かかり、10 TBの月間インフラを構築するには年間約$230,000かかりますが、サービスを購入するには$100,000〜150,000かかります。
粗いルール：ボリュームが小さく、サイトが多い間は、既製のソリューションを選び、他者のサポートに対して支払います。ボリュームが安定し、ターゲットが少なく、よく理解されている場合は、プロキシの自分のスタックが安価です。なぜなら、必要のないレンダリングに対するマークアップを支払う必要がなくなるからです。両方のアプローチの詳細な比較は、プロキシ対スクレイピングAPIとWebアンブロッカーで説明されています。
2026年秋に変わること
計算を上昇させる要因があります。2026年9月15日から、Cloudflareは新しいドメインをデフォルトでTrainingおよびAgentカテゴリのブロックに移行します — 広告のあるページで；この変更は新しい顧客、新しい既存顧客のサイト、無料プランのすべての顧客に影響します。検索クローラーは許可され続けます。同時に、Pay Per CrawlはPay Per Useに変わります：出版社はページをクロールする事実ではなく、AIの応答でコンテンツを使用することに対してお金を受け取ります。
コンテキストは簡単です：Cloudflareのデータによれば、彼らのネットワーク内のクローラーのリクエストの52%は、2025年春の22%に対して現在AIのトレーニングに使用されています。ネットワークは閉じられ、コストに対する実用的な意味は、保護されたソースでの成功率が平均して低下し、したがって第三の要素からの隠れた予算の乗数がより重要になることです。これを計画に組み込み、請求書で知るのではなく。
まとめ
パースのコストは、GBあたりの価格ではなく、ページの重さ、チャネルの価格、成功率の逆数の積です。百万ページにおける注意深いパイプラインと不注意なパイプラインの違いは、パーセントではなく桁の違いで測定されます。プロバイダーと割引交渉をする前に、パースしない画像の読み込みに対して支払っている金額や、発生すべきでなかったリトライに対して支払っている金額を計算してください。通常、そこにはどんな割引よりも多くのお金があります。
```