Cloudflareが再びAIクローラーに対して規制を強化しています。 同社は、全ウェブトラフィックの約20％を通過させるネットワークを持ち、2026年9月15日から「混合型」（mixed-use）のクローラーを、広告や収益化されたページでデフォルトでブロックすると発表しました。これは、新しい顧客と既存アカウントの新しいサイトすべてに適用されます。同時に、コンテンツへのボットのアクセスが有料サービスになる「ペイ・パー・クローリング」モデルが拡大しています。データ収集に関わるすべての人にとって、これは出版社に関する抽象的なニュースではなく、「オープンウェブのグレーゾーン」がさらに狭まるという直接的な信号です。
Cloudflareが発表した内容
重要な新しい概念は「混合型クローラー」です。Cloudflareは、検索インデックス用とAIモデルの学習用の二つの目的のためにデータを収集するボットをこのように呼んでいます。以前は、これらのクローラーは「検索」ボットとして扱われ、トラフィックの見返りにコンテンツへのアクセスを得ていました。今、Cloudflareはこの取引を破棄します。サイトが広告で収益を上げている場合、混合型クローラーはデフォルトで収益化されたページにアクセスできなくなります。
技術的には、これは管理されたrobots.txtルールと更新されたボット管理のヒューリスティクスを通じて実現されます。サイトの所有者は手動で何かを書く必要はなく、Cloudflareがリストとロジックを自動的に管理します。新しいサイトの開始日は2026年9月15日で、既存のプロジェクトは希望に応じてブロックを有効にできます。
同社のCEOであるマシュー・プリンスは次のように要約しました：「今やインターネットのトラフィックの大半が人間ではないため、持続可能なエコシステムが生まれるために、私たちはより迅速かつ決定的に行動しなければなりません」。この変更は、Associated Press、Time、The Atlantic、Redditなどの大手出版社によって公に支持されました。これらの出版社は、自社のコンテンツが無償で収集されることに最も苦しんでいます。
すべてを説明する数字
なぜインフラプロバイダーがAI企業との戦争に巻き込まれたのかを理解するには、Cloudflare自身が示した「クローリング対リファラルの比率」を見れば十分です：
- Google — 14:1。 検索エンジンは、ページを14回クローリングするごとに1人の生きた訪問者をサイトに送ります。これは許容範囲です：これは「私たちはコンテンツを取得し、あなたはトラフィックを得る」という古い取引です。
- OpenAI — 1,700:1。 1,700回のクローリングで1回の訪問。交換はもはや対等ではありません。
- Anthropic — 73,000:1。 73,000回のクローリングで1回の訪問。実際にはコンテンツが収集され、トラフィックは全くありません。
この非対称性が「オープンデフォルト」ウェブの古いモデルを崩壊させました。アナリストが正確に表現したように：「ウェブが以前は閉じられるまでオープンだった場所は、今では目に見える部分が開かれるまで閉じられています」。これはデフォルトの原則が180度回転することを意味し、AIラボだけでなく、同じように扱われる自動化されたデータ収集者にも影響を与えます。
ペイ・パー・クローリング：アクセスが商品になる
発表の第二部は、Cloudflareが2025年7月1日にプライベートベータで開始したペイ・パー・クローリングの拡大です。論理はシンプルです：出版社には「許可する/ブロックする」の二元的な選択肢の代わりに、各クローリングごとに料金を請求するという第三の選択肢が与えられます。サイトの所有者が料金を設定し、AI企業がその料金を支払うかどうかを決定します。Cloudflareはボットの身元を確認し、決済を行う仲介者として機能します。
これは市場にとってテクトニックな変化です。長年「公共のために無料」と見なされていたデータが、価格が付けられた有料リソースに変わります。Cloudflareがこのモデルを広げるにつれて、契約を結び、ペイ・パー・クローリングを支払う準備ができていない人々にとって、合法的な「表向き」のコンテンツへのアクセスはますます高く、複雑になります。
プロキシとスクレイピングとの関連性
ここに主な実践的な結論があります。大規模なプラットフォームがUser-Agentによって「誠実な」クローラーのためのゲートを閉じると、需要は必然的にトラフィックを人間と区別できないものにするツールに流れます。分析会社Synthientの創設者ベン・ブランディッジは次のように述べています：「AIは確かに、居住者プロキシの需要を加速させているようです」 — 企業が自社のスクレイパーのブロックを回避する方法を探しているからです。
この影の層の規模はすでに印象的です。IPInfoによると、追跡されているプロバイダーのうち6社だけで、90日間でほぼ7900万のユニークIPが記録されました。同時に、市場は非常に絡み合っています：約46％の居住者プロキシアドレスが、複数のプロバイダーのプールに同時に存在し、特定のIPが100以上の異なるサービスのネットワークに現れました。これは、「安価な居住者プロキシ」が実際にはすでに他の多くのキャンペーンで表示された再販されたアドレスであることが多く、すでにブラックリストに載っている可能性があることを意味します。
データ収集に対する規制の圧力が技術的なものと並行して高まっていることはすでに述べました：EU AI Actは2026年8月2日に発効し、モデルの学習のためのrobots.txtとオプトアウトに重みを与えます。Cloudflareの動きは、同じ傾向の技術的な側面です：法的およびインフラの障壁が収束し、「データセンターのIPからGETリクエストを送信するだけ」という方法はますます効果が薄れてきています。
データ収集者がすべきこと
パニックになるのは早いですが、スタックを見直す時期です。今後数ヶ月のためのいくつかの実践的な指針です。
- 保護レベルに応じてタスクを分ける。 オープンで脆弱なソースには、依然として迅速で安価なデータセンターのプロキシが十分です。これに居住者トラフィックを使うのは無駄です。
- Cloudflareのサイトには居住者IPを使用する。 ターゲットがボット管理を介してリクエストを送信する場合、実際の家庭プロバイダーの居住者プロキシが助けになります：その挙動はデフォルトで人間と見なされます。重要なのは、プールの絶対的なサイズではなく、その清浄さと他のサービスとの重複率の低さです。
- モバイルIP — 最も厳しいターゲットに。 ソーシャルメディアや攻撃的なアンチボット対策を持つプラットフォームは、モバイルプロキシを通じてよりスムーズに通過します：1つのプロバイダーのIPの背後には何千もの生きた加入者がいるため、プラットフォームがそれを完全にブロックすることは不利益です。
- 「量」ではなく「生存率」を考慮する。 Cloudflareが「デフォルトで閉じる」方向に転換した後、品質の指標はギガバイトではなく、禁止なしに成功裏に収集されたページの割合になります。46％のアドレス重複を持つ安価な再販プールは、トラフィックの美しい数字を提供しますが、成功率は失敗します。
- ルールがあるところではそれを守る。 ソースが公式APIやペイ・パー・クローリングの条件を提供している場合、安定した生産パイプラインのためには、武器競争よりもしばしば安価で信頼性があります。プロキシは公共データのためのツールであり、直接的な契約上の禁止を回避するためのものではありません。
結論
Cloudflareのステップは一時的なニュースではなく、システム的な転換の一部です：ウェブは「閉じられるまでオープン」から「開かれるまで閉じられる」モデルに移行しています。73,000:1のような比率は、なぜこれが避けられないのかを示しており、ペイ・パー・クローリングはデータへのアクセスを価格が付けられた商品に変えます。スクレイピングにとって、これは一つの意味を持ちます：データセンターのIPとUser-Agentヘッダーだけで十分だった時代は終わります。勝者は、クリーンな居住者およびモバイルネットワークでの収集を事前に構築し、トラフィックの量ではなく、実際に生き残ったデータの割合を考慮する人々です。障壁はますます高くなり、プロキシインフラの品質は、データを取得できるかどうかの決定的な要因となります。