2026年7月1日、Cloudflareは第二回「コンテンツの独立記念日」を開催し、初めてAIエージェントを別のボットカテゴリとして正式に区別しました。 これにより、トラフィックはSearch、Agent、Trainingの3つのクラスに分けられ、2026年9月15日以降、広告ページではAgentおよびTrainingカテゴリのボットがデフォルトでブロックされます。同時に、裁判所や大手小売業者はPerplexity CometやChatGPT Atlasのような「エージェントブラウザ」に対して扉を閉ざしています。エージェントウェブで何が起こっているのか、そしてレジデンシャルプロキシなしで自律型AIアシスタントが壁にぶつかる理由を探ります。
何が起こったのか：ボットに第三のカーストが登場
以前、ウェブは自動トラフィックの2種類を知っていました：ページをインデックスする検索クローラーと、モデルのトレーニングのためにコンテンツを抽出する学習クローラーです。2026年には、第三のタイプであるエージェントが追加されました。Cloudflareは、全ウェブトラフィックの約20%が通過するネットワークを通じて、これに正確な定義を与えました：これは「通常リアルタイムで人間の代理として何かを行う自動化された行動」です。
この定義には、ユーザーのリクエストに応じて新しい情報を引き出すfetchボットのチャットアシスタント（例：ChatGPT-User）や、実際のChromeを操作する完全なブラウザ使用エージェント（GeminiやClaude）が含まれます。新しいポリシーの論理はシンプルです：広告は、サイトの所有者がページを人間に見せてその注意を monetizすることを望んでいるという信号です。したがって、Cloudflareは、サイトの注意を奪うボット、すなわち学習ボットとエージェントボットをデフォルトでブロックします。
覚えておくべき日付：変更は2026年9月15日に発効し、Cloudflareに接続される新しいドメインに適用されます。Searchボットは引き続き許可されます—サイトには依然として検索エンジンからのトラフィックが必要です。しかし、Googlebotのようなマルチパーパスクローラーは、その役割の総合的な評価に基づいて評価されます：所有者が学習のブロックを有効にした場合、そのような混合ボットも完全にブロックされます。
エージェントブラウザ：2年間で誰が登場したのか
2025年初頭、「AIブラウザ」は実験的なものでした。2026年中頃には、自動的にクリック、スクロール、フォームの入力、購入を行う自律型アシスタントの過密市場になっています。主要なプレーヤーは：
- Perplexity Comet — 2025年7月に開始、無料、デスクトップ、Android、iOSで動作;
- ChatGPT Atlas（OpenAI製） — 2025年10月、サブスクリプション、別の「エージェントモード」付き;
- Chrome + Gemini — Googleからの統合、2026年1月、AI ProおよびUltraのサブスクライバー向け;
- Claude for Chrome — 既存のブラウザへの拡張、2025年8月;
- Edge Copilot Mode — Microsoftの無料モード、2025年7月;
- Opera Neon — 2025年9月、12月に公開リリース、月額約$19.90のサブスクリプション。
これらはすべて似たように機能します：エージェントはスクリーンショットと入力コマンドを通じてインターフェースを操作し、ページを「見る」ことができ、クリック、入力、リンクをたどることができます。この人間のようなメカニズムが、彼らをアンチボットシステムにとって頭痛の種にしています：形式的にはAPIを呼び出すクローラーではなく、実際のユーザーのリクエストが背後にあるリアルブラウザのセッションです。Googleは2026年3月に、サイト所有者がログでそのようなリクエストを区別できるようにするために、別の識別子Google-Agentを導入しました。
裁判所はすでにサイトの側に立っている
Cloudflareが設定を配布している間、エージェントに関する対立は裁判所にまで達しました。最も象徴的なケースはAmazon対Perplexityです。Amazonは2025年11月に訴訟を提起し、スタートアップが意図的に自社のAIエージェントの性質を「隠して」、小売業者のサイトを無許可でスクレイピングし続けていると非難しました。
2026年3月10日、裁判官マキシン・チェスニーはAmazonの側に立ちました。判決では、同社が「説得力のある証拠」を提供したと述べています：Cometブラウザはユーザーの指示でサイトにアクセスしましたが、小売業者からの「認可なし」に行われました。Amazonの見解では、Cometは自動的な性質を「偽装」し、実際の購入者として振る舞い、検出システムをすり抜けようとしたとされています。Amazonは、Cometが内部顧客データへのアクセスをブロックするためのツールの開発に5,000ドル以上を費やしたことを文書化しました。Perplexityは、「インターネットユーザーが望む任意のAIを選択する権利のために戦い続ける」と応じました。
Amazonは裁判なしでも行動しています。robots.txtファイルを通じて、小売業者はChatGPT-UserおよびOAI-SearchBot（SearchGPTエンジン）へのボットアクセスを閉じ、さらに以前には学習用のGPTボットもブロックしました。対象となったのは、Meta、Google、Perplexityに関連するクローラーです。皮肉なことに、OpenAIは並行して独自の商業ファネルを構築しています：Instant Checkout機能は、Walmart、Etsy、Shopify、Targetで商品を直接ChatGPTで購入することを可能にしています。小売業者は、自分たちの条件でAIを通じて販売したいと考えており、他のエージェントが無制限に彼らのショーウィンドウを訪れることを望んでいません。
サイトはどのようにエージェントを特定するのか — そしてなぜIPだけではすべてを解決しないのか
エージェントをユーザーエージェント名だけでブロックするのは naïve です：簡単に偽装できます。したがって、Cloudflareや同様のサービスのアンチボットスタックは、信号の総合的なセットを見ており、ここで自律型ブラウザは苦労しています：
- ヘッドレスブラウザのフィンガープリンティング。 ヘッドレス環境は不一致のセットとして自己主張します：画面解像度0x0、インストールされたフォントなし、プログラムレンダラー「SwiftShader」として報告されるGPU。実際のユーザーはこのようには見えず、ミリ秒で検出されます。
- TLSフィンガープリンティング。 完璧なHTTPヘッダーを持っていても、TLSハンドシェイクはブラウザの主張されたアイデンティティと接続の実際の特性との間にギャップを示します。このベクトルについては、JA4とTLSフィンガープリンティングに関する資料で詳しく説明しました — 今日、これは検出の主要なツールの1つです。
- 行動分析。 人間は間隔を置いてスクロールし、マウスを完璧に動かしません。しかし、エージェントは「冷酷なロボットの効率」で行動し、ページをミリ秒で読み込み、瞬時にデータを抽出し、そのために検出されます。
- IPの評判。 クラウドプロバイダーの範囲 — AWS、Google Cloud、Azure — はすでに「ボット運営」としてカタログ化され、他のフィンガープリンティングがどれほどクリーンであっても、評判フィルターで厳しい罰則を受けます。
ここでプロキシが登場します。IPの評判は、データセンターのアドレスから起動されたエージェントがぶつかる最初の障壁です。レジデンシャルプロキシは、実際の家庭用デバイスのIPアドレスを提供し、エージェントのトラフィックはサーバーラックからのリクエストのようには見えなくなります。モバイルシナリオ — ソーシャルメディア、厳しい検出を持つアプリ — では、通信事業者のIPを持つモバイルプロキシがさらに信頼性があります。このとき、データセンターのアドレスはどこにも消えません：評判に敏感でないタスクには、データセンタープロキシがレジデンシャルプロキシでは得られない速度と価格を提供します。
重要な注意事項：プロキシは単なる1層です
レジデンシャルIPは、4つの障壁のうちの1つを取り除くだけです。エージェントが依然として「SwiftShader」のフィンガープリンティングを持つヘッドレスブラウザで実行され、ロボットのように振る舞う場合、クリーンなIPでは救えません — 検出は他の信号から成り立ちます。2026年の機能する組み合わせは、「プロキシまたはアンチデテクト」ではなく、すべてを同時に：レジデンシャルまたはモバイルの出口ノード、実際のデバイスのブラウザおよびTLSフィンガープリンティングのマスキング、そして人間のような行動タイミングです。スクレイピングと自動化は、もはやアドレスではなくアイデンティティのゲームに完全に変わりました。
これは実際に何を意味するのか
エージェントブラウザの上に自動化を構築するビジネスや開発者にとって、結論は次のとおりです：
- 9月15日は抽象的な日付ではありません。 あなたのエージェントが広告のあるサイトにアクセスしている場合、一部はコンテンツの代わりにサブスティテュートを返し始める準備をしてください。インフラを事前に計画してください。
- データセンターエージェントは最優先ターゲットです。 最初に行うべきことは、エージェントトラフィックをクラウド範囲からレジデンシャルまたはモバイルIPに移すことです。これは、大規模な禁止後にロジックを書き直すよりも安価です。
- 法的リスクは現実です。 Amazon対Perplexityのケースは示しています：エージェントを人間に「偽装する」ことはグレーゾーンではなく、裁判のための根拠です。重要な場合はrobots.txtを尊重し、明示的に禁止されているサイトで自動化を生きたユーザーとして提示しないでください。
- 公式なチャネルが増えています。 Instant Checkoutや小売業者とのAIパートナーシップは、エージェントシナリオの一部が合法的なAPIに移行する信号です。しかし、カバレッジはまだ断片的であり、自律型エージェントは半分のサイトが彼らを歓迎しない世界で生きなければなりません。
結論
エージェントウェブは、もはやプレゼンテーションの概念ではなく、サイトがフィルタリングを学び、望むようになったリアルトラフィックです。Cloudflareは所有者に手段を与え、裁判所は先例を提供し、小売業者は例を示しました。自律型AIアシスタントにとってこれは死刑宣告ではありませんが、明確な信号です：エージェントが目的地に到達するためには、出発IPからクリックのタイミングまで、すべてのレベルで人間のように見える必要があります。レジデンシャルおよびモバイルプロキシはここでは贅沢ではなく、他の工夫が機能しない基本的な層です。ウェブはエージェントに完全に閉ざされるわけではありません — ただ「私はボットです」と書かれた看板を持って来る者を受け入れなくなるだけです。