あなたがOzonで価格監視を開始したり、広告をパースしたりすると、数分後に403エラーやキャプチャが表示されます。理由はほぼ常に同じです:サイトはDataDomeによって保護されています。これは市場で最も高度なボット対策サービスの1つであり、単純なスクリプトだけでなく、通常のデータセンタープロキシを介したリクエストもブロックすることができます。この記事では、DataDomeがどのように機能するのか、何を分析しているのか、そして適切なプロキシの選択が安定した動作の鍵である理由を説明します。
DataDomeとは何か、どこで使用されているのか
DataDomeは、サイトが自動化されたリクエストから保護するために接続する商業用ボット対策サービスです。大手小売業者、マーケットプレイス、ニュースアグリゲーター、予約サービス、フィンテックプラットフォームによって使用されています。会社のデータによると、DataDomeは月に50兆以上のリクエストを処理し、世界中の数千のサイトを保護しています。
Cloudflare Bot Managementのような初歩的なソリューションとは異なり、DataDomeはユーザーのリクエストとサーバーの間に独立した層として機能します。保護されたサイトへの各HTTPリクエストは、最初にDataDomeのインフラストラクチャを通過し、ミリ秒単位で「通過」「キャプチャを表示」「ブロック」のいずれかの決定が下されます。
あなたがマーケットプレイスでの競合の価格監視、商品データの収集、広告のパース、異なる地域からの自動広告テストを行っている場合、すでにDataDomeに遭遇している可能性が高いです。以下は典型的な兆候です:
- 数回のリクエスト後の403 Forbiddenまたは429 Too Many Requestsの応答
- キャプチャページへのリダイレクト(通常はSliderまたはFunCaptcha)
- 空の応答または「アクセス制限」のメッセージが表示されたページ
- ブラウザで動作するサイトだが、スクリプトやパーサーを介したリクエストでエラーが発生する
- 他のパラメータが変更されない場合、IPを変更してもブロックされる
DataDomeを使用している有名なサイトには、Reddit、Rakuten、Foot Locker、TripAdvisor、Leboncoinなどがあります。ロシアのセグメントではDataDomeはあまり見られませんが、一部の大手eコマースプラットフォームやアグリゲーターによって使用されています。
DataDomeはどのようにボットを特定するのか:何を分析しているのか
DataDomeのロジックを理解することは、インターネット上の半分の「解決策」が機能しない理由を理解することです。このシステムは多層分析を使用しており、ブロックは単一の基準によってではなく、信号の組み合わせによって行われます。それぞれのレベルを見ていきましょう。
1. IPの評判とASN
DataDomeが最初に確認するのは、IPアドレスとその所属する自律システム(ASN)の評判です。IPがデータセンター(Amazon AWS、DigitalOcean、OVH、Hetzナーなど)に登録されている場合、それは即座に赤信号です。DataDomeは「汚れた」IPの独自のデータベースを持ち、他のボット対策サービスとデータを交換しています。すでに別の保護されたサイトのパースに使用されたIPは、より早くブロックされます。
2. 行動パターン
DataDomeはリクエストの事実だけでなく、その時間における行動も分析します。リクエスト間の間隔があまりにも均一であることはボットの兆候です。特定のエンドポイント(例えば、商品ページのみ)にのみアクセスし、ホームページを訪れないことは疑わしいです。HTMLリクエスト時にCSS、フォント、画像の読み込みがないことも信号です。
3. HTTPヘッダーとその順序
本物のブラウザは、厳密に定義された順序とセットでヘッダーを送信します。DataDomeは、User-Agentが実際のブラウザのフィンガープリントと一致するかどうかを確認します。sec-ch-uaヘッダーはありますか?Accept-Languageは正しいですか?単にUser-Agentの文字列を置き換えるだけで、完全なヘッダーセットを再現しない場合、システムはそれを検出します。
4. JavaScriptチャレンジとブラウザのフィンガープリント
DataDomeはページにJavaScriptコードを埋め込み、「フィンガープリント」を収集します:画面の解像度、フォントのリスト、WebGLレンダリング、Canvasフィンガープリント、プラグインの有無、デバイスタイプ。JavaScriptが実行されない場合(通常のHTTPリクエストを介してrequestsやcurlを使用する場合など)、DataDomeはそれを記録し、ブロックします。これが、JSをレンダリングしない単純なパーサーが保護されたサイトで機能しない理由です。
5. Cookieとセッショントークン
DataDomeは最初の訪問時に独自のcookie(datadome)を設定します。以降のリクエストでは、このcookieの存在と有効性が確認されます。パーサーがリクエスト間でcookieを保存しない場合や、毎回新しいセッションを開始する場合、これは自動化の別の信号です。
結論:なぜDataDomeは通常のブロックよりも難しいのか
DataDomeは単一のパラメータでブロックするのではなく、同時に数十の信号に基づいて「リスク評価」を行います。IPフィルターを回避することは可能ですが、JSチャレンジで失敗する可能性があります。正しいヘッダーを設定することはできますが、行動パターンのために禁止されることがあります。効果的な回避には包括的なアプローチが必要です。
なぜデータセンタープロキシはDataDomeで機能しないのか
これはDataDomeに初めて直面する人々からの最も一般的な質問です:「プロキシを購入して接続したのに、なぜブロックされるのか?」その答えはプロキシの種類にあります。
データセンタープロキシは、商業ホスティングおよびサーバーファームに登録されたIPアドレスです。DataDome(およびほとんどの現代のボット対策システム)は、すべての既知のデータセンターのASNの最新データベースを維持しています。このようなIPからリクエストが来ると、自動的に行動分析の前に高い疑わしさのレベルが与えられます。
問題はIPの評判だけではありません。データセンタープロキシは、同時に何千人ものユーザーによって使用されることが多く、1つのアドレスからの異常なトラフィックパターンを生成します。DataDomeはこれを検出し、プロバイダーのすべてのIPプールをブロックします。
| プロキシの種類 | DataDomeを通過する確率 | 理由 |
|---|---|---|
| データセンター(共有) | 非常に低い | データセンターのASN、「汚れた」IP |
| データセンター(専用) | 低い | それでもサーバーのASN |
| 住宅用(静的) | 中程度 | 実際のISPですが、1つのIPは疑わしい |
| 住宅用(回転) | 高い | 実際の家庭用IP、回転 |
| モバイル(4G/5G) | 最大 | モバイルオペレーター、NAT、高い信頼性 |
簡単な結論:DataDomeを回避するには、高い評判のIPが必要です。つまり、実際のユーザーのように見えるIPです。だからこそ、住宅用プロキシが保護されたサイトでの作業の標準となっています。
住宅用プロキシとモバイルプロキシ:どちらを選ぶべきか
データセンタープロキシが適していないことが明らかになると、次の質問が浮かびます:住宅用かモバイルか?各タイプにはそれぞれの強みがあり、選択はタスクによります。
住宅用プロキシ
住宅用プロキシは、インターネットサービスプロバイダー(Ростелеком、МТС、Comcastなど)を介して接続された実際の家庭ユーザーのIPアドレスを使用します。DataDomeの観点から見ると、これは自宅でノートパソコンを使っている普通の人です。主な利点は次のとおりです:
- 膨大なIPプール — 世界中の数百万のアドレス
- 回転:各リクエストは新しいIPから行われる可能性があります
- ジオターゲティング:特定の国、地域、都市を選択できます
- ボット対策システムでの高い評判
- 大量のパースや価格監視に適しています
住宅用プロキシの制限は速度です。データセンタープロキシよりも遅く、これは毎分数千ページをパースする際には重要です。しかし、DataDomeでの作業には受け入れるべき妥協です。
モバイルプロキシ
モバイルプロキシは、モバイルオペレーターのSIMカード(4G/5G)を介して機能します。これは、あらゆるボット対策システムの観点から最も「信頼される」トラフィックタイプです。理由は、モバイルオペレーターがNATを使用しており、1つのIPの背後に数百人の実際のユーザーが隠れている可能性があるからです。DataDomeはこれを知っており、実際の顧客を切り離すリスクなしにモバイルIPをブロックすることはできません。
- ボット対策システムでの最大の信頼レベル
- 実際のモバイルオペレーターのASN
- 各再接続時にIPが変更される(またはタイマーによって)
- ブロックの可能性が最小限に抑えられるタスクに最適
モバイルプロキシの欠点は、価格と住宅用プロキシに比べて限られたIPプールです。各リクエストの信頼性が重要なタスクには最適ですが、大量のトラフィックには向いていません。
いつ何を選ぶべきか:
- 価格監視、カタログのパース → 住宅用回転プロキシ
- アカウントの操作、認証 → モバイルまたは住宅用静的プロキシ
- 異なる地域からの広告テスト → ジオターゲティング付きの住宅用プロキシ
- 高負荷のパースとボット対策 → 回転住宅用プロキシ
DataDomeを回避するための実践的な方法
正しいプロキシの種類は必要条件ですが、十分条件ではありません。DataDomeは数十のパラメータを分析し、プロキシはそのうちの1つ、IPの評判だけをカバーします。以下は、連携して機能する完全な方法のセットです。
方法1:正しいHTTPヘッダー
DataDomeは、ブラウザが送信する完全なヘッダーセットを確認します。Windows上のChromeを模倣するための最小限のセットは次のようになります:正しいUser-Agent、sec-ch-ua、sec-fetch-site、sec-fetch-mode、プロキシのジオロケーションに対応する正しいAccept-Language。言語とIPの国が一致しないことは、ブロックの一般的な原因です。
方法2:JavaScriptのレンダリング
DataDomeで保護されたサイトでは、curlやrequestsを介した単純なHTTPリクエストはJSチャレンジを通過しません。JavaScriptを実行する実際のツールが必要です:ヘッドレスブラウザ(Playwright、Puppeteer)またはアンチデテクトを介した完全なブラウザ。コードなしのビジネスニーズには、アンチデテクトブラウザ(Dolphin Anty、AdsPower、GoLogin)が最適です。これらは、ユニークなフィンガープリントを持つ実際のChromiumを起動し、プロキシの接続をサポートします。
方法3:IPとセッションの回転
DataDomeは「悪い」セッションを記憶します。IPがブロックされた場合は、すぐにそれを変更し、同じアドレスからのリクエストを繰り返そうとしないでください。回転住宅用プロキシを使用する場合、各リクエストまたはセッションは新しいIPを取得します。重要なのは、IPだけでなくcookieセッションも変更することです。そうしないと、DataDomeは新しいIPを古いブロックされたセッションに関連付けます。
方法4:人間の行動を模倣する
DataDomeの行動分析はリクエストのパターンを追跡します。リクエスト間にランダムな遅延を追加し(2〜8秒)、ナビゲーションを模倣します:最初にホームページ、次にカテゴリ、次に商品。ターゲットページだけを直接パースしないでください。静的リソース(CSS、画像)を読み込むか、少なくともそれらのリクエストを模倣してください。
方法5:ジオ一致
これはしばしば無視されます。ロシアのサイトをパースしているのに、アメリカのIPを使用している場合、DataDomeはこれを検出します。ターゲットサイトと同じ国のプロキシを使用してください。さらに、Accept-Languageとブラウザのタイムゾーンをプロキシのジオロケーションに合わせて設定してください。
方法6:DataDomeのcookie管理
datadomeのcookieは、DataDomeが「良い」訪問者に発行するトークンです。検証に成功した場合、このcookieを保存し、次のリクエストで使用します。必要のない限りcookieをリセットしないでください。IPを変更する際は、新しいトークンを取得する新しいセッションを開始する方が良いです。
DataDomeを回避するためのプロキシ設定:ステップバイステップ
2つのシナリオの実践的な設定を見ていきましょう:アンチデテクトブラウザを介した作業(コードなしのビジネスニーズ)とパースのための設定です。
シナリオA:アンチデテクトブラウザ(Dolphin Anty / AdsPower / GoLogin)
この方法は、アカウントを操作したり、異なる地域からの広告をテストしたり、保護されたサイトを手動で閲覧したりする人に適しています。
- 新しいブラウザプロファイルを作成する Dolphin AntyまたはAdsPowerで。各プロファイルは別々の「デジタルフィンガープリント」です。
- プロファイルの設定で「プロキシ」セクションを見つける。タイプを選択します:SOCKS5(推奨)またはHTTP。
- プロキシの詳細を入力する:ホスト、ポート、ログイン、パスワード。回転住宅用プロキシの場合は、プロバイダーのゲートウェイアドレスを使用します。
- ジオロケーションを確認する:「プロキシを確認」をクリックします — ブラウザが国と都市を表示します。ターゲットサイトと一致していることを確認してください。
- プロキシのジオロケーションに応じてブラウザの言語を設定する。プロキシがドイツからの場合は、de-DEを設定します。
- 正しいUser-Agentを設定する:最新のWindowsまたはmacOSのChromeを選択します — これが最も一般的な構成です。
- プロファイルを起動し、ターゲットサイトに移動します。必要なページをすぐに開かず、最初にホームページにアクセスしてください。
シナリオB:Playwright/Puppeteerを介したパース
DataDomeで保護されたサイトからデータを自動的に収集するには、プロキシと正しいフィンガープリント設定をサポートするヘッドレスブラウザが必要です。
# Playwright + 住宅用プロキシ (Python)
# DataDomeを回避するための重要なパラメータ:
browser = playwright.chromium.launch(
proxy={
"server": "http://gate.proxyprovider.com:8000",
"username": "user",
"password": "pass"
}
)
context = browser.new_context(
# 実際の最新のChromeのUser-Agent
user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64)...",
# ジオロケーションがプロキシの国と一致する
locale="ru-RU",
timezone_id="Europe/Moscow",
# 実際の画面解像度
viewport={"width": 1920, "height": 1080}
)
# 行動間のランダムな遅延
import time, random
time.sleep(random.uniform(2, 5))
追加情報:ヘッドレスモードを隠すためのライブラリを使用してください(playwright-stealth、puppeteer-extra-plugin-stealth)。DataDomeは、いくつかの技術的な兆候に基づいてヘッドレスChromeを特定できるため、これらのプラグインはそれを隠すのに役立ちます。
DataDome用のプロキシ設定チェックリスト:
- ✅ プロキシの種類:住宅用またはモバイル(データセンタープロキシではない)
- ✅ プロトコル:SOCKS5(推奨)またはHTTPS
- ✅ プロキシのジオロケーションがサイトの国と一致する
- ✅ Accept-Languageとタイムゾーンがプロキシの国に対応している
- ✅ JavaScriptが実行される(ヘッドレスブラウザまたはアンチデテクト)
- ✅ リクエスト間でcookieが保存される
- ✅ リクエスト間の遅延:2〜8秒
- ✅ 新しいセッションごとにIPが回転する
DataDomeが依然としてブロックする一般的な間違い
正しいプロキシを使用していても、多くの人がブロックを受け続けています。以下は最も一般的な原因とその修正方法です。
間違い1:ジオロケーションと言語の不一致
フランスのプロキシを接続したが、ブラウザがAccept-Language: en-USを送信している。DataDomeは、フランスのIPだが言語が英語であることを見て、異常な行動と判断します。解決策:常に言語、タイムゾーン、ロケールをプロキシのジオロケーションと同期させてください。
間違い2:ブロックされたIPの再利用
403を受け取りましたか?同じIPからのリクエストを再試行しないでください。DataDomeは「悪い」アドレスを記憶し、すぐにそれらをブロックします。ブロックの最初の兆候が見えたら、すぐにIPを変更し、cookieをクリアしてください。
間違い3:リクエストの頻度が高すぎる
住宅用プロキシを使用していても、100ミリ秒ごとにリクエストを行うことはできません。実際のユーザーはページを10〜30秒間読みます。DataDomeはナビゲーションの速度を分析します。最適なモードは、1つのIPから1〜3ページ/分で、10〜15リクエストごとにIPを変更することです。
間違い4:古いUser-Agentの使用
2024年にChrome 89のUser-Agentは赤信号です。DataDomeは、どのブラウザのバージョンが最新であるかを知っています。常に最新のバージョンを使用してください:Chrome 120+、Firefox 120+。User-Agentは定期的に更新してください。
間違い5:JSチャレンジの無視
最も重大な間違いは、JavaScriptをレンダリングせずに通常のHTTPリクエストを介してDataDomeで保護されたサイトをパースしようとすることです。DataDomeはページにJSコードを埋め込み、それが実行されてトークンを返す必要があります。このトークンがないと、次のリクエストはブロックされます。解決策は、ヘッドレスブラウザまたはアンチデテクトブラウザのみです。
間違い6:1つのIPで多数の並行スレッド
1つのIPを介して10の並行パーススレッドを実行すると、すぐに検出されます。DataDomeは、1つのアドレスからの異常なリクエスト数を見ます。ルール:1つのIP = 1つのスレッド = 1つのセッション。並行パースには、回転するIPプールが必要です。
| 間違い | 症状 | 解決策 |
|---|---|---|
| データセンターIP | 最初のリクエストで403 | 住宅用/モバイルに変更する |
| JSレンダリングなし | キャプチャまたは空の応答 | ヘッドレスブラウザを使用する |
| リクエストの頻度が高すぎる | 5〜10リクエスト後に429 | 遅延を追加し、IPを回転させる |
| ジオ/言語の不一致 | 2〜3リクエスト後にブロック | ロケールとIPを同期させる |
| 古いUser-Agent | 毎回のログインでキャプチャ | 最新のChromeバージョンに更新する |
結論
DataDomeは、単にIPを変更するだけでは済まない厳しいシステムです。アドレスの評判、ユーザーの行動、ブラウザのフィンガープリント、リクエストのヘッダー、cookieを同時に分析します。だからこそ、データセンタープロキシはここでは機能せず、「User-Agentを単に変更する」だけでは不十分です。
DataDomeを回避するための効果的な組み合わせは、質の高い住宅用またはモバイルプロキシ + ヘッドレスブラウザまたはアンチデテクト(Dolphin Anty、AdsPower、GoLogin) + 正しいヘッダーとジオ一致 + 人間のような遅延 + cookie管理です。各要素が重要であり、いずれかを省略すると成功の可能性が低下します。
価格監視、カタログのパース、またはDataDome保護のあるサイトでの異なる地域からの広告テストを行っている場合は、住宅用プロキシから始めることをお勧めします。これにより、IPの評判、アドレスプールのボリューム、コストの最適なバランスが確保されます。各リクエストの信頼性が最大限に重要であり、ブロックのリスクが最小限に抑えられるタスクには、モバイルプロキシを検討する価値があります。DataDomeはそのトラフィックを非常に稀にしかブロックしません。
```