競合の価格、サイトの位置、または商品の在庫を監視することは、プロキシの設定が不適切な場合、常にブロックされ、トラフィックに無駄な予算がかかるルーチンです。12の実際の監視シナリオを分析し、それぞれに最適なプロキシタイプを選定し、月間のトラフィック消費を計算します。
監視にプロキシが必要な理由
トラフィックが多いサイト(Wildberries、Ozon、Yandex、Google、Facebookなど)は、1つのIPからのリクエストの頻度を監視しています。もし、1つのアドレスから1時間ごとに競合の価格をチェックしていると、システムはすぐにキャプチャを表示し、その後IPを完全にブロックします。単発の訪問であれば問題ありませんが、24時間365日稼働し、1日に数百ページを問い合わせる監視には、1つのIPは1日から2日間の確実なバンを意味します。
プロキシは負荷分散の問題を解決します:1つのIPの代わりに、数十または数百の異なるアドレスからリクエストが行われ、プラットフォームには異なる都市からの通常の訪問者のように見え、ボットのようには見えません。もう1つのポイントは、ジオロケーションです。Wildberriesの価格、Googleの検索結果、さらには為替レートは地域によって異なる可能性があるため、必要なタイプとジオロケーションのプロキシは、歪んだデータではなく正確なデータを取得する方法でもあります。
しかし、すべてのプロキシが異なるタスクに同じように適しているわけではありません。マーケットプレイスの価格監視には、レジデンシャルプロキシが最も効果的であり、検索でのサイトの位置をチェックするには、時にはより安価なデータセンタープロキシで十分です。次に、12の典型的なタスクをそれぞれ詳しく見ていきます。
表:12の監視タスクとそれぞれのプロキシタイプ
以下は、この記事で詳しく説明するすべてのシナリオの要約表です。すでに自分のタスクを知っていて、適切なプロキシタイプを探している場合に迅速に判断するのに役立ちます。
| 監視タスク | プロキシタイプ | IPのローテーション | トラフィック/月(目安) |
|---|---|---|---|
| Wildberriesの価格 | レジデンシャル | 毎リクエスト | 5–15 GB |
| Ozonの価格 | レジデンシャル | 毎リクエスト | 5–15 GB |
| Avitoの広告 | レジデンシャル / モバイル | 3–5リクエストごと | 3–10 GB |
| Yandexの位置 | データセンター / レジデンシャル | セッションごと | 1–5 GB |
| Googleの位置 | レジデンシャル | セッションごと | 1–5 GB |
| 競合の広告(Facebook Ads Library) | モバイル | セッションごと | 2–8 GB |
| TikTokの広告 | モバイル | セッションごと | 3–10 GB |
| 商品のレビューと評価 | レジデンシャル | 5–10リクエストごと | 2–7 GB |
| 在庫の有無 | レジデンシャル | 毎リクエスト | 5–12 GB |
| ソーシャルメディアでのブランドの言及 | レジデンシャル / モバイル | セッションごと | 2–6 GB |
| サイトの稼働時間監視 | データセンター | 必要なし | 1 GB未満 |
| 為替/暗号通貨のレート | データセンター | 必要なし | 1 GB未満 |
| コンテキスト広告のSERP | レジデンシャル | セッションごと | 2–8 GB |
マーケットプレイスの監視:Wildberries、Ozon、Avito
マーケットプレイスは、監視に最も要求されるカテゴリです。WildberriesとOzonは、自動データ収集に対抗しており、都市によって異なる価格を表示し、動的なレイアウトを使用し、異常なリクエストパターン(たとえば、10分間に500回の商品カードへのリクエスト)からのIPをすぐにブロックします。
競合の200-300のポジションを1日に数回監視するセラーにとって、最適な選択肢は、各リクエストごとにローテーションするレジデンシャルプロキシです。これには2つの利点があります。まず、システムは異なる地域からの通常のユーザーを認識し、ボットとしては見えません。次に、Wildberriesは地域によって異なる配送料や割引を表示するため、異なる都市の実際の価格を取得できます。
Avitoの場合、状況は少し異なります。このプラットフォームは広告のパースに対してあまり攻撃的ではありませんが、電話番号や販売者の連絡先を大量に閲覧しようとする試みを厳しくブロックします。ここでは、1つのIPからの3-5リクエストに制限を設けたレジデンシャルプロキシの組み合わせが効果的です。これにより、特定のアドレスへの負荷が軽減され、疑いを招くことがありません。
実践的なアドバイス: Wildberriesの価格を複数の地域(たとえば、モスクワ、ノボシビルスク、クラスノダール)から同時に監視する場合は、各都市にジオタグを付けたプロキシの別々のセッションを作成してください。これにより、平均的なデータではなく、正確なローカル価格を取得できます。
サイトの位置とSERPの監視
YandexやGoogleでの位置確認は、一見するとマーケットプレイスのパースに似ていますが、実際にはトラフィックが少なく、必ずしも最も高価なプロキシを必要としません。Googleは、データセンターのIPからの単一のリクエストに対して比較的寛容であり、頻度が合理的な制限を超えない限り(たとえば、2-3分に1回のリクエスト)、問題ありません。
しかし、500以上のキーワードで毎日位置を確認し、特定の地域のパーソナライズとジオロケーションを考慮した正確な結果を得たい場合、データセンタープロキシは誤差を生じ始めます。GoogleはホスティングプロバイダーのIPに対して異常な結果を混ぜるためです。この場合、必要な都市に結びついたレジデンシャルプロキシに切り替えると、実際の検索エンジンユーザーが見る結果に最大限近いものが得られます。
Yandexの場合、状況は逆です。彼はIPのタイプにはあまり敏感ではありませんが、頻度には厳しく反応します。ランク追跡サービスは通常、1つのキーワードに対して1日1回リクエストを行うため、データセンタープロキシでもセッションごとのローテーションで問題なく機能し、コストも安く済みます。
競合の広告の監視
アービトラージャーやマーケティング担当者は、Facebook Ads Library、TikTok Creative Center、その他の類似のツールを通じて競合の広告クリエイティブを監視することがよくあります。ここでは、トラフィックの量よりもセッションの信頼性が重要です。これらのプラットフォームは、IPだけでなくデバイスの行動パターンを追跡します。
このようなタスクには、モバイルプロキシが最適です。これらは実際の携帯通信事業者のIPを使用しており、プラットフォームはこれらの接続をスマートフォンの通常のユーザーとして認識し、広告を大量に閲覧します。Ads Libraryをモバイルプロキシとリアルなデバイスのフィンガープリンティングを使用してアンチデテクトブラウザ(Dolphin Anty、AdsPower)経由で開く場合、頻繁に使用しても広告ライブラリへのアクセス制限のリスクは最小限です。
TikTok Creative Centerでも同じロジックが働きます。このプラットフォームはデータセンターのIPを積極的にブロックし、ボットに対して空の結果やキャプチャを表示することがよくあります。セッションごとにローテーションするモバイルプロキシ(各リクエストではなく)は、最も安定した結果を提供します。セッションは、通常のユーザーによる広告の閲覧のように見え、スクリプトによる自動化ではありません。
タスクごとのトラフィック消費の計算
トラフィックの消費は、問い合わせるページ数とそのページの「重さ」に直接依存します。Wildberriesの商品カードは画像やスクリプトを含めて1.5-3 MB、Googleの検索結果ページは0.5-1.5 MB、JSONを介して価格を確認するための単純なAPIリクエストはわずか5-20 KBです。
もし、300の商品カードを1日に4回(6時間ごと)監視し、ページの平均サイズが2 MBである場合、計算は次のようになります:300 × 4 × 2 MB = 2400 MB、つまり1日に約2.4 GB、月間で約72 GBになります。これはかなりの数字であり、この量のトラフィックに対しては、無制限のトラフィックを持つレジデンシャルプロキシや大きなパッケージの方が、各リクエストのトラフィックを計算するよりもお得です。
比較のために、500のキーワードでの検索位置を1日1回、軽いリクエスト(画像を読み込まず、HTMLの結果のみ)で監視する場合、通常は月に1-3 GBに収まります。ここでは、高価なプロキシタイプに対して過剰に支払う必要はなく、データセンターのソリューションが効果的に機能します。
| パラメータ | 軽い監視(API/JSON) | 重い監視(完全なページ) |
|---|---|---|
| 1ページの重さ | 5–50 KB | 0.5–3 MB |
| 300ポジション × 1日4回 | ~0.06 GB/日 | ~2.4 GB/日 |
| 月間消費 | ~1.8 GB | ~72 GB |
パーサーとアンチデテクトブラウザでのプロキシ設定方法
ほとんどの既製の監視ツール(ノーコードパーサーからアンチデテクトブラウザまで)は、数回のクリックでプロキシを接続することをサポートしており、コードを書く必要はありません。広告やソーシャルメディアの監視によく使用されるDolphin Antyを例に、標準的な設定を見てみましょう。
Dolphin Antyで新しいプロファイルを作成 → 「プロキシ」セクションを開く → HTTPまたはSOCKS5接続タイプを選択 → プロキシプロバイダーから取得したログイン、パスワード、IPアドレス、ポートを入力 → 接続テストのために「確認」をクリック → プロファイルを保存します。これにより、このプロファイル内のブラウザのすべてのトラフィックが指定されたプロキシを経由し、デバイスのフィンガープリンティング(ユーザーエージェント、画面解像度、タイムゾーン)はプロファイルに結びついたままになります。
価格監視のためのノーコードパーサー(たとえば、マーケットプレイス監視サービス)では、設定は通常次のようになります:タスクの設定でプロキシのリストをIP:ポート:ログイン:パスワード形式で指定 → ローテーションモードを選択(「毎リクエスト」または「N分ごと」) → リクエスト間の間隔を設定して、プラットフォームの制限を超えないようにします。WildberriesやOzonの場合、推奨される間隔は、1つのIPからのリクエスト間に2-3秒以上です。
AdsPowerやGoLoginを通じて監視が行われる場合も同様のロジックです:プロキシはタスク全体ではなくブラウザプロファイルに結びつけられ、異なるIPでの監視のために数十の並行セッションを同時に保持できるため、複数の地域からの価格を同時に確認する必要がある場合に便利です。
監視用プロキシ選定時のよくある誤り
最初の、そして最も一般的な誤りは、マーケットプレイスの監視に安価なデータセンタープロキシを使用することです。WildberriesとOzonは、すでに大手ホスティングプロバイダーのIP範囲をブラックリストに登録しているため、そのようなアドレスからのリクエストは、低頻度でもほぼ即座にキャプチャを受けます。
2つ目の誤りは、必要のないところでの過度なローテーションです。サイトの稼働時間監視や為替レートの確認では、各リクエストごとにIPを変更することは、単に余分なコストであり、追加の利益はありません。なぜなら、これらのサービスは、低頻度のリクエストではIPでブロックされることはほとんどないからです。
3つ目の誤りは、ジオタグを無視することです。「モスクワ」地域の価格を監視している場合、プロキシが物理的に別の国にあると、プラットフォームはデフォルトのデータを表示するか、疑わしいトラフィックとしてアクセスを完全にブロックする可能性があります。
4つ目の誤りは、開始時のトラフィック量の過小評価です。多くの人が小さなパッケージを選び、1週間後に制限に達してしまうのは、ページの重さやリクエストの頻度を事前に計算していなかったからです。前のセクションの計算が、この状況を回避するのに役立ちます。
結論
監視用プロキシの正しい選択は、具体的なタスクに依存します。マーケットプレイスやソーシャルメディアは、頻繁なローテーションを伴うレジデンシャルまたはモバイルIPを必要とし、Yandexの位置確認、稼働時間監視、または為替レートの確認には、より安価なデータセンターのソリューションで十分です。重要なのは、トラフィックの量とリクエストの頻度を事前に見積もり、プラットフォームがパースに対して攻撃的でない場合に過剰なローテーションに対して支払わないことです。
マーケットプレイスの価格監視やソーシャルメディアでの競合の広告追跡を計画している場合は、レジデンシャルプロキシから始めてください。これにより、ブロックのリスクが最も低く、正確なジオロケーションデータが得られます。検索位置の確認やサイトの可用性の監視などの軽いタスクには、データセンタープロキシが同様に効果的で、トラフィック量に対しても安価です。