競合他社の動的価格設定をプロキシ経由でブロックなしに追跡する方法

動的価格設定はマーケットプレイスでの標準となり、価格は需要、在庫、競合の行動に応じて1日に10〜20回変わります。Wildberries、Ozon、またはAvitoのセラーであれば、競合の価格が下がったことを最初に知った者が検索結果でのポジションを維持できることを知っています。しかし、すべてのマーケットプレイスは、1つのIPからの大量パーシングを厳しくブロックしています。この記事では、プロキシを通じて価格を自動的に監視する方法を解説し、アカウントやIPアドレスのブロックリスクなしに24時間データを収集する方法を紹介します。

なぜマーケットプレイスは価格のパーシングをブロックするのか、そしてそれはどのように機能するのか

すべての大手マーケットプレイスは、自動データ収集に対する多層的な保護を使用しています。理由は簡単です：大量のパーシングはサーバーに負荷をかけ、データを収集できる者に競争上の優位性を与えます。たとえば、Wildberriesは1日に最大300,000の価格変更を記録しており、これらのデータが競合に無料で渡ることを望んでいません。

典型的なパーシング防止システムの仕組みは次のとおりです：

• 1つのIPからのリクエスト頻度の追跡 — もし1分間に50以上の商品ページを開くと、システムはそれが人間ではないことを理解します。通常の購入者は1分間に3〜5商品を閲覧しますが、パーサーは100〜500を処理します。
• User-Agentとヘッダーの分析 — 正しいブラウザヘッダーなしのリクエストはすぐにブラックリストに載ります。多くの初心者はヘッダーを設定せずにPythonのrequestsの標準ライブラリを使用しますが、これは防止システムが最初に検出するものです。
• JavaScriptとクッキーのチェック — 現代のマーケットプレイスはCloudflare、DataDome、および独自のアンチボットシステムを使用しています。これらはJavaScriptの実行、セッションのクッキーの有無、マウスの動きやスクロールの動作をチェックします。
• IPの地理的な関連付け — もしドイツやアメリカのIPからロシアのOzonをパーシングすると、それは疑わしく見えます。システムは古い価格を表示したり、アクセスを完全にブロックしたりすることがあります。
• データセンターのブロック — ほとんどのマーケットプレイスはクラウドプロバイダー（AWS、Google Cloud、Hetzner）のIPアドレスのデータベースを維持しており、そこからのリクエストを自動的に制限します。

ブロックの結果はさまざまで、速度制限（rate limit）からIPの完全な禁止までさまざまです。もしセラーアカウントを通じてパーシングを行うと、個人アカウントのブロックのリスクがあり、これはビジネスにとって致命的です。

価格監視に適したプロキシの種類：比較

動的価格設定の監視には、各々に利点と欠点がある3種類のプロキシが適しています。選択は予算、パーシングの量、地理的要件によって異なります。

選択に関する実用的な推奨：

• WildberriesとOzonには — レジデンシャルまたはモバイルプロキシのみを使用してください。これらのプラットフォームはCloudflareと独自のアンチボットシステムを使用しており、データセンターは90％の確率でブロックされます。
• Yandex.Marketには — ロシアの地理を持つレジデンシャルプロキシが必要です。システムはIPと検索地域の一致を確認します。
• Avitoには — データセンターを使用できますが、ローテーションとリクエスト間の遅延が必要です。保護はマーケットプレイスよりも弱いです。
• AliExpressや国際的なプラットフォームには — 必要な国のレジデンシャルプロキシを使用してください。多くのプラットフォームは異なる地域に対して異なる価格を表示します。

予算が限られている場合は、ローテーション付きの20〜30のレジデンシャルプロキシのプールから始めてください。これで、500〜1000商品の監視がブロックなしで可能です。

Wildberries、Ozon、Yandex.Market、Avitoの保護の特徴

各プラットフォームは独自の保護メカニズムの組み合わせを使用しています。これらの特徴を理解することで、最初から正しくパーサーを設定するのに役立ちます。

Wildberries

ロシアのマーケットプレイスの中で最も厳しい保護があります。Cloudflareを使用しており、「I'm Under Attack」モードが有効になっていて、コンテンツにアクセスする前にJavaScriptチャレンジをチェックします。さらに、次のことを追跡しています：

• ブラウザのフィンガープリンティング — canvas、WebGL、フォント、画面解像度
• TLSフィンガープリンティング — プロトコルのバージョンと暗号スイートのセット
• 行動要因 — スクロール速度、マウスの動き、ページ滞在時間
• セッション履歴 — もしすぐに商品ページを開き始めると、メインページやカテゴリを閲覧せずに行動するのは疑わしいです。

効果的な方法： レジデンシャルプロキシを使用したヘッドレスブラウザ（Puppeteer、Playwright）、実際のユーザーの行動をエミュレートし、リクエスト間に5〜15秒の遅延を設け、20〜30リクエストごとにUser-Agentとプロキシをローテーションします。

Ozon

独自のアンチボットシステムとDataDomeを使用しています。特徴は、配達都市によって価格が異なる場合があることです — システムはIPに基づいて地域を特定し、物流を考慮した適切な価格を表示します。

Ozonは、データセンターの既知のIP範囲を積極的にブロックしています。通常のVPSを通じてパーシングを行うと、80％の確率でCAPTCHAまたは403エラーが発生します。また、クッキーも追跡しています — リクエスト間でセッションを保存せずにリクエストを行うと、検出されます。

効果的な方法： ロシアの地理を持つレジデンシャルプロキシ、リクエスト間でのクッキーの保存、商品をお気に入りに追加するエミュレーション（これにより「ユーザーの履歴」が作成されます）、3〜10秒の遅延。

Yandex.Market

中程度の保護レベルです。主な特徴は地域への厳しい関連付けです。もしウラジオストクのIPからモスクワの価格をパーシングすると、システムはウラジオストクの価格を表示するか、アクセスを完全にブロックします。正確な監視には、追跡している地域のプロキシが必要です。

Yandexはまた、行動のシーケンスを分析する独自のアンチフロートシステムを使用しています。疑わしい行動には、直接リンクから商品ページを開くこと、リクエスト間の同じ間隔（たとえば、厳密に5秒ごと）、静的コンテンツへのリクエストの欠如があります。

効果的な方法： 必要な地域のレジデンシャルプロキシ、完全なサイクルのエミュレーション：検索 → 商品リスト → 商品ページ、ランダムな遅延4〜12秒、定期的なプロキシの変更。

Avito

上記のプラットフォームの中で最も寛容な保護があります。主な保護は、1つのIPからの広告の閲覧数に制限を設けることです（約100〜150広告/時間）。制限を超えると、CAPTCHAが表示されるか、1〜2時間の一時的なブロックが発生します。

Avitoはまた、クッキーと基本的なヘッダーの存在を確認しますが、複雑なJavaScriptチャレンジは使用していません。データセンターは機能しますが、制限があります — ローテーションと適度なリクエスト頻度が必要です。

効果的な方法： ローテーション付きのデータセンター、広告間の2〜5秒の遅延、正しいブラウザヘッダー、クッキーの保存。大量のデータには、レジデンシャルプロキシが必要です。

24時間パーシングのためのプロキシのローテーション設定

正しいプロキシのローテーションは、ブロックなしで安定したパーシングを行うための重要な要素です。ローテーションには3つの主要な戦略があり、それぞれ異なるシナリオに適しています。

戦略1：リクエスト数によるローテーション

要点：特定のリクエスト数（たとえば、20〜50リクエストごと）でプロキシを変更します。これは、ほとんどのタスクに対して最も簡単で効果的な方法です。

各プラットフォームに推奨される値：

• Wildberries：1プロキシあたり15〜25リクエスト、その後変更
• Ozon：20〜30リクエスト
• Yandex.Market：30〜50リクエスト
• Avito：50〜100リクエスト

重要なポイント：ランダム化を追加してください。厳密に20リクエストごとにプロキシを変更せず、18〜23リクエストの後にランダムに変更します。これにより、保護システムにとってパターンが予測しにくくなります。

戦略2：時間によるローテーション

リクエスト数に関係なく、N分ごとにプロキシを変更します。これは、リアルタイムでの価格監視など、予測できない負荷のタスクに適しています。

推奨される間隔： 厳しいプラットフォーム（Wildberries、Ozon）には5〜15分、より寛容なプラットフォーム（Avito、小規模な店舗）には15〜30分。

戦略3：スティッキーセッション（粘着セッション）

1つの「ユーザーセッション」の間、すべてのリクエストに同じプロキシを使用します。たとえば、Ozonにアクセスして「ノートパソコン」を検索し、5つの商品ページを開き、1つをカートに追加するユーザーをエミュレートします。これらのすべてのアクションは、クッキーを保存しながら1つのプロキシを通じて行われます。

セッションが終了した後（3〜10分後） — プロキシを変更し、新しいセッションを開始します。これは最も「人間らしい」パターンですが、より多くのプロキシが必要で、実装が難しくなります。

使用するタイミング： 非常に厳しい保護を持つプラットフォームのパーシング、単純なローテーションが機能しない場合。また、セラーの個人アカウントを通じてデータを収集する場合にも適しています。

プロキシをサポートする価格監視のための既製ツール

パーサーをゼロから作成したくない場合は、プロキシの組み込みサポートを持つ既製のソリューションがあります。ロシアおよび国際的なプラットフォームでの価格監視のための最も人気のあるツールを見てみましょう。

ロシアのマーケットプレイス向け

1. Mpstats (mpstats.io)
WildberriesとOzonの分析に特化したサービスです。販売、在庫、競合の価格に関するデータを収集します。独自のシステムとの統合のためのAPIがあります。サービスは独自のプロキシインフラを通じて機能し、追加の設定は必要ありません。

欠点：高額（完全アクセスで15,000ルーブル/月から）、独自のプロキシを使用できません。1〜2百万ルーブル/月の売上を持つ大規模なセラーに適しています。

2. Sellego
価格設定の自動化に焦点を当てた類似のサービスです。競合の価格を追跡し、指定されたルールに従って自動的に価格を調整します（たとえば、「競合より5％安くする」）。独自のプロキシを通じて機能します。

3. Parsehub
コードなしでパーサーを作成するためのビジュアルコンストラクターです。収集するページの要素をクリックすると、サービスが自動的にパーサーを作成します。プロキシをサポートしており、プロジェクトの設定で独自のリストを追加できます。プログラミングが全くできない人に適しています。

価格：無料プラン — 月200ページ、プレミアムプラン — 月149ドルから10,000ページ。100〜200商品の監視には無料プランで十分です。

自己開発向け

自分でパーサーを設定する準備ができている場合や、チームにプログラマーがいる場合：

1. Scrapy (Python)
プロキシ、ローテーション、エラーハンドリングの組み込みサポートを持つ強力なパーシングフレームワークです。リストからプロキシを自動的に変更するためのミドルウェアがあります。Pythonの知識が必要ですが、ドキュメントは優れています。

JavaScriptのないシンプルなサイトのパーシングに適しています。WildberriesとOzonには、JavaScriptを処理するためにSplashまたはSeleniumと組み合わせる必要があります。

2. Puppeteer / Playwright (JavaScript)
実際のユーザーを完全にエミュレートするヘッドレスブラウザです — JavaScriptを実行し、クッキーを保存し、マウスの動きをエミュレートできます。厳しい保護を持つプラットフォームに最適です。

プロキシの設定は簡単 — ブラウザを起動する際に1つのパラメータを指定するだけです。Playwrightはより現代的で安定していると考えられていますが、Puppeteerはより多くの既製の例やライブラリがあります。

3. Octoparse
ビジュアルパーサーコンストラクターを備えたWindows用のデスクトップアプリケーションです。プログラミングは不要で、収集する要素をクリックするだけです。プロキシの組み込みサポート、スケジュール機能、Excel/CSVへのエクスポートがあります。

価格：制限付きの無料版（1ヶ月あたり10,000件）、有料プランは月75ドルから。中小企業にとって良い選択肢です。

15分でプロキシを使った価格パーサーのステップバイステップ設定

Parsehubを例に、価格監視を設定する最も簡単な方法を示します。この方法は、パーサーを使用したことがない場合でも適しています。

ステップ1：登録とインストール

• parsehub.comに登録してください（無料プランあり）
• WindowsまたはMac用のデスクトップアプリをダウンロードしてインストールします
• アプリを起動し、アカウントにログインします

ステップ2：プロジェクトの作成と要素の選択

• 「New Project」をクリックし、商品ページのURLを貼り付けます（たとえば、Ozonのカテゴリや検索結果）
• Parsehubが内蔵ブラウザでページを読み込みます
• 最初の商品名をクリックすると、Parsehubが自動的にページ上のすべての類似要素をハイライトします
• 商品の価格をクリックすると、それが収集データのリストに追加されます
• 他に必要なフィールドを追加します：商品リンク、評価、レビュー数

ステップ3：プロキシの設定

• プロジェクトの設定を開きます（歯車アイコン）
• 「Proxy Settings」セクションを見つけます
• 「Use proxy」を選択し、プロキシのデータを次の形式で入力します：IP:PORT:USERNAME:PASSWORD
• プロキシのリストがある場合は、「Rotate proxies」オプションを有効にします — Parsehubがリクエスト間でプロキシを自動的に変更します

ステップ4：スケジュールの設定

• プロジェクトの設定で「Schedule」を見つけます
• 実行頻度を選択します：毎時、6時間ごと、1日1回など
• 動的価格設定には最適 — 2〜4時間ごと

ステップ5：データのエクスポート

• パーサーの最初の実行後、データは「Data」タブに表示されます
• 「Export」をクリックし、形式を選択します：CSV、Excel、JSON
• 各実行後にGoogle Sheetsまたはメールにデータを自動的に送信する設定も可能です

設定全体にかかる時間は10〜15分です。その後、パーサーはスケジュールに従って自動的に動作し、競合の価格を収集してデータを送信します。

パーシング時にブロックを引き起こす5つの誤り

正しいプロキシを使用していても、一般的な誤りを犯すとブロックされる可能性があります。以下は実際の問題の中で最も一般的なものです。

誤り1：リクエストの速度が高すぎる

多くの人がデータをできるだけ早く収集しようとし、1秒間に10〜20リクエストを行います。これは防止システムによって即座に検出されます。実際の人間は1秒間に20の商品ページを開くことは物理的に不可能です。

解決策： リクエスト間に遅延を追加してください。シンプルなサイトには最低2〜3秒、保護のあるマーケットプレイスには5〜10秒の遅延を設けます。遅延をランダムに設定してください — 厳密に5秒ではなく、4〜8秒の間でランダムに設定します。

誤り2：すべてのリクエストに1つのプロキシを使用する

レジデンシャルプロキシを購入しても、1日に数百のリクエストに1つのIPを使用するとブロックされます。防止システムは各IPのアクティビティを追跡しています。

解決策： ローテーション付きのプロキシプールを最低10〜20用意します。大量のデータ（1,000以上の商品）には50〜100のプロキシが必要です。

誤り3：リクエストのヘッダーがないまたは不正確

User-AgentがないリクエストやライブラリのデフォルトのUser-Agent（たとえば、「Python-requests/2.28.1」）を使用したリクエストは、すぐにボットとして検出されます。

解決策： 常に実際のブラウザのUser-Agentを指定してください。さらに、Accept、Accept-Language、Accept-Encodingのヘッダーを追加します。プロキシを変更する際にはUser-Agentを変更してください。

誤り4：クッキーとセッションを無視する

多くのプラットフォームはユーザーセッションを追跡するためにクッキーを使用しています。すべてのリクエストを「クリーンな状態」で行うと、疑わしく見えます。

解決策： 1つのセッション内でリクエスト間にクッキーを保存します。プロキシを変更する際にはクッキーをクリアし、新しいセッションを開始します。クッキーを自動的に管理するライブラリを使用してください（Pythonのrequests.Session、JavaScriptのpuppeteerなど）。

誤り5：ナビゲーションを模倣せずに商品ページのみをパーシングする

もしすぐに商品ページの直接リンクを開くと、メインページ、検索、カテゴリをスキップするのは、実際のユーザーの行動とは異なります。

解決策： 厳しい保護を持つプラットフォーム（Wildberries、Ozon）では、ユーザーの完全なパスを模倣してください：メイン → 検索またはカテゴリ → 商品リスト → 商品ページ。これにより、パーシングの時間が増加しますが、バンのリスクが大幅に減少します。

結論

動的価格設定の監視は、マーケットプレイスでのすべてのセラーにとって重要なタスクです。競合の価格は1日に何度も変わり、変化に最初に反応する者が検索結果でのポジションと利益を維持します。しかし、すべての大手プラットフォームはパーシングを厳しくブロックしているため、正しく設定されたプロキシなしではデータを収集することはできません。

記事の重要なポイント：WildberriesとOzonには、レジデンシャルまたはモバイルプロキシのみを使用してください — データセンターは90％の確率でブロックされます。プロキシのローテーションを必ず設定してください — 20〜30リクエストごとにIPを変更します。リクエスト間に遅延（5〜10秒）を追加し、それをランダム化します。JavaScript保護のあるプラットフォームにはヘッドレスブラウザを使用します。実際のユーザーの行動を模倣してください — 商品ページを直接開かず、検索やカテゴリを通じて完全なパスをエミュレートします。

技術的な詳細を理解したくない場合は、ParsehubやOctoparseのような既製のツールを使用してください — これらはプログラミングを必要とせず、プロキシの組み込みサポートがあります。大量のデータや特定のタスクには、ScrapyやPuppeteerで独自のパーサーを開発するのが最適です。

ロシアのマーケットプレイスでの自動価格監視を設定する予定がある場合は、レジデンシャルプロキシから始めることをお勧めします — これにより、Wildberries、Ozon、その他のプラットフォームへの安定したアクセスが確保され、ブロックのリスクが最小限に抑えられます。特に難しいケースやマーケットプレイスのモバイルアプリでの作業には、ロシアのキャリアのIPを持つモバイルプロキシが適しています。