マーケットプレイスでの競合監視は、オンライン販売者にとって重要な課題です。 他の販売者の品揃え、価格、レビュー、戦略を知ることで、適切な意思決定を行い、競合に先んじることができます。このガイドでは、Wildberries、Ozon、Yandex.Marketなどの販売者データを収集するための実践的な方法と、ボット対策の回避方法について説明します。
マーケットプレイスで販売者データを収集する理由
競合情報の収集は、マーケットプレイスでのビジネスを成功させるための必要不可欠な要素です。以下は、販売者が他の参加者を定期的に監視する主な理由です:
競合の価格政策の分析。 他の販売者が類似商品をどの価格で販売しているかを知ることで、競争力を高めるために自社の価格を調整できます。多くの成功したセラーは、競合の行動に応じて自動的に価格を変更する動的価格設定を利用しています。
品揃えとトレンドの研究。 競合がどのような商品を取り扱っているかを追跡することで、新しいニッチや成長する需要を特定できます。複数の販売者が同時に特定のカテゴリの商品を追加している場合、それは有望な方向性を示すかもしれません。
レビューと評判の監視。 競合の商品に対するレビューを分析することで、顧客が何を好み、何に不満を持っているのかを理解できます。この情報は、自社の商品や説明を改善するために活用できます。
プロモーション戦略の評価。 競合がどのように写真、説明、キーワード、プロモーションを使用しているかを研究することで、自社のマーケティング活動のアイデアを得ることができます。特に、自分のニッチで成功している販売者を分析することが有益です。
供給者や製造者の検索。 時には、販売者のデータを通じて共通の供給者にアクセスしたり、競合が商品をどこから調達しているのかを理解したりすることができます。これにより、自社のサプライチェーンを最適化するのに役立ちます。
収集可能な販売者データ
マーケットプレイスは、販売者に関するさまざまな公開情報を提供しています。以下は、競合分析のために収集できる主なデータタイプです:
販売者に関する基本情報: 店舗名、評価、レビュー数、プラットフォームへの登録日、法人情報（記載されている場合）、連絡先情報。
商品ラインアップ: 販売者のすべての商品リスト、カテゴリ、ブランド、SKU、仕様、写真、説明、在庫状況。
価格情報: 現在の価格、割引、価格変動履歴、マーケットプレイスのプロモーションへの参加、プロモーションコードを考慮した価格。
レビューと評価: 各商品のレビュー数、平均評価、レビューのテキスト、購入者からの写真、販売者のレビューへの返信。
販売指標: 注文数（利用可能な場合）、在庫の動向、商品の人気、マーケットプレイスの検索結果での位置。
異なるマーケットプレイスは、情報へのアクセスレベルが異なります。たとえば、Wildberriesでは最近の注文数を確認できますが、Ozonではこの情報は非公開です。Avitoでは販売者の活動履歴が利用可能で、Yandex.Marketでは詳細な配送情報が提供されています。
マーケットプレイスのパーシング手法: 手動 vs 自動
マーケットプレイスでの販売者データ収集には、いくつかのアプローチがあります。手法の選択は、データの量、更新頻度、技術的スキルに依存します。
手動データ収集
最も簡単な方法は、販売者のページを手動で閲覧し、必要な情報をExcelやGoogle Sheetsに記録することです。この方法は、一回限りの調査や少数の競合（5〜10の販売者）の分析に適しています。
手動収集の利点: 技術的スキルを必要とせず、追加のツールも不要で、ブロックのリスクが低く、文脈を考慮した質の高い情報を収集できます。
欠点: 非常に遅く、労力がかかり、リアルタイムでの変更を追跡することができず、手動入力時のエラーの可能性が高く、スケーラビリティがありません。
パーシング用の既製サービス
市場には、マーケットプレイスを監視するための専門サービスが存在し、データ収集のための既製のソリューションを提供しています。例: MpStats、SellerFox、Moneyplace、DataOx、Price Trackerなど。
既製サービスの利点: "箱から出して"すぐに使用でき、設定を必要とせず、データの分析と視覚化を提供し、マーケットプレイスの保護を自動的に回避し、サイト構造の変更に応じて定期的に更新されます。
欠点: 月額サブスクリプション（2000〜15000ルーブル）、リクエスト数の制限、標準的なデータセットのみを収集、サービスの安定性に依存します。
パーサーを使用した自動パーシング
データ収集プロセスを完全に制御したい場合は、特別なパーシングプログラムがあります。これらは、自動的にマーケットプレイスのページを読み込み、必要な情報を抽出して便利な形式で保存します。
人気のあるパーシングツール: Octoparse、ParseHub、WebHarvy、Scrapy（プログラマー向け）、Selenium（ブラウザの自動化用）。これらのツールを使用すると、必要なデータを制限なく収集するように設定できます。
パーサーの利点: あらゆるタスクに柔軟に設定でき、ユニークなデータを収集でき、リクエスト数に制限がなく、一度の購入または無料のソリューション、プロセスを完全に制御できます。
欠点: 設定に時間がかかり、基本的な技術スキルが必要で、保護の回避を自分で設定する必要があり、サイト構造が変更された場合には設定を調整する必要があります。
マーケットプレイスがパーシングから保護する方法
マーケットプレイスは、自動データ収集に対して積極的に対抗しています。大量のパーシングはサーバーに追加の負荷をかけ、競合によって利用される可能性があります。以下は、遭遇する可能性のある主な保護手段です:
IPアドレスによる制限。 最も一般的な保護は、短時間に過剰なリクエストが送信されるIPアドレスをブロックすることです。WildberriesとOzonはリクエストの頻度を監視し、疑わしいIPを数時間または数日間一時的にブロックします。
キャプチャとボット検出。 疑わしい活動が検出されると、マーケットプレイスはキャプチャや「あなたはロボットですか？」の確認ページを表示することがあります。これにより、手動でキャプチャを解決するまで自動パーシングが停止します。
User-Agentとヘッダーの分析。 サイトはリクエストがブラウザから来ているのか、プログラムから来ているのかを確認します。正しいヘッダー（User-Agent、Referer、Accept-Language）がないリクエストは、自動的にブロックされることがよくあります。
JavaScript保護と動的読み込み。 多くのマーケットプレイスは、ページが開かれた後にJavaScriptを介してデータを読み込みます。単純なパーサーはHTMLをダウンロードするだけで、これらのデータを見えず、空のページを取得します。
ハニーポットトラップ。 ページには、通常のユーザーには見えないが、パーサーにはアクセス可能な隠れたリンクがある場合があります。これらのリンクをクリックすると、ボットが特定され、ブロックされます。
HTML構造の変更。 マーケットプレイスは、設定されたパーサーを破壊するために、CSSクラス名やページ構造を定期的に変更します。これにより、データ収集設定の定期的な更新が必要になります。
販売者データのパーシング用プロキシの選択
プロキシの使用は、マーケットプレイスのパーシングを成功させるための必須条件です。プロキシを使用することで、IPアドレスの制限を回避し、異なるユーザーの名前でリクエストを行うことができます。プロキシのタイプの選択は、タスクと予算によります。
パーシング用プロキシのタイプの比較
| プロキシのタイプ | 速度 | ブロックのリスク | 価格 | 使用するタイミング |
|---|---|---|---|---|
| データセンターのプロキシ | 非常に高速 | 高い | 低い | ローテーションを使った大量パーシング、公開データの収集 |
| レジデンシャルプロキシ | 中程度 | 低い | 中程度 | ブロック対策のパーシング、長期的な監視 |
| モバイルプロキシ | 中程度 | 非常に低い | 高い | 最大の保護を伴うパーシング、複雑な保護の回避 |
データセンターのプロキシによるパーシング
これは、大量のデータをパーシングするための最も速く、安価なオプションです。データセンターのプロキシはホスティングプロバイダーのサーバーにあり、高速なページ読み込みを提供します。
適している場合: 認証を必要としない公開データの収集; 50-100以上のIPのプールを使用し、自動ローテーションを行う場合; 保護が弱い小規模なマーケットプレイスのパーシング。
制限: データセンターのIPはマーケットプレイスによって簡単に特定され、ブロックされることが多い; WildberriesとOzonはこのようなIPを積極的にフィルタリングしている; 大きなアドレスプールが必要で、リクエスト速度が遅い。
レジデンシャルプロキシによるパーシング
レジデンシャルプロキシは、実際の家庭用インターネットプロバイダーのIPアドレスを使用します。マーケットプレイスにとって、これらのリクエストは通常の購入者の行動として見え、ブロックのリスクが大幅に低下します。
適している場合: WildberriesやOzonでの競合の定期的な監視; 認証を必要とするデータのパーシング; 毎日のデータ収集を伴う長期プロジェクト; 安定性と低いブロックリスクが重要な場合。
使用の特徴: 実際のユーザーの行動を模倣して、リクエストを遅く行うことができる; ブラウザの自動化（Selenium、Puppeteer）を通じたパーシングに適している; マーケットプレイスの地域版へのアクセスを提供する。
複雑なケースのためのモバイルプロキシ
モバイルプロキシは、モバイルオペレーターのIPアドレスを使用します。これは、保護を回避するための最も信頼性の高いプロキシタイプであり、マーケットプレイスはモバイルIPを非常に慎重にブロックします。1つのアドレスの背後には数千の実際のユーザーがいる可能性があります。
適している場合: 非常に厳しい保護を持つマーケットプレイスのパーシング; 他のタイプのプロキシがすでにブロックされている場合; マーケットプレイスのモバイルアプリを通じたデータ収集; 最大の信頼性が必要な場合。
制限: レジデンシャルプロキシに比べてコストが高い; 通常、1つのIPの背後には複数のユーザー（共有IP）がいる; 速度は有線プロキシよりも遅い場合があります。
データ収集のための既製サービスとツール
パーシングを自分で設定したくない人のために、既製のソリューションがあります。さまざまなマーケットプレイスを監視するための人気のサービスを見てみましょう。
Wildberries用サービス
MpStats — Wildberries分析のための最も人気のあるサービスの1つです。競合の販売を追跡し、価格を監視し、レビューを分析し、有望なニッチを見つけることができます。月額3990ルーブルから。既製のレポートとグラフを提供し、技術的スキルを必要としません。
SellerFox — 販売者の分析に特化したサービスです。販売の動向、在庫状況、価格履歴を表示します。特定の販売者を追跡し、変更について通知する機能があります。月額2500ルーブルから。
Moneyplace — 販売商品の検索に重点を置いたマーケットプレイス分析のための包括的なプラットフォームです。競合の監視、ニッチの分析、トレンドの追跡を含みます。月額5000ルーブルからのサブスクリプション。
Ozon用サービス
Ozon Seller — Ozonの公式販売者ダッシュボードは、競合の基本的な分析を提供します。カテゴリ内の平均価格や他の販売者に対する自社商品の位置を確認できます。Ozonの販売者には無料です。
DataOx — Ozonや他のマーケットプレイスのための専門サービスです。商品、価格、販売者に関するデータを収集します。APIを介して動作し、自社システムとの統合に適しています。リクエストの量に応じて価格が変動します。
Price Tracker — Ozonでの価格変動を追跡するサービスです。競合の商品を追加し、価格の低下や上昇について通知を受け取ることができます。制限付きの無料プランがあります。
汎用パーサー
Octoparse — プログラミングなしで使用できるビジュアルパーサーです。マーケットプレイスを含む任意のサイトからデータを収集するように設定できます。人気のあるプラットフォーム向けの既製テンプレートがあります。制限付きの無料版と、月額75ドルからの有料版があります。
ParseHub — よりシンプルなインターフェースを持つOctoparseの類似品です。初心者に適しています。JavaScriptサイトや認証を扱うことができます。無料版では最大5つのプロジェクトを作成でき、有料版は月額149ドルからです。
WebHarvy — デスクトッププログラムによるパーシングです。コンピュータ上で動作し、クラウドサービスを必要としません。単発のタスクに適しています。約139ドルの一度きりの購入、15日間の無料トライアル版があります。
ステップバイステップガイド: プロキシを使ったパーシングの設定
プロキシを使用してWildberriesの販売者データをパーシングするための設定の実践例を見てみましょう。例として、最も手頃なビジュアルパーサーの1つであるOctoparseを使用します。
ステップ1: ツールの準備
公式サイトからOctoparseをダウンロードしてインストールします。登録してプログラムにログインします。無料版では最大10のパーシングタスクを作成でき、開始するには十分です。
プロキシへのアクセスを取得します。Wildberriesのパーシングには、ロシアのIPアドレスを持つレジデンシャルプロキシが推奨されます。必要な情報は、プロキシサーバーのIPアドレス、ポート、ログイン、パスワード（認証が必要な場合）です。
ステップ2: Octoparseでのプロキシ設定
Octoparseを開き、設定（右上の歯車アイコン）に移動します。「ネットワーク」または「プロキシ」セクションを選択します。「プロキシサーバーを使用する」オプションを有効にします。
プロキシのデータを入力します: 「プロキシホスト」フィールドにIPアドレスを、「ポート」フィールドにポートを入力します。プロキシが認証を必要とする場合は、「認証が必要」にチェックを入れ、ログインとパスワードを入力します。設定を保存します。
接続を確認します: 「テスト」ボタンをクリックします。プログラムがプロキシへの接続が成功したことを確認する必要があります。エラーが表示された場合は、入力したデータの正確性を確認してください。
ステップ3: パーシングタスクの作成
新しいタスクを作成します: 「新しいタスク」または「タスクを作成」をクリックします。収集したい販売者のWildberriesページのURLを入力します。たとえば、特定の店舗のすべての商品ページです。
Octoparseは組み込みのブラウザを開き、プロキシを介して指定されたページを読み込みます。ページが完全に読み込まれるまで待ちます。すべてが正しく設定されている場合、プロキシのIPアドレスからアクセスするかのようにWildberriesのコンテンツが表示されます。
ステップ4: 収集するデータの選択
Octoparseの要素選択ツールを使用します: ページ上の商品名をクリックします。プログラムは自動的にすべての類似要素（すべての商品名）を特定し、ハイライトします。「すべて選択」をクリックします。
価格、評価、レビュー数、画像など、他のデータについても同様のプロセスを繰り返します。毎回、Octoparseは右側のデータテーブルに新しいフィールドを追加します。必要なデータがすべて選択されていることを確認してください。
商品が複数のページにわたる場合、ページネーションを設定します: 「次のページ」ボタンを見つけ、Octoparseにそれをクリックするよう指示します。プログラムは自動的にすべてのページからデータを収集します。
ステップ5: 収集パラメータの設定
リクエスト間の遅延を設定します: タスク設定で「アクション設定」を見つけ、「待機時間」を3〜5秒に設定します。これにより、実際のユーザーの行動を模倣し、ブロックのリスクを低減します。
User-Agentを設定します: 詳細設定で、ChromeまたはFirefoxのランダムなUser-Agentを選択します。これにより、リクエストが通常のユーザーの行動に近くなります。
エラーハンドリングを有効にします: 「エラー時に再試行」オプションを設定し、2〜3回の試行を行います。ページが最初に読み込まれない場合、Octoparseは自動的に再試行します。
ステップ6: パーシングの開始
タスクを保存し、「実行」をクリックします。実行モードを選択します: 小規模なデータの場合は「ローカル」（コンピュータ上）を、大規模なタスクの場合は「クラウド」を選択します。クラウドモードは高速ですが、有料版のみで利用可能です。
プロセスを監視します: Octoparseはリアルタイムでデータ収集の進捗を表示します。処理されたページ数と収集されたレコード数が表示されます。エラーが発生した場合、プログラムは通知を表示します。
完了したら、データをエクスポートします: 「エクスポート」をクリックし、フォーマットを選択します — Excel、CSV、JSON、またはデータベースへの直接アップロード。データは分析に便利な形式でコンピュータに保存されます。
ステップ7: 定期的な収集の自動化
競合の定期的な監視のために、スケジュールを設定します: タスク設定で「スケジュール」を選択し、実行頻度を指定します — 毎日、毎週、または特定の時間。
通知を設定します: パーシングの完了やエラー発生時にメール通知を送信するオプションを有効にします。これにより、問題に迅速に対応できます。
上級ユーザー向け: データをGoogle SheetsやCRMシステムに自動的にアップロードするように設定します。OctoparseはAPIやWebhookを介した統合をサポートしています。
重要: プロキシを使用する場合でも、リクエスト間に合理的な間隔を保つことを忘れないでください。3〜5秒に1リクエストを超えないことをお勧めします。過度に攻撃的なパーシングは、質の高いプロキシでもブロックされる可能性があります。
マーケットプレイスのパーシングに関する法的側面
サイトのパーシングは、法律のグレーゾーンに位置しています。一方では、サイト上の公開情報はすべてのユーザーに利用可能です。他方では、大量の自動データ収集は、プラットフォームの利用規約に違反する可能性があります。
法律が何を言っているか
ロシアには、サイトのパーシングを明示的に禁止する特別な法律はありません。公開されている情報の収集自体は違反ではありません。しかし、いくつかの法的リスクがあります:
利用規約の違反。 ほとんどのマーケットプレイスは、利用規約で自動データ収集を明示的に禁止しています。技術的にはこれは刑事犯罪ではありませんが、販売者として登録されている場合、プラットフォームはアカウントをブロックすることがあります。
サーバーへの負荷の発生。 あなたのパーシングがサイトのインフラに重大な負荷をかける場合（DDoSに似た活動）、これはロシア刑法第273条に基づくコンピュータ犯罪として分類される可能性があります。しかし、これには本当に大きな負荷が必要です。
収集したデータの使用。 パーシング自体は1つのことですが、データの使用は別のことです。収集したデータを公開したり、不正競争に使用したりすると、権利者からの訴訟につながる可能性があります。
リスクを最小限に抑える方法
マーケットプレイスのパーシングにおける法的リスクを軽減するために、以下の推奨事項に従ってください:
公開データのみを収集してください。 認証を回避したり、非公開セクションにアクセスしたりしないでください。登録なしでサイトの訪問者がアクセスできる情報のみをパーシングしてください。
過剰な負荷をかけないでください。 リクエスト間に遅延を使用し、パーシングの並列スレッドを多数実行しないでください。あなたの活動は、通常のユーザーのためのサイトの動作に影響を与えるべきではありません。
内部分析のためにデータを使用してください。 収集した情報は、競合分析、価格設定、市場調査など、あなたのビジネスのために使用するべきです。データの大規模な公開や販売は避けてください。
他のユーザーになりすまさないでください。 パーシングのために他人のアカウントを使用しないでください。認証が必要な場合は、自分のアカウントを使用するか、認証なしでパーシングしてください。
robots.txtを確認してください。 このファイルには法的効力はありませんが、サイト所有者の自動データ収集に対する態度を示しています。robots.txtの指示に従うことは、誠実さを示します。
パーシングの代替手段
一部のマーケットプレイスは、データ取得のための公式APIを提供しています。たとえば、Yandex.Marketはパートナー向けのAPIを持ち、Ozonは販売者向けのAPIを提供しています。公式APIの使用は、データを取得する合法的で安全な方法です。
また、マーケットプレイスの分析に特化した専門サービス（MpStats、SellerFox）も存在し、法的リスクを引き受け、ライセンス契約の範囲内でデータを提供します。このようなサービスを使用することで、責任がサービスプロバイダーに移ります。
結論
マーケットプレイスの販売者データ収集は、オンラインビジネスにとって重要な競争情報収集の手段です。価格、品揃え、競合の戦略を定期的に監視することで、根拠のある意思決定を行い、競争力を維持することができます。
パーシング手法の選択は、あなたのタスクとリソースに依存します: 手動収集は一回限りの調査に適しており、既製サービスは技術的スキルなしでの定期的な監視に適し、自分でパーサーを設定することは完全な制御と柔軟性を提供します。
成功するパーシングの鍵は、プロキシの正しい選択と設定です。ロシアのマーケットプレイスでのほとんどのタスクには、ロシアのIPアドレスを持つレジデンシャルプロキシが最適な解決策です。これにより、合理的なコストでブロックリスクを低減し、技術的問題なしに競合の長期監視を行うことができます。
パーシング時には合理的な制限を守ることを忘れないでください: リクエスト間に遅延を使用し、マーケットプレイスのサーバーに過剰な負荷をかけず、収集したデータを倫理的に使用してください — 競争分析やビジネスの発展のために、悪意のある競争のためではなく。