あなたがeBayで販売しているなら、成功は適切な価格設定に依存していることを知っているでしょう。しかし、eBayは自動データ収集を積極的にブロックしています — 競合の価格を大量に確認しようとすると、キャプチャやIPの一時的なバンが発生します。このガイドでは、競合を安全に監視するためのプロキシの設定方法と、ブロックのリスクなしにデータ収集を自動化する方法を説明します。
なぜeBayはパースをブロックするのか、そしてその仕組み
eBayは自動データ収集からの保護のために多層的なシステムを使用しています。プラットフォームは、ユーザーが実際の購入者としてサイトと対話することを望んでおり、競争分析のために情報を収集するボットとしてではありません。
eBayでのパース検出の主な方法:
- IPアドレスの追跡: 1つのIPから短時間に過剰なリクエストがある場合(通常は1時間に50-100商品以上の閲覧)、システムはそれを疑わしいとマークします。
- 行動分析: ボットはページを非常に速く開きます(ページあたり2-3秒未満)、マウスを動かさず、ページをスクロールしません。
- User-Agentの確認: 古いまたは疑わしいブラウザのヘッダーは追加の確認を引き起こします。
- ブラウザのフィンガープリンティング: eBayは画面解像度、インストールされたフォント、タイムゾーンに関するデータを収集します — 不一致はボットの使用を示します。
- キャプチャとチャレンジ: 疑わしい場合、システムはキャプチャを表示するか、あなたがロボットでないことを確認するよう求めます。
重要: eBayはリクエストの頻度だけでなく、行動パターンも追跡しています。たとえプロキシを使用していても、毎日同じ順序で商品ページを開くと、システムは自動化を認識する可能性があります。
パースが検出された場合の影響:
- IPアドレスの一時的なブロック(数時間から1日まで)
- 各ページでのキャプチャの表示
- 検索結果へのアクセス制限(最初の10-20商品しか表示されない)
- 最悪の場合 — 認証されたアカウントからパースが行われている場合、セラーアカウントのブロック
そのため、競合の定期的な監視にはプロキシの使用が非常に重要です — これにより、リクエストを多数のIPアドレスに分散させ、異なるロケーションからの異なるユーザーの行動を模倣することができます。
eBayの監視に最適なプロキシの種類
プロキシの種類の選択は、監視の規模、予算、データ収集の速度に対する要件によって異なります。ここでは、3つの主要なオプションとそれらのeBayでの使用方法を説明します。
| プロキシの種類 | 速度 | eBayの信頼性 | 最適な用途 |
|---|---|---|---|
| データセンター | 非常に高い(50-200 ms) | 低い(頻繁にブロックされる) | テスト、単発の収集 |
| レジデンシャル | 中程度(300-1500 ms) | 高い(実際のIP) | 定期的な監視、大量のデータ |
| モバイル | 中程度(400-2000 ms) | 非常に高い | 保護されたアカウントでの作業 |
データセンターのプロキシ: 速いがリスクが高い
データセンターは最も速く、最も安価なオプションですが、eBayは人気のホスティングプロバイダーのIP範囲をよく知っています。そのようなアドレスはしばしばブラックリストに載っているか、アンチフロードシステムからの注目を集めます。
使用できる場合:
- 少数の商品(最大100-200アイテム)のデータを単発で収集する場合
- レジデンシャルプロキシでの起動前にパーサーをテストする場合
- 自社のリスティングを監視する場合(競合ではなく)
- eBay APIを使用する場合(公式アクセスがある場合)
競合の定期的な監視にはデータセンターは適していません — あなたはすぐに「クリーン」なIPプールを使い果たし、ブロックを受け始めるでしょう。
レジデンシャルプロキシ: 監視に最適な選択
レジデンシャルプロキシは、実際のインターネットプロバイダー(Comcast、AT&T、Verizonなど)のIPアドレスを使用します。eBayにとって、これらのリクエストは自宅から商品を閲覧している通常のユーザーのように見えます。
eBayのパースにおける利点:
- ブロックのリスクが最小限: レジデンシャルIPは通常のユーザーのアドレスであるため、ブラックリストに載ることはほとんどありません。
- 地理的精度: 特定の都市や州のプロキシを選択できる — これはローカル商品を販売する場合に重要です。
- 大規模なアドレスプール: 質の高いプロバイダーは数百万のIPを提供し、監視をスケールアップできます。
- 自動ローテーション: 各リクエスト後やタイマーに従ってIPを変更するように設定できます。
eBayに最適な設定:
- IPのローテーション: 20-30リクエストごとまたは5-10分ごと
- ジオロケーション: アメリカ合衆国(eBayの主要市場)またはターゲットオーディエンスの国
- スティッキーセッション: 5-15分(商品ページ間の移動時にIPが変更されないように)
- リクエスト間の遅延: 3-8秒(実際のユーザーを模倣)
アドバイス: 競合の500-1000商品の監視には、ローテーション付きのレジデンシャルプロキシプールが十分です。これにより、ブロックのリスクなしに1日に2-3回データを収集でき、コストはモバイルプロキシよりも大幅に低くなります。
モバイルプロキシ: 最大の信頼性だが高価
モバイルプロキシは、モバイルキャリア(4G/5G)のIPを使用します。eBayにとって、これは最も信頼されるトラフィックの種類であり、ほとんどの購入者がスマートフォンからプラットフォームにアクセスします。
モバイルプロキシを使用すべき場合:
- あなたの主要なIPまたはレジデンシャルプロキシがすでにeBayのブロックリストに載っている場合
- 認証されたセラーアカウントから競合を監視している場合(最大限の安全性が必要)
- モバイル版eBayからデータを収集する必要がある場合(時には異なる価格やプロモーションが表示される)
- 非常に保護された商品カテゴリーで作業している場合(電子機器、プレミアムブランド)
モバイルプロキシの欠点は高価格(レジデンシャルの3-5倍)と速度の低下です。eBayでの競合監視のほとんどのタスクには過剰です。
追跡できるもの: 価格、在庫、セラーの評価
eBayでの競合監視は、単に価格を追跡することだけではありません。正しいビジネス判断を下すためには、市場に関する包括的なデータを収集する必要があります。どのメトリックを追跡し、どのように使用するかを見ていきましょう。
1. 価格と変動の監視
これはほとんどのセラーにとっての主要なタスクです。競合が類似の商品をどの価格で販売しているかを知る必要があります。そうすることで、競争力を維持できます。
追跡すべきもの:
- 現在のBuy It Now価格: チェック時の商品の最新価格
- オークション価格: スタートビッドと現在の価格(商品がオークションで販売されている場合)
- 配送料: 多くのセラーは商品の価格を低く設定しますが、配送料を高く設定します — 総コストを計算する必要があります。
- 割引とプロモーション: 「10%オフ」や「2つ買うと1つ無料」などの期間限定のプロモーション
- 変更履歴: 競合が価格を変更する頻度(毎日、毎週)
データの使用方法: 競合が金曜日の夜に価格を15%引き下げた場合、これは週末のセールに向けた準備かもしれません。事前に反応し、同様のプロモーションを開始して販売を失わないようにすることができます。
2. 商品の在庫と販売速度の追跡
eBayは利用可能な商品の数量と販売された数量を示します。これらのデータは、競合の商品がどれほどよく売れているかを理解するのに役立ちます。
収集すべきもの:
- 利用可能な数量: 残っている商品の数量
- 販売数: すでに販売された商品の数量(eBayは人気のリスティングに対してこれを表示します)
- ウォッチャー: 何人のユーザーが商品をお気に入りに追加したか(関心の指標)
- リスティングの公開日: 商品が販売に出されてからどれくらい経ったか
使用例: 競合のリスティングを追跡しており、過去3日間で50ユニットが$29.99の価格で販売されたことを確認した場合、これは商品の需要が高いことを示しています。あなたは仕入れを増やすことができます。しかし、販売されたユニットの数が数週間変わらない場合、それは需要が低いか、誤ったポジショニングを示すサインです。
3. セラーの評価とレビューの分析
セラーの評価はコンバージョンに直接影響します。購入者は高いフィードバックスコアとトップレートセラーのステータスを持つセラーを好みます。
追跡すべきメトリック:
- フィードバックスコア: 総ポジティブレビューの数
- ポジティブフィードバック率: ポジティブレビューの割合(基準 — 98%+)
- 詳細なセラー評価: カテゴリーごとの評価(配送速度、説明との一致、コミュニケーション)
- トップレートセラーのバッジ: トップセラーのバッジの有無
- 過去12ヶ月のレビュー数: セラーの活動を示します
なぜこれが重要か: あなたの主要な競合がトップレートのステータスを持ち、5000以上のレビューがある一方で、あなたが200しか持っていない場合、同じ価格であっても購入者は彼を選ぶでしょう。あなたは信頼の差を補うために価格を下げるか、レビューを積極的に蓄積する必要があります。
4. 検索とカテゴリーでのポジションの監視
eBayの検索結果での商品ポジションは販売にとって重要です。最初のページにある商品は80%のクリックを得ます。
追跡すべきもの:
- 主要な検索クエリに対する競合のポジション(例: "wireless headphones bluetooth")
- おすすめ商品に含まれているか(Featured items)
- カテゴリー内のポジション(例: Electronics → Headphones → In-Ear)
- プロモートリスティングの使用(有料プロモーション)
ポジションを追跡するには、主要な検索クエリに対する検索結果をパースし、各競合がどのポジションにいるかを記録する必要があります。これにより、誰がSEOや広告に投資しているか、誰がオーガニックトラフィックに依存しているかを理解できます。
パース用プロキシの設定: ステップバイステップの指示
eBayの監視のためのプロキシの実際の設定を見ていきましょう。既製のパーサーを使用するか、自分のスクリプトを書くかに関わらず、作業の原則は同じです。
ステップ1: プロキシの選択と購入
eBayの監視には、アメリカ合衆国の地理的なレジデンシャルプロキシを推奨します(これはプラットフォームの主要市場です)。プロバイダーを選択する際には、以下に注意してください:
- IPプールのサイズ: 快適なローテーションのために最低1-2百万のアドレス
- スティッキーセッションのサポート: 1つのIPを5-15分保持する機能
- 地理的精度: 特定の都市や州を選択できる機能(ローカル商品にとって重要)
- 認証形式: username:passwordで作業する方がIPホワイトリストよりも便利です。
購入後、接続情報は以下の形式で提供されます:
Host: proxy.example.com
Port: 12321
Username: user_abc123
Password: pass_xyz789
ステップ2: パーサーまたはスクリプトでのプロキシ設定
ほとんどの既製のパーサー(Octoparse、ParseHub、Apify)はプロキシの組み込みサポートを持っています。設定で情報を入力するだけです。
人気のツールでの設定例:
Octoparse(コードなしのビジュアルパーサー):
- タスク設定を開く
- "Proxy Settings"セクションに移動
- "Use proxy server"を選択
- サーバー(host:port)、ユーザー名、パスワードを入力
- タイプを選択: HTTPまたはSOCKS5(eBayにはどちらも適しています)
- 接続をテストするために"Test"をクリック
ParseHub(クラウドパーサー):
- プロジェクト設定で"Advanced Options"を見つける
- "Use Proxy"を有効にする
- 入力形式:
http://username:password@host:port - プロキシのローテーションには"Rotating Proxy"機能を使用(プロバイダーがサポートしている場合)
自分のスクリプトを使用している場合、プロキシの接続はプログラミング言語によって異なります。ほとんどのeBay監視タスクにはPython(requests、Seleniumライブラリ)またはNode.js(Puppeteer、Playwright)が使用されます。
ステップ3: User-Agentとヘッダーの設定
プロキシを使用することは、作業の半分に過ぎません。eBayはHTTPリクエストのヘッダーも分析します。古いUser-Agentを使用したり、標準のヘッダーなしでリクエストを送信したりすると、疑いを招くことになります。
eBayのパースに必要なヘッダー:
- User-Agent: 最新のChromeまたはFirefoxのバージョンを使用(2-3ヶ月ごとに更新)
- Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
- Accept-Language: en-US,en;q=0.9(アメリカ向け)またはru-RU,ru;q=0.9(ロシア向け)
- Accept-Encoding: gzip, deflate, br
- Referer: https://www.ebay.com/(以降のリクエスト用)
アドバイス: User-Agentのローテーションを使用 — 50-100リクエストごとに変更します。これにより、異なるブラウザを持つ異なるユーザーを模倣します。
ステップ4: 設定のテスト
本格的な監視を開始する前に、少数の商品(10-20アイテム)で設定を必ずテストしてください。
テストチェックリスト:
- IPアドレスを確認: パーサーでページ https://api.ipify.org/ を開きます — 現在のIPが表示されます。これがプロキシのIPであり、あなたの実際のIPではないことを確認してください。
- ジオロケーションを確認: https://www.ebay.com/ を開き、どの国が特定されるかを確認します(プロキシのジオロケーションと一致する必要があります)。
- 20商品のデータを収集: パーサーを起動し、すべてのデータが正しく収集されているか(価格、在庫、評価)を確認します。
- キャプチャの有無を確認: テスト実行中にキャプチャが表示された場合、設定が十分に安全でないことを意味します。
- 速度を測定: 100商品のデータ収集にかかる時間を計測します — これにより、監視の頻度を計画できます。
重要: テスト中にキャプチャやブロックが発生した場合、すぐにフル監視を開始しようとしないでください。まず、リクエスト間の遅延を増やし(10-15秒まで)、IPのローテーション頻度を減らします(例えば、20リクエストごとにIPを変更するのではなく、50リクエストごとに変更します)。
競合監視の自動化ツール
eBayでの競合の定期的な監視には、ゼロからコードを書く必要はありません。データ収集を簡素化し、プロキシと統合できる既製のツールがあります。
ビジュアルパーサー(ノーコードソリューション)
これらのツールは、グラフィカルインターフェースを介してパースを設定できる — あなたは収集する必要のあるページの要素をクリックするだけです。
| ツール | 特徴 | 価格 |
|---|---|---|
| Octoparse | プロキシサポート、クラウド実行、eBay用テンプレート | 月額$75から |
| ParseHub | 無料プラン(200ページまで)、シンプルなインターフェース | 月額$149から |
| Apify | eBay用の既製アクター、統合用API | 月額$49から |
| WebHarvy | デスクトップアプリケーション、一回の購入 | $139(1回限り) |
推奨: 初心者にはOctoparseが最適です — eBayのパース用の既製テンプレートがあり、設定には15-20分かかります。より経験豊富なユーザーには、Apifyがより柔軟性を提供し、JavaScriptを介してカスタマイズ可能です。
価格監視のための専門サービス
価格監視のみが必要な場合(他のデータ収集なし)、既製のSaaSソリューションがあります:
- Keepa: 元々はAmazon用ですが、eBayもサポートしています。価格履歴を追跡し、変動のグラフを表示します。
- PriceYak: 競合の価格に基づく自動再価格設定。eBay APIと統合されています。
- Algopix: セラー向けの市場分析、競合の価格、需要、収益性を表示します。
これらのサービスはすでにプロキシのインフラを備えているため、独自に設定する必要はありません。欠点は、カスタマイズが制限されており、価格が高くなることです。
監視スケジュールの設定
監視の頻度は、商品のカテゴリーと市場の動向によって異なります:
- 競争の激しいニッチ(電子機器、衣料品): 1日2-3回(朝、昼、夕方)
- 中程度の競争(家庭用品、スポーツ): 1日1回
- 競争の少ない(コレクター商品、希少部品): 1週間に2-3回
ほとんどのクラウドパーサー(Octoparse、ParseHub、Apify)は、スケジュールに従って自動的に起動する設定を可能にします。データはGoogle Sheets、Excelにエクスポートするか、メールで送信できます。
IPのローテーション戦略と安全なリクエスト制限
正しいIPのローテーションは、ブロックなしでの長期的な監視の鍵です。ローテーションを設定し、どのような制限を守るべきかを見ていきましょう。
プロキシのローテーションの種類
eBayのパースにおけるIPのローテーションには、2つの主要なアプローチがあります:
1. 各リクエスト後のローテーション(ローテイングプロキシ)
各eBayへのリクエストは新しいIPアドレスから行われます。これは最も安全なオプションですが、大規模なプロキシプールが必要で、常に再接続するため遅くなる可能性があります。
使用する場合: 大量のデータ(1日1000商品以上)を収集する場合、速度が重要でないとき。
2. スティッキーセッション(セッショナルプロキシ)
IPアドレスは一定の時間(5-30分)または一定のリクエスト数(20-50)保持されます。これは、数ページを連続して閲覧する実際のユーザーを模倣します。
使用する場合: 中程度のボリューム(100-500商品)の監視が必要で、接続の安定性が求められる場合。
eBayへの推奨: スティッキーセッションを10-15分の長さで使用します。これは安全性と速度の最適なバランスです。15分間で実際のユーザーは20-30商品を閲覧できる — まさにそのパターンを模倣する必要があります。
安全なリクエスト制限
eBayはパース用の公式な制限を公表していませんが、セラーの経験に基づいて安全な境界を特定できます:
| パラメータ | 安全な制限 | ブロックのリスク |
|---|---|---|
| 1時間あたりのIPからのリクエスト数 | 30-50ページ | 低い |
| 1時間あたりのIPからのリクエスト数 | 100ページ以上 | 高い |
| リクエスト間の遅延 | 5-10秒 | 低い |
| リクエスト間の遅延 | 1-2秒 | 中程度-高い |
| 1日あたりの総ボリューム(すべてのIP) | 最大10,000ページ | 低い(適切なローテーションの場合) |
IPローテーションの計算式:
IPの数 = (監視する商品数 × 1日のチェック頻度) / 40
例: 500商品を1日3回監視する = 1500リクエスト。40(IPの安全な制限)で割る = 1日最低38のユニークIPが必要。余裕を持って50-60 IP。
人間を模倣するためのランダム性の追加
ボットはあまりにも予測可能に動作します。パースを実際のユーザーの行動のように見せるために、ランダム性の要素を追加します:
- ランダムな遅延: 固定の5秒の代わりに、4秒から9秒の間で遅延を設定します(random)
- 商品の異なる順序: 毎回同じ順序で商品をパースしないでください。
- クリックの模倣: Selenium/Puppeteerを使用している場合、時々ランダムな要素(カテゴリー、フィルター)をクリックします。
- ページのスクロール: データを収集する前にページを下にスクロールします(eBayはスクロールイベントを追跡します)。
これらの小さな工夫は、自動化が発見される可能性を大幅に減少させます。
eBayのパースでの一般的なミスとその回避方法
正しく設定されたプロキシを使用していても、一般的なミスを犯すとブロックされることがあります。最も一般的な問題を見ていきましょう。
ミス1: 同じUser-Agentの使用
多くの初心者はプロキシを設定しますが、User-Agentのローテーションを忘れがちです。その結果、異なるIPからの何千ものリクエストが同じブラウザのヘッダーで送信され — これはeBayにとって赤信号です。
解決策: 20-30の最新のUser-Agent(WindowsおよびmacOS用のChrome、Firefox、Safari)のリストを作成し、ランダムにローテーションします。ブラウザの新しいバージョンが出るたびに、リストを2-3ヶ月ごとに更新します。
ミス2: あまりにも速いパース
できるだけ早くデータを収集したいという欲求は、ブロックにつながります。実際のユーザーは、1秒間に10ページの商品を開くことはできません。
解決策: リクエスト間に4-5秒の最小遅延を設定します。はい、これは遅くなりますが、安全性が高まります。速度が必要な場合は、多数のIPを使用して並行パースを行います(実行)。