So verfolgen Sie die Preise von Wettbewerbern auf eBay ohne Sperren: Proxy-Einstellungen für das Scraping

Wenn Sie auf eBay verkaufen, wissen Sie: Der Erfolg hängt von der richtigen Preisgestaltung ab. Aber eBay blockiert aktiv das automatische Sammeln von Daten - wenn Sie versuchen, die Preise von Wettbewerbern massenhaft zu überprüfen, erhalten Sie ein Captcha oder eine vorübergehende IP-Sperre. In diesem Leitfaden werden wir besprechen, wie man Proxys für eine sichere Überwachung von Wettbewerbern einrichtet und die Datensammlung ohne Risiko von Sperren automatisiert.

Warum eBay das Scraping blockiert und wie es funktioniert

eBay verwendet ein mehrstufiges Schutzsystem gegen automatisiertes Datensammeln. Die Plattform ist daran interessiert, dass Benutzer mit der Website wie echte Käufer interagieren und nicht wie Bots, die Informationen für Wettbewerbsanalysen sammeln.

Hauptmethoden zur Erkennung von Scraping auf eBay:

• IP-Überwachung: Wenn von einer IP-Adresse zu viele Anfragen in kurzer Zeit kommen (normalerweise mehr als 50-100 Produktansichten pro Stunde), markiert das System sie als verdächtig.
• Verhaltensanalyse: Bots öffnen Seiten zu schnell (weniger als 2-3 Sekunden pro Seite), bewegen die Maus nicht und scrollen nicht.
• User-Agent-Überprüfung: Veraltete oder verdächtige Browser-Header führen zu einer zusätzlichen Überprüfung.
• Fingerprinting des Browsers: eBay sammelt Daten über Bildschirmauflösung, installierte Schriftarten, Zeitzone - Abweichungen weisen auf die Verwendung von Bots hin.
• Captcha und Challenge: Bei Verdacht zeigt das System ein Captcha an oder fordert zur Bestätigung auf, dass Sie kein Roboter sind.

Folgen der Erkennung von Scraping:

• Vorübergehende Sperrung der IP-Adresse (von mehreren Stunden bis zu einem Tag)
• Anzeigen eines Captchas auf jeder Seite
• Einschränkung des Zugriffs auf die Suchergebnisse (nur die ersten 10-20 Produkte werden angezeigt)
• Im schlimmsten Fall - Sperrung des Verkäuferkontos, wenn das Scraping von einem autorisierten Konto durchgeführt wird.

Aus diesem Grund ist es für die regelmäßige Überwachung von Wettbewerbern entscheidend, Proxys zu verwenden - sie ermöglichen es, Anfragen zwischen vielen IP-Adressen zu verteilen und das Verhalten verschiedener Benutzer aus verschiedenen Standorten zu simulieren.

Welchen Proxy-Typ man für die Überwachung von eBay wählen sollte

Die Wahl des Proxy-Typs hängt vom Umfang der Überwachung, dem Budget und den Anforderungen an die Geschwindigkeit der Datensammlung ab. Lassen Sie uns drei Hauptvarianten und deren Anwendung für die Arbeit mit eBay betrachten.

Rechenzentrumsproxies: schnell, aber riskant

Rechenzentren sind die schnellste und günstigste Option, aber eBay kennt die IP-Bereiche beliebter Hosting-Anbieter gut. Solche Adressen sind oft bereits auf schwarzen Listen oder ziehen die Aufmerksamkeit von Anti-Betrugssystemen auf sich.

Wann man sie verwenden kann:

• Einmalige Datensammlung für eine kleine Liste von Produkten (bis zu 100-200 Positionen)
• Testen des Scrapers vor dem Start auf Residential Proxys
• Überwachung eigener Listings (nicht von Wettbewerbern)
• Arbeiten mit der eBay API (wenn Sie offiziellen Zugang haben)

Für die regelmäßige Überwachung von Wettbewerbern sind Rechenzentren nicht geeignet - Sie werden schnell den Pool „sauberer“ IPs erschöpfen und anfangen, Sperren zu erhalten.

Residential Proxys: die optimale Wahl für die Überwachung

Residential Proxys verwenden IP-Adressen echter Internetanbieter (Comcast, AT&T, Verizon und andere). Für eBay sehen solche Anfragen aus wie normale Benutzer, die Produkte von zu Hause aus durchsuchen.

Vorteile für das Scraping von eBay:

• Minimales Risiko von Sperren: Residential IPs landen selten auf schwarzen Listen, da es sich um Adressen normaler Benutzer handelt.
• Geografische Genauigkeit: Sie können Proxys aus einer bestimmten Stadt oder einem bestimmten Bundesstaat auswählen - das ist wichtig, wenn Sie lokale Produkte verkaufen.
• Großer Pool von Adressen: Qualitativ hochwertige Anbieter stellen Millionen von IPs zur Verfügung, was eine Skalierung der Überwachung ermöglicht.
• Automatische Rotation: Sie können die IP nach jeder Anfrage oder nach einem Timer wechseln.

Optimale Einstellungen für eBay:

• IP-Rotation: nach jeweils 20-30 Anfragen oder alle 5-10 Minuten
• Geolokalisierung: USA (Hauptmarkt von eBay) oder das Land Ihrer Zielgruppe
• Sticky Sessions: 5-15 Minuten (damit sich die IP bei Wechseln zwischen den Produktseiten nicht ändert)
• Verzögerung zwischen Anfragen: 3-8 Sekunden (Simulation eines echten Benutzers)

Mobile Proxys: maximales Vertrauen, aber teuer

Mobile Proxys verwenden IPs von Mobilfunkanbietern (4G/5G). Für eBay ist dies der vertrauenswürdigste Typ von Traffic, da der Großteil der Käufer die Plattform über Smartphones besucht.

Wann man mobile Proxys verwenden sollte:

• Ihre Haupt-IP oder Residential Proxys sind bereits auf der Blockliste von eBay gelandet.
• Sie überwachen Wettbewerber von einem autorisierten Verkäuferkonto aus (maximale Sicherheit erforderlich).
• Sie müssen Daten aus der mobilen Version von eBay sammeln (die manchmal andere Preise und Aktionen anzeigt).
• Sie arbeiten mit sehr geschützten Produktkategorien (Elektronik, Premium-Marken).

Der Nachteil mobiler Proxys sind die hohen Kosten (3-5 Mal teurer als Residential) und die geringere Geschwindigkeit. Für die meisten Aufgaben zur Überwachung von Wettbewerbern auf eBay sind sie überflüssig.

Was man verfolgen kann: Preise, Bestände, Verkäuferbewertungen

Die Überwachung von Wettbewerbern auf eBay umfasst nicht nur die Preisverfolgung. Um fundierte Geschäftsentscheidungen zu treffen, müssen umfassende Marktdaten gesammelt werden. Lassen Sie uns betrachten, welche Metriken es wert sind, verfolgt zu werden, und wie man sie nutzt.

1. Preisüberwachung und Änderungsdynamik

Dies ist die Hauptaufgabe für die meisten Verkäufer. Sie müssen wissen, zu welchem Preis Wettbewerber ähnliche Produkte verkaufen, um wettbewerbsfähig zu bleiben.

Was zu verfolgen ist:

• Aktueller Preis Sofort-Kaufen: aktueller Preis des Produkts zum Zeitpunkt der Überprüfung.
• Auktionspreis: Startgebot und aktueller Preis (wenn das Produkt über eine Auktion verkauft wird).
• Versandkosten: Viele Verkäufer setzen den Preis des Produkts niedrig an, erhöhen jedoch die Versandkosten - die Gesamtkosten müssen berechnet werden.
• Rabatte und Aktionen: zeitlich begrenzte Aktionen wie "10% Rabatt" oder "Kaufe 2, erhalte 1 kostenlos".
• Änderungshistorie: wie oft ändert der Wettbewerber den Preis (täglich, wöchentlich).

Wie man die Daten nutzt: Wenn Sie sehen, dass ein Wettbewerber den Preis am Freitagabend um 15% gesenkt hat, könnte dies eine Vorbereitung auf den Wochenendverkauf sein. Sie können im Voraus reagieren und ebenfalls eine Aktion starten, um keine Verkäufe zu verlieren.

2. Überwachung der Verfügbarkeit von Produkten und Verkaufsrate

eBay zeigt die Anzahl der verfügbaren Produkte und die Anzahl der verkauften Einheiten an. Diese Daten helfen zu verstehen, wie gut sich das Produkt bei Wettbewerbern verkauft.

Was zu sammeln ist:

• Verfügbare Menge: wie viele Einheiten des Produkts noch auf Lager sind.
• Verkaufte Anzahl: wie viele Einheiten bereits verkauft wurden (eBay zeigt dies für beliebte Listings an).
• Beobachter: wie viele Benutzer das Produkt auf ihre Wunschliste gesetzt haben (Indikator für Interesse).
• Datum der Listung: wie lange das Produkt bereits zum Verkauf angeboten wird.

Beispiel für die Nutzung: Sie überwachen das Listing eines Wettbewerbers und sehen, dass in den letzten 3 Tagen 50 Einheiten des Produkts zu einem Preis von 29,99 $ verkauft wurden. Das bedeutet, dass die Nachfrage nach dem Produkt hoch ist und Sie Ihre Bestellungen erhöhen können. Wenn die Anzahl der verkauften Einheiten jedoch wochenlang unverändert bleibt, ist das ein Signal für eine niedrige Nachfrage oder eine falsche Positionierung.

3. Analyse der Bewertungen und Rückmeldungen von Verkäufern

Die Verkäuferbewertung hat direkten Einfluss auf die Conversion. Käufer bevorzugen Verkäufer mit hoher Feedback-Bewertung und dem Status "Top Rated Seller".

Metriken zur Überwachung:

• Feedback-Bewertung: Gesamtzahl der positiven Rückmeldungen.
• Prozentsatz positiver Rückmeldungen: Prozentsatz positiver Rückmeldungen (Norm - 98%+).
• Detaillierte Verkäuferbewertungen: Bewertungen in Kategorien (Versandgeschwindigkeit, Übereinstimmung mit der Beschreibung, Kommunikation).
• Top Rated Seller Badge: Vorhandensein des Top-Verkäufer-Abzeichens.
• Anzahl der Rückmeldungen in den letzten 12 Monaten: zeigt die Aktivität des Verkäufers an.

Warum das wichtig ist: Wenn Ihr Hauptkonkurrent den Status "Top Rated" hat und über 5000 Rückmeldungen verfügt, während Sie nur 200 haben, werden die Käufer selbst bei gleichem Preis ihn wählen. Sie müssen entweder den Preis senken, um den Unterschied im Vertrauen auszugleichen, oder aktiv an der Ansammlung von Rückmeldungen arbeiten.

4. Überwachung der Positionen in der Suche und in Kategorien

Die Position eines Produkts in den Suchergebnissen von eBay ist entscheidend für den Verkauf. Produkte auf der ersten Seite erhalten 80% der Klicks.

Was zu verfolgen ist:

• Die Position des Wettbewerbers in der Suche nach Schlüsselwörtern (z.B. "kabellose Bluetooth-Kopfhörer").
• Vorhandensein in den empfohlenen Produkten (Featured Items).
• Position in der Kategorie (z.B. Elektronik → Kopfhörer → In-Ear).
• Verwendung von Promoted Listings (kostenpflichtige Werbung).

Um die Positionen zu verfolgen, müssen die Suchergebnisse nach Schlüsselwörtern gescrapt werden, und es muss festgehalten werden, auf welcher Position sich jeder Wettbewerber befindet. Dies ermöglicht es zu verstehen, wer in SEO und Werbung investiert und wer sich nur auf organischen Traffic verlässt.

Proxy-Einrichtung für das Scraping: Schritt-für-Schritt-Anleitung

Lassen Sie uns die praktische Einrichtung von Proxys für die Überwachung von eBay besprechen. Unabhängig davon, ob Sie einen fertigen Scraper verwenden oder Ihr eigenes Skript schreiben, sind die Arbeitsprinzipien gleich.

Schritt 1: Auswahl und Kauf von Proxys

Für die Überwachung von eBay empfehlen wir Residential Proxys mit geografischer Ausrichtung auf die USA (da dies der Hauptmarkt der Plattform ist). Achten Sie bei der Auswahl eines Anbieters auf:

• Größe des IP-Pools: mindestens 1-2 Millionen Adressen für eine komfortable Rotation.
• Unterstützung von Sticky Sessions: Möglichkeit, eine IP für 5-15 Minuten zu behalten.
• Geografische Genauigkeit: Möglichkeit, eine Stadt oder einen Bundesstaat auszuwählen (wichtig für lokale Produkte).
• Format der Authentifizierung: es ist einfacher, mit username:password zu arbeiten als mit IP-Whitelist.

Nach dem Kauf erhalten Sie die Verbindungsdaten im Format:

Host: proxy.example.com
Port: 12321
Username: user_abc123
Password: pass_xyz789

Schritt 2: Proxy in Scraper oder Skript einrichten

Die meisten fertigen Scraper (Octoparse, ParseHub, Apify) haben eine integrierte Unterstützung für Proxys. Sie müssen nur die Daten in den Einstellungen eingeben.

Beispiel für die Einrichtung in beliebten Tools:

Wenn Sie Ihr eigenes Skript verwenden, hängt die Verbindung zu Proxys von der Programmiersprache ab. Für die meisten Aufgaben zur Überwachung von eBay werden Python (Bibliotheken requests, Selenium) oder Node.js (Puppeteer, Playwright) verwendet.

Schritt 3: User-Agent und Header einrichten

Die Verwendung von Proxys ist nur die halbe Miete. eBay analysiert auch die HTTP-Header der Anfragen. Wenn Sie einen veralteten User-Agent verwenden oder Anfragen ohne Standard-Header senden, wird dies Verdacht erregen.

Verpflichtende Header für das Scraping von eBay:

• User-Agent: Verwenden Sie die aktuelle Version von Chrome oder Firefox (alle 2-3 Monate aktualisieren).
• Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8.
• Accept-Language: en-US,en;q=0.9 (für die USA) oder ru-RU,ru;q=0.9 (für Russland).
• Accept-Encoding: gzip, deflate, br.
• Referer: https://www.ebay.com/ (für nachfolgende Anfragen).

Tipp: Verwenden Sie die Rotation des User-Agent - ändern Sie ihn alle 50-100 Anfragen. Dies simuliert verschiedene Benutzer mit unterschiedlichen Browsern.

Schritt 4: Testen der Einstellungen

Bevor Sie die umfassende Überwachung starten, testen Sie unbedingt die Einstellungen an einer kleinen Auswahl von Produkten (10-20 Positionen).

Test-Checkliste:

1. Überprüfen Sie die IP-Adresse: Öffnen Sie im Scraper die Seite https://api.ipify.org/ - sie zeigt die aktuelle IP an. Stellen Sie sicher, dass dies die IP des Proxys ist und nicht Ihre echte.
2. Überprüfen Sie die Geolokalisierung: Öffnen Sie https://www.ebay.com/ und überprüfen Sie, welches Land erkannt wird (sollte mit der Geolokalisierung des Proxys übereinstimmen).
3. Sammeln Sie Daten zu 20 Produkten: Starten Sie den Scraper und überprüfen Sie, ob alle Daten korrekt gesammelt werden (Preis, Verfügbarkeit, Bewertung).
4. Überprüfen Sie auf Captchas: Wenn beim Testlauf ein Captcha erscheint, sind die Einstellungen nicht sicher genug.
5. Messen Sie die Geschwindigkeit: Messen Sie die Zeit für das Sammeln von Daten zu 100 Produkten - dies hilft, die Frequenz der Überwachung zu planen.

Tools zur Automatisierung der Wettbewerbsüberwachung

Für die regelmäßige Überwachung von Wettbewerbern auf eBay ist es nicht notwendig, den Code von Grund auf neu zu schreiben. Es gibt fertige Tools, die das Sammeln von Daten erleichtern und sich mit Proxys integrieren lassen.

Visuelle Scraper (No-Code-Lösungen)

Diese Tools ermöglichen es, das Scraping über eine grafische Benutzeroberfläche einzurichten - Sie klicken einfach auf die Elemente der Seite, die Sie sammeln möchten.

Empfehlung: Für Anfänger eignet sich Octoparse am besten - es gibt fertige Vorlagen für das Scraping von eBay, und die Einrichtung dauert 15-20 Minuten. Für erfahrenere Benutzer bietet Apify mehr Flexibilität und Anpassungsmöglichkeiten über JavaScript.

Spezialisierte Dienste zur Preisüberwachung

Wenn Sie nur die Preise überwachen möchten (ohne andere Daten zu sammeln), gibt es fertige SaaS-Lösungen:

• Keepa: ursprünglich für Amazon, unterstützt aber auch eBay. Verfolgt die Preisgeschichte und zeigt Grafiken der Änderungen an.
• PriceYak: automatische Preisanpassung basierend auf den Preisen von Wettbewerbern. Integriert sich mit der eBay API.
• Algopix: Marktanalyse für Verkäufer, zeigt die Preise von Wettbewerbern, Nachfrage, Rentabilität an.

Diese Dienste verfügen bereits über eine integrierte Proxy-Infrastruktur, sodass Sie sie nicht selbst einrichten müssen. Nachteil - eingeschränkte Anpassungsmöglichkeiten und höhere Kosten.

Einrichtung eines Überwachungszeitplans

Die Häufigkeit der Überwachung hängt von der Produktkategorie und der Marktdynamik ab:

• Hochkompetitive Nischen (Elektronik, Kleidung): 2-3 Mal am Tag (Morgen, Mittag, Abend).
• Mittlere Konkurrenz (Haushaltswaren, Sport): 1 Mal am Tag.
• Geringe Konkurrenz (Sammlerstücke, seltene Ersatzteile): 2-3 Mal pro Woche.

Die meisten Cloud-Scraper (Octoparse, ParseHub, Apify) ermöglichen die automatische Ausführung nach Zeitplan. Daten können in Google Sheets, Excel exportiert oder per E-Mail gesendet werden.

IP-Rotationsstrategie und sichere Anfragegrenzen

Die richtige Rotation von IPs ist der Schlüssel zur langfristigen Überwachung ohne Sperren. Lassen Sie uns besprechen, wie man die Rotation einrichtet und welche Grenzen zu beachten sind.

Arten der Proxy-Rotation

Es gibt zwei Hauptansätze zur Rotation von IPs beim Scraping von eBay:

Empfehlung für eBay: Verwenden Sie Sticky Sessions mit einer Dauer von 10-15 Minuten. Dies ist das optimale Gleichgewicht zwischen Sicherheit und Geschwindigkeit. In 15 Minuten kann ein echter Benutzer 20-30 Produkte durchsuchen - genau dieses Muster sollte simuliert werden.

Sichere Anfragegrenzen

eBay veröffentlicht keine offiziellen Grenzen für das Scraping, aber basierend auf den Erfahrungen von Verkäufern können sichere Grenzen hervorgehoben werden:

Formel zur Berechnung der Anzahl der IPs für die Rotation:

Zufälligkeit hinzufügen, um menschliches Verhalten zu simulieren

Bots arbeiten zu vorhersehbar. Damit das Scraping wie die Aktionen eines echten Benutzers aussieht, fügen Sie Zufallselemente hinzu:

• Zufällige Verzögerungen: Anstelle fester 5 Sekunden machen Sie eine Verzögerung von 4 bis 9 Sekunden (random).
• Verschiedene Reihenfolge der Produkte: Scrapen Sie die Produkte nicht jedes Mal in der gleichen Reihenfolge.
• Simulation von Klicks: Wenn Sie Selenium/Puppeteer verwenden, klicken Sie manchmal auf zufällige Elemente (Kategorien, Filter).
• Seitenrollen: Scrollen Sie die Seite nach unten, bevor Sie Daten sammeln (eBay verfolgt Scroll-Events).

Diese Kleinigkeiten verringern erheblich die Wahrscheinlichkeit, dass die Automatisierung erkannt wird.

Typische Fehler beim Scraping von eBay und wie man sie vermeidet

Selbst mit richtig konfigurierten Proxys kann es zu Sperren kommen, wenn häufige Fehler gemacht werden. Lassen Sie uns die häufigsten Probleme besprechen.

Fehler 1: Verwendung desselben User-Agent

Viele Anfänger konfigurieren Proxys, vergessen aber die Rotation des User-Agent. Infolgedessen gehen Tausende von Anfragen von verschiedenen IPs mit demselben Browser-Header ein - das ist ein rotes Signal für eBay.

Lösung: Erstellen Sie eine Liste von 20-30 aktuellen User-Agents (Chrome, Firefox, Safari auf Windows und macOS) und rotieren Sie diese zufällig. Aktualisieren Sie die Liste alle 2-3 Monate, wenn neue Versionen von Browsern veröffentlicht werden.

Fehler 2: Zu schnelles Scraping

Der Wunsch, Daten so schnell wie möglich zu sammeln, führt zu Sperren. Ein echter Benutzer kann nicht 10 Produktseiten pro Sekunde öffnen.

Lösung: Stellen Sie eine minimale Verzögerung von 4-5 Sekunden zwischen den Anfragen ein. Ja, das ist langsamer, aber sicherer. Wenn Geschwindigkeit erforderlich ist - verwenden Sie paralleles Scraping mit vielen IPs (starten Sie mehrere Instanzen).