So verfolgen Sie die dynamische Preisgestaltung von Wettbewerbern über Proxys ohne Sperren

Dynamische Preisgestaltung ist zum Standard auf Marktplätzen geworden – die Preise ändern sich 10-20 Mal am Tag, abhängig von der Nachfrage, den Beständen und den Aktionen der Wettbewerber. Wenn Sie Verkäufer bei Wildberries, Ozon oder Avito sind, wissen Sie: Wer zuerst von einer Preissenkung des Wettbewerbers erfährt, behält seine Position in den Suchergebnissen. Aber alle Marktplätze blockieren massives Scraping von einer IP-Adresse rigoros. In diesem Artikel werden wir erörtern, wie man das automatische Preis-Monitoring über Proxys einrichtet, um Daten 24/7 zu sammeln, ohne das Risiko einer Sperrung des Kontos oder der IP-Adresse einzugehen.

Warum Marktplätze das Scraping von Preisen blockieren und wie es funktioniert

Alle großen Marktplätze verwenden mehrschichtige Schutzmaßnahmen gegen automatisiertes Datensammeln. Der Grund ist einfach: Massives Scraping belastet die Server und verschafft denjenigen einen Wettbewerbsvorteil, die in der Lage sind, Daten zu sammeln. Wildberries beispielsweise verzeichnet bis zu 300.000 Preisänderungen pro Tag – und möchte nicht, dass diese Daten kostenlos an Wettbewerber gelangen.

So funktioniert ein typisches Scraping-Schutzsystem:

• Überwachung der Anfragefrequenz von einer IP – Wenn Sie 50+ Produktkarten pro Minute öffnen, erkennt das System, dass dies kein Mensch ist. Ein normaler Käufer sieht sich 3-5 Produkte pro Minute an, ein Scraper – 100-500.
• Analyse von User-Agent und Headern – Anfragen ohne korrekte Browser-Header landen sofort auf der schwarzen Liste. Viele Anfänger verwenden die Standardbibliotheken Python requests ohne Header-Einstellungen – das ist das erste, was die Schutzsysteme erkennen.
• Überprüfung von JavaScript und Cookies – Moderne Marktplätze nutzen Cloudflare, DataDome und eigene Anti-Bot-Systeme. Sie überprüfen die Ausführung von JavaScript, das Vorhandensein von Sitzungscookies, das Mausverhalten und das Scrollen.
• Geografische Bindung der IP – Wenn Sie den russischen Ozon mit einer IP aus Deutschland oder den USA scrapen, sieht das verdächtig aus. Das System kann Ihnen veraltete Preise anzeigen oder den Zugang ganz blockieren.
• Blockierung von Rechenzentren – Die meisten Marktplätze führen Datenbanken mit IP-Adressen von Cloud-Anbietern (AWS, Google Cloud, Hetzner) und schränken Anfragen von dort automatisch ein.

Das Ergebnis einer Blockierung kann unterschiedlich sein: von einer vorübergehenden Geschwindigkeitsbegrenzung (rate limit) bis hin zu einer vollständigen Sperrung der IP für mehrere Wochen. Wenn Sie über ein Verkäuferkonto scrapen, riskieren Sie die Sperrung Ihres persönlichen Kontos, was für das Geschäft kritisch ist.

Welche Proxy-Typen für das Preis-Monitoring geeignet sind: Vergleich

Für das Monitoring dynamischer Preisgestaltung eignen sich drei Proxy-Typen, jeder mit seinen Vor- und Nachteilen. Die Wahl hängt vom Budget, dem Umfang des Scraping und den geografischen Anforderungen ab.

Praktische Empfehlung zur Auswahl:

• Für Wildberries und Ozon – nur Residential oder Mobile Proxys. Diese Plattformen nutzen Cloudflare und eigene Anti-Bot-Systeme, Rechenzentren werden in 90% der Fälle blockiert.
• Für Yandex.Market – Residential Proxys mit russischer Geografie, das System überprüft die Übereinstimmung von IP und Suchregion.
• Für Avito – man kann Rechenzentren verwenden, aber mit Rotation und Verzögerungen zwischen den Anfragen. Der Schutz ist schwächer als bei Marktplätzen.
• Für AliExpress und internationale Plattformen – Residential Proxys des jeweiligen Landes, viele zeigen unterschiedliche Preise für verschiedene Regionen an.

Wenn das Budget begrenzt ist – beginnen Sie mit einem Pool von 20-30 Residential Proxys mit Rotation. Das reicht aus, um 500-1000 Produkte pro Tag ohne Blockierungen zu überwachen.

Besonderheiten des Schutzes von Wildberries, Ozon, Yandex.Market und Avito

Jede Plattform verwendet ihre eigene Kombination von Schutzmechanismen. Das Verständnis dieser Besonderheiten hilft, den Scraper beim ersten Mal richtig einzurichten.

Wildberries

Der strengste Schutz unter den russischen Marktplätzen. Sie nutzen Cloudflare mit aktiviertem "I'm Under Attack"-Modus, der eine JavaScript-Herausforderung vor dem Zugriff auf den Inhalt überprüft. Zusätzlich überwachen sie:

• Fingerprint des Browsers – Canvas, WebGL, Schriftarten, Bildschirmauflösung
• TLS-Fingerprint – Version des Protokolls und Satz von Cipher Suites
• Verhaltensfaktoren – Scrollgeschwindigkeit, Mausbewegungen, Zeit auf der Seite
• Sitzungshistorie – Wenn Sie sofort beginnen, Produktkarten zu öffnen, ohne die Hauptseite und Kategorien zu durchsuchen, sieht das verdächtig aus

Was funktioniert: Headless-Browser (Puppeteer, Playwright) mit Residential Proxys, Emulation des realen Nutzerverhaltens, Verzögerungen von 5-15 Sekunden zwischen den Anfragen, Rotation von User-Agent und Proxys nach jeweils 20-30 Anfragen.

Ozon

Sie verwenden ein eigenes Anti-Bot-System plus DataDome. Besonderheit: Die Preise können je nach Lieferstadt variieren – das System bestimmt die Region anhand der IP und zeigt die entsprechenden Preise unter Berücksichtigung der Logistik an.

Ozon blockiert aktiv bekannte IP-Bereiche von Rechenzentren. Beim Scraping über einen normalen VPS erhalten Sie in 80% der Fälle ein Captcha oder einen Fehler 403. Sie überwachen auch Cookies – wenn Sie Anfragen ohne Speicherung der Sitzung zwischen den Anfragen machen, wird dies erkannt.

Was funktioniert: Residential Proxys mit russischer Geografie, zwingende Speicherung von Cookies zwischen den Anfragen, Emulation des Hinzufügens von Produkten zu Favoriten (das schafft eine "Historie" des Nutzers), Verzögerungen von 3-10 Sekunden.

Yandex.Market

Mittleres Schutzniveau. Die Hauptbesonderheit ist die strenge Bindung an die Region. Wenn Sie Preise für Moskau mit einer IP aus Wladiwostok scrapen, zeigt das System entweder die Preise für Wladiwostok an oder blockiert den Zugang ganz. Für ein korrektes Monitoring werden Proxys aus der Region benötigt, deren Preise Sie verfolgen.

Yandex verwendet auch ein eigenes Anti-Fraud-System, das die Reihenfolge der Aktionen analysiert. Verdächtig sieht aus: Öffnen von Produktkarten über direkte Links ohne Suche, identische Intervalle zwischen den Anfragen (z.B. genau alle 5 Sekunden), keine Anfragen an statische Inhalte (Bilder, Stile).

Was funktioniert: Residential Proxys der benötigten Region, Emulation des vollständigen Zyklus: Suche → Produktliste → Produktkarte, zufällige Verzögerungen von 4-12 Sekunden, periodische Proxy-Wechsel.

Avito

Der loyalste Schutz unter den genannten Plattformen. Der Hauptschutz ist eine Begrenzung der Anzahl der Anzeigenaufrufe von einer IP (ungefähr 100-150 Anzeigen pro Stunde). Nach Überschreitung des Limits wird ein Captcha angezeigt oder eine vorübergehende Sperrung für 1-2 Stunden verhängt.

Avito überprüft auch das Vorhandensein von Cookies und grundlegenden Headern, verwendet jedoch keine komplexen JavaScript-Herausforderungen. Rechenzentren funktionieren, aber mit Einschränkungen – Rotation und moderate Anfragefrequenz sind erforderlich.

Was funktioniert: Selbst Rechenzentren mit Rotation, Verzögerungen von 2-5 Sekunden zwischen den Anzeigen, korrekte Browser-Header, Speicherung von Cookies. Für große Volumen – Residential Proxys.

Einrichtung der Proxy-Rotation für rund um die Uhr Scraping

Die richtige Rotation von Proxys ist ein entscheidender Faktor für stabiles Scraping ohne Blockierungen. Es gibt drei Hauptstrategien für die Rotation, die jeweils für unterschiedliche Szenarien geeignet sind.

Strategie 1: Rotation nach Anzahl der Anfragen

Die Essenz: Sie wechseln die Proxys nach einer bestimmten Anzahl von Anfragen (z.B. nach jeweils 20-50 Anfragen). Dies ist die einfachste und effektivste Methode für die meisten Aufgaben.

Empfohlene Werte für verschiedene Plattformen:

• Wildberries: 15-25 Anfragen pro Proxy, dann Wechsel
• Ozon: 20-30 Anfragen
• Yandex.Market: 30-50 Anfragen
• Avito: 50-100 Anfragen

Ein wichtiger Punkt: Fügen Sie Randomisierung hinzu. Wechseln Sie die Proxys nicht strikt nach 20 Anfragen – tun Sie dies nach 18-23 Anfragen zufällig. Dies macht das Muster für die Schutzsysteme weniger vorhersehbar.

Strategie 2: Zeitliche Rotation

Wechseln Sie die Proxys alle N Minuten unabhängig von der Anzahl der Anfragen. Geeignet für Aufgaben mit unvorhersehbarem Traffic – z.B. Preisüberwachung in Echtzeit, wenn die Anzahl der Aktualisierungen stark schwanken kann.

Empfohlene Intervalle: 5-15 Minuten für strenge Plattformen (Wildberries, Ozon), 15-30 Minuten für loyalere (Avito, kleine Geschäfte).

Strategie 3: Sticky Sessions (sticky sessions)

Verwenden Sie denselben Proxy für alle Anfragen innerhalb einer "Benutzersitzung". Zum Beispiel: Sie emulieren einen Käufer, der auf Ozon war, nach "Laptops" gesucht hat, 5 Produktkarten geöffnet hat und einen in den Warenkorb gelegt hat. All diese Aktionen laufen über einen Proxy mit Speicherung von Cookies.

Nach Abschluss der Sitzung (nach 3-10 Minuten) wechseln Sie den Proxy und beginnen eine neue Sitzung. Dies ist das "menschlichste" Muster, erfordert jedoch mehr Proxys und ist schwieriger umzusetzen.

Wann verwenden: Scraping von Plattformen mit sehr strengen Schutzmaßnahmen, wenn einfache Rotation nicht funktioniert. Eignet sich auch für das Sammeln von Daten über persönliche Konten von Verkäufern.

Fertige Tools für das Preis-Monitoring mit Proxy-Unterstützung

Wenn Sie keinen Scraper von Grund auf neu schreiben möchten, gibt es fertige Lösungen mit integrierter Proxy-Unterstützung. Lassen Sie uns die beliebtesten Tools für das Preis-Monitoring auf russischen und internationalen Plattformen betrachten.

Für russische Marktplätze

1. Mpstats (mpstats.io)
Ein spezialisierter Dienst für die Analyse von Wildberries und Ozon. Er sammelt Daten zu Verkäufen, Beständen und Preisen von Wettbewerbern. Es gibt eine API zur Integration mit eigenen Systemen. Der Dienst arbeitet über eine eigene Proxy-Infrastruktur, Sie müssen nichts zusätzlich einrichten.

Nachteil: hohe Kosten (ab 15.000 Rubel/Monat für den Vollzugriff), eigene Proxys können nicht verwendet werden. Eignet sich für große Verkäufer mit einem Umsatz von 1-2 Millionen Rubel/Monat.

2. Sellego
Ein ähnlicher Dienst mit Fokus auf die Automatisierung der Preisgestaltung. Er überwacht die Preise von Wettbewerbern und passt Ihre Preise automatisch nach festgelegten Regeln an (z.B. "5% günstiger als der Wettbewerber"). Arbeitet ebenfalls über eigene Proxys.

3. Parsehub
Ein visueller Parser-Builder ohne Code. Sie klicken auf die Elemente der Seite, die Sie sammeln möchten, und der Dienst erstellt automatisch den Scraper. Unterstützt Proxys – Sie können Ihre Liste in den Projekteinstellungen hinzufügen. Eignet sich für diejenigen, die überhaupt nicht programmieren können.

Kosten: Kostenloser Tarif – 200 Seiten pro Monat, kostenpflichtige Tarife – ab 149 $/Monat für 10.000 Seiten. Für das Monitoring von 100-200 Produkten reicht der kostenlose Tarif aus.

Für die selbstständige Entwicklung

Wenn Sie bereit sind, den Scraper selbst einzurichten oder einen Programmierer im Team haben:

1. Scrapy (Python)
Ein leistungsstarkes Framework für das Scraping mit integrierter Proxy-Unterstützung, Rotation und Fehlerbehandlung. Es gibt Middleware für den automatischen Wechsel von Proxys aus der Liste. Erfordert Kenntnisse in Python, aber die Dokumentation ist ausgezeichnet.

Eignet sich für das Scraping einfacher Websites ohne JavaScript. Für Wildberries und Ozon muss es mit Splash oder Selenium kombiniert werden, um JavaScript zu verarbeiten.

2. Puppeteer / Playwright (JavaScript)
Headless-Browser, die einen echten Benutzer vollständig emulieren – sie führen JavaScript aus, speichern Cookies und können Mausbewegungen emulieren. Ideal für Plattformen mit strengen Schutzmaßnahmen.

Die Proxy-Einrichtung ist einfach – ein Parameter beim Start des Browsers. Playwright gilt als moderner und stabiler, aber Puppeteer hat mehr fertige Beispiele und Bibliotheken.

3. Octoparse
Eine Desktop-Anwendung für Windows mit einem visuellen Parser-Builder. Erfordert keine Programmierung – Sie klicken einfach auf die Elemente, die Sie sammeln möchten. Eingebaute Proxy-Unterstützung, Zeitplan für Ausführungen, Export nach Excel/CSV.

Kosten: Kostenlose Version mit Einschränkungen (10.000 Datensätze pro Monat), kostenpflichtige Tarife ab 75 $/Monat. Eine gute Option für kleine und mittlere Unternehmen.

Schritt-für-Schritt-Anleitung zur Einrichtung eines Preis-Scrapers mit Proxys in 15 Minuten

Ich zeige Ihnen den einfachsten Weg, das Preis-Monitoring am Beispiel von Parsehub – einem Tool ohne Code – einzurichten. Diese Methode eignet sich sogar, wenn Sie noch nie mit Scraping-Tools gearbeitet haben.

Schritt 1: Registrierung und Installation

• Registrieren Sie sich auf parsehub.com (es gibt einen kostenlosen Tarif)
• Laden Sie die Desktop-Anwendung für Windows oder Mac herunter und installieren Sie sie
• Starten Sie die Anwendung und melden Sie sich an

Schritt 2: Erstellen eines Projekts und Auswahl der Elemente

• Klicken Sie auf "Neues Projekt" und fügen Sie die URL der Seite mit den Produkten ein (z.B. eine Kategorie auf Ozon oder Suchergebnisse)
• Parsehub lädt die Seite im integrierten Browser
• Klicken Sie auf den Namen des ersten Produkts – Parsehub hebt automatisch alle ähnlichen Elemente auf der Seite hervor
• Klicken Sie auf den Preis des Produkts – er wird zur Liste der zu sammelnden Daten hinzugefügt
• Fügen Sie andere benötigte Felder hinzu: Link zum Produkt, Bewertung, Anzahl der Bewertungen

Schritt 3: Proxy-Einrichtung

• Öffnen Sie die Projekteinstellungen (Zahnrad-Symbol)
• Suchen Sie den Abschnitt "Proxy-Einstellungen"
• Wählen Sie "Proxy verwenden" und fügen Sie die Daten Ihrer Proxys im Format: IP:PORT:USERNAME:PASSWORD ein
• Wenn Sie eine Liste von Proxys haben, aktivieren Sie die Option "Proxys rotieren" – Parsehub wechselt automatisch zwischen den Proxys bei Anfragen

Schritt 4: Einrichtung des Zeitplans

• In den Projekteinstellungen finden Sie "Zeitplan"
• Wählen Sie die Häufigkeit der Ausführung: jede Stunde, alle 6 Stunden, einmal täglich usw.
• Für dynamische Preisgestaltung ist es optimal – alle 2-4 Stunden

Schritt 5: Datenexport

• Nach dem ersten Start des Scrapers erscheinen die Daten im Tab "Daten"
• Klicken Sie auf "Exportieren" und wählen Sie das Format: CSV, Excel, JSON
• Sie können die automatische Übertragung der Daten nach Google Sheets oder per E-Mail nach jedem Start einrichten

Die gesamte Einrichtung dauert 10-15 Minuten. Danach arbeitet der Scraper automatisch nach Zeitplan, sammelt die Preise der Wettbewerber und sendet Ihnen die Daten.

5 Fehler, die zu einer Sperrung beim Scraping führen

Selbst mit den richtigen Proxys kann man gesperrt werden, wenn man typische Fehler macht. Hier sind die häufigsten Probleme aus der Praxis.

Fehler 1: Zu hohe Anfragegeschwindigkeit

Viele versuchen, Daten so schnell wie möglich zu sammeln und machen 10-20 Anfragen pro Sekunde. Dies wird sofort von den Schutzsystemen erkannt. Ein realer Mensch kann physisch nicht 20 Produktkarten pro Sekunde öffnen.

Lösung: Fügen Sie Verzögerungen zwischen den Anfragen hinzu. Mindestens 2-3 Sekunden für einfache Websites, 5-10 Sekunden für Marktplätze mit Schutz. Machen Sie die Verzögerungen zufällig – nicht strikt 5 Sekunden, sondern zufällig zwischen 4 und 8 Sekunden.

Fehler 2: Verwendung eines Proxys für alle Anfragen

Selbst wenn Sie einen Residential Proxy gekauft haben, führt die Verwendung einer IP für Hunderte von Anfragen pro Tag zur Sperrung. Die Schutzsysteme überwachen die Aktivität jeder IP.

Lösung: Mindestens 10-20 Proxys im Pool mit Rotation. Für große Volumen (1000+ Produkte pro Tag) – 50-100 Proxys.

Fehler 3: Fehlende oder falsche Anfrage-Header

Anfragen ohne User-Agent oder mit dem Standard-User-Agent der Bibliothek (z.B. "Python-requests/2.28.1") werden sofort als Bots erkannt.

Lösung: Geben Sie immer einen User-Agent eines echten Browsers an. Fügen Sie zusätzlich die Header Accept, Accept-Language, Accept-Encoding hinzu. Ändern Sie den User-Agent beim Wechseln des Proxys.

Fehler 4: Ignorieren von Cookies und Sitzungen

Viele Plattformen verwenden Cookies, um die Sitzung des Benutzers zu verfolgen. Wenn Sie jede Anfrage "von Grund auf neu" ohne Cookies machen, sieht das verdächtig aus.

Lösung: Speichern Sie Cookies zwischen den Anfragen innerhalb einer Sitzung. Beim Wechseln des Proxys – löschen Sie die Cookies und beginnen Sie eine neue Sitzung. Verwenden Sie Bibliotheken mit automatischer Cookie-Verwaltung (requests.Session in Python, Puppeteer in JavaScript).

Fehler 5: Scraping nur von Produktkarten ohne Emulation der Navigation

Wenn Sie sofort direkte Links zu Produktkarten öffnen, ohne die Hauptseite, die Suche und die Kategorien zu durchlaufen, ähnelt das nicht dem Verhalten eines echten Nutzers.

Lösung: Für Plattformen mit strengen Schutzmaßnahmen (Wildberries, Ozon) emulieren Sie den vollständigen Benutzerweg: Hauptseite → Suche oder Kategorie → Produktliste → Produktkarte. Dies erhöht die Scraping-Zeit, verringert jedoch das Risiko einer Sperrung erheblich.

Fazit

Das Monitoring dynamischer Preisgestaltung ist eine kritisch wichtige Aufgabe für jeden Verkäufer auf Marktplätzen. Die Preise der Wettbewerber ändern sich mehrmals täglich, und wer zuerst auf Änderungen reagiert, behält seine Position in den Suchergebnissen und seinen Gewinn. Aber alle großen Plattformen blockieren das Scraping rigoros, daher ist es ohne richtig konfigurierte Proxys unmöglich, Daten zu sammeln.

Die wichtigsten Schlussfolgerungen aus dem Artikel: Verwenden Sie für Wildberries und Ozon nur Residential oder Mobile Proxys – Rechenzentren werden in 90% der Fälle blockiert. Stellen Sie unbedingt die Proxy-Rotation ein – wechseln Sie die IP nach jeweils 20-30 Anfragen. Fügen Sie Verzögerungen zwischen den Anfragen (5-10 Sekunden) hinzu und randomisieren Sie diese. Verwenden Sie Headless-Browser für Plattformen mit JavaScript-Schutz. Emulieren Sie das Verhalten eines echten Nutzers – öffnen Sie die Produktkarten nicht direkt, sondern emulieren Sie den vollständigen Weg über Suche und Kategorien.

Wenn Sie sich nicht mit technischen Details befassen möchten, verwenden Sie fertige Tools wie Parsehub oder Octoparse – sie erfordern keine Programmierung und haben integrierte Proxy-Unterstützung. Für große Volumen und spezifische Aufgaben ist es besser, einen eigenen Scraper mit Scrapy oder Puppeteer zu entwickeln.

Wenn Sie planen, das automatische Preis-Monitoring auf russischen Marktplätzen einzurichten, empfehlen wir, mit Residential Proxys zu beginnen – sie bieten stabilen Zugang zu Wildberries, Ozon und anderen Plattformen mit minimalem Risiko von Blockierungen. Für besonders schwierige Fälle oder die Arbeit mit mobilen Anwendungen von Marktplätzen eignen sich mobile Proxys mit IPs russischer Anbieter.