So richten Sie die Überwachung der Warenverfügbarkeit auf Marktplätzen über Proxys ein: Ein Leitfaden für Verkäufer

Die automatische Überwachung der Produktverfügbarkeit (Stock Availability) ist eine kritisch wichtige Aufgabe für Verkäufer und Einzelhändler. Die Verfolgung der Lagerbestände von Wettbewerbern auf Wildberries, Ozon und Amazon ermöglicht es, Preise und Einkäufe zeitnah anzupassen. Aber Marktplätze blockieren Massenanfragen von einer IP rigoros – ohne Proxys wird Ihr Parser nach 10-50 Anfragen blockiert.

In diesem Leitfaden werden wir erläutern, wie Sie eine stabile Überwachung der Stock Availability über Proxys einrichten: Welchen Proxy-Typ Sie wählen sollten, wie Sie IP-Rotation konfigurieren, welche Anfrageparameter Sie verwenden und wie Sie Blockierungen auf beliebten Marktplätzen vermeiden.

Warum Marktplätze die Überwachung der Produktverfügbarkeit blockieren

Marktplätze schützen ihre Infrastruktur vor Parsing durch mehrere Schutzebenen. Wenn Sie eine automatische Überwachung der Produktverfügbarkeit starten, sendet Ihr Skript Hunderte oder Tausende von Anfragen an die API oder Webseiten des Marktplatzes. Für die Plattform sieht dies wie ein Angriff oder unredliches Datensammeln aus.

Hauptmethoden zur Erkennung von Parsern:

• Anfragehäufigkeit von einer IP – wenn von einer Adresse 100+ Anfragen pro Minute kommen, ist dies ein klares Zeichen für einen Bot. Ein normaler Benutzer kann physisch nicht 2-3 Produktseiten pro Sekunde öffnen.
• Fehlende Cookies und Sitzungshistorie – Parser stellen oft Anfragen ohne vorherigen Besuch der Startseite, was die Automatisierung verrät.
• Identische User-Agents – wenn alle Anfragen mit demselben Browser-Header kommen, ist dies verdächtig.
• Verhaltensmuster – sequenzielles Durchlaufen von Produkten nach ID, fehlende zufällige Pausen, perfekte Regelmäßigkeit der Anfragen.

Die Blockierung erfolgt auf IP-Adressen-Ebene. Zunächst kann der Marktplatz ein Captcha anzeigen, dann den Zugriff vorübergehend einschränken (Rate Limiting), und bei systematischen Verstößen – die IP für mehrere Stunden oder Tage vollständig blockieren.

Welchen Proxy-Typ für das Parsen der Stock Availability wählen

Die Wahl des Proxy-Typs beeinflusst direkt die Stabilität der Überwachung und die Wahrscheinlichkeit von Blockierungen. Verschiedene Marktplätze reagieren unterschiedlich auf verschiedene Typen von IP-Adressen. Betrachten wir drei Hauptoptionen und ihre Anwendung für das Parsen der Produktverfügbarkeit.

Residential Proxys – die optimale Wahl für die meisten Aufgaben der Stock-Availability-Überwachung. Sie verwenden IP-Adressen echter Heimanwender, daher nehmen Marktplätze die Anfragen als legitim wahr. Für Wildberries und Ozon ist dies praktisch eine zwingende Anforderung – diese Plattformen blockieren Rechenzentren aggressiv.

Rechenzentrum-Proxys eignen sich für weniger geschützte Plattformen oder wenn maximale Parsing-Geschwindigkeit erforderlich ist. Zum Beispiel für die Überwachung regionaler Marktplätze oder kleiner Online-Shops. Der Hauptvorteil – hohe Geschwindigkeit und Verbindungsstabilität. Aber auf großen Plattformen werden sie häufiger blockiert.

Mobile Proxys – die zuverlässigste, aber auch teuerste Option. Verwenden Sie sie für kritisch wichtige Produkte oder wenn Residential Proxys blockiert werden. Mobile IPs sind praktisch unmöglich zu blockieren, da hinter einer Adresse Tausende echter Benutzer eines Mobilfunkanbieters stehen können.

Einrichtung der IP-Rotation: Wie oft Adressen wechseln

IP-Rotation ist der Schlüsselparameter zur Verhinderung von Blockierungen. Die richtige Konfiguration der Wechselhäufigkeit ermöglicht es, die Last so zu verteilen, dass von jeder IP eine minimale Anzahl von Anfragen kommt und das Verhalten normaler Benutzer imitiert wird.

Zwei Hauptansätze zur Rotation:

1. Zeitbasierte Rotation (Time-based rotation)
Die IP-Adresse wechselt nach einem festgelegten Zeitintervall, unabhängig von der Anzahl der Anfragen. Dies ist eine einfache und vorhersehbare Methode, die für regelmäßige Überwachung mit konstanter Prüfhäufigkeit geeignet ist.

• Alle 5-10 Minuten – für häufige Überwachung kritisch wichtiger Produkte (Top-Positionen, Produkte mit hoher Konkurrenz)
• Alle 15-30 Minuten – Standardmodus für die meisten Stock-Availability-Überwachungsaufgaben
• Jede Stunde – für Hintergrundüberwachung eines großen Sortiments, wenn keine hohe Aktualisierungsfrequenz erforderlich ist

2. Anfragebasierte Rotation (Request-based rotation)
Die IP wechselt nach einer bestimmten Anzahl ausgeführter Anfragen. Diese Methode bietet eine genauere Kontrolle über die Last auf jeder Adresse.

• Alle 10-20 Anfragen – für Wildberries und Ozon (strenger Schutz)
• Alle 50-100 Anfragen – für Amazon, eBay (moderater Schutz)
• Alle 200-500 Anfragen – für weniger geschützte Plattformen

Kombinierter Ansatz (empfohlen):
Setzen Sie zeitbasierte Rotation als Hauptmethode, fügen Sie aber ein Anfragelimit als zusätzlichen Schutz hinzu. Zum Beispiel: IP wechselt alle 10 Minuten ODER nach 50 Anfragen – was zuerst eintritt. Dies schützt vor zufälligen Aktivitätsspitzen.

Besonderheiten der Überwachung auf verschiedenen Marktplätzen

Jeder Marktplatz hat seine eigenen Besonderheiten beim Schutz vor Parsing und erfordert einen individuellen Ansatz zur Konfiguration der Stock-Availability-Überwachung. Betrachten wir die Spezifika der Arbeit mit beliebten russischen und internationalen Plattformen.

Wildberries

Wildberries hat eines der aggressivsten Schutzsysteme gegen Parsing unter den russischen Marktplätzen. Die Plattform verwendet mehrstufige Anfrageprüfung, einschließlich Analyse von Headern, Cookies, Anfragehäufigkeit und Verhaltensmustern.

Hauptmerkmale:

• Verwendung von Residential Proxys ist obligatorisch – Rechenzentren werden praktisch sofort blockiert
• Es ist notwendig, einen vollständigen Satz von Browser-Headern zu übertragen, einschließlich Referer und Accept-Language
• Die Wildberries-API erfordert spezielle Token für einige Anfragen
• Häufiger IP-Wechsel (alle 5-10 Minuten) ist kritisch wichtig
• Fügen Sie zufällige Verzögerungen zwischen Anfragen hinzu: 2-5 Sekunden

Für die Überwachung der Produktverfügbarkeit auf Wildberries verwenden Sie die öffentliche API oder das Parsen von Produktseiten. Die API ist stabiler, hat aber strenge Limits. Beim HTML-Parsing imitieren Sie unbedingt das Verhalten eines echten Browsers: Laden Sie Bilder, führen Sie JavaScript aus, speichern Sie Cookies zwischen Anfragen.

Ozon

Ozon verwendet weniger aggressiven Schutz im Vergleich zu Wildberries, erfordert aber auch einen sorgfältigen Ansatz. Die Plattform nutzt aktiv Cloudflare zum Schutz vor Bots, was eine zusätzliche Komplexitätsebene hinzufügt.

• Residential Proxys werden empfohlen, aber qualitativ hochwertige Rechenzentren können bei niedriger Anfragehäufigkeit funktionieren
• Cloudflare Challenge erfordert JavaScript-Ausführung – verwenden Sie Headless-Browser oder spezielle Bibliotheken
• IP-Rotation alle 10-15 Minuten ist normalerweise ausreichend
• Verzögerungen zwischen Anfragen: 3-7 Sekunden
• Speichern Sie unbedingt Cookies nach Bestehen von Cloudflare

Amazon

Amazon hat ein komplexes Schutzsystem, das viele Anfrageparameter analysiert. Die Plattform ist besonders empfindlich gegenüber Anfragehäufigkeit und geografischer Lage von IP-Adressen.

• Verwenden Sie Residential Proxys aus demselben Land wie der Zielmarktplatz (amazon.com – USA, amazon.de – Deutschland)
• Amazon zeigt oft Captcha bei verdächtiger Aktivität – bereiten Sie ein System zur Lösung vor
• IP-Rotation alle 15-20 Minuten oder alle 50-100 Anfragen
• Verzögerungen zwischen Anfragen: 5-10 Sekunden (Amazon ist sehr empfindlich gegenüber Geschwindigkeit)
• Verwenden Sie unbedingt aktuelle User-Agents beliebter Browser

Avito

Avito hat eine spezifische Besonderheit – geografische Bindung von Anzeigen. Für die korrekte Überwachung der Produktverfügbarkeit in einer bestimmten Stadt benötigen Sie Proxys genau aus dieser Region.

• Verwenden Sie Residential Proxys mit Geolokalisierung in der gewünschten Stadt
• Avito zeigt unterschiedliche Ergebnisse für verschiedene Regionen – eine IP kann nur einen Teil der Anzeigen sehen
• Rotation alle 10-15 Minuten ist ausreichend
• Verzögerungen zwischen Anfragen: 3-5 Sekunden
• Die Plattform verwendet Cookies zur Sitzungsverfolgung – speichern Sie diese unbedingt

Anfragelimits und Verzögerungen zwischen Prüfungen

Die richtige Konfiguration der Anfragehäufigkeit ist eine Balance zwischen Datenaktualität und Blockierungsrisiko. Zu häufige Prüfungen führen zu einem Bann, zu seltene – zum Verlust des Wettbewerbsvorteils. Lassen Sie uns herausfinden, wie man die optimale Häufigkeit für verschiedene Szenarien findet.

Empfohlene Verzögerungen zwischen Anfragen zu einem Produkt:

Verzögerungen zwischen aufeinanderfolgenden Anfragen (beim Parsen mehrerer Produkte hintereinander):

• Mindestverzögerung: 2-3 Sekunden – absolutes Minimum zur Imitation menschlichen Verhaltens. Ein echter Benutzer kann Produktseiten nicht schneller öffnen.
• Optimale Verzögerung: 4-7 Sekunden – empfohlen für die meisten Aufgaben. Fügen Sie Zufälligkeit hinzu: random(4000, 7000) Millisekunden.
• Sichere Verzögerung: 8-15 Sekunden – verwenden Sie für besonders geschützte Plattformen oder nach Erhalt von Warnungen über Limitüberschreitungen.

Wichtiges Prinzip – Zufälligkeit: Verwenden Sie niemals feste Intervalle. Anstelle einer Verzögerung von genau 5 Sekunden machen Sie eine zufällige von 4 bis 6 Sekunden. Dies ist kritisch wichtig zur Imitation menschlichen Verhaltens. Echte Benutzer klicken nicht mit perfekter Regelmäßigkeit.

Lastverteilung nach Tageszeit:
Marktplätze haben Spitzenlastzeiten (normalerweise abends 18:00-22:00), wenn Schutzsysteme besonders empfindlich sind. Es wird empfohlen, die Anfragehäufigkeit in diesen Zeiträumen zu reduzieren oder die Überwachung ganz zu pausieren, wenn die Daten nicht kritisch sind.

Fertige Tools für die Überwachung über Proxys

Für die Stock-Availability-Überwachung müssen Sie nicht unbedingt einen Parser von Grund auf schreiben. Es gibt viele fertige Lösungen, die die Arbeit über Proxys unterstützen und eingebaute Mechanismen zum Schutz vor Blockierungen haben. Betrachten wir beliebte Tools für verschiedene Stufen der technischen Vorbereitung.

Fertige SaaS-Dienste (ohne Programmierung)

1. Keepa (für Amazon)
Spezialisierter Dienst für Amazon-Überwachung. Verfolgt Preise, Produktverfügbarkeit, Bewertungen. Hat ein eingebautes Proxy-System, erfordert keine technischen Kenntnisse. Nachteil – funktioniert nur mit Amazon.

2. Parsehub
Visueller Parser, der die Konfiguration der Datenerfassung über eine grafische Oberfläche ermöglicht. Unterstützt Proxy-Konfiguration, IP-Rotation, Verzögerungen zwischen Anfragen. Geeignet für Benutzer ohne Programmierkenntnisse.

3. Octoparse
Analog zu Parsehub mit fortgeschritteneren Automatisierungsmöglichkeiten. Hat eingebaute Vorlagen für beliebte Marktplätze, einschließlich Amazon, eBay. Unterstützt Cloud-Ausführung von Aufgaben und automatische Proxy-Rotation.

Softwarelösungen (erfordern Konfiguration)

1. Scrapy (Python)
Leistungsstarkes Framework für Parsing in Python. Hat eingebaute Proxy-Unterstützung, Middleware für Rotation, Fehlerbehandlung. Erfordert Programmierkenntnisse, bietet aber maximale Konfigurationsflexibilität.

Ein Beispiel für die Proxy-Konfiguration in Scrapy befindet sich in der Datei settings.py – Sie fügen Middleware für Rotation und eine Liste von Proxy-Servern hinzu. Das Framework verteilt Anfragen automatisch auf verfügbare IPs.

2. Puppeteer / Playwright (JavaScript)
Headless-Browser zur Automatisierung von Chrome/Firefox. Ideal für das Parsen von Websites mit JavaScript und komplexem Schutz. Unterstützen Proxy-Konfiguration auf Browser-Ebene, Emulation echten Benutzerverhaltens.

3. Selenium
Klassisches Tool zur Browser-Automatisierung. Funktioniert langsamer als Puppeteer, hat aber mehr fertige Lösungen und Beispiele. Gut geeignet für Anfänger-Entwickler.

Spezialisierte Lösungen für Marktplätze

1. MoySklad (Integration mit Wildberries, Ozon)
Buchhaltungssystem mit eingebauter Integration mit russischen Marktplätzen. Synchronisiert automatisch Bestände, funktioniert aber nur über offizielle APIs – nicht geeignet für Wettbewerbsüberwachung.

2. Mpstats
Analysedienst für Wildberries und Ozon. Sammelt Daten über Produkte, Preise, Verfügbarkeit. Hat eigene Proxy-Infrastruktur, erfordert keine zusätzliche Konfiguration. Kostenpflichtig, aber stabil.

3. SellerFox
Komplexe Lösung für Verkäufer auf russischen Marktplätzen. Umfasst Wettbewerbsüberwachung, Analyse, Preisautomatisierung. Funktioniert über eigene Proxys.

Schritt-für-Schritt-Einrichtung von Proxys für Parser

Lassen Sie uns die praktische Einrichtung von Proxys für die Stock-Availability-Überwachung am Beispiel eines typischen Szenarios betrachten: Überwachung von 100 Produkten auf Wildberries mit Prüfung alle 30 Minuten. Die Anleitung ist für die meisten fertigen Parser und selbstgeschriebenen Lösungen geeignet.

Schritt 1: Auswahl und Kauf von Proxys

Für Wildberries benötigen Sie Residential Proxys. Berechnen wir die erforderliche Anzahl:
- 100 Produkte × 2 Prüfungen pro Stunde = 200 Anfragen/Stunde
- Sicheres Limit für Wildberries: 20 Anfragen pro IP
- Erforderlich: 200 ÷ 20 = 10 IP-Adressen mindestens

Es wird empfohlen, mit Reserve zu kaufen: 15-20 IPs für stabilen Betrieb. Stellen Sie beim Kauf von Proxys sicher, dass der Anbieter zeitbasierte oder anfragebasierte Rotation unterstützt.

Schritt 2: Erhalt der Verbindungsdaten

Nach dem Kauf erhalten Sie Daten im Format:

Host: proxy.example.com
Port: 8080
Login: user123
Passwort: pass456
Typ: HTTP/HTTPS oder SOCKS5

Einige Anbieter stellen eine URL für automatische Rotation bereit:

http://user123:[email protected]:8080

Diese URL kann direkt in den meisten Parsern verwendet werden – der Proxy-Server wechselt die IP automatisch gemäß den Einstellungen.

Schritt 3: Konfiguration in einem fertigen Tool (Octoparse)

1. Öffnen Sie die Einstellungen der Parsing-Aufgabe
In Octoparse gehen Sie zum Abschnitt "Advanced Options" → "Proxy Settings"

2. Geben Sie die Proxy-Daten ein:

• Proxy Type: wählen Sie HTTP oder SOCKS5 (abhängig von Ihrem Proxy)
• Server: proxy.example.com
• Port: 8080
• Username: user123
• Password: pass456

3. Konfigurieren Sie die Rotation:
Wenn Ihr Anbieter automatische Rotation unterstützt – aktivieren Sie einfach die Option "Use rotating proxy". Wenn nicht – fügen Sie die IP-Liste manuell hinzu und aktivieren Sie "Rotate IP addresses" mit einem Intervall von 10 Minuten.

4. Konfigurieren Sie Verzögerungen:
Im Abschnitt "Speed Settings" stellen Sie die Verzögerung zwischen Anfragen ein: 4-7 Sekunden (Random delay between 4000 and 7000 ms).

Schritt 4: Testen der Einstellungen

Vor dem Start der vollständigen Überwachung testen Sie unbedingt die Einstellungen:

• Prüfen Sie die Verbindung zum Proxy – die meisten Tools haben eine Schaltfläche "Test connection"
• Starten Sie das Parsen von 5-10 Produkten – stellen Sie sicher, dass Daten korrekt gesammelt werden
• Prüfen Sie Logs auf Fehler – Codes 403, 429, 503 weisen auf Probleme mit Proxys oder zu hoher Häufigkeit hin
• Stellen Sie sicher, dass die IP wechselt – in den Logs sollten verschiedene Adressen gemäß den Rotationseinstellungen erscheinen

Schritt 5: Überwachung und Optimierung

Nach dem Start überprüfen Sie regelmäßig:

• Success rate – der Prozentsatz erfolgreicher Anfragen sollte über 95% liegen
• Antwortcodes – wenn 429 oder 503 häufiger als 5% erscheinen – reduzieren Sie die Last
• Proxy-Geschwindigkeit – wenn Verzögerungen 2-3 Sekunden überschreiten, sollten Sie möglicherweise den Anbieter wechseln
• Datenaktualität – vergleichen Sie erhaltene Daten mit echten auf der Marktplatz-Website

Optimieren Sie schrittweise die Einstellungen: Wenn alles eine Woche lang stabil funktioniert, können Sie die Prüfhäufigkeit leicht erhöhen oder Verzögerungen verringern. Aber tun Sie dies schrittweise, Schritt für Schritt.

Typische Fehler und wie man sie vermeidet

Selbst bei korrekter Proxy-Konfiguration machen Anfänger oft Fehler, die zu Blockierungen oder instabilem Parser-Betrieb führen. Betrachten wir die häufigsten Probleme und Lösungswege.

Fehler 1: Verwendung eines User-Agents für alle Anfragen

Problem: Der Parser sendet alle Anfragen mit demselben User-Agent-Header, selbst beim IP-Wechsel. Dies sieht verdächtig aus – derselbe "Browser" erscheint von verschiedenen Adressen.

Lösung: Rotieren Sie User-Agent zusammen mit IP-Adressen. Erstellen Sie eine Liste beliebter Browser (Chrome, Firefox, Safari verschiedener Versionen) und wählen Sie zufällig daraus bei jedem Proxy-Wechsel. Die meisten Parsing-Bibliotheken haben eingebaute Unterstützung für User-Agent-Rotation.

Fehler 2: Zu häufige IP-Rotation

Problem: Einige konfigurieren IP-Wechsel nach jeder Anfrage und denken, dies sei maximal sicher. Tatsächlich sieht dies unnatürlich aus – echte Benutzer wechseln nicht jede Sekunde die IP.

Lösung: Verwenden Sie vernünftige Rotationsintervalle: 5-15 Minuten oder 20-100 Anfragen pro IP. Dies imitiert das Verhalten eines echten Benutzers, der eine Zeit lang von einem Gerät aus arbeitet und dann wechselt.

Fehler 3: Ignorieren von Cookies

Problem: Der Parser macht Anfragen ohne Speicherung von Cookies zwischen ihnen. Marktplätze verwenden Cookies zur Sitzungsverfolgung – wenn Sie sie nicht speichern, sieht jede Anfrage wie eine neue Sitzung aus.

Lösung: Speichern Sie immer Cookies nach der ersten Anfrage und übergeben Sie sie in nachfolgenden. Beim IP-Wechsel erstellen Sie eine neue Sitzung mit neuen Cookies – dies imitiert einen neuen Benutzer.

Fehler 4: Feste Verzögerungen zwischen Anfragen

Problem: Eine Verzögerung von genau 5 Sekunden zwischen allen Anfragen ist eingestellt. Dies erzeugt ein perfektes Muster, das leicht von Anti-Bot-Systemen erkannt wird.

Lösung: Verwenden Sie zufällige Verzögerungen in einem Bereich. Anstelle von 5 Sekunden machen Sie random(4, 7) Sekunden. Fügen Sie manchmal längere Pausen hinzu (10-20 Sekunden), um Benutzerablenkung zu imitieren.

Fehler 5: Verwendung billiger öffentlicher Proxys

Problem: Versuch, bei Proxys zu sparen, indem kostenlose oder sehr billige öffentliche Listen verwendet werden. Diese IPs sind bereits auf den meisten Marktplätzen blockiert, da sie von Tausenden anderen Parsern verwendet werden.

Lösung: Investieren Sie in qualitativ hochwertige Residential Proxys von zuverlässigen Anbietern. Dies ist die Grundlage für stabilen Betrieb. Einsparungen bei Proxys führen zu Zeitverlust im Kampf gegen Blockierungen und potenziellem Datenverlust.

Fehler 6: Fehlende Fehlerbehandlung

Problem: Der Parser behandelt keine Fehler und bombardiert den Server weiterhin mit Anfragen, selbst nach Erhalt von 429 (Too Many Requests) oder 503 (Service Unavailable).

Lösung: Implementieren Sie intelligente Fehlerbehandlung:

• Bei Erhalt von 429 – verdoppeln Sie Verzögerungen und wechseln Sie die IP
• Bei Erhalt von 503 – machen Sie eine Pause von 5-10 Minuten
• Bei Erhalt von 403 – wechseln Sie sofort die IP und überprüfen Sie die Einstellungen
• Verwenden Sie Exponential Backoff: Bei wiederholten Fehlern erhöhen Sie die Pause exponentiell

Fazit

Die Überwachung der Produktverfügbarkeit über Proxys ist eine technisch anspruchsvolle, aber absolut lösbare Aufgabe. Der Erfolg hängt von drei Schlüsselfaktoren ab: Qualität der Proxys, richtige Konfiguration der Rotation und intelligente Imitation menschlichen Verhaltens.

Investieren Sie in zuverlässige Residential Proxys von bewährten Anbietern – dies ist die Grundlage für stabilen Betrieb. Konfigurieren Sie Rotation mit vernünftigen Intervallen (5-15 Minuten), verwenden Sie zufällige Verzögerungen zwischen Anfragen und vergessen Sie nicht die Fehlerbehandlung.

Beginnen Sie mit konservativen Einstellungen und optimieren Sie schrittweise basierend auf den Ergebnissen. Überwachen Sie Logs, analysieren Sie Antwortcodes und passen Sie Parameter an. Mit dem richtigen Ansatz können Sie ein stabiles System zur Überwachung der Produktverfügbarkeit aufbauen, das Monate ohne Blockierungen funktioniert und Ihnen einen Wettbewerbsvorteil verschafft.

Denken Sie daran: Das Ziel ist nicht maximale Geschwindigkeit, sondern maximale Stabilität. Es ist besser, Daten mit einer Verzögerung von 30 Minuten zu erhalten, aber kontinuierlich, als nach einem schnellen Start einen Bann zu bekommen und das System neu aufbauen zu müssen.