Wie man Daten über Trendprodukte auf Marktplätzen über Proxys ohne Sperrungen sammelt

Der Erfolg auf Marktplätzen hängt direkt von der Reaktionsgeschwindigkeit auf Trends ab. Während Sie manuell durch die Kataloge von Wildberries und Ozon blättern, haben Wettbewerber bereits die Datensammlung über Proxys automatisiert und erhalten Informationen über Verkaufsschlager in Echtzeit. Aber Marktplätze blockieren aktiv das Parsen – ohne die richtige Proxy-Einrichtung riskieren Sie den Verlust des Zugangs zur Plattform oder erhalten unvollständige Daten.

In diesem Leitfaden werden wir erläutern, wie man ein System zur automatischen Datensammlung über Trendprodukte einrichtet, welchen Proxytyp man für verschiedene Marktplätze wählen sollte und wie man typische Fehler vermeidet, die zu Blockierungen führen.

Warum Marktplätze das Parsen blockieren und wie Proxys das Problem lösen

Marktplätze geben Millionen für den Schutz gegen automatisierte Datensammlung aus. Der Grund ist einfach: Parsen erzeugt eine Last auf den Servern und ermöglicht es Wettbewerbern, kommerzielle Informationen zu erhalten. Wildberries, Ozon und andere Plattformen verwenden ein mehrstufiges Schutzsystem, das verdächtige Aktivitäten überwacht.

Das Antiparsing-System analysiert mehrere Parameter gleichzeitig. Wenn von einer IP-Adresse 100 Anfragen pro Minute eingehen, ist das ein deutliches Zeichen für einen Bot. Ein normaler Käufer sieht in dieser Zeit 5-10 Produktkarten an. Auch der User-Agent des Browsers, die Klickfrequenz, die Mausbewegung und sogar die Zeit, die auf der Seite verbracht wird, werden überwacht.

Proxys lösen das zentrale Problem – sie verteilen die Anfragen auf verschiedene IP-Adressen. Anstatt 1000 Anfragen von Ihrer echten IP zu senden, macht das System 10-20 Anfragen von jeder der 50-100 verschiedenen Adressen. Für den Marktplatz sieht das aus wie die Aktivität normaler Benutzer aus verschiedenen Städten.

Welchen Proxytyp man für die Datensammlung über Produkte wählen sollte

Für das Parsen von Marktplätzen eignen sich drei Proxytypen, jeder mit seinen eigenen Vorteilen und Einschränkungen. Die Wahl hängt vom Datenvolumen, Budget und den Anforderungen an die Geschwindigkeit der Informationssammlung ab.

Rechenzentrums-Proxys: Wenn Geschwindigkeit wichtiger ist als Anonymität

Wenn Sie schnell eine große Menge an Daten von weniger geschützten Plattformen (z.B. AliExpress oder Yandex.Market) sammeln müssen, sind Rechenzentrums-Proxys die optimale Wahl. Sie arbeiten auf Servern von Hosting-Anbietern und bieten daher hohe Ladegeschwindigkeiten.

Der Hauptnachteil ist, dass Marktplätze die IPs von Rechenzentren leicht erkennen und sie bei verdächtigen Aktivitäten blockieren können. Die Lösung besteht darin, einen großen Pool von IPs (von 50-100 Adressen) zu verwenden und eine schnelle Rotation einzurichten: IPs nach jeweils 10-15 Anfragen wechseln.

Residenz-Proxys: Die goldene Mitte für die meisten Aufgaben

Residenz-Proxys verwenden IP-Adressen von echten Internetanbietern, die normalen Benutzern zugewiesen werden. Für Wildberries oder Ozon sieht dieser Traffic absolut legitim aus – als würde ein Käufer aus Moskau, Sankt Petersburg oder Kasan die Produkte ansehen.

Dieser Proxytyp eignet sich für die regelmäßige Überwachung von Trends, wenn Sie Daten täglich oder mehrmals täglich sammeln. Die Kosten werden nach Traffic berechnet – für das Parsen von 10.000 Produktkarten benötigen Sie etwa 5-10 GB, abhängig vom Volumen der Bilder und Beschreibungen.

Mobile Proxys: Maximaler Schutz für kritische Aufgaben

Mobile Proxys verwenden IP-Adressen von Mobilfunkanbietern (MTS, Beeline, Megafon). Marktplätze blockieren solche Adressen äußerst selten, da hinter einer IP Tausende von echten Benutzern stehen können – Anbieter verwenden die CGNAT-Technologie (gemeinsame IP für viele Abonnenten).

Mobile Proxys sind sinnvoll für das Parsen besonders geschützter Bereiche von Marktplätzen oder wenn Sie bereits Blockierungen bei der Verwendung anderer Proxytypen erhalten haben. Sie sind auch unverzichtbar für die Datensammlung aus den mobilen Anwendungen von Wildberries und Ozon, wo der Schutz noch strenger ist.

Besonderheiten des Parsens verschiedener Marktplätze: Wildberries, Ozon, AliExpress

Jeder Marktplatz verwendet sein eigenes Schutzsystem gegen das Parsen. Das Verständnis dieser Besonderheiten hilft, Proxys so effizient wie möglich einzurichten und Blockierungen zu vermeiden.

Wildberries: Strenger Schutz und geografische Bindung

Wildberries verwendet eines der fortschrittlichsten Schutzsysteme unter den russischen Marktplätzen. Die Plattform analysiert nicht nur die Häufigkeit von Anfragen, sondern auch Verhaltensfaktoren: Zeit auf der Seite, Scrollen, Klicks auf Elemente. Für erfolgreiches Parsen ist es notwendig, die Aktionen eines echten Benutzers zu imitieren.

Eine wichtige Besonderheit ist die geografische Bindung von Preisen und Verfügbarkeit von Produkten. Wildberries zeigt ein unterschiedliches Sortiment für Moskau, Regionen und abgelegene Gebiete. Wenn Sie Daten über Trends für den Verkauf in ganz Russland sammeln, verwenden Sie Proxys aus verschiedenen Regionen: Moskau, Sankt Petersburg, Jekaterinburg, Nowosibirsk, Krasnodar.

Ozon: API für Partner und Schutz des öffentlichen Katalogs

Ozon bietet eine offizielle API für Verkäufer an, aber sie gewährt keinen Zugang zu den Daten der Wettbewerber. Für die Analyse von Trends muss man dennoch den öffentlichen Katalog parsen. Der Schutz von Ozon ist weniger aggressiv als der von Wildberries, aber die Plattform verwendet aktiv Captchas bei verdächtigen Aktivitäten.

Eine Besonderheit von Ozon ist das dynamische Nachladen von Inhalten über JavaScript. Einfache HTTP-Anfragen funktionieren nicht, es wird ein Parser mit JavaScript-Unterstützung (Selenium, Puppeteer) oder ein Headless-Browser benötigt. Dies erhöht die Belastung der Proxys, daher sollten Sie mit einem höheren Trafficverbrauch rechnen – bis zu 15-20 GB für 10.000 Karten.

AliExpress: Massives Parsen mit regionalen Einschränkungen

AliExpress zeigt unterschiedliche Preise und Lieferbedingungen je nach Land des Benutzers an. Für russische Verkäufer ist es entscheidend, Proxys mit russischen IPs zu verwenden – andernfalls erhalten Sie Daten für eine andere Region, was die Trendanalyse verzerrt.

Der Schutz von AliExpress ist relativ nachsichtig gegenüber dem Parsen – die Plattform ist an Traffic interessiert. Sie können Rechenzentrums-Proxys mit moderater Rotation (alle 100-200 Anfragen) verwenden. Wichtig ist, die Geschwindigkeit von 5-10 Anfragen pro Sekunde von einer IP nicht zu überschreiten.

Werkzeuge zur Automatisierung der Datensammlung über Trends

Es gibt zwei Ansätze zum Parsen von Marktplätzen: fertige Dienste und die selbstständige Einrichtung von Parsern. Fertige Lösungen sind teurer, sparen aber Zeit. Ein eigener Parser erfordert technisches Wissen, bietet jedoch vollständige Kontrolle über den Prozess.

Fertige Dienste für das Parsen von Marktplätzen

Für diejenigen, die sich nicht mit technischen Details befassen möchten, gibt es fertige Plattformen. Diese sind bereits auf bestimmte Marktplätze eingestellt, verfügen über ein integriertes Proxysystem und eine automatische IP-Rotation.

• Mpstats – spezialisiert auf Wildberries und Ozon, sammelt Daten zu Verkäufen, Beständen, Positionen in der Ausgabe. Kosten ab 3000 Rubel pro Monat.
• SellerFox – Analytik für Wildberries mit Trend- und Nischenverfolgung. Geeignet zur Suche nach Produkten mit wachsender Nachfrage.
• Moneyplace – Überwachung von Wettbewerbern auf Ozon und Wildberries, Verfolgung von Preis- und Rankingänderungen.
• ParseHub – universeller Parser für beliebige Websites, einschließlich Marktplätze. Erfordert Einrichtung, funktioniert aber mit allen Plattformen.

Der Hauptnachteil fertiger Dienste ist, dass Sie nicht nur für die Daten, sondern auch für deren Proxy-Infrastruktur bezahlen. Bei großen Mengen an Parsing kann dies monatlich Zehntausende von Rubel kosten.

Selbstständige Einrichtung des Parsers: Werkzeuge und Bibliotheken

Wenn Sie grundlegende technische Fähigkeiten haben (oder ein Entwickler im Team ist), können Sie ein eigenes Parsingsystem einrichten. Dies ist kostengünstiger beim Skalieren und bietet vollständige Kontrolle über den Prozess.

Beliebte Werkzeuge für das Parsen:

• Selenium (Python) – Browserautomatisierung, Unterstützung von JavaScript, einfache Integration von Proxys. Geeignet für Wildberries und Ozon.
• Puppeteer (Node.js) – Headless-Browser auf Basis von Chrome, schneller als Selenium, geringerer Speicherverbrauch.
• Scrapy (Python) – Framework für das Parsen, geeignet für einfache Websites ohne JavaScript. Schnell, funktioniert aber nicht mit dynamischen Inhalten.
• Playwright (Python/Node.js) – moderne Alternative zu Selenium, Unterstützung aller Browser, integrierte Arbeit mit Proxys.

Für das Parsen von Marktplätzen empfehlen wir Selenium oder Playwright – sie verarbeiten JavaScript korrekt und ermöglichen es, das Verhalten eines echten Benutzers zu imitieren (Scrollen, Klicks, Verzögerungen).

Schritt-für-Schritt-Anleitung zur Proxy-Einrichtung für den Produkt-Parser

Die richtige Proxy-Einrichtung ist ein entscheidender Erfolgsfaktor. Selbst die besten Residenz-Proxys schützen nicht vor Blockierungen, wenn die Rotation falsch eingestellt ist oder die Anfrage-Limits überschritten werden. Wir werden den Einrichtungsprozess am Beispiel beliebter Werkzeuge erläutern.

Schritt 1: Proxy-Daten erhalten und Funktionsfähigkeit überprüfen

Nach dem Kauf von Proxys erhalten Sie eine Liste im Format: IP:PORT:LOGIN:PASSWORD. Überprüfen Sie vor der Einrichtung des Parsers unbedingt die Funktionsfähigkeit jedes Proxys.

Der einfachste Weg zur Überprüfung besteht darin, den Browser zu öffnen, den Proxy in den Netzwerkeinstellungen einzurichten und eine IP-Prüfseite (z.B. 2ip.ru oder whoer.net) zu besuchen. Stellen Sie sicher, dass die IP des Proxys angezeigt wird und nicht Ihre echte Adresse. Überprüfen Sie auch die Ladegeschwindigkeit – wenn die Seiten länger als 5 Sekunden zum Laden benötigen, ist der Proxy von schlechter Qualität.

Schritt 2: Proxy im Parser einrichten (am Beispiel von Selenium)

Wenn Sie Selenium für das Parsen verwenden, sieht die Proxy-Einrichtung wie folgt aus. Erstellen Sie eine Liste von Proxys in einer separaten Datei, dann wählt der Parser zufällig einen Proxy aus der Liste für jede Sitzung aus.

Grundlegende Funktionsweise: Der Parser startet den Browser mit dem eingerichteten Proxy, führt 50-100 Anfragen aus (Ansehen von Produktkarten), schließt dann die Sitzung und startet eine neue mit einem anderen Proxy. Dies imitiert das Verhalten verschiedener Benutzer und verringert das Risiko einer Blockierung.

Schritt 3: IP-Adressen-Rotation einrichten

Die Rotation von Proxys ist der automatische Wechsel der IP-Adresse in bestimmten Intervallen. Es gibt zwei Ansätze: zeitbasierte Rotation (alle 5-10 Minuten) und anfragenbasierte Rotation (alle 50-100 Anfragen).

Für das Parsen von Marktplätzen empfehlen wir die anfragenbasierte Rotation – sie ist vorhersehbarer. Wenn Sie Wildberries parsen, wechseln Sie die IP alle 50 Anfragen. Für weniger geschützte Plattformen (AliExpress) kann dies auf 200-300 Anfragen pro IP erhöht werden.

Schritt 4: Verzögerungen zwischen Anfragen einrichten

Selbst mit Proxy-Rotation dürfen Anfragen nicht kontinuierlich gesendet werden. Ein echter Benutzer benötigt Zeit, um eine Produktkarte anzusehen, Bewertungen zu lesen und Preise zu vergleichen. Ihr Parser sollte dieses Verhalten imitieren.

Optimale Verzögerungen für verschiedene Marktplätze:

• Wildberries: 2-5 Sekunden zwischen Anfragen, zufällige Variation ±1 Sekunde
• Ozon: 3-7 Sekunden (wegen Captchas bei schnellen Anfragen)
• AliExpress: 1-3 Sekunden (nachsichtigere Schutzmaßnahmen)

Verwenden Sie zufällige Verzögerungen anstelle von festen. Wenn jede Anfrage genau nach 3 Sekunden erfolgt – das ist auch ein Zeichen für einen Bot. Fügen Sie Zufälligkeit hinzu: von 2 bis 5 Sekunden mit gleichmäßiger Verteilung.

IP-Rotation und Anfrage-Limits: Wie man nicht gesperrt wird

Selbst mit der richtigen Proxy-Einrichtung kann es zu Blockierungen kommen, wenn man die Besonderheiten der Antiparsing-Systeme nicht berücksichtigt. Marktplätze analysieren nicht nur die Häufigkeit von Anfragen, sondern auch Verhaltensmuster.

Anfrage-Limits für verschiedene Proxytypen

Jeder Proxytyp hat seine eigenen sicheren Nutzungslimits. Das Überschreiten dieser Limits erhöht die Wahrscheinlichkeit einer Blockierung drastisch.

Diese Zahlen sind Richtwerte. Die tatsächlichen Limits hängen vom spezifischen Marktplatz und der Tageszeit ab. Zu Stoßzeiten (Abend, Wochenende) kann die Aktivität erhöht werden, da mehr echte Benutzer auf der Plattform sind.

Rotationsstrategien für verschiedene Parsing-Volumina

Die Rotationsstrategie hängt davon ab, wie viele Daten Sie sammeln müssen. Für die Überwachung der Top-100 Produkte in einer Kategorie reicht ein einfaches Schema aus. Für das Parsen des gesamten Katalogs (Zehntausende von Positionen) ist ein komplexeres System erforderlich.

Kleines Volumen (bis 1000 Produkte pro Tag): Verwenden Sie 5-10 Residenz-Proxys mit einer Rotation nach jeweils 100 Anfragen. Dies reicht aus, um Trends in 2-3 Kategorien zu überwachen.

Mittleres Volumen (1000-10000 Produkte pro Tag): Pool aus 20-50 Residenz-Proxys, Rotation nach jeweils 50 Anfragen. Fügen Sie zufällige Pausen von 1-2 Stunden zwischen den Parsing-Sitzungen hinzu.

Großes Volumen (10000+ Produkte pro Tag): Kombination aus Residenz-Proxys (für kritische Anfragen) und Rechenzentrums-Proxys (für massenhafte Datensammlung). Verwenden Sie 100+ Proxys mit aggressiver Rotation und zeitlicher Lastverteilung.

Welche Daten man für die Trendanalyse sammeln sollte

Parsen um des Parsens willen macht keinen Sinn. Es ist wichtig, die richtigen Metriken zu sammeln, die helfen, trendige Produkte zu identifizieren, bevor die Nische mit Wettbewerbern überfüllt ist.

Schlüsselmetriken zur Bestimmung von Trends

Für jede Produktkarte sammeln Sie folgende Daten:

• Produktname und Artikelnummer – zur Identifizierung und Verfolgung der Dynamik
• Preis (aktuell und rabattiert) – Trends beginnen oft mit einem plötzlichen Preisverfall
• Anzahl der Bewertungen – ein Anstieg der Bewertungen in einer Woche zeigt einen Anstieg der Verkäufe
• Durchschnittliche Bewertung – Produkte mit einer Bewertung von 4.5+ werden schneller trendig
• Anzahl der Bestellungen (sofern verfügbar) – ein direkter Indikator für die Nachfrage
• Bestände in den Lagern – ein plötzlicher Rückgang der Bestände = Anstieg der Nachfrage
• Position in den Suchergebnissen für Schlüsselanfragen – Produkte in den Top 10 erhalten 80% der Klicks
• Datum des Erscheinens des Produkts – neue Produkte mit schnellem Verkaufswachstum = potenzieller Trend

Sammeln Sie diese Daten täglich und speichern Sie sie in einer Datenbank (PostgreSQL, MySQL) oder Google Sheets für einfache Projekte. Die Analyse der Dynamik über 7-14 Tage zeigt Produkte mit wachsender Nachfrage.

Wie man einen Trend in der frühen Phase erkennt

Erfolgreiche Verkäufer verdienen an Trends, weil sie früher in die Nische eintreten als ihre Wettbewerber. Wenn über den Trend bereits in Telegram-Kanälen berichtet wird, ist es zu spät, um daran zu verdienen – die Marge sinkt aufgrund der Konkurrenz.

Anzeichen eines aufkommenden Trends:

• Anstieg der Anzahl der Bewertungen um 50-100% in einer Woche bei einer kleinen Basis (10-50 Bewertungen)
• Erscheinen von 5-10 neuen Verkäufern in der Nische in den letzten 2 Wochen
• Plötzlicher Rückgang der Bestände bei den Kategorienführern (von 1000+ auf 100-200 Stück)
• Anstieg der Positionen in den Suchergebnissen: Das Produkt ist in einer Woche von der 50. auf die 10. Position gestiegen
• Erwähnungen des Produkts in sozialen Netzwerken (TikTok, Instagram) – indirekter Hinweis

Richten Sie automatische Benachrichtigungen (Telegram-Bot, E-Mail) ein, wenn solche Signale erkannt werden. Dies gibt Ihnen einen Vorsprung von 1-2 Wochen vor der Hauptmasse der Wettbewerber.

Typische Fehler beim Parsen und wie man sie vermeiden kann

Die meisten Blockierungen beim Parsen treten aufgrund derselben Fehler auf. Lassen Sie uns die häufigsten Probleme und deren Lösungen durchgehen.

Fehler 1: Verwendung einer IP für alle Anfragen

Anfänger kaufen oft 1-2 Proxys und versuchen, den gesamten Katalog über diese zu parsen. Das Ergebnis ist vorhersehbar – Blockierung innerhalb einer Stunde. Marktplätze erkennen Bots leicht durch anomale Aktivitäten von einer IP.

Lösung: Verwenden Sie mindestens 10-20 Proxys, selbst für kleine Projekte. Verteilen Sie die Last gleichmäßig – nicht mehr als 100-200 Anfragen pro IP und Stunde.

Fehler 2: Parsen in der Nacht

Viele starten Parser nachts, um am Morgen frische Daten zu erhalten. Das Problem ist, dass nachts (von 2 bis 6 Uhr Moskauer Zeit) auf den Marktplätzen der Traffic minimal ist. Ihre Aktivität wird vor dem Hintergrund der geringen Gesamtbelastung auffälliger.

Lösung: Starten Sie das Parsen zu Stoßzeiten – von 18:00 bis 23:00 Uhr, wenn auf der Plattform die meisten echten Benutzer sind. Ihre Anfragen gehen im allgemeinen Traffic unter.

Fehler 3: Ignorieren von User-Agent und anderen Headern

Parser senden standardmäßig Anfragen mit User-Agent wie "Python-requests/2.28" oder "Selenium WebDriver". Das ist ein direktes Zeichen für einen Bot. Marktplätze blockieren solche Anfragen automatisch.

Lösung: Verwenden Sie realistische User-Agents moderner Browser. Ändern Sie den User-Agent bei jeder Rotation des Proxys. Fügen Sie auch Header wie Accept-Language, Referer und andere hinzu, die für echte Browser charakteristisch sind.

Fehler 4: Parsen nur der ersten Seite der Suchergebnisse

Viele beschränken sich darauf, Daten über die Top-50 Produkte in einer Kategorie zu sammeln. Das ist ein Fehler – Trends entstehen oft auf der 3-5 Seite der Suchergebnisse, wo die Konkurrenz geringer ist und die Produkte gerade erst anfangen, populär zu werden.

Lösung: Parsen Sie mindestens die ersten 5-10 Seiten der Suchergebnisse (200-500 Produkte in der Kategorie). Verfolgen Sie Produkte, die schnell von der 5. Seite auf die 1-2. steigen – das sind die aufkommenden Trends.

Fehler 5: Fehlende Behandlung von Captchas und Blockierungen

Selbst mit der richtigen Proxy-Einrichtung kann manchmal eine Captcha oder eine temporäre Blockierung auftreten. Wenn der Parser nicht in der Lage ist, solche Situationen zu behandeln, wird er einfach mit einem Fehler abstürzen, und Sie verlieren Daten.

Lösung: Fügen Sie dem Parser eine Fehlerbehandlung hinzu. Bei Erhalt einer Captcha – wechseln Sie zu einem anderen Proxy und wiederholen Sie die Anfrage nach 5-10 Minuten. Speichern Sie Zwischenresultate, um Daten bei einem Ausfall nicht zu verlieren.

Fazit

Die Datensammlung über trendige Produkte über Proxys ist nicht nur ein technischer Prozess, sondern ein Wettbewerbsvorteil für Verkäufer auf Marktplätzen. Während andere manuell die Wettbewerber überwachen, erhalten Sie täglich strukturierte Daten über Zehntausende von Produkten und identifizieren Trends in der frühen Phase.

Wichtige Punkte, die Sie sich merken sollten: Wählen Sie den Proxytyp je nach Schutz des Marktplatzes (Residenz für Wildberries und Ozon, Rechenzentrums-Proxys für weniger geschützte Plattformen), richten Sie die richtige IP-Rotation unter Berücksichtigung der Anfrage-Limits ein, fügen Sie zufällige Verzögerungen zwischen Anfragen hinzu und imitieren Sie das Verhalten eines echten Benutzers, sammeln Sie Daten zu Stoßzeiten, wenn Ihre Aktivität weniger auffällig im allgemeinen Traffic ist.

Beginnen Sie klein – richten Sie das Parsen von 1-2 Produktkategorien mit 10-20 Proxys ein. Arbeiten Sie den Prozess aus, stellen Sie sicher, dass es keine Blockierungen gibt, und skalieren Sie das System schrittweise. Die Automatisierung der Datensammlung amortisiert sich bereits im ersten Monat durch einen schnelleren Zugang zu trendigen Nischen.

Wenn Sie regelmäßig Daten von Wildberries, Ozon oder anderen geschützten Marktplätzen sammeln möchten, empfehlen wir die Verwendung von Residenz-Proxys – sie bieten ein hohes Maß an Vertrauen von den Plattformen und minimales Risiko von Blockierungen. Für massives Parsen weniger geschützter Websites eignen sich Rechenzentrums-Proxys mit der richtigen Rotationseinstellung.