Überwachung der Wettbewerberpreise über Proxys: Ein Leitfaden für Verkäufer

Wenn Sie auf Marktplätzen verkaufen und die Preise einmal pro Woche manuell ändern, verlieren Sie Verkäufe an Wettbewerber, deren Preise jede Stunde aktualisiert werden. Ein eigenes Überwachungssystem löst dieses Problem, aber Marktplätze und Websites der Wettbewerber sperren aktiv Bots, IP-Adressen und ganze Subnetze von Rechenzentren. In diesem Artikel werden wir ein funktionierendes Schema zur Datensammlung ohne Sperren untersuchen — mit der richtigen Auswahl von Proxys, Werkzeugen und Anfragefrequenzen.

Warum ein eigenes System zur Überwachung von Wettbewerbern benötigt wird

Fertige Preisüberwachungsdienste (es gibt Dutzende auf dem Markt) kosten ab mehreren Tausend Rubel pro Monat und schränken normalerweise die Anzahl der Produkte oder die Aktualisierungsfrequenz der Daten ein. Wenn Sie einen Katalog mit 500–5000 SKUs haben und gleichzeitig auf Wildberries, Ozon und Avito verkaufen, wird das Abonnieren von drei verschiedenen Diensten teurer als ein eigenes System, und es fehlt trotzdem an Flexibilität: Sie können keine benutzerdefinierte Logik zur Preisberechnung einstellen oder die Überwachung einer nicht standardmäßigen Wettbewerber-Website hinzufügen.

Ein eigenes System bietet drei konkrete Vorteile. Erstens kontrollieren Sie die Frequenz der Datensammlung — Sie können die Preise der Top-Wettbewerber alle 15 Minuten überprüfen, während die anderen einmal täglich. Zweitens sammeln Sie nicht nur den Preis, sondern auch Bestände, Bewertungen, Anzahl der Rezensionen, Position in den Suchergebnissen — alle Parameter, die für Ihr Geschäft wichtig sind. Drittens bleiben die Daten Ihr Eigentum: Sie können sie mit interner Margenanalytik verknüpfen und den Preis automatisch so berechnen, dass Sie nicht in die Verlustzone geraten.

Verkäufer, die die automatische Preisberechnung auf Basis der Wettbewerbsüberwachung implementiert haben, erhöhen im Durchschnitt die Verkaufsrate in den Top-10 der Kategorie um 15-25%, da der Preis schneller auf Marktveränderungen reagiert als manuell. Dies ist besonders kritisch in Kategorien mit hoher Konkurrenz — Kleidung, Elektronik, Haushaltswaren.

Warum Websites und Marktplätze das Parsen sperren

Wildberries, Ozon und die meisten Online-Shops verwenden Antibot-Systeme, die das Verhalten von Anfragen analysieren. Wenn von einer IP-Adresse 200 Anfragen pro Minute ohne Pausen, ohne charakteristische Browser-Header und ohne Ausführung von JavaScript kommen — wird dies sofort als Bot markiert. Danach gibt das System entweder ein Captcha aus oder liefert absichtlich falsche Daten (falsche Preise) oder sperrt die IP für mehrere Stunden.

Ein separates Problem sind die Subnetze von Rechenzentren. IP-Adressen, die Amazon AWS, Google Cloud, DigitalOcean und ähnlichen Anbietern gehören, sind in den meisten Antibot-Systemen auf die schwarze Liste gesetzt, noch bevor Sie die erste Anfrage gestellt haben. Marktplätze sehen ASN (Autonome Systemnummer) des Anbieters und blockieren den gesamten Bereich, selbst wenn Sie nur eine Anfrage pro Stunde senden.

Aus diesem Grund funktioniert ein klassischer Serverproxy zur Überwachung von Marktplätzen schlecht: Er ist schnell und günstig, wird aber auf der Ebene der IP-Reputation entlarvt. Um dies zu umgehen, sind IPs erforderlich, die wie normale Benutzer aussehen — das ist die Schlüsselidee des Schemas, das wir im Folgenden untersuchen werden.

Architektur des Systems: Woraus es besteht

Ein funktionierendes System zur Überwachung von Wettbewerbern besteht aus fünf Blöcken, und jeden kann man ohne tiefgehende Programmierkenntnisse — mit fertigen No-Code- und Low-Code-Tools — zusammenstellen.

Zielübersicht — eine Tabelle mit Links zu den Produktkarten der Wettbewerber, die überwacht werden müssen. Normalerweise sind dies Google Tabellen oder Excel mit Spalten: URL, Marktplatz, Ihr SKU, gewünschte Überprüfungsfrequenz.
Datensammler (Scraper) — ein Programm oder Dienst, der die Seite öffnet und den Preis, den Bestand, die Bewertung abruft. Dies kann ein fertiger No-Code-Parser oder ein Skript in Python sein.
Proxy-Schicht — eine Schicht, durch die alle Anfragen des Scrapers laufen, damit die IP nicht vom Marktplatz gesperrt wird.
Datenspeicher — eine Datenbank oder Tabelle, in die die Ergebnisse jedes Durchlaufs mit Zeitstempel gespeichert werden.
Reaktionslogik — Regeln, nach denen das System Sie benachrichtigt (in Telegram, per E-Mail) oder den Preis automatisch über die API des Marktplatzes ändert.

Für den Start reicht eine Kombination aus: Google Tabellen + No-Code-Parser (zum Beispiel auf Basis von Make/Zapier oder spezialisierten Parsing-Diensten) + Proxy + Telegram-Bot für Benachrichtigungen. Dies kann an einem Tag ohne Programmierung zusammengestellt werden. Für einen ernsthafteren Maßstab (Tausende von SKUs) wird ein Python-Skript mit den Bibliotheken requests/BeautifulSoup oder Selenium benötigt, das nach einem Zeitplan auf einem Server ausgeführt wird.

Welche Proxys für die Überwachung gewählt werden sollten

Die Wahl der Proxys ist 70% des Erfolgs des gesamten Systems. Lassen Sie uns drei Typen untersuchen und wann jeder geeignet ist.

Proxy-Typ	Wann verwenden	Risiko der Sperrung
Rechenzentrums-Proxys	Einfache Websites ohne Antibot, Niedrigfrequenzüberwachung kleiner Online-Shops	Hoch auf Marktplätzen, niedrig auf normalen Websites
Residential Proxys	Wildberries, Ozon, Avito — Hauptwerkzeug zur Überwachung von Marktplätzen	Niedrig bei richtiger Rotation
Mobile Proxys	Punktuelle Überprüfung von Karten mit strenger Bot-Schutz, Umgehung von Captchas bei manueller Überprüfung	Minimal, aber teurer im Betrieb

Für die tägliche Überwachung von Tausenden von Karten auf Wildberries und Ozon ist die optimale Wahl — Residential Proxys, da deren IPs echten heimischen Anbietern gehören und nicht auf den schwarzen Listen von Rechenzentren stehen. Sie sind teurer als Serverproxys, sparen jedoch Zeit beim Umgehen von Sperren und Captchas, was letztendlich die Kosten für den Betrieb des Systems senkt.

Mobile Proxys sollten als Reserve für Situationen gehalten werden, in denen selbst eine Residential IP ein Captcha erhält — beispielsweise bei der Überwachung einer bestimmten schwierigen Produktkategorie mit verstärktem Schutz. Der Server des Mobilfunkanbieters verwendet CGNAT (gemeinsame IP für Tausende von Abonnenten), daher betrifft die Sperrung einer solchen IP echte Benutzer, und die Plattformen verwenden sie äußerst vorsichtig.

Werkzeuge zur Datensammlung

Wenn Sie kein Programmierer sind, gibt es mehrere Wege, ein System ohne Code zu erstellen. Erstens ermöglichen No-Code-Dienste zum Parsen und Überwachen von Preisen, die URL der Karte anzugeben und den CSS-Selektor des Preises über eine visuelle Schnittstelle auszuwählen — buchstäblich durch Klicken mit der Maus auf den gewünschten Block der Seite. Zweitens kann man eine Kombination aus Google Tabellen + Browsererweiterung verwenden, die die Seiten nach einem Zeitplan überprüft und das Ergebnis in die Tabelle schreibt.

Wenn im Team jemand mit grundlegenden technischen Fähigkeiten vorhanden ist, bietet ein System in Python maximale Flexibilität. Das minimalistische Skript sieht so aus:

import requests
from bs4 import BeautifulSoup

proxies = {
    "http": "http://login:password@proxy_host:port",
    "https": "http://login:password@proxy_host:port",
}

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}

url = "https://example-shop.ru/product/12345"
response = requests.get(url, proxies=proxies, headers=headers, timeout=15)
soup = BeautifulSoup(response.text, "html.parser")

price = soup.select_one(".product-price").get_text(strip=True)
print(f"Aktueller Preis: {price}")

Für Seiten, die den Preis über JavaScript laden (was für Wildberries und Ozon charakteristisch ist), funktioniert das normale requests nicht — ein headless-Browser auf Basis von Selenium oder Playwright ist erforderlich, der die Seite vollständig rendert, wie es ein normaler Benutzer tun würde. Dieser Ansatz ist langsamer, liefert jedoch genaue Daten, selbst mit dynamischen Inhalten.

Konfiguration der Rotation und Anfragefrequenz

Selbst mit hochwertigen Proxys kann das System gesperrt werden, wenn die Anfragen zu häufig und einheitlich sind. Antibot-Algorithmen der Marktplätze analysieren nicht nur die IP, sondern auch das Verhaltensmuster: Intervalle zwischen Anfragen, Reihenfolge der Seitenaufrufe, Wiederholungen der Header.

Arbeitsregeln für die Rotation, die das Risiko einer Sperrung verringern:

Ändern Sie die IP bei jeder Anfrage oder alle 5-10 Anfragen — die meisten Anbieter von Residential Proxys unterstützen die automatische Rotation nach Timer oder auf Anfrage.
Fügen Sie eine zufällige Verzögerung zwischen den Anfragen von 3 bis 15 Sekunden hinzu, anstatt eines festen Intervalls.
Wechseln Sie den User-Agent aus einer Liste realer Browser — verwenden Sie nicht denselben Header für Tausende von Anfragen hintereinander.
Verteilen Sie die Last über den Tag: Überprüfen Sie nicht den gesamten Katalog auf einmal um 00:00 Uhr, sondern verteilen Sie die Überprüfungen über mehrere Stunden.
Verwenden Sie geografisch relevante IPs — wenn der Wettbewerber in Russland verkauft, sollte der Proxy mit einer russischen Geolokalisierung ausgestattet sein, andernfalls können Preise und Verfügbarkeit von den tatsächlichen in Ihrer Region abweichen.

Für die Überwachung von 1000-3000 Karten pro Tag reicht ein Pool von mehreren Dutzend gleichzeitigen IPs mit einer Rotation alle 5-10 Minuten aus. Für größere Maßstäbe (Zehntausende von Überprüfungen) wird ein Anbieter mit einem großen Pool von Residential IPs und Unterstützung für die Rotation über API benötigt, um den IP-Wechsel direkt in das Datensammlungsskript zu integrieren.

Besonderheiten der Überwachung von Wildberries, Ozon und Avito

Jede Plattform hat ihre eigene Schutzspezifik, und das Schema muss entsprechend angepasst werden.

Wildberries gibt Daten zu Preisen und Beständen über eine interne API aus, die direkt aufgerufen werden kann und eine JSON-Antwort liefert, ohne dass die HTML-Darstellung geparsed werden muss. Dies ist schneller und stabiler, als die Seite im Browser zu rendern, aber diese API hat Limits für die Anfragefrequenz von einer IP, daher ist die Rotation der Proxys hier bei der Überwachung von mehr als 50-100 Produkten pro Stunde obligatorisch.

Ozon verwendet aktiv JavaScript-Rendering und einen aggressiveren Schutz gegen Bots, einschließlich der Überprüfung des Mausverhaltens und der Scrollgeschwindigkeit in einigen Bereichen. Für eine stabile Überwachung von Ozon ist normalerweise ein headless-Browser erforderlich, der reale Benutzeraktionen emuliert und nicht nur HTTP-Anfragen sendet.

Avito überwacht in erster Linie die Anfragefrequenz von einer IP und die Muster der Anzeigensuche. Für die Überwachung von Wettbewerberanzeigen (z. B. das Verfolgen neuer Anzeigen in Ihrer Nische oder Preisänderungen) ist es entscheidend, eine niedrige Anfragefrequenz zu halten — nicht häufiger als eine Anfrage pro Anzeige alle 10-15 Minuten von einer IP, andernfalls geht das Konto oder die IP in den Schattenban, bei dem veraltete Daten ohne offensichtlichen Fehler angezeigt werden.

Viele SMM-Spezialisten und Arbitrageure verwenden für ähnliche Aufgaben der Multi-Account-Nutzung Antidetect-Browser wie Dolphin Anty, AdsPower oder Multilogin — diese Werkzeuge eignen sich auch für die manuelle punktuelle Überprüfung von Wettbewerberkarten, wenn die automatische Datensammlung verdächtige Daten anzeigt und eine manuelle Überprüfung über ein separates Profil mit zugeordnetem Proxy erforderlich ist.

Datenspeicherung und Dashboards

Gesammelte Daten sind nutzlos ohne eine bequeme Möglichkeit, sie zu analysieren. Für kleine Kataloge (bis 500 SKUs) reichen Google Tabellen mit Preisverlauf nach Datum und bedingter Formatierung, die Preisänderungen des Wettbewerbers rot oder grün hervorhebt. Für größere Volumen ist eine Datenbank erforderlich — PostgreSQL oder sogar SQLite eignen sich, wenn das System auf einem Server läuft.

Auf Basis der gesammelten Daten lassen sich einfache Dashboards in Google Data Studio (Looker Studio) oder Power BI erstellen, wo man die Preisentwicklung des Wettbewerbers in den letzten 30 Tagen, die Preisunterschiede im Vergleich zu Ihrer Position und die Frequenz der Preisänderungen bei jedem Wettbewerber sehen kann. Diese Visualisierung hilft, Muster zu erkennen — zum Beispiel ändert der Wettbewerber jeden Montagmorgen den Preis, und Sie können Ihre Strategie an diesen Zyklus anpassen.

Es ist wichtig, nicht nur den aktuellen Preis zu speichern, sondern auch die gesamte Historie der Änderungen mit Zeitstempeln. Dies ermöglicht es, später die Saisonalität zu analysieren, Preisdumping vor Verkaufsaktionen zu erkennen und das Verhalten der Wettbewerber im nächsten ähnlichen Zeitraum (z. B. vor dem 11.11. oder dem Black Friday) vorherzusagen.

Häufige Fehler beim Aufbau des Systems

In der Praxis brechen die meisten selbstgebauten Überwachungssysteme aufgrund mehrerer typischer Fehler zusammen, die leicht im Voraus vermieden werden können.

Eine IP für die gesamte Überwachung. Selbst hochwertige Proxys werden früher oder später gesperrt, wenn Tausende von Anfragen ohne Rotation über sie laufen.
Ignorieren von Browser-Headern. Eine Anfrage ohne User-Agent oder mit veraltetem Header ist ein sofortiges Signal für die Antibot-Systeme.
Zu hohe Überprüfungsfrequenz. Die Überwachung jede Minute macht nur für 5-10 Schlüsselwettbewerber Sinn, für den Rest des Katalogs reicht eine Überprüfung alle paar Stunden aus.
Fehlende Fehlerbehandlung. Wenn die Website ein Captcha zurückgibt oder vorübergehend nicht verfügbar ist, sollte das System dies erkennen und später einen neuen Versuch starten, anstatt einen leeren oder fehlerhaften Wert als aktuellen Preis in die Datenbank zu schreiben.
Rechenzentrums-Proxys für Marktplätze. Das Sparen bei der Proxy-Art führt zu ständigen Sperren und der Notwendigkeit, die IP jeden Tag manuell zu wechseln — letztendlich erfordert das System mehr manuelle Arbeit, als es sollte.

Fazit

Ein eigenes System zur Überwachung von Wettbewerbern auf Marktplätzen ist keine einmalige Einrichtung, sondern ein funktionierendes Werkzeug, das eine richtige Architektur erfordert: Zielübersicht, Scraper, Proxy-Schicht, Datenspeicher und Reaktionslogik auf Änderungen. Das Schlüsselglied, von dem die Stabilität des gesamten Schemas abhängt, sind die Proxys. Server-IP-Adressen werden schnell von den Antibot-Systemen von Wildberries und Ozon gesperrt, daher sollten für die regelmäßige Überwachung von Marktplätzen hochwertige IPs mit Rotation im Budget eingeplant werden.

Wenn Sie die Preise der Wettbewerber auf Wildberries, Ozon oder Avito überwachen möchten, beginnen Sie mit Residential Proxys — sie gewährleisten eine hohe Zuverlässigkeit der gesammelten Daten und ein minimales Risiko von Sperren bei richtiger Rotation. Für punktuelle Überprüfungen der am besten geschützten Karten halten Sie mobile Proxys als Reserve bereit, und für unterstützende Aufgaben auf weniger geschützten Websites sind auch budgetfreundliche Rechenzentrums-Proxys geeignet.