Wie viel kostet es, 10.000 Produkte pro Monat zu überwachen: Traffic-Berechnung und Proxy-Auswahl

Verkäufer von Wildberries und Ozon legen oft das Budget für Proxys „aus dem Bauch heraus“ fest – und zahlen entweder 3-4 Mal zu viel oder kaufen ein zu günstiges Paket, das nach einer Woche aufgebraucht ist. Lassen Sie uns klären, wie man das Volumen des Traffics für das Monitoring von 10.000 Produkten pro Monat richtig berechnet, welchen Proxy-Typ man für diese Last wählen sollte und wo man ohne Qualitätsverlust sparen kann.

Warum 10.000 Produkte und nicht 100 monitorieren

Wenn Sie 100-200 Produkte haben, können Sie die Preise der Wettbewerber einmal täglich manuell überprüfen. Aber wenn der Katalog auf Tausende von SKUs wächst und die Wettbewerber die Preise 5-10 Mal am Tag ändern (insbesondere während der Aktionen von Wildberries und Ozon), wird das manuelle Monitoring zur Fiktion – die Daten veralten schneller, als Sie sie sammeln können.

10.000 Produkte sind ein typisches Volumen für einen durchschnittlichen Verkäufer mit mehreren Kategorien oder für eine Agentur, die das Monitoring für 5-10 Kunden gleichzeitig durchführt. Für ein solches Volumen ist Automatisierung erforderlich: ein Skript oder ein fertiger Scraping-Service, der Dutzende von Tausenden von Anfragen pro Tag an Produktkarten, Kategorieseiten und APIs von Marktplätzen sendet. Und hier stellt sich die Hauptfrage – über welche Kanäle man diese Anfragen senden sollte, um nicht bereits nach zwei Stunden Arbeit eine IP-Sperre zu erhalten.

Wildberries, Ozon und Avito schützen sich aktiv gegen Scraping: Sie setzen Captchas ein, reduzieren die Antwortgeschwindigkeit und sperren IPs von Rechenzentren in großen Mengen. Daher ist das Budget für das Monitoring nicht nur die Zahlung für Server und Entwicklung, sondern auch ein separater Kostenpunkt für Proxys, der oft der unberechenbarste ist, wenn man ihn „aus dem Bauch heraus“ berechnet.

Wie viele Anfragen benötigt man tatsächlich pro Monat

Der erste Schritt zur Berechnung des Budgets besteht darin, zu verstehen, wie viele HTTP-Anfragen Sie physisch stellen müssen. Dies hängt von der Preisaktualisierungsfrequenz ab, die Sie in Ihre Monitoring-Strategie einbeziehen.

Aktualisierungsfrequenz	Anfragen pro Produkt pro Monat	Anfragen für 10.000 Produkte
1 Mal pro Tag	30	300.000
4 Mal pro Tag	120	1.200.000
Einmal pro Stunde (24 Mal pro Tag)	720	7.200.000

Für die meisten Verkäufer bei Wildberries und Ozon sind 4-6 Aktualisierungen pro Tag ausreichend – dies deckt die morgendlichen und abendlichen Preisgefechte ab, ohne die Proxy-Pool übermäßig zu belasten. Stündliches Monitoring ist nur in hochkompetitiven Nischen (Elektronik, Kosmetik) während großer Aktionen wie dem „Black Friday“ erforderlich.

Traffic-Berechnungsformel

Der Traffic, der „gewichtet“ wird, hängt nicht nur von der Anzahl der Anfragen ab, sondern auch davon, was Sie scrapen: die gesamte Produktkarte (HTML-Seite mit Bildern und Skripten) oder nur die JSON-Antwort der API des Marktplatzes.

Das durchschnittliche Antwortgewicht variiert stark je nach Methode:

• Anfrage an die Produkt-API (JSON) – 15-60 KB pro Antwort
• Vollständige HTML-Seite der Produktkarte – 300-900 KB pro Antwort
• Kategorie-/Suchseite mit Pagination – 500-1500 KB pro Antwort

Wenn Sie direkt über die internen APIs der Marktplätze scrapen (was vorzuziehen ist – geringeres Gewicht, höhere Geschwindigkeit, geringeres Risiko für Captchas), erhalten Sie für 10.000 Produkte bei 4 Aktualisierungen pro Tag 1.200.000 Anfragen × 40 KB ≈ 45,8 GB Traffic pro Monat. Wenn Sie vollständige HTML-Seiten scrapen, wiegt dasselbe Volumen an Anfragen bereits 600-900 GB – der Unterschied beträgt 15-20 Mal nur aufgrund der Methode der Datensammlung.

Datacenter, Residential und Mobile Proxys: Was wählen

Der Proxy-Typ beeinflusst sowohl die Kosten als auch die Erfolgsquote der Anfragen (success rate). Für das Monitoring von Marktplätzen ist dies entscheidend: Je häufiger Proxys gesperrt werden, desto mehr Wiederholungsversuche gibt es und desto höher ist der tatsächliche Trafficverbrauch über die berechnete Formel hinaus.

Proxy-Typ	Erfolgsquote auf WB/Ozon	Wann verwenden
Datacenter-Proxys	40-60% (werden leicht in großen Mengen gesperrt)	Niedrigfrequentes Monitoring, Testläufe, kleine Kataloge
Residential Proxys	85-95%	Hauptoption für 10.000+ Produkte, tägliches Monitoring
Mobile Proxys	90-98%	Hochfrequentes Monitoring in schwierigen Nischen, Umgehung verstärkter Schutzmaßnahmen

Datacenter-Proxys erscheinen preislich vorteilhaft pro GB, aber in der Praxis sinkt ihre Erfolgsquote für Wildberries und Ozon bereits nach wenigen Stunden aktivem Scraping – die Marktplätze erkennen die IP-Adressbereiche der Hosting-Anbieter und sperren den Zugang in großen Mengen. Am Ende zahlen Sie für den Traffic, der für Wiederholungsversuche aufgewendet wird, und nicht für tatsächlich erfolgreiche Anfragen.

Residential Proxys verwenden echte IPs von Heimnutzern, daher werden sie vom Marktplatz als gewöhnlicher Website-Besucher wahrgenommen. Für ein stabiles Monitoring von 10.000 Produkten ist dies das optimale Gleichgewicht zwischen Preis und Zuverlässigkeit. Mobile Proxys bieten eine noch höhere Erfolgsquote, sind aber in der Regel teurer – sie sollten gezielt für die problematischsten Kategorien oder in Spitzenzeiten von Aktionen eingesetzt werden.

Drei Budgetberechnungsszenarien

Lassen Sie uns drei typische Szenarien für das Monitoring von 10.000 Produkten durchgehen, um zu zeigen, wie die Datensammlungsmethode und die Aktualisierungsfrequenz das endgültige Trafficvolumen beeinflussen.

Szenario 1: Sparsames Monitoring über die API

4 Aktualisierungen pro Tag, Scraping über die internen APIs des Marktplatzes (JSON, ~40 KB pro Antwort), Residential Proxys mit einer Erfolgsquote von 90%.

• Basisanfragen: 1.200.000 pro Monat
• Unter Berücksichtigung von 10% Wiederholungsversuchen: 1.320.000 Anfragen
• Traffic: 1.320.000 × 40 KB ≈ 50,4 GB pro Monat

Szenario 2: Mittlere Belastung mit dem Scraping von HTML-Seiten

6 Aktualisierungen pro Tag, Scraping vollständiger Produktkarten (HTML, ~500 KB pro Antwort), um nicht nur den Preis, sondern auch Bestände, Bewertungen und Positionen in der Suche zu erhalten.

• Basisanfragen: 1.800.000 pro Monat
• Unter Berücksichtigung von Wiederholungsversuchen (15%): 2.070.000 Anfragen
• Traffic: 2.070.000 × 500 KB ≈ 987 GB pro Monat

Szenario 3: Hochfrequentes Monitoring in der Hochsaison

Stündliche Aktualisierung (24 Mal pro Tag) über die API, zusätzlich Scraping von Kategorieseiten zur Verfolgung von Positionen in den Ergebnissen, mobile Proxys für problematische Kategorien.

• Anfragen an Produkte: 7.200.000 pro Monat (je 40 KB)
• Anfragen an Kategorieseiten: 300.000 pro Monat (je 800 KB)
• Traffic: (7.200.000 × 40 KB) + (300.000 × 800 KB) ≈ 274,7 + 228,9 ≈ 503,6 GB pro Monat

Der Unterschied zwischen den Szenarien zeigt deutlich: Die Methode der Datensammlung hat einen stärkeren Einfluss auf das Budget als die Aktualisierungsfrequenz. Der Wechsel vom Scraping von HTML zu API kann den Trafficverbrauch um das 10-20-Fache reduzieren, bei gleichem Produktvolumen und gleicher Überprüfungsfrequenz.

Wie man den Trafficverbrauch ohne Datenverlust senkt

Es gibt mehrere praktische Techniken, die es ermöglichen, das Budget für das Monitoring unter Kontrolle zu halten, ohne die Aktualität der Daten zu verlieren.

1. Scrapen Sie die API, nicht HTML. Wenn der Marktplatz Daten über die interne API bereitstellt (dies kann durch die Analyse der Netzwerk-Anfragen im Browser beim Öffnen der Produktkarte festgestellt werden), verwenden Sie diese – das Antwortgewicht sinkt um das 10-20-Fache.
2. Teilen Sie Produkte nach Priorität auf. Nicht alle 10.000 SKUs sind gleich wichtig. Überwachen Sie Produkte mit hoher Konkurrenz jede Stunde, andere 1-2 Mal pro Tag. Dies reduziert das Gesamtvolumen der Anfragen um 40-60%.
3. Cache statische Daten. Name, Beschreibung und Eigenschaften eines Produkts ändern sich selten – es reicht, sie einmal pro Woche zu sammeln. Stündlich sollten nur Preis und Bestände aktualisiert werden.
4. Richten Sie die Proxy-Rotation sinnvoll ein. Zu häufiges Wechseln der IP bei jeder Anfrage erhöht die Anzahl der Captchas und Wiederholungsversuche. Eine Rotation alle 5-10 Anfragen von einer IP bietet normalerweise das beste Gleichgewicht zwischen Anonymität und Erfolgsquote.
5. Komprimieren Sie den Traffic über gzip. Stellen Sie sicher, dass Ihr Skript oder Scraping-Service den Header Accept-Encoding: gzip sendet – dies reduziert das Gewicht der JSON-Antworten um 60-70%.

Häufige Fehler bei der Budgetberechnung

Bei der Planung des Budgets für das Monitoring von 10.000 Produkten machen Verkäufer regelmäßig die gleichen Fehler, die zu Überausgaben oder umgekehrt zu einem Mangel an Traffic zur Hochsaison führen.

• Wiederholungsversuche nicht berücksichtigen. Bei der Arbeit mit Datacenter-Proxys können bis zu 40-50% der Anfragen mit Captchas oder Sperrungen enden – der tatsächliche Trafficverbrauch liegt dann 1,5-2 Mal über dem berechneten.
• Alles mit der gleichen Frequenz überwachen. Wenn 10.000 Produkte stündlich „zur Sicherheit“ aktualisiert werden, steigt das Budget exponentiell ohne echten Nutzen für das Geschäft.
• Saisonalität vergessen. Während von Verkaufsaktionen (11.11, „Black Friday“, Neujahr) ändern Wettbewerber die Preise häufiger, und damit steigt auch die Anzahl Ihrer Wiederholungsanfragen aufgrund strengerer Schutzmaßnahmen der Marktplätze gegen Scraping.
• Traffic nur nach der Formel berechnen, ohne Puffer. Es ist sinnvoll, 20-30% Puffer über dem berechneten Volumen für den Fall einzuplanen, dass sich die Struktur der Marktplatzseiten ändert oder die Captchas vorübergehend zunehmen.

Checkliste vor dem Start des Monitorings

Fazit

Das Budget für das Monitoring von 10.000 Produkten pro Monat ist keine feste Zahl, sondern das Ergebnis konkreter Entscheidungen: wie oft die Preise aktualisiert werden, über welche Kanäle die Daten gescrapet werden und welcher Proxy-Typ verwendet wird. Eine korrekte Berechnung des Traffics nach der Formel „Anzahl der Anfragen × Gewicht der Antwort“ unter Berücksichtigung eines Puffers für Wiederholungsversuche ermöglicht es, die tatsächlichen Kosten des Monitorings im Voraus zu verstehen und unangenehme Überraschungen in der Monatsmitte zu vermeiden.

Für ein stabiles Monitoring von Wildberries, Ozon und Avito in mittlerem und großem Umfang empfehlen wir, mit Residential Proxys zu beginnen – sie bieten eine hohe Erfolgsquote bei akzeptablen Traffic-Kosten. Wenn bestimmte Produktkategorien unter verstärktem Marktplatzschutz stehen, sollten Sie gezielt mobile Proxys für diese Kategorien anschließen und nicht für den gesamten Katalog auf einmal – dies ermöglicht es, das Budget ohne Qualitätsverlust der Daten zu kontrollieren.