So vermeiden Sie eine Sperrung bei häufigen Anfragen an die APIs von Wildberries, Ozon und Avito

Wenn Sie die Preise von Wettbewerbern überwachen, Produktbestände scrapen oder automatisch Anzeigen auf Marktplätzen schalten — dann sind Sie sicherlich schon auf Sperren gestoßen. Die APIs von Wildberries, Ozon, Yandex.Market und Avito schützen sich aktiv gegen Automatisierung: Sie begrenzen die Anzahl der Anfragen, sperren IP-Adressen und verlangen Captchas. In diesem Leitfaden werden wir untersuchen, warum Sperren auftreten und wie man den Parser so konfiguriert, dass er monatelang stabil ohne Sperrungen funktioniert.

Warum Marktplätze häufige API-Anfragen blockieren

Marktplätze investieren enorme Summen in die Unterstützung ihrer Infrastruktur — Server, Datenbanken, CDN. Wenn Sie Tausende von Anfragen pro Minute für das Scraping von Preisen stellen, erzeugen Sie zusätzliche Last auf ihren Systemen. Aber der Hauptgrund für Sperren ist nicht technischer Natur, sondern geschäftsorientiert.

Hauptgründe für Sperren:

• Schutz von Wettbewerbsdaten. Wildberries und Ozon möchten nicht, dass Wettbewerber leicht Informationen über Preise, Bestände und beliebte Produkte erhalten. Diese Daten sind Geschäftsgeheimnisse.
• Reduzierung der Last auf Server. Ein Parser kann so viele Anfragen generieren wie 10.000 normale Käufer. Das erhöht die Hosting-Kosten.
• Bekämpfung von Manipulation und Spam. Automatisierte Systeme werden verwendet, um Aufrufe, Bewertungen und massenhaftes Schalten von Anzeigen auf Avito zu manipulieren.
• Monetarisierung der API. Einige Marktplätze bieten offizielle kostenpflichtige APIs mit Limits an. Indem sie kostenloses Scraping blockieren, fördern sie den Kauf von Zugängen.

Wenn Sie beispielsweise die Preise von 5000 Produkten jede Stunde überwachen — das sind 120.000 Anfragen pro Tag. Von einer IP-Adresse aus sieht das verdächtig aus, und das Schutzsystem des Marktplatzes wird schnell Ihren Zugang sperren.

Welche Methoden zum Schutz verwenden Wildberries, Ozon und Avito

Moderne Marktplätze verwenden mehrstufigen Schutz gegen Scraping. Das Verständnis dieser Mechanismen hilft, die Umgehung von Sperren richtig zu konfigurieren.

Wildberries verwendet einen aggressiven Schutz: Limit von etwa 200-300 Anfragen pro Stunde von einer IP, Überprüfung des User-Agent und JavaScript-Challenges. Bei Überschreitung des Limits erhalten Sie HTTP 429 (Too Many Requests) oder 403 (Forbidden).

Ozon ist gegenüber dem Scraping über die API nachsichtiger, sperrt jedoch aktiv IPs von Rechenzentren. Sie verwenden Dienste zur Erkennung des IP-Typs (DataCenter vs Residential), weshalb normale Proxys oft nicht funktionieren.

Avito schützt die API vor massenhaftem Schalten von Anzeigen und dem Scraping von Kontakten. Hier ist die geografische Zuordnung wichtig: Wenn Sie eine Anzeige in Kasan schalten, muss die IP aus Kasan stammen, andernfalls wird die Moderation die Veröffentlichung blockieren.

Rate Limiting: Wie man Verzögerungen zwischen Anfragen richtig konfiguriert

Rate Limiting ist eine künstliche Begrenzung der Anfragespeed, damit Ihre Aktivität wie die eines normalen Benutzers aussieht. Die Hauptregel: besser langsam, aber stabil, als schnell und mit einer Sperrung.

Empfohlene Einstellungen für beliebte Marktplätze:

Wie man randomisierte Verzögerungen implementiert: Verwenden Sie keine festen Intervalle wie "genau 3 Sekunden" — das sieht wie ein Bot aus. Fügen Sie Zufälligkeit hinzu: von 2 bis 5 Sekunden. Die meisten Parser unterstützen dies über die Einstellungen.

Zum Beispiel in Python mit der Bibliothek requests sieht das so aus:

import time
import random
import requests

def make_request(url, proxies):
    response = requests.get(url, proxies=proxies)
    # Randomisierte Verzögerung von 2 bis 5 Sekunden
    delay = random.uniform(2.0, 5.0)
    time.sleep(delay)
    return response

# Beispielverwendung
proxy = {
    'http': 'http://username:password@proxy.example.com:8000',
    'https': 'http://username:password@proxy.example.com:8000'
}

for product_id in product_list:
    url = f'https://card.wb.ru/cards/detail?nm={product_id}'
    response = make_request(url, proxy)
    # Datenverarbeitung...

Wichtiger Punkt: Machen Sie nach jeweils 100-200 Anfragen eine lange Pause (10-20 Minuten) oder wechseln Sie die IP. Dies imitiert das Verhalten eines Menschen, der Produkte durchsieht und sich dann anderen Dingen widmet.

Proxy-Rotation zur Lastverteilung

Selbst mit den richtigen Verzögerungen wird eine IP nicht lange durchhalten. Die Lösung ist die Proxy-Rotation: Verteilung der Anfragen auf viele IP-Adressen. Dies ist die Grundlage für stabiles Scraping von Marktplätzen.

Proxy-Typen für das Scraping von Marktplätzen:

Für das Scraping von Wildberries und Ozon empfehlen wir die Verwendung von Residential Proxys — sie haben IPs von echten Heimnutzern, weshalb Marktplätze sie nicht von normalen Käufern unterscheiden können. Proxy-Rechenzentren funktionieren hier schlecht: Ozon und Wildberries führen Blacklists solcher IPs.

Strategien zur Proxy-Rotation:

• Rotation nach N Anfragen. Wechseln Sie die IP nach jeweils 100-300 Anfragen. Dies ist das optimale Gleichgewicht zwischen Effizienz und Sicherheit.
• Rotation nach Zeit. Wechseln Sie die IP alle 30-60 Minuten. Geeignet für lange Scraping-Sitzungen.
• Sticky Sessions. Verwenden Sie eine IP für alle Anfragen zu einem Produkt/einer Kategorie, und wechseln Sie dann. Dies reduziert die Verdächtigkeit.
• Geografische Zuordnung. Für Avito obligatorisch: Scrapen Sie Anzeigen in Moskau über Moskauer IPs, in Kasan — über Kasaner IPs.

Die meisten Anbieter von Residential Proxys bieten automatische Rotation an: Sie erhalten einen Endpunkt, und die IP ändert sich automatisch mit einer festgelegten Frequenz oder nach jeder Anfrage. Dies vereinfacht die Konfiguration des Parsers.

Beispiel zur Konfiguration eines Proxy-Pools in Python:

import requests
import random

# Liste der Proxys (kann aus einer Datei geladen werden)
proxy_list = [
    'http://user:pass@proxy1.example.com:8000',
    'http://user:pass@proxy2.example.com:8000',
    'http://user:pass@proxy3.example.com:8000',
    # ... weitere 50-100 Proxys
]

def get_random_proxy():
    proxy = random.choice(proxy_list)
    return {
        'http': proxy,
        'https': proxy
    }

# Verwendung
for product_id in product_list:
    proxy = get_random_proxy()  # Zufälliger Proxy für jede Anfrage
    response = requests.get(url, proxies=proxy)
    # Verarbeitung...

Konfiguration von Headern und Fingerprint zur Browser-Imitation

Marktplätze analysieren nicht nur IPs und Anfragefrequenzen, sondern auch HTTP-Header. Wenn Ihr Parser Anfragen mit den Standard-Headern der Bibliothek (z.B. python-requests/2.28.0) sendet, wird er sofort als Bot erkannt.

Obligatorische Header zur Imitation eines Browsers:

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
    'Accept-Language': 'de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7',
    'Accept-Encoding': 'gzip, deflate, br',
    'DNT': '1',
    'Connection': 'keep-alive',
    'Upgrade-Insecure-Requests': '1',
    'Sec-Fetch-Dest': 'document',
    'Sec-Fetch-Mode': 'navigate',
    'Sec-Fetch-Site': 'none',
    'Cache-Control': 'max-age=0',
    'Referer': 'https://www.google.com/'
}

Wichtige Punkte:

• User-Agent muss einem echten Browser entsprechen. Verwenden Sie aktuelle Versionen von Chrome, Firefox, Safari. Ändern Sie den User-Agent alle 100-200 Anfragen.
• Accept-Language muss der Geografie des Proxys entsprechen. Wenn Sie russische IPs verwenden — setzen Sie ru-RU, für ukrainische — uk-UA.
• Referer zeigt, woher der Benutzer kommt. Für die erste Anfrage verwenden Sie Google/Yandex, für die folgenden — interne Seiten des Marktplatzes.
• Sec-Fetch-* Header fügen Realismus hinzu. Moderne Browser senden sie automatisch.

TLS Fingerprinting: Fortgeschrittene Schutzsysteme (Ozon, Wildberries) analysieren die Parameter der TLS-Verbindung: Reihenfolge der Cipher Suites, Erweiterungen, Protokollversion. Standardbibliotheken in Python/Node.js haben einen abweichenden Fingerprint von Browsern.

Die Lösung ist die Verwendung spezialisierter Bibliotheken:

• curl-impersonate (Python) — imitiert den TLS-Fingerprint von Chrome/Firefox
• tls-client (Go, Python-Bindings) — anpassbarer TLS-Fingerprint
• Playwright / Puppeteer — headless Browser mit echtem TLS

Für die meisten Scraping-Aufgaben von Marktplätzen sind die richtigen HTTP-Header und Residential Proxys ausreichend. TLS-Fingerprinting ist nur bei den am stärksten geschützten APIs kritisch.

API vs Web-Scraping: Was ist sicherer für das Scraping

Marktplätze haben zwei Möglichkeiten, Daten zu erhalten: offizielle API und Scraping von HTML-Seiten (Web-Scraping). Welche sollte man für eine stabile Arbeit wählen?

Empfehlungen zur Auswahl:

• Verwenden Sie die offizielle API, wenn: Sie kleine Datenmengen benötigen (bis zu 10.000 Produkte pro Tag), bereit sind, für den Zugang zu zahlen, und Legalität sowie Stabilität wichtig sind.
• Verwenden Sie Web-Scraping, wenn: Sie große Datenmengen benötigen, die offizielle API nicht die benötigten Informationen bereitstellt (z.B. Preise von Wettbewerbern), und das Budget begrenzt ist.

Hybrider Ansatz: Viele professionelle Parser kombinieren beide Methoden. Zum Beispiel erhalten sie eine Liste von Produkten über die API (schnell und legal), während sie detaillierte Informationen zu Preisen und Beständen von HTML-Seiten scrapen (mehr Daten).

Interne APIs von Marktplätzen: Neben der offiziellen API verwenden Marktplätze interne APIs für die Website. Zum Beispiel lädt Wildberries Produktdaten über https://card.wb.ru/cards/detail. Diese Endpunkte sind nicht dokumentiert, funktionieren aber schneller als HTML-Scraping. Nachteil — sie können sich ohne Vorwarnung ändern.

Konfiguration beliebter Parser und Tools

Die meisten Verkäufer und Marketer verwenden fertige Tools zum Scraping von Marktplätzen. Lassen Sie uns untersuchen, wie man Proxys und Limits in beliebten Lösungen richtig konfiguriert.

Konfiguration von Scrapy (Python-Framework)

Scrapy ist ein beliebtes Framework für Web-Scraping. Um mit Marktplätzen zu arbeiten, fügen Sie in settings.py hinzu:

# Verzögerungen zwischen Anfragen
DOWNLOAD_DELAY = 3  # 3 Sekunden
RANDOMIZE_DOWNLOAD_DELAY = True  # Randomisierung von 0.5*DELAY bis 1.5*DELAY

# Limits für gleichzeitige Anfragen
CONCURRENT_REQUESTS = 8
CONCURRENT_REQUESTS_PER_DOMAIN = 2

# Proxy-Konfiguration (über Middleware rotating-proxies)
ROTATING_PROXY_LIST = [
    'http://user:pass@proxy1.example.com:8000',
    'http://user:pass@proxy2.example.com:8000',
    # ... Liste der Proxys
]

# User-Agent-Rotation
USER_AGENT_LIST = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/120.0.0.0',
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) Safari/537.36',
    # ... Liste der User-Agents
]

# Wiederholungsversuche bei Fehlern
RETRY_TIMES = 3
RETRY_HTTP_CODES = [429, 500, 502, 503, 504]

Konfiguration von Octoparse (visueller Parser ohne Code)

Octoparse ist ein beliebtes Tool zum Scraping ohne Programmierung. Proxy- und Limitkonfiguration:

1. Öffnen Sie Task Settings → Advanced Options
2. Aktivieren Sie im Abschnitt "Network" "Use Proxy Server"
3. Fügen Sie die Proxyliste im Format IP:PORT:USER:PASS hinzu
4. Aktivieren Sie "Rotate IP for each request" für automatische Rotation
5. Stellen Sie im Abschnitt "Speed" "Slow" oder "Custom" mit einer Verzögerung von 3-5 Sekunden ein
6. Aktivieren Sie "Random delay" zur Imitation menschlichen Verhaltens

Konfiguration von Selenium (Browser-Automatisierung)

Selenium steuert einen echten Browser, wodurch viele Schutzmaßnahmen umgangen werden. Beispielkonfiguration mit Proxy:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
import random

# Konfiguration von Chrome mit Proxy
chrome_options = Options()
chrome_options.add_argument('--proxy-server=http://user:pass@proxy.example.com:8000')
chrome_options.add_argument('--disable-blink-features=AutomationControlled')
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option('useAutomationExtension', False)

driver = webdriver.Chrome(options=chrome_options)

# Verstecken des WebDrivers
driver.execute_script("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})")

# Scraping mit Verzögerungen
urls = ['https://www.wildberries.ru/catalog/...', ...]

for url in urls:
    driver.get(url)
    # Randomisierte Verzögerung von 3-7 Sekunden
    time.sleep(random.uniform(3, 7))
    
    # Scrollen zur Imitation des Lesens
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight/2);")
    time.sleep(random.uniform(1, 3))
    
    # Daten scrapen
    # ...

Fertige Scraping-Services für Marktplätze

Wenn Sie den Parser nicht selbst konfigurieren möchten, nutzen Sie spezialisierte Services:

• Mpstats.io — Analyse von Wildberries und Ozon, automatisierte Preis- und Verkaufsüberwachung
• SellerFox — Wettbewerbsüberwachung auf Marktplätzen, Bestandsverfolgung
• Moneyplace — Scraping von Avito, automatisiertes Schalten von Anzeigen
• Parsehub — visueller Parser für beliebige Websites, einschließlich Marktplätze

Diese Services haben bereits Proxys, Limits und Umgehungen von Schutzmaßnahmen konfiguriert — Sie müssen nur angeben, was gescraped werden soll. Nachteil — monatliches Abonnement ab 2000₽.

Überwachung von Sperren und automatische Reaktion

Selbst mit den richtigen Einstellungen sind Sperren möglich: Marktplätze aktualisieren ihren Schutz, Proxys landen auf Blacklists, Limits ändern sich. Es ist wichtig, Probleme zu überwachen und automatisch zu reagieren.

Hinweise auf Sperren, die überwacht werden sollten:

• HTTP 429 (Too Many Requests) — Anfrage-Limit überschritten, Pause oder IP-Wechsel erforderlich
• HTTP 403 (Forbidden) — IP gesperrt, sofortige Proxy-Rotation erforderlich
• HTTP 503 (Service Unavailable) — vorübergehende Überlastung oder DDoS-Schutz
• Captcha in der Antwort — Automatisierung erkannt, Aktivität reduzieren erforderlich
• Leere Antworten oder Weiterleitung zur Hauptseite — sanfte Sperrung
• Plötzlicher Anstieg der Antwortzeit — möglicherweise Rate Limiting auf Serverseite

Automatische Reaktion auf Sperren (Beispiel in Python):

import requests
import time
from datetime import datetime

class SmartParser:
    def __init__(self, proxy_list):
        self.proxy_list = proxy_list
        self.current_proxy_index = 0
        self.request_count = 0
        self.blocked_proxies = set()
        
    def get_next_proxy(self):
        # Gesperrte Proxys überspringen
        while self.current_proxy_index in self.blocked_proxies:
            self.current_proxy_index = (self.current_proxy_index + 1) % len(self.proxy_list)
        
        proxy = self.proxy_list[self.current_proxy_index]
        return {'http': proxy, 'https': proxy}
    
    def rotate_proxy(self):
        self.current_proxy_index = (self.current_proxy_index + 1) % len(self.proxy_list)
        self.request_count = 0
        
    def make_request(self, url):
        max_retries = 3
        
        for attempt in range(max_retries):
            try:
                proxy = self.get_next_proxy()
                response = requests.get(url, proxies=proxy, timeout=10)
                
                # Überprüfung auf Sperrung
                if response.status_code == 429:
                    print(f"[{datetime.now()}] Rate limit! Pause von 60 Sekunden...")
                    time.sleep(60)
                    self.rotate_proxy()
                    continue
                    
                elif response.status_code == 403:
                    print(f"[{datetime.now()}] IP gesperrt! Proxy-Rotation...")
                    self.blocked_proxies.add(self.current_proxy_index)
                    self.rotate_proxy()
                    continue
                    
                elif response.status_code == 503:
                    print(f"[{datetime.now()}] Server überlastet. Pause von 120 Sekunden...")
                    time.sleep(120)
                    continue
                
                # Erfolgreiche Anfrage
                self.request_count += 1
                
                # Rotation nach 200 Anfragen
                if self.request_count >= 200:
                    self.rotate_proxy()
                    time.sleep(10)  # Pause nach Rotation
                
                return response
                
            except requests.exceptions.Timeout:
                print(f"[{datetime.now()}] Timeout. Versuch {attempt + 1}/{max_retries}")
                time.sleep(5)
                
        return None  # Alle Versuche erschöpft

Protokollierung und Alarme: Richten Sie Benachrichtigungen bei kritischen Ereignissen ein. Zum Beispiel senden Sie eine Nachricht an Telegram, wenn:

• Mehr als 30% der Proxys aus dem Pool gesperrt sind
• Der Prozentsatz erfolgreicher Anfragen unter 80% gefallen ist
• Der Parser über 30 Minuten keine Daten erhalten hat
• Captcha in den Antworten erkannt wurde

Kennzahlen zur Überwachung:

Verwenden Sie Dashboards zur Visualisierung von Kennzahlen: Grafana, Datadog oder einfache Google Sheets mit automatischer Aktualisierung über die API.

Fazit

Sperren beim Scraping von Marktplätzen sind kein Hindernis, sondern eine Aufgabe, die mit der richtigen Konfiguration der Tools gelöst werden kann. Die wichtigsten Punkte für eine stabile Arbeit ohne Sperrungen:

• Verwenden Sie Residential Proxys für Wildberries, Ozon und Avito — Proxy-Rechenzentren funktionieren hier nicht
• Konfigurieren Sie randomisierte Verzögerungen von 2-5 Sekunden zwischen Anfragen
• Rotieren Sie IPs nach jeweils 150-300 Anfragen oder alle 30-60 Minuten
• Verwenden Sie realistische HTTP-Header mit aktuellen User-Agents
• Überwachen Sie Sperren und reagieren Sie automatisch darauf
• Für Avito ist die geografische Zuordnung der IP zur Stadt der Anzeige obligatorisch

Ein richtig konfigurierter Parser mit hochwertigen Proxys kann monatelang ohne eine einzige Sperrung arbeiten und täglich Tausende von Produkten sammeln. Das Wichtigste ist, nicht nach Geschwindigkeit zu streben, sondern das Verhalten eines normalen Benutzers zu imitieren.

Wenn Sie planen, regelmäßig Wildberries, Ozon oder Avito zu scrapen, empfehlen wir die Verwendung von Residential Proxys mit automatischer Rotation — sie bieten maximale Stabilität und minimales Risiko von Sperrungen. Für Aufgaben, die mobile IPs erfordern (z.B. Umgehung strenger Sperren von Avito), eignen sich mobile Proxys mit IPs von russischen Betreibern.