Wie man Timeout- und Retry-Logik für Proxys einrichtet: Schutz vor Datenverlust beim Scraping

Wenn Sie mit Proxys für das Scraping von Marktplätzen, die Automatisierung von sozialen Medien oder das Sammeln von Daten arbeiten, ist das häufigste Problem hängende Anfragen und verlorene Daten. Der Proxy-Server antwortet möglicherweise nicht rechtzeitig, die Verbindung kann unterbrochen werden und Ihr Skript kann für mehrere Minuten hängen bleiben. Infolgedessen verlieren Sie Zeit, Daten und Geld.

In diesem Leitfaden zeige ich Ihnen, wie Sie Timeout (Timeouts) und Retry-Logik (Wiederholungslogik) für die Arbeit mit Proxys richtig einstellen. Sie erfahren, welche Timeout-Werte für verschiedene Aufgaben verwendet werden sollten, wie man sich bei Fehlern automatisch neu verbindet und wie man keine Anfrage verliert. Der Artikel eignet sich sowohl für diejenigen, die in Python programmieren, als auch für diejenigen, die fertige Scraping-Tools verwenden.

Warum Timeout bei der Arbeit mit Proxys kritisch wichtig ist

Stellen Sie sich vor: Sie haben einen Preis-Scraper für Wildberries für 10.000 Produkte gestartet. Das Skript arbeitet über einen Proxy, um keine Sperre zu erhalten. Alles läuft gut, aber bei der 523. Anfrage hört der Proxy-Server auf zu antworten — möglicherweise ist er überlastet oder vorübergehend nicht verfügbar. Ohne ein konfiguriertes Timeout wird Ihr Skript unbegrenzt auf eine Antwort warten (oder bis das System-Timeout von 2-5 Minuten abläuft). Infolgedessen stoppt das Scraping, Sie verlieren Zeit und bis Sie das Problem bemerken, können mehrere Stunden vergehen.

Timeout (Timeout) ist die maximale Wartezeit auf eine Antwort vom Server. Wenn der Server in dieser Zeit nicht antwortet, wird die Anfrage abgebrochen und Sie können entweder versuchen, es über einen anderen Proxy erneut zu versuchen oder den Fehler im Log festzuhalten. Dies ist besonders wichtig bei der Arbeit mit Proxys, weil:

• Proxy-Server können instabil sein — insbesondere öffentliche oder günstige. Selbst qualitativ hochwertige residential Proxys verlieren manchmal die Verbindung, weil der echte Benutzer die Internetverbindung getrennt hat.
• Die Zielwebsite kann IPs blockieren — wenn der Proxy gesperrt ist, wird er überhaupt nicht antworten oder sehr lange antworten (indem er ein Captcha oder eine Umleitung bereitstellt).
• Netzwerkverzögerungen sind unvorhersehbar — insbesondere bei der Verwendung von Proxys aus anderen Ländern. Die Anfrage kann über mehrere Zwischenknoten gehen.
• Massivoperationen erfordern Stabilität — wenn Sie 100.000 Seiten scrapen oder 50 Instagram-Konten verwalten, bedeutet selbst 1% hängende Anfragen = 1.000 verlorene Operationen.

Ohne richtig konfigurierte Timeouts wird Ihr Skript Zeit mit dem Warten auf nicht verfügbare Proxys verschwenden, anstatt auf funktionierende umzuschalten. Dies wirkt sich direkt auf die Geschwindigkeit und Stabilität der Ergebnisse aus.

Arten von Timeouts: Connect, Read und Total Timeout

Es gibt drei Haupttypen von Timeouts, die man verstehen und separat konfigurieren sollte. Viele Anfänger-Entwickler und Benutzer von Scraping-Tools konfigurieren nur einen allgemeinen Timeout, was zu Problemen führt.

1. Connect Timeout (Verbindungs-Timeout)

Dies ist die Zeit, die für die Herstellung einer Verbindung mit dem Proxy-Server vorgesehen ist. Wenn in dieser Zeit keine Verbindung hergestellt wird, wird die Anfrage abgebrochen. Der Connect Timeout ist für den initialen Handshake (TCP-Handshake) zwischen Ihrem Client und dem Proxy verantwortlich.

Wann es eintritt: Der Proxy-Server ist nicht verfügbar, überlastet oder die IP ist durch eine Firewall blockiert.

Empfohlene Werte:

• Für schnelle Datacenter-Proxys: 3-5 Sekunden
• Für residential Proxys: 5-10 Sekunden
• Für mobile Proxys: 10-15 Sekunden (mobiles Internet ist langsamer)

2. Read Timeout (Lese-Timeout)

Dies ist die Wartezeit auf eine Antwort vom Zielserver, nachdem die Verbindung mit dem Proxy bereits hergestellt wurde. Wenn der Server in dieser Zeit keine Daten zurückgibt, wird die Anfrage abgebrochen. Der Read Timeout schützt vor Situationen, in denen der Server die Anfrage angenommen hat, aber „hängt“ und keine Antwort zurückgibt.

Wann es eintritt: Die Zielwebsite verarbeitet die Anfrage langsam, ist überlastet oder bremst absichtlich verdächtige Anfragen.

Empfohlene Werte:

• Für das Scraping einfacher Seiten (HTML): 10-15 Sekunden
• Für das Scraping mit JavaScript-Rendering: 30-60 Sekunden
• Für API-Anfragen: 5-10 Sekunden
• Für das Herunterladen großer Dateien: 120+ Sekunden

3. Total Timeout (Gesamt-Timeout)

Dies ist die maximale Zeit für die Ausführung der gesamten Anfrage von Anfang bis Ende, einschließlich Verbindung, Anfrageversand, Empfang und Lesen der Antwort. Der Total Timeout ist ein „Notaus-Schalter“, der garantiert, dass keine Anfrage länger als die festgelegte Zeit ausgeführt wird.

Wann zu verwenden: Wenn es wichtig ist, dass jede Anfrage in strengen Zeitrahmen bleibt (z.B. beim Echtzeit-Scraping für Arbitrage).

Formel: Total Timeout = Connect Timeout + Read Timeout + Puffer von 20-30%

Optimale Timeout-Werte für verschiedene Aufgaben

Die richtigen Timeout-Werte hängen von Ihrer Aufgabe, dem Typ des Proxys und der Zielwebsite ab. Zu kurze Timeouts führen zu vielen falschen Fehlern (der Proxy funktioniert, aber Sie lehnen ihn ab). Zu lange führen zu Zeitverlust beim Warten auf tote Proxys.

Retry-Logik: Wie man Wiederholungen richtig konfiguriert

Timeout löst das Problem hängender Anfragen, löst jedoch nicht das Problem des Datenverlusts. Wenn der Proxy nicht geantwortet hat, erhalten Sie einfach einen Fehler und verlieren diese Anfrage. Daher ist die Retry-Logik (Wiederholungslogik) von entscheidender Bedeutung.

Retry-Logik ist das automatische Wiederholen einer Anfrage bei einem Fehler. Die grundlegenden Prinzipien der richtigen Konfiguration sind:

1. Bestimmen Sie, welche Fehler eine Wiederholung erfordern

Nicht alle Fehler sollten wiederholt werden. Zum Beispiel:

• Wiederholen sollten: Timeout, Connection refused, Proxy error, 502/503/504 (vorübergehende Serverfehler), Rate limiting (429)
• Wiederholen sollten NICHT: 404 (Seite nicht gefunden), 403 (Zugriff dauerhaft verweigert), 401 (ungültige Authentifizierung), Validierungsfehler

2. Konfigurieren Sie die Anzahl der Versuche

Die optimale Anzahl an Wiederholungen hängt von der Kritikalität der Daten ab:

• Für nicht kritische Aufgaben (Scraping für Analysen): 2-3 Versuche
• Für wichtige Aufgaben (Überwachung der Preise von Wettbewerbern): 3-5 Versuche
• Für kritische Aufgaben (Arbeiten mit Werbekonten): 5-10 Versuche

3. Verwenden Sie Exponential Backoff

Wiederholen Sie die Anfrage nicht sofort — das könnte das Problem verschärfen (zum Beispiel, wenn der Server überlastet ist). Verwenden Sie eine zunehmende Verzögerung zwischen den Versuchen:

• 1. Versuch: sofort
• 2. Versuch: nach 1-2 Sekunden
• 3. Versuch: nach 4-5 Sekunden
• 4. Versuch: nach 10-15 Sekunden

Formel: Verzögerung = Basisverzögerung * (2 ^ Versuchszahl). Zum Beispiel: 1 Sek., 2 Sek., 4 Sek., 8 Sek., 16 Sek.

4. Proxy-Rotation bei Wiederholungen

Die wichtigste Regel: Verwenden Sie bei einer Wiederholung einen ANDEREN Proxy aus Ihrem Pool. Wenn ein Proxy die Anfrage nicht ausführen konnte, ist die Wahrscheinlichkeit, dass er bei der Wiederholung funktioniert, gering. Ein anderer Proxy wird mit hoher Wahrscheinlichkeit erfolgreich sein.

Dies ist besonders wichtig bei der Arbeit mit residential Proxys, bei denen Sie einen Pool aus Hunderten oder Tausenden von IP-Adressen haben. Bei jeder Wiederholung wählen Sie eine neue zufällige IP aus dem Pool.

Beispiele für die Konfiguration von Timeout und Retry in Python

Lassen Sie uns praktische Beispiele für die Implementierung von Timeout und Retry-Logik in Python mit beliebten Bibliotheken betrachten.

Beispiel 1: Grundkonfiguration mit requests

Die Bibliothek requests ist die beliebteste für HTTP-Anfragen in Python. So konfigurieren Sie Timeout und einfaches Retry:

import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

# Konfiguration der Retry-Logik
retry_strategy = Retry(
    total=5,  # Maximal 5 Versuche
    backoff_factor=1,  # Verzögerung: 1, 2, 4, 8, 16 Sekunden
    status_forcelist=[429, 500, 502, 503, 504],  # Fehlercodes für Retry
    allowed_methods=["HEAD", "GET", "POST", "PUT", "DELETE"]
)

adapter = HTTPAdapter(max_retries=retry_strategy)
session = requests.Session()
session.mount("http://", adapter)
session.mount("https://", adapter)

# Konfiguration des Proxys
proxies = {
    'http': 'http://username:password@proxy.example.com:8080',
    'https': 'http://username:password@proxy.example.com:8080'
}

# Ausführen der Anfrage mit Timeout
try:
    response = session.get(
        'https://www.wildberries.ru/catalog/electronics',
        proxies=proxies,
        timeout=(5, 15)  # Connect Timeout 5 Sek., Read Timeout 15 Sek.
    )
    print(f"Erfolg! Status: {response.status_code}")
    print(f"Größe der Antwort: {len(response.content)} Bytes")
except requests.exceptions.Timeout:
    print("Fehler: Timeout überschritten")
except requests.exceptions.ProxyError:
    print("Fehler: Problem mit dem Proxy")
except requests.exceptions.RequestException as e:
    print(f"Fehler bei der Anfrage: {e}")

In diesem Beispiel haben wir automatisches Retry auf Sitzungsebene konfiguriert. Bei den Fehlern 429, 500, 502, 503, 504 wird die Bibliothek die Anfrage bis zu 5 Mal mit exponentieller Verzögerung automatisch wiederholen.

Beispiel 2: Proxy-Rotation bei Retry

Ein fortgeschritteneres Beispiel mit der Rotation von Proxys aus dem Pool bei jedem Versuch:

import requests
import random
import time

# Proxy-Pool (ersetzen Sie durch Ihre realen Proxys)
PROXY_POOL = [
    'http://user:pass@proxy1.example.com:8080',
    'http://user:pass@proxy2.example.com:8080',
    'http://user:pass@proxy3.example.com:8080',
    'http://user:pass@proxy4.example.com:8080',
]

def make_request_with_retry(url, max_retries=5, base_delay=1):
    """
    Führt eine Anfrage mit Retry und Proxy-Rotation aus
    """
    for attempt in range(max_retries):
        # Wählen Sie einen zufälligen Proxy aus dem Pool
        proxy = random.choice(PROXY_POOL)
        proxies = {'http': proxy, 'https': proxy}
        
        try:
            response = requests.get(
                url,
                proxies=proxies,
                timeout=(5, 15),
                headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'}
            )
            
            # Überprüfen Sie den Statuscode
            if response.status_code == 200:
                return response
            elif response.status_code in [429, 500, 502, 503, 504]:
                # Vorübergehender Fehler - wiederholen
                print(f"Versuch {attempt + 1}: Code {response.status_code}, Wiederholung...")
            else:
                # Permanenter Fehler - stoppen
                print(f"Fehler {response.status_code}, Versuche abbrechen")
                return None
                
        except (requests.exceptions.Timeout, 
                requests.exceptions.ProxyError,
                requests.exceptions.ConnectionError) as e:
            print(f"Versuch {attempt + 1}: Fehler {type(e).__name__}, Wiederholung...")
        
        # Wenn dies nicht der letzte Versuch ist - warten Sie mit exponentieller Verzögerung
        if attempt < max_retries - 1:
            delay = base_delay * (2 ** attempt)
            print(f"Warten {delay} Sekunden vor dem nächsten Versuch...")
            time.sleep(delay)
    
    print("Alle Versuche erschöpft")
    return None

# Verwendung
result = make_request_with_retry('https://www.ozon.ru/category/smartfony-15502/')
if result:
    print(f"Erfolg! Erhalten {len(result.content)} Bytes Daten")
else:
    print("Anfrage konnte nicht ausgeführt werden")

Dieser Code wählt bei jedem Versuch einen neuen zufälligen Proxy aus dem Pool, was die Wahrscheinlichkeit eines erfolgreichen Anfrageergebnisses erheblich erhöht.

Beispiel 3: Verwendung der Bibliothek tenacity

Für eine flexiblere Verwaltung der Retry-Logik können Sie die spezialisierte Bibliothek tenacity verwenden:

from tenacity import retry, stop_after_attempt, wait_exponential, retry_if_exception_type
import requests

@retry(
    stop=stop_after_attempt(5),  # Maximal 5 Versuche
    wait=wait_exponential(multiplier=1, min=1, max=30),  # Exponentielle Verzögerung 1-30 Sek.
    retry=retry_if_exception_type((requests.exceptions.Timeout, 
                                   requests.exceptions.ProxyError,
                                   requests.exceptions.ConnectionError))
)
def fetch_with_proxy(url, proxy):
    """
    Funktion mit automatischem Retry über einen Dekorator
    """
    proxies = {'http': proxy, 'https': proxy}
    response = requests.get(url, proxies=proxies, timeout=(5, 15))
    response.raise_for_status()  # Wirft eine Ausnahme bei HTTP-Fehler
    return response

# Verwendung
try:
    result = fetch_with_proxy(
        'https://www.avito.ru/rossiya/telefony',
        'http://user:pass@proxy.example.com:8080'
    )
    print(f"Erfolg! Status: {result.status_code}")
except Exception as e:
    print(f"Anfrage konnte nach allen Versuchen nicht ausgeführt werden: {e}")

Die Bibliothek tenacity bietet sehr flexible Möglichkeiten zur Konfiguration von Retry über Dekoratoren. Installation: pip install tenacity

Fertige Lösungen für das Scraping ohne Programmierung

Wenn Sie kein Programmierer sind oder Zeit bei der Entwicklung sparen möchten, gibt es fertige Scraping-Tools mit integrierter Unterstützung für Timeout und Retry-Logik. Sie müssen keinen Code schreiben — es reicht, die Parameter in der grafischen Benutzeroberfläche einzustellen.

Octoparse

Beliebter visueller Scraper für Windows und Mac. Timeout- und Retry-Einstellungen:

• Öffnen Sie die Aufgabeneinstellungen → Erweiterte Optionen
• Page Load Timeout: 20-30 Sekunden einstellen
• Ajax Timeout: 10-15 Sekunden für dynamische Inhalte
• Retry Times: 3-5 Versuche bei Fehlern
• In den Proxy-Einstellungen können Sie eine Liste hochladen und die automatische Rotation aktivieren

ParseHub

Cloud-Scraper mit einem kostenlosen Tarif. Einstellungen:

• Einstellungen → Erweitert → Seitenladeverzögerung: 5-10 Sekunden
• Anfrage-Timeout: 30 Sekunden
• Wiederholen fehlgeschlagener Anfragen: aktivieren, 3 Versuche
• Unterstützt Proxys über die Projekteinstellungen

Apify

Plattform zur Automatisierung von Webaufgaben mit fertigen Akteuren (Skripten) zum Scraping beliebter Websites. Viele Akteure zum Scraping von Marktplätzen (Wildberries, Ozon) haben bereits eine optimale Konfiguration für Timeout und Retry integriert. Sie müssen nur:

• Einen fertigen Akteur für die gewünschte Website auswählen
• Proxy angeben (unterstützt die Integration mit Proxy-Anbietern)
• Die Aufgabe starten — alles andere ist automatisch konfiguriert

Anti-Detect-Browser für die Automatisierung

Wenn Sie mit sozialen Medien oder Werbeplattformen über Dolphin Anty, AdsPower oder Multilogin arbeiten, wird der Timeout im Browserprofil konfiguriert:

• Dolphin Anty: Profileinstellungen → Proxy → Timeout: 10-15 Sekunden
• AdsPower: Proxy-Einstellungen → Verbindungs-Timeout: 10 Sekunden, Lese-Timeout: 20 Sekunden
• Multilogin: Browserprofil → Netzwerk → Proxy-Timeout: 15 Sekunden

Bei der Automatisierung über diese Browser (z.B. mit Selenium-Skripten) wird der Proxy-Timeout aus den Profileinstellungen übernommen, aber Sie können auch zusätzliche Timeouts auf Skriptebene festlegen.

Häufige Fehler bei der Konfiguration von Timeouts

Selbst erfahrene Entwickler und Scraping-Spezialisten machen typische Fehler bei der Arbeit mit Timeout und Retry. Hier sind die häufigsten:

Fehler 1: Kein Timeout überhaupt

Viele Bibliotheken setzen standardmäßig keinen Timeout oder setzen einen sehr hohen Wert (mehrere Minuten). Wenn Sie keinen Timeout explizit angegeben haben, kann Ihr Skript lange Zeit hängen bleiben.

Lösung: Geben Sie immer explizit einen Timeout in jeder Anfrage an. Es ist besser, nach 15 Sekunden einen Fehler zu erhalten, als 5 Minuten zu warten.

Fehler 2: Gleicher Proxy bei allen Wiederholungen

Wenn der Proxy beim ersten Mal nicht geantwortet hat, ist die Erfolgswahrscheinlichkeit bei einer Wiederholung über denselben Proxy sehr gering. Viele vergessen, die Proxys zwischen den Versuchen zu rotieren.

Lösung: Verwenden Sie bei jeder Wiederholung einen neuen Proxy aus dem Pool. Dies ist entscheidend für eine hohe Erfolgsquote.

Fehler 3: Zu kurze Timeouts für langsame Proxys

Mobile und einige residential Proxys können langsamer sein als Datacenter-Proxys. Wenn Sie einen Timeout von 5 Sekunden für einen mobilen Proxy festlegen, erhalten Sie viele falsche Fehler bei durchaus funktionierenden IPs.

Lösung: Berücksichtigen Sie den Typ des Proxys. Verwenden Sie für mobile Proxys mindestens 10-15 Sekunden Timeout.

Fehler 4: Endlose Wiederholungen ohne Begrenzung

Einige implementieren Retry in einer while True-Schleife ohne Begrenzung der Anzahl der Versuche. Wenn das Problem auf der Seite der Zielwebsite liegt (z.B. wenn sie vollständig ausgefallen ist), wird das Skript endlos versuchen.

Lösung: Begrenzen Sie immer die Anzahl der Wiederholungen (maximal 3-10 Versuche) und protokollieren Sie fehlgeschlagene Anfragen zur späteren Analyse.

Fehler 5: Ignorieren des Fehlertyps

Nicht alle Fehler sollten wiederholt werden. Wenn Sie beispielsweise 404 (Seite nicht gefunden) erhalten, ist eine Wiederholung sinnlos, die Seite existiert einfach nicht. Bei 503 (Dienst vorübergehend nicht verfügbar) macht es jedoch Sinn, es nach ein paar Sekunden zu wiederholen.

Lösung: Analysieren Sie den Fehlertyp und wiederholen Sie nur vorübergehende Probleme (Timeout, Verbindungsfehler, 429, 500, 502, 503, 504).

Fehler 6: Fehlendes Logging

Ohne Logs verstehen Sie nicht, warum Anfragen fehlschlagen: Liegt das Problem am Proxy, an den Timeouts oder an der Zielwebsite?

Lösung: Protokollieren Sie jeden Fehler mit Angabe: Welcher Proxy verwendet wurde, welcher Timeout eingestellt war, wie viele Versuche unternommen wurden und welcher Fehler aufgetreten ist. Dies hilft, die Einstellungen zu optimieren.

Fazit

Die richtige Konfiguration von Timeout und Retry-Logik ist nicht nur ein technisches Detail, sondern ein entscheidender Faktor für die Stabilität und Effizienz der Arbeit mit Proxys. Ohne Timeouts hängen Ihre Skripte an toten Proxys und verlieren Zeit. Ohne Retry-Logik verlieren Sie Daten bei vorübergehenden Fehlern. Und ohne Proxy-Rotation bei Wiederholungen erhalten Sie eine niedrige Erfolgsquote, selbst mit einem qualitativ hochwertigen IP-Pool.

Die wichtigsten Erkenntnisse aus diesem Leitfaden:

• Setzen Sie immer explizit einen Timeout: Connect Timeout 5-10 Sekunden, Read Timeout 10-30 Sekunden je nach Aufgabe
• Verwenden Sie Retry-Logik mit einer Begrenzung von 3-5 Versuchen und exponentieller Verzögerung
• Rotieren Sie Proxys bei jedem Wiederholungsversuch — das ist der Schlüssel zu einer hohen Erfolgsquote
• Wiederholen Sie nur vorübergehende Fehler (Timeout, 429, 500, 502, 503, 504), verschwenden Sie keine Versuche auf permanente (404, 403)
• Protokollieren Sie alle Fehler zur Analyse und Optimierung der Einstellungen
• Berücksichtigen Sie den Typ des Proxys: mobile Proxys sind langsamer als Datacenter-Proxys, erhöhen Sie die Timeouts entsprechend

Wenn Sie mit dem Scraping von Marktplätzen (Wildberries, Ozon, Avito), der Automatisierung von sozialen Medien oder Werbeplattformen arbeiten, beeinflusst die Stabilität der Proxys direkt Ihr Ergebnis. Verwenden Sie qualitativ hochwertige Proxys mit hoher Verfügbarkeit und konfigurieren Sie Timeout und Retry richtig — das wird Ihnen Stunden an Zeit und Tausende verlorene Anfragen sparen.

Für Aufgaben, die maximale Stabilität und minimale Anzahl an Timeout-Fehlern erfordern, empfehlen wir, Datacenter-Proxys auszuprobieren — sie bieten hohe Reaktionsgeschwindigkeit und stabile Verbindungen, was besonders wichtig ist beim massenhaften Scraping und der Automatisierung.