Fehler "Too Many Requests" 429: So umgehen Sie Limits mit Proxys und IP-Rotation

Wenn Sie mit dem Parsen von Marktplätzen, der Überwachung von Wettbewerberpreisen oder der Automatisierung von Social Media arbeiten, sind Sie sicherlich schon einmal auf den Fehler 429 Too Many Requests gestoßen. Die Website blockiert Ihre Anfragen, da sie diese als verdächtig einstuft, und die gesamte Automatisierung kommt zum Stillstand. In diesem Artikel werden wir untersuchen, warum dieses Problem auftritt und wie man es durch die richtige Konfiguration von Proxys, IP-Rotation und intelligenter Lastverteilung löst.

Wir zeigen konkrete Lösungen für verschiedene Aufgaben: das Parsen von Wildberries und Ozon, die Überwachung von Wettbewerbern, die Arbeit mit APIs sozialer Netzwerke und das massenhafte Sammeln von Daten. Alle Empfehlungen basieren auf praktischen Erfahrungen und funktionieren in realen Projekten.

Was ist der Fehler 429 Too Many Requests und warum tritt er auf?

Der Fehler 429 Too Many Requests ist ein HTTP-Antwortcode, den der Server zurückgibt, wenn Sie die zulässige Anzahl von Anfragen in einem bestimmten Zeitraum überschreiten. Dies ist ein Schutzmechanismus von Websites gegen Überlastung und automatisiertes Datensammeln.

Typische Situationen, in denen 429 auftritt:

• Parsen von Marktplätzen – Sie sammeln Preise von Wildberries, Ozon oder Avito und machen Hunderte von Anfragen pro Minute. Die Website erkennt anormale Aktivitäten von einer IP-Adresse und blockiert diese.
• Überwachung von Wettbewerbern – automatisiertes Sammeln von Daten über Produkte, Preise, Verfügbarkeit. Bei häufigen Überprüfungen wird das Limit erreicht.
• Arbeit mit APIs – viele APIs haben strenge Einschränkungen: Zum Beispiel erlaubt die Instagram API 200 Anfragen pro Stunde, Twitter – 300 Anfragen in 15 Minuten.
• Massenregistrierung oder Aktionen – Erstellung von Konten, das Versenden von Nachrichten, Likes. Plattformen erkennen schnell die Automatisierung und blockieren die IP.

Es ist wichtig zu verstehen: Der Fehler 429 ist nicht nur eine technische Einschränkung. Es ist ein Signal, dass die Website Ihre Aktivität als verdächtig erkannt hat. Wenn Sie weiterhin von derselben IP-Adresse angreifen, können Sie einen dauerhaften Bann erhalten.

Wie Websites verdächtige Aktivitäten erkennen

Um Blockaden effektiv zu umgehen, müssen Sie verstehen, wie genau Websites Sie identifizieren. Moderne Schutzsysteme analysieren viele Parameter:

1. IP-Adresse und Anfragefrequenz

Der offensichtlichste Parameter. Wenn von einer IP-Adresse 100 Anfragen pro Minute kommen, während ein normaler Benutzer 5-10 macht – das ist eine klare Automatisierung. Websites setzen Limits:

• Wildberries: etwa 60 Anfragen pro Minute von einer IP
• Ozon: etwa 30-40 Anfragen pro Minute
• Avito: strenge Limits, insbesondere für Suchanfragen
• Instagram API: 200 Anfragen pro Stunde pro Anwendung

2. User-Agent und Browser-Header

Wenn Sie Anfragen über ein Skript ohne den richtigen User-Agent senden, erkennt die Website sofort, dass dies kein echter Browser ist. Auch die Header werden analysiert: Accept, Accept-Language, Referer. Das Fehlen dieser Header oder untypische Werte sind ein rotes Signal.

3. Verhaltensmuster

Ein echter Benutzer macht keine Anfragen mit perfekter Regelmäßigkeit alle 2 Sekunden. Er scrollt, klickt, macht Pausen. Wenn Ihr Parser wie ein Metronom arbeitet – ist das verdächtig.

4. Art der IP-Adresse

Viele Plattformen führen schwarze Listen von IPs aus Rechenzentren. Wenn Sie billige Proxys von AWS oder Google Cloud verwenden, ist die Wahrscheinlichkeit einer Blockierung höher. Residentielle IPs von echten Anbietern lösen weniger Verdacht aus.

Proxy-Rotation: die Hauptmethode zur Umgehung von Limits

Die Hauptlösung für das Problem 429 ist die Rotation von IP-Adressen. Anstatt alle Anfragen von einer IP zu machen, verteilen Sie die Last auf viele Adressen. Jede IP macht eine kleine Anzahl von Anfragen und überschreitet die Limits nicht.

Arten der Proxy-Rotation

Praktisches Beispiel: Parsen von Wildberries

Angenommen, Sie müssen die Preise für 10.000 Produkte parsen. Wildberries blockiert nach 60 Anfragen pro Minute von einer IP. Wie man das löst:

1. Verwenden Sie die Anfrage-Rotation – jede Anfrage kommt von einer neuen IP. Sie benötigen etwa 167 verschiedene IPs (10.000 Anfragen / 60 pro Minute = 167 Minuten bei einer IP, aber mit Rotation schaffen Sie das in 10-15 Minuten).
2. Stellen Sie Verzögerungen ein – selbst mit Rotation sollten Sie nicht 1.000 Anfragen pro Sekunde machen. Optimal: 5-10 Anfragen pro Sekunde mit verschiedenen IPs.
3. Fügen Sie Randomisierung hinzu – die Verzögerungen sollten zufällig sein: von 0,5 bis 2 Sekunden zwischen den Anfragen.

Für solche Aufgaben sind residential Proxys mit automatischer Rotation ideal – sie haben Pools von Millionen IPs und ändern die Adressen bei jeder Anfrage ohne Ihr Zutun.

Einstellung von Verzögerungen zwischen Anfragen

Selbst mit Proxy-Rotation sollten Sie die Website nicht mit Anfragen in maximaler Geschwindigkeit bombardieren. Moderne Schutzsysteme analysieren die gesamte Last auf dem Server und können den gesamten IP-Bereich blockieren, wenn sie DDoS-ähnliche Aktivitäten feststellen.

Regeln für die Einstellung von Verzögerungen

Exponentielle Verzögerung (exponential backoff)

Wenn Sie dennoch den Fehler 429 erhalten, fahren Sie nicht fort, die Website anzugreifen. Verwenden Sie die Strategie der exponentiellen Verzögerung:

• Erster Versuch schlägt fehl → warten Sie 1 Sekunde
• Zweiter Versuch schlägt fehl → warten Sie 2 Sekunden
• Dritter Versuch schlägt fehl → warten Sie 4 Sekunden
• Vierter Versuch schlägt fehl → warten Sie 8 Sekunden
• Und so weiter, bis zu einem Maximum (z.B. 60 Sekunden)

Diese Strategie gibt dem Server Zeit, sich "abzukühlen" und verringert die Wahrscheinlichkeit eines dauerhaften Banns. Viele APIs (Google, Twitter) empfehlen genau diesen Ansatz in ihrer Dokumentation.

Beispiel für die Einstellung für verschiedene Aufgaben

User-Agent und Header: Imitation eines echten Browsers

Proxy-Rotation und Verzögerungen lösen das Problem der Anfragefrequenz, aber das reicht nicht aus. Websites analysieren, wie genau Sie Anfragen senden. Wenn die Header verdächtig aussehen – ist eine Blockierung unvermeidlich.

Obligatorische Header zur Imitation eines Browsers

Das minimale Set von Headern, das in jeder Anfrage vorhanden sein sollte:

User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
Accept-Language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7
Accept-Encoding: gzip, deflate, br
Connection: keep-alive
Upgrade-Insecure-Requests: 1
Sec-Fetch-Dest: document
Sec-Fetch-Mode: navigate
Sec-Fetch-Site: none
Sec-Fetch-User: ?1
Cache-Control: max-age=0

User-Agent-Rotation

Verwenden Sie nicht denselben User-Agent für alle Anfragen. Erstellen Sie eine Liste von 10-20 aktuellen Browserversionen und wechseln Sie diese zufällig:

• Chrome (Windows, macOS, Linux)
• Firefox (verschiedene Versionen)
• Safari (macOS, iOS)
• Edge (Windows)

Referer und Origin

Viele Websites überprüfen, woher die Anfrage kommt. Wenn Sie eine Produktseite parsen, sollte im Referer-Header ein Link zum Katalog oder zur Suche vorhanden sein. Wenn Sie eine API parsen – sollte der richtige Origin angegeben sein.

Beispiel für das Parsen von Wildberries:

Referer: https://www.wildberries.ru/catalog/0/search.aspx?search=ноутбук
Origin: https://www.wildberries.ru

Welche Proxys für die Umgehung von 429 wählen?

Die Wahl des Proxytyps ist entscheidend. Billige Proxys aus Rechenzentren sind oft bereits auf schwarzen Listen, und Sie werden selbst bei niedriger Anfragefrequenz 429 erhalten.

Vergleich der Proxytypen zur Umgehung von Limits

Empfehlungen zur Auswahl

Für das Parsen von Marktplätzen (Wildberries, Ozon, Avito): Verwenden Sie residential Proxys mit Anfrage-Rotation. Der Pool sollte groß sein – mindestens 10.000 IPs. Dies gewährleistet, dass jede IP nur wenige Anfragen macht und nicht unter die Limits fällt.

Für die Arbeit mit APIs sozialer Netzwerke: Mobile Proxys sind die optimale Wahl. Instagram und TikTok vertrauen IPs von Mobilfunkanbietern mehr als residential. Eine mobile IP kann 5-10 Konten ohne Probleme bedienen.

Für die Überwachung von Wettbewerberpreisen: Residential Proxys mit Timer-Rotation (alle 10-15 Minuten). Dies ermöglicht es, eine Serie von Anfragen von einer IP zu machen, während die Sitzung erhalten bleibt, aber die Limits nicht überschreitet.

Für einfache Aufgaben (Parsen von Nachrichten, Blogs): Proxys aus Rechenzentren können geeignet sein, wenn die Website keinen ernsthaften Schutz hat. Seien Sie jedoch auf gelegentliche Blockierungen vorbereitet.

Echte Fälle: Parsen von Marktplätzen und APIs

Fall 1: Überwachung der Preise auf Wildberries (10.000 Produkte täglich)

Aufgabe: Ein Verkäufer auf dem Marktplatz überwacht die Preise von Wettbewerbern für 10.000 Positionen. Daten müssen zweimal täglich gesammelt werden.

Problem: Bei Verwendung einer IP erhielt ich nach 50-60 Anfragen einen Bann. Das Parsen von 10.000 Produkten dauerte mehrere Stunden mit ständigen Blockierungen.

Lösung:

1. Ich habe residential Proxys mit einem Pool von 50.000 IPs und Anfrage-Rotation angeschlossen
2. Ich habe zufällige Verzögerungen von 0,5 bis 2 Sekunden zwischen den Anfragen eingestellt
3. Ich habe die User-Agent-Rotation (20 Varianten von Chrome und Firefox) hinzugefügt
4. Ich habe die richtigen Referer- und Accept-Header eingestellt

Ergebnis: Das Parsen von 10.000 Produkten dauert 15-20 Minuten ohne eine einzige Blockierung. Jede IP macht maximal 1-2 Anfragen, was nicht als Automatisierung identifiziert werden kann.

Fall 2: Automatisierung von Instagram (50 Kundenkonten)

Aufgabe: Eine SMM-Agentur verwaltet 50 Kundenkonten auf Instagram. Inhalte müssen veröffentlicht, Kommentare beantwortet und Statistiken gesammelt werden.

Problem: Die Instagram API hat ein Limit von 200 Anfragen pro Stunde pro Anwendung. Bei der Arbeit mit 50 Konten wurden die Limits in 10 Minuten erschöpft.

Lösung:

1. Wir haben 10 verschiedene Instagram API-Anwendungen erstellt (je 5 Konten pro Anwendung)
2. Jede Anwendung verwendet einen separaten mobilen Proxy
3. Wir haben eine Verzögerung von 18 Sekunden zwischen den Anfragen eingestellt (200 Anfragen/Stunde = 1 Anfrage alle 18 Sekunden)
4. Wir haben eine exponentielle Verzögerung bei Erhalt von 429 hinzugefügt

Ergebnis: Alle 50 Konten arbeiten stabil. Fehler 429 treten äußerst selten auf (1-2 Mal pro Woche) und werden automatisch durch Wiederholungsversuche verarbeitet.

Fall 3: Parsen von Avito (Anzeigen aus ganz Russland)

Aufgabe: Ein Immobilienaggregator sammelt Anzeigen von Avito aus allen Städten Russlands für seine Datenbank.

Problem: Avito hat einen der strengsten Schutzmechanismen unter russischen Websites. Blockierungen begannen nach 10-15 Anfragen, selbst von verschiedenen IPs aus Rechenzentren.

Lösung:

1. Wechsel zu residential Proxys mit geografischer Bindung (IPs aus derselben Stadt wie das Parsen)
2. Erhöhung der Verzögerungen auf 3-5 Sekunden zwischen den Anfragen
3. Verwendung eines Headless-Browsers (Puppeteer) anstelle einfacher HTTP-Anfragen
4. Imitation von Benutzeraktionen: Scrollen, Klicken, Mausbewegungen

Ergebnis: Erfolgreiches Parsen von über 50.000 Anzeigen pro Tag. Blockierungen wurden um 95% reduziert. Die verbleibenden 5% werden durch Wiederholungsversuche mit neuer IP verarbeitet.

Fall 4: Überwachung der APIs von Wettbewerbern (E-Commerce)

Aufgabe: Ein Online-Shop überwacht die Verfügbarkeit von Produkten und Preise bei 20 Wettbewerbern über deren APIs.

Problem: Die meisten APIs von Wettbewerbern haben öffentliche Limits (100-500 Anfragen pro Stunde). Bei Überschreitung wird 429 zurückgegeben.

Lösung:

1. Erstellung einer Anfragenwarteschlange mit Prioritäten (die wichtigsten Produkte werden häufiger überprüft)
2. Überwachung der Limits über die Antwort-Header (X-RateLimit-Remaining)
3. Automatische Pause bei Erreichen von 80% des Limits
4. Verwendung mehrerer API-Schlüssel für jeden Wettbewerber (wo möglich)

Ergebnis: Das System verteilt die Anfragen automatisch so, dass die Limits nie überschritten werden. Die Daten werden mit der maximal möglichen Frequenz ohne Blockierungen aktualisiert.

Fazit

Der Fehler 429 Too Many Requests ist ein Schutzmechanismus von Websites, den man mit dem richtigen Ansatz umgehen kann. Die wichtigsten Prinzipien zur Lösung des Problems:

• IP-Rotation – verteilen Sie die Last auf viele Proxys, damit jede Adresse nur wenige Anfragen macht
• Richtige Verzögerungen – imitieren Sie einen echten Benutzer mit zufälligen Pausen von 1 bis 5 Sekunden
• Korrekter Header – verwenden Sie aktuelle User-Agents und ein vollständiges Set von Browser-Headern
• Wahl des Proxytyps – verwenden Sie für komplexe Websites (Marktplätze, soziale Netzwerke) residential oder mobile Proxys
• Fehlerbehandlung – wenden Sie exponentielle Verzögerungen bei Erhalt von 429 an, greifen Sie die Website nicht erneut an

Denken Sie daran: Das Ziel ist nicht, den Schutz um jeden Preis zu überlisten, sondern Ihre Automatisierung so natürlich wie möglich erscheinen zu lassen. Moderne Schutzsysteme werden immer intelligenter, und rohe Gewalt funktioniert nicht mehr.

Wenn Sie planen, mit dem Parsen von Marktplätzen, der Überwachung von Wettbewerbern oder der Automatisierung in sozialen Netzwerken zu arbeiten, empfehlen wir, residential Proxys auszuprobieren – sie bieten einen großen Pool von IP-Adressen, automatische Rotation und minimales Risiko von Blockierungen. Für die Arbeit mit Instagram, TikTok und anderen mobilen Plattformen sind mobile Proxys mit IPs von echten Mobilfunkanbietern die bessere Wahl.