Beim Scraping von Marktplätzen, der Automatisierung von Social Media oder dem Sammeln von Daten über APIs ist es entscheidend, die richtige Strategie für das Senden von Anfragen zu wählen. Eine falsche Konfiguration führt zu IP-Blockierungen, CAPTCHAs und Zeitverlust. In diesem Leitfaden werden wir erörtern, wann man parallele Anfragen für maximale Geschwindigkeit und wann sequenzielle Anfragen für Sicherheit verwenden sollte.
Unterschiede zwischen parallelen und sequenziellen Anfragen
Sequenzielle Anfragen sind, wenn Ihr Skript oder Programm die Anfragen nacheinander sendet: Es wartet auf die Antwort der ersten Anfrage, bevor es die zweite sendet. Das ist langsam, aber sicher und sieht für die Zielseite maximal natürlich aus.
Parallele Anfragen sind, wenn mehrere Anfragen gleichzeitig gesendet werden (5, 10, 50 oder sogar Hunderte), ohne auf die Antworten der vorherigen zu warten. Das ist um ein Vielfaches schneller, belastet jedoch den Server und kann Verdacht bei Anti-Fraud-Systemen erregen.
Stellen Sie sich das Scraping von Preisen für 10.000 Produkte auf Wildberries vor. Sequenziell mit einer Verzögerung von 2 Sekunden zwischen den Anfragen — das sind 20.000 Sekunden oder 5,5 Stunden. Wenn Sie 20 parallele Ströme starten — nur 16 Minuten. Der Unterschied ist offensichtlich, aber es gibt Nuancen.
Wichtig: Parallele Anfragen bedeuten nicht „1000 Anfragen gleichzeitig senden“. Es handelt sich um kontrollierte Parallelität — zum Beispiel 10-50 aktive Ströme, jeder mit Verzögerungen. Ohne Kontrolle erhalten Sie sofort eine Sperre.
Vergleich der Methoden
| Parameter | Sequenzielle | Parallele |
|---|---|---|
| Geschwindigkeit | Langsam (1 Anfrage gleichzeitig) | Schnell (10-100+ gleichzeitig) |
| Blockierungsrisiko | Niedrig | Mittel-Hoch |
| Belastung der Proxys | Minimal | Hoch |
| Einrichtungsaufwand | Einfach | Erfordert Erfahrung |
| Speicherverbrauch | Niedrig | Hoch |
| Fehlerbehandlung | Einfach zu verfolgen | Schwieriger zu protokollieren |
Wann man parallele Anfragen verwenden sollte
Parallele Anfragen sind die Wahl, wenn Geschwindigkeit entscheidend ist und das Datenvolumen groß ist. Aber es ist wichtig zu verstehen: Das funktioniert nur mit der richtigen Proxy-Konfiguration und Lastkontrolle.
Ideale Szenarien für parallele Anfragen
1. Scraping von Marktplätzen mit großem Katalog
Wenn Sie Preise von 50.000 Produkten auf Wildberries oder Ozon sammeln müssen, würde sequenzielles Scraping Tage in Anspruch nehmen. Mit 20-30 parallelen Strömen und Datacenter-Proxys wird die Aufgabe in wenigen Stunden erledigt.
Einrichtung: 20-30 Ströme, jeder mit einer eigenen IP, Verzögerung von 1-3 Sekunden zwischen den Anfragen innerhalb des Stroms. IP-Rotation alle 100-200 Anfragen.
2. Datensammlung aus öffentlichen APIs
Viele APIs (z. B. Wetterdienste, Unternehmensdatenbanken, Geolokalisierungsdienste) haben Anfragelimits von einer IP: 100-1000 pro Tag. Parallele Anfragen über einen Proxy-Pool ermöglichen es, diese Limits zu umgehen.
Beispiel: Sie müssen Daten über 10.000 Unternehmen über eine API sammeln. Limit — 500 Anfragen/Tag pro IP. Sie verwenden 20 Proxys parallel = 10.000 Anfragen an einem Tag statt 20 Tagen.
3. Überprüfung der Verfügbarkeit von Ressourcen
Wenn Sie die Verfügbarkeit von Websites, die Funktionsweise von Spiegeln oder den Status von Servern überprüfen — parallele Anfragen sparen Stunden. Hier ist keine Nachahmung des menschlichen Verhaltens erforderlich, nur die Geschwindigkeit ist wichtig.
4. Massenüberprüfung von Proxys
Beim Kauf großer Proxy-Pools (1000+ IPs) müssen Sie deren Funktionalität, Geschwindigkeit und Geolokalisierung schnell überprüfen. Sequenzielle Überprüfungen würden Stunden in Anspruch nehmen, parallele nur Minuten.
Achtung: Parallele Anfragen sind NICHT geeignet für die Arbeit mit geschützten Plattformen (Facebook Ads, Instagram API, Google Ads), wo die Nachahmung des Verhaltens eines echten Benutzers wichtig ist. Verwenden Sie dort sequenzielle Anfragen.
Schlüsselanforderungen für parallele Anfragen
- Großer Proxy-Pool (mindestens 10-20 IPs, besser 50-100+)
- Automatische IP-Rotation bei Fehlern
- Kontrolle der Anzahl gleichzeitiger Ströme (nicht mehr als 50-100)
- Verzögerungen zwischen Anfragen, auch innerhalb der Ströme (0,5-2 Sek.)
- Protokollierung von Fehlern zur Analyse der Blockierungsursachen
- Retry-System (Wiederholungsversuche) bei Timeouts
Wann man sequenzielle Anfragen verwenden sollte
Sequenzielle Anfragen sind die Wahl von Sicherheit und Zuverlässigkeit über Geschwindigkeit. Sie ahmen das Verhalten eines echten Benutzers nach und minimieren das Risiko von Blockierungen auf geschützten Plattformen.
Obligatorische Szenarien für sequenzielle Anfragen
1. Arbeiten mit Werbekonten
Facebook Ads, TikTok Ads, Google Ads verfolgen nicht nur die IP, sondern auch die Verhaltensmuster. Parallele Anfragen von einem Konto werden sofort Verdacht erregen. Ein Konto = ein Strom = sequenzielle Aktionen mit Verzögerungen von 5-15 Sekunden.
Beispiel: Sie verwalten 20 Facebook-Werbekonten über den Anti-Detect-Browser Dolphin Anty. Jedes Konto arbeitet in einem separaten Profil mit mobilen Proxys, die Aktionen sind streng sequenziell: Einloggen → Statistiken überprüfen → Gebote anpassen → Ausloggen. Verzögerungen von 7-12 Sekunden zwischen den Aktionen.
2. Automatisierung von Aktionen in sozialen Medien
Instagram, TikTok, VK haben strenge Limits für Aktionen: Likes, Abonnements, Kommentare. Überschreitung der Limits oder zu schnelle Aktionen = Shadowban oder vollständige Blockierung. Nur sequenzielle Anfragen mit zufälligen Verzögerungen von 20-60 Sekunden.
Einrichtung für Instagram: Ein Konto kann maximal 60 Likes/Stunde machen. Das sind 1 Like pro Minute mit Verzögerungen von 45-75 Sekunden (Randomisierung ist wichtig!). Verwenden Sie einen separaten Proxy für jedes Konto.
3. Autorisierung und Arbeiten mit persönlichen Konten
Alle Aktionen, die eine Anmeldung erfordern (E-Mail-Dienste, Banken, Marktplätze als Verkäufer), müssen sequenziell ausgeführt werden. Parallele Anmeldeversuche von verschiedenen IPs auf ein Konto führen direkt zur Blockierung.
4. Websites mit strengen Anti-Bot-Schutz
Plattformen mit Cloudflare, Akamai, PerimeterX analysieren nicht nur die Häufigkeit der Anfragen, sondern auch deren Muster. Wenn von einer IP oder User-Agent 10 Anfragen gleichzeitig kommen — ist das ein eindeutiges Zeichen für einen Bot. Sequenzielle Anfragen mit Verzögerungen von 3-10 Sekunden wirken natürlich.
5. Geringes Datenvolumen
Wenn Sie 50-100 Seiten scrapen müssen, ist der Zeitunterschied zwischen sequenziellem und parallelem Scraping unerheblich (5 Minuten gegenüber 1 Minute). Der sequenzielle Ansatz garantiert jedoch, dass es keine Probleme gibt.
Richtige Verzögerungen für sequenzielle Anfragen
| Plattform/Aufgabe | Verzögerung zwischen Anfragen | Randomisierung |
|---|---|---|
| Facebook Ads (Aktionen im Konto) | 7-15 Sekunden | ±30% |
| Instagram (Likes, Abonnements) | 45-90 Sekunden | ±40% |
| TikTok (Aufrufe, Likes) | 30-60 Sekunden | ±35% |
| Google Ads (API-Anfragen) | 5-10 Sekunden | ±25% |
| Scraping mit Cloudflare | 3-7 Sekunden | ±30% |
| Normale Websites ohne Schutz | 1-3 Sekunden | ±20% |
Tipp: Die Randomisierung der Verzögerungen ist entscheidend. Wenn Ihr Skript genau alle 5.00 Sekunden eine Anfrage stellt — ist das ein Bot-Muster. Verwenden Sie random von 4 bis 7 Sekunden, um einen Menschen zu imitieren.
Risiken von Blockierungen bei verschiedenen Methoden
Das Verständnis der Risiken hilft, die richtige Strategie zu wählen und den Schutz einzustellen. Blockierungen treten nicht nur aufgrund der Häufigkeit der Anfragen auf, sondern auch aufgrund ihrer Muster.
Was Anti-Fraud-Systeme überwachen
1. Häufigkeit der Anfragen von einer IP
Wenn von einer IP 100 Anfragen pro Minute kommen — ist das offensichtlich ein Bot. Die Limits variieren: Normale Websites tolerieren 10-30 Anfragen/Minute, geschützte Plattformen 2-5 Anfragen/Minute.
Lösung für parallele Anfragen: Verteilen Sie die Anfragen auf einen großen Pool von IPs. Zum Beispiel 1000 Anfragen/Minute = 50 IPs mit je 20 Anfragen. Das sieht aus wie 50 normale Benutzer.
2. Gleiche Intervalle zwischen den Anfragen
Anfragen genau alle 2.00 Sekunden — ein Zeichen für Automatisierung. Ein Mensch klickt mit unterschiedlichen Intervallen: 1.8 Sek., 3.2 Sek., 2.1 Sek.
Lösung: Fügen Sie eine Randomisierung von ±30-50% der Basisverzögerung hinzu. Verwenden Sie anstelle fester 5 Sekunden random(3.5, 7.5).
3. Fehlendes typisches Benutzerverhalten
Ein echter Benutzer geht nicht direkt zur Produktseite — er besucht zuerst die Hauptseite, sucht die Kategorie, klickt auf das Produkt. Ein Bot fragt sofort eine bestimmte URL an.
Lösung für kritische Plattformen: Imitieren Sie den vollständigen Weg des Benutzers. Machen Sie vor dem Scraping des Produkts 2-3 Anfragen: Hauptseite → Kategorie → Produkt. Das verlangsamt die Arbeit, reduziert jedoch das Risiko einer Blockierung um 70-80%.
4. Verdächtige User-Agent und Header
Veraltete User-Agent (z. B. Chrome 95 im Jahr 2024), fehlende Accept-Language- und Referer-Header — Anzeichen für einen Bot.
Lösung: Verwenden Sie aktuelle User-Agent (Chrome 120+, Firefox 120+), fügen Sie den vollständigen Satz von Headern wie bei einem echten Browser hinzu. Rotieren Sie den User-Agent zusammen mit der IP.
Vergleich der Risiken von Blockierungen
| Szenario | Risiko bei sequenziellen | Risiko bei parallelen |
|---|---|---|
| Scraping eines Marktplatzes (10K Anfragen) | Niedrig (5-10%) | Mittel (20-30%) |
| Arbeiten mit Facebook Ads | Niedrig (2-5%) | Kritisch (80-95%) |
| Instagram-Automatisierung | Mittel (15-25%) | Hoch (60-80%) |
| Öffentliche APIs (innerhalb der Limits) | Sehr niedrig (1-3%) | Niedrig (5-10%) |
| Websites mit Cloudflare | Mittel (10-20%) | Hoch (40-60%) |
Welche Proxys für jede Methode geeignet sind
Der Typ des Proxys beeinflusst direkt die Möglichkeit, parallele oder sequenzielle Anfragen zu verwenden. Eine falsche Wahl führt zu Blockierungen oder Überzahlungen.
Proxys für parallele Anfragen
Datacenter-Proxys sind die optimale Wahl für massives Scraping und parallele Anfragen. Sie sind günstig (ab 1-3 $ pro IP/Monat), schnell (Ping 20-50 ms) und in großen Mengen verfügbar. Nachteil — sie werden leicht als Proxys erkannt, daher sind sie nicht für geschützte Plattformen geeignet.
Wann verwenden: Scraping von Marktplätzen, Datensammlung aus öffentlichen Quellen, Überprüfung der Verfügbarkeit von Ressourcen, massenhafte API-Anfragen an Dienste ohne strengen Schutz.
Einrichtung: Kaufen Sie einen Pool von 50-100 IPs, richten Sie 20-30 parallele Ströme ein, jeder Strom verwendet seine eigene IP. Rotation alle 100-200 Anfragen oder bei Fehlern.
Residential Proxys sind teurer (ab 3-7 $ pro 1 GB Traffic), sehen aber aus wie echte Benutzer. Sie sind für parallele Anfragen an geschützte Plattformen geeignet, wenn Geschwindigkeit erforderlich ist, jedoch mit Vorsicht.
Wann verwenden: Scraping von sozialen Medien (ohne Autorisierung), Datensammlung von Websites mit Cloudflare, Arbeiten mit Plattformen, die Datacenter blockieren. Für parallele Anfragen benötigen Sie einen großen Pool von IPs mit automatischer Rotation.
Wichtig: Bei parallelen Anfragen über Residential Proxys kontrollieren Sie den Traffic-Verbrauch. 10.000 Anfragen können 5-10 GB „verbrauchen“, was 20-50 $ kosten kann. Datacenter sind günstiger: unbegrenzter Traffic für 100-200 $/Monat für 100 IPs.
Proxys für sequenzielle Anfragen
Mobile Proxys sind der zuverlässigste Typ für die Arbeit mit geschützten Plattformen. Die IPs sehen aus wie echte mobile Geräte (4G/5G-Anbieter), was das Risiko von Blockierungen minimiert. Nachteil — teuer (ab 50-150 $ pro IP/Monat).
Wann verwenden: Facebook Ads, Instagram, TikTok, Google Ads — überall, wo maximale Sicherheit und Nachahmung eines echten Benutzers erforderlich sind. Ein Konto = ein mobiler Proxy = sequenzielle Aktionen.
Einrichtung: Jedes Werbekonto oder Social Media-Konto ist an eine separate mobile IP gebunden. Die Aktionen sind streng sequenziell mit Verzögerungen von 10-60 Sekunden. Die IP wird nicht rotiert (ein Konto arbeitet immer mit einer IP).
Residential Proxys sind eine gute Alternative zu mobilen, wenn das Budget begrenzt ist. Sie sind für weniger kritische Aufgaben geeignet: Scraping mit Autorisierung, SMM-Automatisierung, Arbeiten mit Marktplätzen als Verkäufer.
Wann verwenden: Verwaltung von Marktplatzkonten (Wildberries, Ozon als Verkäufer), Automatisierung von Posts in sozialen Medien (nicht massenhaft), Datensammlung, die eine Autorisierung erfordert.
Empfehlungen zur Auswahl von Proxys
| Aufgabe | Proxy-Typ | Anfragemethode | Anzahl der IPs |
|---|---|---|---|
| Scraping von Marktplätzen (großes Volumen) | Datacenter | Parallele | 50-100+ |
| Facebook Ads (Multi-Account-Management) | Mobile | Sequenzielle | 1 IP pro Konto |
| Instagram-Automatisierung | Mobile/Residential | Sequenzielle | 1 IP pro Konto |
| Scraping mit Cloudflare | Residential | Parallele (vorsichtig) | 20-50 |
| Öffentliche APIs (massensammlung) | Datacenter | Parallele | 10-30 |
| Marktplätze (persönliches Verkäuferkonto) | Residential | Sequenzielle | 1 IP pro Konto |
Optimale Einstellungen: Verzögerungen, Ströme, Timeouts
Die richtige Einstellung der Parameter ist entscheidend für das Gleichgewicht zwischen Geschwindigkeit und Sicherheit. Zu aggressive Einstellungen führen zu Blockierungen, zu vorsichtige zu Zeitverlust.
Einrichtung paralleler Anfragen
Anzahl der gleichzeitigen Ströme (Concurrency)
Dies ist ein Schlüsselparameter. Zu viele Ströme = Überlastung der Proxys und des Zielservers. Zu wenige = niedrige Geschwindigkeit.
Empfehlungen:
- Scraping von Marktplätzen: 20-50 Ströme bei einem Pool von 50+ Proxys
- Öffentliche APIs: 10-30 Ströme, orientieren Sie sich an den API-Limits
- Websites mit Schutz: 5-15 Ströme, mehr — Risiko einer Blockierung
- Überprüfung von Proxys: 50-100 Ströme (hier ist Geschwindigkeit wichtiger)
Verzögerungen innerhalb der Ströme
Selbst bei paralleler Arbeit sollte jeder Strom Pausen zwischen seinen Anfragen einlegen. Dies verringert die Belastung einer IP und reduziert das Risiko einer Blockierung.
Empfehlungen:
- Einfache Websites: 0,5-2 Sekunden zwischen Anfragen in einem Strom
- Marktplätze: 1-3 Sekunden mit Randomisierung ±30%
- Websites mit Cloudflare: 2-5 Sekunden mit Randomisierung ±40%
- APIs mit Limits: berechnen Sie basierend auf dem Limit (z. B. 100 Anfragen/Minute = 0,6 Sek./Anfrage, machen Sie 1 Sekunde für Puffer)
Timeouts (Timeout)
Wartezeit auf eine Antwort vom Server. Ein zu kurzer Timeout = Datenverlust aufgrund langsamer Antworten. Ein zu langer = Hängenbleiben der Ströme.
Empfehlungen:
- Schnelle Websites: 10-15 Sekunden
- Langsame Websites/APIs: 20-30 Sekunden
- Über Residential Proxys: +5-10 Sekunden (sie sind langsamer als Datacenter)
- Connection Timeout: 5-10 Sekunden (Zeit zum Herstellen der Verbindung)
Retry (Wiederholungsversuche)
Bei Fehlern (Timeout, 503, Proxy-Blockierung) sollte die Anfrage mit einer anderen IP wiederholt werden. Ohne Retry verlieren Sie einen Teil der Daten.
Einrichtung: 2-3 Versuche pro Anfrage, Wechsel des Proxys nach jedem fehlgeschlagenen Versuch, Pause von 3-5 Sekunden vor dem Retry.
Einrichtung sequenzieller Anfragen
Basisverzögerung zwischen Anfragen
Hängt von der Plattform und der Art der Aktionen ab. Die Hauptregel: Imitieren Sie einen echten Benutzer.
Empfehlungen für Plattformen:
- Facebook Ads (Übergänge zwischen den Bereichen des Kontos): 7-15 Sekunden
- Instagram (Likes): 45-90 Sekunden, maximal 60 Likes/Stunde
- Instagram (Abonnements): 60-120 Sekunden, maximal 30 Abonnements/Stunde
- TikTok (Aufrufe): 30-60 Sekunden
- Scraping mit Autorisierung: 3-7 Sekunden
- Marktplätze (Aktionen im Verkäuferkonto): 5-10 Sekunden
Randomisierung
Ist für alle sequenziellen Anfragen obligatorisch. Verwenden Sie eine Abweichung von ±30-50% der Basisverzögerung.
Beispiel: Basisverzögerung 10 Sekunden, Randomisierung ±40% → die tatsächlichen Verzögerungen liegen zwischen 6-14 Sekunden (jederzeit ein zufälliger Wert).
Timeouts
Für sequenzielle Anfragen können längere Timeouts verwendet werden, da kein Risiko besteht, dass alle Ströme blockiert werden.
Empfehlungen: 30-60 Sekunden für geschützte Plattformen (Facebook, Instagram), 15-30 Sekunden für normale Websites.
Praktischer Rat: Beginnen Sie mit konservativen Einstellungen (weniger Ströme, mehr Verzögerung), erhöhen Sie schrittweise die Aggressivität und verfolgen Sie die Fehlerquote. Wenn die Fehlerquote >5-10% beträgt — gehen Sie einen Schritt zurück.
Werkzeuge zur Umsetzung beider Methoden
Die Wahl des Werkzeugs hängt von Ihrer Aufgabe und Ihren technischen Fähigkeiten ab. Für Geschäftsaufgaben (Arbitrage, SMM, E-Commerce) verwenden Sie fertige Lösungen ohne Code. Für technische Aufgaben — Bibliotheken und Frameworks.
Fertige Lösungen ohne Code (für Unternehmen)
Anti-Detect-Browser für Multi-Account-Management
Wenn Sie mit Werbekonten oder sozialen Medien arbeiten, sind Anti-Detect-Browser der Branchenstandard. Sie verwalten automatisch Proxys, Browser-Fingerabdrücke und isolieren Konten.
Beliebte Lösungen:
- Dolphin Anty: Marktführer für Facebook/TikTok-Arbitrage, kostenloser Tarif für 10 Profile, einfache Proxy-Einrichtung
- AdsPower: gut für E-Commerce (Amazon, eBay), Automatisierung über RPA (ohne Code)
- Multilogin: der teuerste ($100+/Monat), aber maximaler Schutz für ernsthafte Arbitrage
- GoLogin: budgetfreundliche Alternative ($25/Monat), geeignet für SMM und kleine Teams
Wie sie mit Proxys arbeiten: Erstellen Sie ein Browserprofil → binden Sie Proxys ein → alle Aktionen in diesem Profil laufen über diese IP. Ein Profil = ein Konto = sequenzielle Aktionen. Für parallele Arbeiten öffnen Sie mehrere Profile gleichzeitig (jedes mit seinem Proxy).
Parser und Scraper (fertig)
Für das Sammeln von Daten von Marktplätzen und Websites gibt es fertige Tools mit GUI, die keine Programmierung erfordern.
- Octoparse: visueller Parser-Builder, Unterstützung für Proxys, parallele Ströme über die Benutzeroberfläche einstellbar
- ParseHub: Analog zu Octoparse, kostenloser Tarif für 200 Seiten, Verzögerungseinstellungen über GUI
- Scrapy Cloud: Cloud-Service zum Starten von Scrapy-Spinnen (erfordert minimale Python-Kenntnisse)
SMM-Automatisierung (ohne Code)
Für das Management von sozialen Medien gibt es Dienste mit Automatisierung über die Benutzeroberfläche.
- Jarvee: Automatisierung für Instagram, TikTok, Twitter, integrierte Proxy-Unterstützung, Verzögerungseinstellungen über GUI (Vorsicht: aggressive Automatisierung führt zu Sperren)
- Ingramer (Inflact): sichere Automatisierung für Instagram, arbeitet über ihre Proxys
- Combin: gezielte Abonnements/Likes auf Instagram, Unterstützung für externe Proxys
Technische Werkzeuge (für Entwickler)
Wenn Sie Ihre eigenen Skripte für Scraping oder Automatisierung schreiben, verwenden Sie bewährte Bibliotheken.
Python (am beliebtesten für Scraping):
- Requests + threading/asyncio: für einfache parallele Anfragen, einfach Proxys einzurichten
- aiohttp: asynchrone Bibliothek für hochparallele Anfragen (1000+ gleichzeitig)
- Scrapy: Framework für Scraping, integrierte Unterstützung für Proxy-Rotation, Middleware für Verzögerungen
- Selenium: für Websites mit JavaScript, langsamer, aber umgeht viele Schutzmaßnahmen
- Playwright: moderne Alternative zu Selenium, schneller und benutzerfreundlicher
JavaScript/Node.js:
- Axios: beliebte Bibliothek für HTTP-Anfragen, einfache Proxy-Einrichtung
- Puppeteer: für das Scraping von Websites, die JavaScript verwenden, ermöglicht paralleles Scraping