Proxys für das Scraping von Aviasales, Booking und Skyscanner: Preise sammeln ohne Sperren

Reiseaggregatoren wie Aviasales, Booking, Skyscanner schützen sich aktiv gegen automatisiertes Datensammeln – sie sperren IPs nach 10-20 Anfragen, zeigen Captchas an und verzerren Preise für Bots. Wenn Sie die Preise für Flugtickets oder Hotels für Ihren Service, Ihr Partnerprogramm oder Ihre Marktanalyse überwachen, erhalten Sie ohne richtig konfigurierte Proxys bereits nach wenigen Minuten Parserbetrieb eine Sperre.

In diesem Leitfaden werden wir untersuchen, welche Proxys für ein stabiles Parsen von Reise-Websites benötigt werden, wie man die IP-Rotation einrichtet, Anti-Bot-Systeme von Cloudflare und Akamai umgeht und welche Fehler zu Sperren führen, selbst wenn Proxys verwendet werden.

Warum Reiseaggregatoren das Parsen blockieren und wie sie das tun

Reiseaggregatoren erleiden echte Verluste durch das Parsen: Jede Anfrage an ihre API kostet Geld (sie zahlen Fluggesellschaften und Hotels für den Zugang zu den Daten), und Konkurrenten nutzen die gesammelten Preise, um Kunden abzuwerben. Daher investieren Aviasales, Booking, Skyscanner, Kayak Millionen in Anti-Bot-Schutz.

Hauptmethoden zur Erkennung von Parsing

1. Analyse der Anfragefrequenz von einer IP. Ein normaler Benutzer stellt 3-5 Suchanfragen pro Sitzung, ein Parser – Hunderte pro Minute. Wenn von Ihrer IP mehr als 15-20 Anfragen pro Minute kommen, wird sie als verdächtig markiert. Nach 50-100 Anfragen erfolgt eine Sperre für 24 Stunden oder dauerhaft.

2. Fingerprinting des Browsers. Reise-Websites sammeln Dutzende von Parametern: Bildschirmauflösung, Zeitzone, installierte Schriftarten, WebGL-Fingerabdruck, Canvas-Fingerabdruck, Audio-Kontext. Wenn diese Parameter nicht mit der angegebenen Geolokalisierung der IP übereinstimmen (z. B. IP aus Moskau, aber Zeitzone UTC+8) – ist das ein Hinweis auf einen Proxy oder VPN.

3. Überprüfung der IP-Reputation. Websites verwenden Datenbanken bekannter Proxy-Anbieter, Rechenzentren, VPN-Server. Wenn Ihre IP in solchen Datenbanken aufgeführt ist (z. B. MaxMind GeoIP2, IPQualityScore, SEON), werden Anfragen blockiert oder es wird ein Captcha angezeigt. Booking und Skyscanner sind besonders streng gegenüber IPs aus den Bereichen von Amazon AWS, Google Cloud, DigitalOcean.

4. Verhaltensanalyse. Anti-Bot-Systeme verfolgen Mausbewegungen, Scrollgeschwindigkeit, Pausen zwischen Klicks. Selenium und Puppeteer hinterlassen ohne zusätzliche Patches Spuren: die Eigenschaft navigator.webdriver, das Fehlen von Plugins, untypische Fenstergrößen. Selbst mit Proxys ist dieser Datenverkehr leicht zu erkennen.

5. TLS-Fingerprinting. Moderne Anti-Bot-Systeme (Cloudflare, Akamai) analysieren die Parameter des TLS-Handshakes: Reihenfolge der Cipher-Suiten, Erweiterungen, Protokollversion. Bei Python-Anfragen und Standardbibliotheken unterscheidet sich der TLS-Fingerabdruck von dem der Browser – das verrät sofort den Bot.

Welche Proxy-Typen für die Preisüberwachung geeignet sind: Vergleich

Für das Parsen von Reiseaggregatoren werden drei Proxy-Typen verwendet: Residential, Mobile und Datacenter-Proxys. Jeder Typ hat seine eigenen Vor- und Nachteile sowie Anwendungsszenarien. Die Wahl hängt vom Umfang des Parsens, dem Budget und den Anforderungen an die Anonymität ab.

Besonderheiten der Auswahl für bestimmte Reise-Websites

Aviasales und Skyscanner – sind relativ nachsichtig gegenüber dem Parsen über die API (wenn Sie Partnerzugang haben). Für das Web-Parsen sind Residential-Proxys mit einer Rotation alle 5-10 Anfragen ausreichend. Datacenter-Proxys funktionieren, erfordern jedoch einen großen Pool an IPs (mindestens 500 Adressen) und eine langsame Rotation (nicht häufiger als 1 Anfrage alle 30 Sekunden von einer IP).

Booking.com und Expedia – verwenden Cloudflare Enterprise mit strengen Regeln. Datacenter-Proxys werden in 90% der Fälle selbst bei langsamen Parsen blockiert. Es sind nur Residential- oder Mobile-Proxys erforderlich, plus die Emulation eines echten Browsers (Selenium Stealth, Puppeteer Extra mit Plugins). IP-Rotation – nach jeder 3-5 Anfrage.

Airbnb – ist eine der am besten geschützten Websites. Es erfordert Residential-Proxys mit einer Geolokalisierung, die mit der Suchanfrage übereinstimmt (wenn Sie nach Hotels in Paris suchen – die IP muss französisch sein). Cookies, Referrer und Browser-Header sind obligatorisch. Mobile Proxys zeigen die besten Ergebnisse für das Parsen über die mobile API.

Kayak und Momondo – mittleres Schutzniveau. Residential-Proxys sind die optimale Wahl. Datacenter-Proxys können verwendet werden, aber mit obligatorischer Rotation und Verzögerungen zwischen den Anfragen (mindestens 10-15 Sekunden).

Residential vs. Datacenter-Proxys: Was für Reise-Websites zu wählen ist

Der Hauptunterschied zwischen Residential-Proxys und Datacenter-Proxys ist die Quelle der IP-Adresse. Residential verwenden IPs von echten Heim-Internet-Anbietern (Ростелеком, МТС, Comcast, Verizon), Datacenter-Proxys verwenden IPs von Servern von Hosting-Unternehmen (AWS, Google Cloud, OVH). Reise-Websites vertrauen Residential-IPs, weil sie von normalen Benutzern verwendet werden.

Wann Residential-Proxys zwingend erforderlich sind

1. Parsen von Websites mit Cloudflare/Akamai. Booking, Expedia, Airbnb verwenden diese Systeme – sie blockieren automatisch 95% der Datacenter-IPs. Residential-Proxys bestehen den Test, da ihre IPs nicht in den Datenbanken der Proxy-Anbieter aufgeführt sind.

2. Preissammlung mit Bezug auf die Geolokalisierung. Reise-Websites zeigen unterschiedliche Preise für Benutzer aus verschiedenen Ländern und Städten an (aufgrund von Steuern, Wechselkursen, lokalen Aktionen). Wenn Sie Preise für eine bestimmte Region benötigen (z. B. Preise für Einwohner Deutschlands), sind Residential-Proxys mit deutschen IPs die einzige zuverlässige Option.

3. Langfristiges Parsen ohne Sperren. Wenn Sie Preise 24/7 über Monate hinweg überwachen, amortisieren sich Residential-Proxys – Sie verschwenden keine Zeit mit dem Austausch gesperrter IPs und der Einrichtung neuer Proxys.

Wann Datacenter-Proxys verwendet werden können

1. Parsen über offizielle APIs. Wenn Sie Partnerzugang zur Aviasales API, Skyscanner API haben – der Typ des Proxys ist nicht kritisch, APIs sind weniger empfindlich gegenüber der IP-Quelle. Datacenter-Proxys bieten hohe Geschwindigkeit und niedrige Kosten.

2. Testen und Entwickeln des Parsers. In der Phase des Schreibens und Debuggens des Codes verwenden Sie Datacenter-Proxys – sie sind günstiger, schneller und es ist nicht schade, wenn einige IPs gesperrt werden.

3. Parsen weniger geschützter Aggregatoren. Einige regionale Reise-Websites oder Bus-Ticket-Aggregatoren verwenden keinen fortschrittlichen Anti-Bot-Schutz. Für sie sind Datacenter-Proxys mit einem großen Pool an IPs und langsamer Rotation durchaus geeignet.

IP-Rotationsstrategie: Wie oft Proxys beim Parsen wechseln

Die richtige Rotation der IPs ist der Schlüssel zu langfristigem Parsen ohne Sperren. Wenn Sie die IP zu häufig wechseln, erschöpfen Sie schnell den Pool an Adressen und erhalten hohe Traffic-Kosten. Wenn Sie zu selten wechseln – sammeln Sie verdächtige Aktivitäten auf einer IP und erhalten eine Sperre.

Typen der Proxy-Rotation

1. Rotation nach Anfragen (rotating proxies). Die IP wechselt automatisch nach jeder Anfrage oder nach einer festgelegten Anzahl von Anfragen. Die meisten Anbieter von Residential-Proxys bieten diesen Modus an: Sie verbinden sich mit einem Endpunkt (z. B. gate.proxycove.com:8000), und die IP wechselt auf der Seite des Anbieters.

Vorteile: Einfache Einrichtung, keine manuelle Verwaltung des IP-Pools, minimales Risiko, dass eine IP blockiert wird.
Nachteile: Keine Kontrolle über Sitzungen (wenn Cookies oder Tokens gespeichert werden müssen), jede Anfrage = neue IP = neue Traffic-Kosten.

2. Sticky Sessions (Sitzungsproxies). Die IP wird für Ihre Sitzung für eine bestimmte Zeit (normalerweise 10-30 Minuten) zugewiesen. Sie stellen mehrere Anfragen von einer IP aus, dann wechselt sie automatisch. Wird über Proxy-Parameter konfiguriert (z. B. Hinzufügen von session-id123 zum Login).

Vorteile: Cookies und Tokens können innerhalb der Sitzung gespeichert werden, geringerer Traffic-Verbrauch (eine IP = mehrere Anfragen).
Nachteile: Wenn die IP während der Sitzung gesperrt wird, werden alle nachfolgenden Anfragen in dieser Sitzung blockiert.

3. Manuelle Rotation aus dem Pool. Sie erhalten eine Liste von IP-Adressen (z. B. 1000 Stück) und verwalten die Rotation im Parser-Code: Sie wählen eine zufällige IP aus der Liste, stellen N Anfragen, wechseln zur nächsten. Typisch für Datacenter-Proxys.

Vorteile: Vollständige Kontrolle über die Rotation, blockierte IPs können aus dem Pool ausgeschlossen werden.
Nachteile: Sie müssen die Logik der Rotation im Code schreiben und den Status der IPs verwalten (welche verwendet wurden, welche blockiert sind).

Empfohlene Rotationsfrequenz für Reise-Websites

Wichtig: Dies sind Durchschnittswerte. Die tatsächlichen Limits hängen von der Tageszeit ab (nachts sind die Anti-Bot-Systeme strenger), der Art der Anfragen (Flugpreissuche = höhere Belastung der API als Hotelansicht), der Qualität der Browseremulation. Beginnen Sie mit konservativen Werten (weniger Anfragen pro IP), und erhöhen Sie diese schrittweise, während Sie den Prozentsatz der Sperren überwachen.

Geo-Targeting von Proxys: Warum das Land und die Stadt der IP-Adresse wichtig sind

Reise-Websites zeigen unterschiedliche Preise je nach Geolokalisierung des Benutzers an. Das ist kein Bug, sondern ein Geschäftsmodell: Fluggesellschaften und Hotels setzen unterschiedliche Tarife für verschiedene Märkte fest. Zum Beispiel kann ein Ticket von Moskau nach New York 600 $ für einen Benutzer aus Russland und 750 $ für einen Benutzer aus den USA kosten (aufgrund von Steuern, Wettbewerb, Kaufkraft).

Wie Websites die Geolokalisierung bestimmen

1. Über die IP-Adresse. Die Hauptmethode. Websites verwenden GeoIP-Datenbanken (MaxMind, IP2Location), die IPs mit Städten, Regionen, Ländern verknüpfen. Die Genauigkeit der Bestimmung der Stadt liegt bei 70-90%, des Landes bei 95-99%.

2. Über die Sprache des Browsers und die Zeitzone. Wenn die IP Deutschland anzeigt, die Sprache des Browsers jedoch Russisch ist und die Zeitzone UTC+3 (Moskau) beträgt – ist das ein Hinweis auf einen Proxy. Die Website kann ein Captcha anzeigen oder die Anfrage blockieren.

3. Über die Währung und die Kontoeinstellungen. Wenn Sie in ein Booking-Konto eingeloggt sind, hat die Website Ihr Land bei der Registrierung gespeichert. Ein Wechsel der IP auf ein anderes Land wird Verdacht erregen – Booking kann Sie auffordern, Ihre Identität zu bestätigen oder Ihr Konto zu sperren.

Wie man die Geolokalisierung von Proxys richtig auswählt

Für die Preissammlung eines bestimmten Marktes: Verwenden Sie IPs aus dem Land, dessen Preise Sie interessieren. Wenn Sie Preise für den russischen Markt überwachen – nehmen Sie russische Residential-Proxys. Für den europäischen Markt – Proxys aus EU-Ländern (Deutschland, Frankreich, Polen). Für die USA – amerikanische Proxys.

Für die Umgehung von Geoblockierungen: Einige Reise-Websites oder spezielle Angebote sind nur aus bestimmten Ländern verfügbar. Zum Beispiel sind Inlandsflüge in den USA oft günstiger, wenn sie von einer amerikanischen IP aus gebucht werden. Verwenden Sie Proxys des benötigten Landes + konfigurieren Sie die Sprache des Browsers und die Zeitzone für dieses Land.

Für das Parsen globaler Daten: Wenn Sie Preise für alle Märkte benötigen (z. B. für Analysen), verwenden Sie einen Pool von Proxys aus verschiedenen Ländern. Rotieren Sie die Geolokalisierung zusammen mit der IP: Anfrage von einer deutschen IP → deutsche Preise, Anfrage von einer französischen IP → französische Preise.

Einrichtung von Proxys für beliebte Parser und Skripte

Lassen Sie uns die Einrichtung von Proxys für die beliebtesten Tools zum Parsen von Reise-Websites betrachten. Die Beispiele beziehen sich auf Residential-Proxys mit Rotation, sind jedoch auch für andere Typen geeignet.

Python + requests / httpx

Die einfachste Option für das Parsen von APIs oder einfachen Seiten ohne JavaScript. Geeignet für Aviasales API, Skyscanner API, einfache Endpunkte ohne Cloudflare.

import requests

# Proxy-Daten (ersetzen Sie durch Ihre)
proxy_host = "gate.proxycove.com"
proxy_port = "8000"
proxy_user = "your_username"
proxy_pass = "your_password"

proxies = {
    "http": f"http://{proxy_user}:{proxy_pass}@{proxy_host}:{proxy_port}",
    "https": f"http://{proxy_user}:{proxy_pass}@{proxy_host}:{proxy_port}"
}

# Browser-Header (unbedingt!)
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
    "Accept-Language": "en-US,en;q=0.9",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
    "Referer": "https://www.google.com/"
}

# Anfrage über Proxy
response = requests.get(
    "https://www.aviasales.com/search",
    proxies=proxies,
    headers=headers,
    timeout=30
)

print(response.status_code)
print(response.text[:500])  # Die ersten 500 Zeichen der Antwort

Wichtig: Für Residential-Proxys mit Rotation erhält jede neue Anfrage automatisch eine neue IP. Wenn eine Sticky Session (eine IP für mehrere Anfragen) erforderlich ist, fügen Sie die Session-ID zum Benutzernamen hinzu: your_username-session-12345.

Selenium (für Websites mit JavaScript)

Booking, Expedia, Airbnb verwenden aktiv JavaScript zur Rendering von Inhalten und Anti-Bot-Überprüfungen. Selenium emuliert einen echten Browser, benötigt jedoch zusätzliche Einstellungen, um die Erkennung zu umgehen.

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service

# Chrome-Einstellungen
chrome_options = Options()

# Proxy
proxy_host = "gate.proxycove.com"
proxy_port = "8000"
proxy_user = "your_username"
proxy_pass = "your_password"

# Proxy-Format für Chrome
chrome_options.add_argument(f'--proxy-server=http://{proxy_host}:{proxy_port}')

# Automatisierung verbergen
chrome_options.add_argument('--disable-blink-features=AutomationControlled')
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option('useAutomationExtension', False)

# User-Agent
chrome_options.add_argument('user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36')

driver = webdriver.Chrome(options=chrome_options)

# webdriver-Eigenschaft entfernen
driver.execute_script("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})")

# Proxy-Authentifizierung (falls erforderlich)
# Für Chrome müssen Sie eine Erweiterung mit Authentifizierung erstellen, siehe selenium-wire oder verwenden Sie einfacher Puppeteer

driver.get("https://www.booking.com/")
print(driver.title)
driver.quit()

Problem: Chrome unterstützt die Proxy-Authentifizierung über login:password nicht direkt. Lösungen: Verwenden Sie die Bibliothek selenium-wire (fügt Proxys mit Authentifizierung hinzu), erstellen Sie eine Chrome-Erweiterung zur Authentifizierung oder verwenden Sie Puppeteer (Node.js).

Puppeteer (Node.js) – die beste Wahl für komplexe Websites

Puppeteer emuliert den Browser besser als Selenium und lässt sich leicht mit Proxy-Authentifizierung einrichten. Empfohlen für Booking, Airbnb, Expedia.

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch({
    headless: true,
    args: [
      '--proxy-server=http://gate.proxycove.com:8000',
      '--disable-blink-features=AutomationControlled',
      '--no-sandbox'
    ]
  });

  const page = await browser.newPage();

  // Proxy-Authentifizierung
  await page.authenticate({
    username: 'your_username',
    password: 'your_password'
  });

  // webdriver verbergen
  await page.evaluateOnNewDocument(() => {
    Object.defineProperty(navigator, 'webdriver', {
      get: () => undefined
    });
  });

  // User-Agent
  await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36');

  await page.goto('https://www.booking.com/', { waitUntil: 'networkidle2' });
  
  const title = await page.title();
  console.log('Title:', title);

  await browser.close();
})();

Für noch besseren Schutz vor Erkennung verwenden Sie das Plugin puppeteer-extra-plugin-stealth – es verbirgt automatisch alle Anzeichen von Automatisierung.

Fertige Lösungen: Scrapy, Crawlee

Scrapy (Python) – ein Framework für großflächiges Parsen. Unterstützt Proxys über Middleware. Beispiel für die Einrichtung in settings.py:

# settings.py
DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 1,
}

# In Spider
class TravelSpider(scrapy.Spider):
    def start_requests(self):
        proxy = "http://your_username:your_password@gate.proxycove.com:8000"
        yield scrapy.Request(
            url="https://www.aviasales.com/",
            meta={'proxy': proxy},
            callback=self.parse
        )

Crawlee (Node.js) – modernes Framework mit integrierter Proxy-Rotation, Umgehung von Anti-Bot-Systemen, automatischen Wiederholungen. Ideal für Reise-Websites.

Umgehung von Anti-Bot-Systemen von Cloudflare, PerimeterX, Akamai

Selbst mit qualitativ hochwertigen Residential-Proxys können Sie auf Sperren stoßen, wenn Sie Anti-Bot-Systeme nicht richtig umgehen. Booking verwendet Cloudflare, Airbnb – PerimeterX, einige Websites – Akamai Bot Manager. Diese Systeme analysieren nicht nur die IP, sondern auch das Verhalten, das Fingerprinting des Browsers und den TLS-Handshake.

Cloudflare: Hauptmethoden zur Umgehung

1. Verwenden Sie Browserautomatisierung. Cloudflare überprüft JavaScript-Challenges, die im Browser ausgeführt werden. Einfache HTTP-Anfragen (requests, curl) bestehen diese Überprüfung nicht. Sie benötigen Puppeteer, Playwright oder Selenium mit den richtigen Einstellungen.

2. Verbergen Sie Anzeichen von Automatisierung. Installieren Sie puppeteer-extra-plugin-stealth (Node.js) oder undetected-chromedriver (Python). Diese Bibliotheken patchen den Browser, entfernen Eigenschaften wie navigator.webdriver, window.chrome und ändern die Berechtigungen der API.

3. Richtiger TLS-Fingerabdruck. Cloudflare analysiert den TLS-Handshake. Verwenden Sie Bibliotheken, die TLS von Browsern emulieren: curl-impersonate (emuliert Chrome/Firefox TLS), tls-client (Go), hrequests (Python).

4. Lösen Sie Captchas automatisch. Wenn Cloudflare ein Captcha anzeigt (Turnstile), verwenden Sie Captcha-Lösungsdienste: 2Captcha, Anti-Captcha, CapSolver. Diese integrieren sich über APIs und kosten 1-3 $ für 1000 Lösungen.

PerimeterX (Airbnb, einige Reise-Websites)

PerimeterX ist eines der komplexesten Anti-Bot-Systeme. Es analysiert das Benutzerverhalten (Mausbewegungen, Klicks, Scrollen), erstellt einen Fingerabdruck des Geräts und überprüft Cookies und localStorage.

Methoden zur Umgehung:

1. Emulieren Sie das Benutzerverhalten. Fügen Sie zufällige Pausen zwischen den Aktionen hinzu (2-5 Sekunden), bewegen Sie die Maus, scrollen Sie die Seite. Verwenden Sie in Puppeteer die Bibliothek ghost-cursor für realistische Mausbewegungen.

2. Speichern Sie Cookies und localStorage. PerimeterX generiert Tokens, die in Cookies (_px3, _pxhd) und localStorage gespeichert werden. Wenn Sie die IP wechseln, aber die Cookies speichern – ist das verdächtig. Entweder wechseln Sie die IP + löschen die Cookies, oder Sie verwenden Sticky Sessions (eine IP = eine Sitzung mit Cookies).

3. Verwenden Sie mobile Proxys. PerimeterX ist strenger gegenüber Datacenter-IPs. Mobile Proxys zeigen bessere Ergebnisse bei der Umgehung von PerimeterX.

Akamai Bot Manager

Akamai analysiert Sensordaten (Beschleunigungssensor, Gyroskop auf Mobilgeräten), WebGL-Fingerabdruck, Audio-Kontext und Geräteleistung. Die Umgehung erfordert eine fortschrittliche Browseremulation.

Empfehlungen: Verwenden Sie echte Browser (nicht headless), mobile Proxys, fügen Sie zufällige Verzögerungen hinzu, emulieren Sie Touch-Events. Für komplexe Fälle – verwenden Sie Browserfarmen (BrowserStack, LambdaTest) oder Anti-Detect-Browser (AdsPower, Multilogin).

Typische Fehler beim Parsen von Reise-Websites über Proxys

Selbst erfahrene Entwickler machen Fehler, die zu Sperren führen. Hier sind die häufigsten Probleme und deren Lösungen.

Fehler 1: Verwendung eines einzigen User-Agent für alle Anfragen

Wenn alle Ihre Anfragen mit demselben User-Agent (z. B. Standard Python requests: python-requests/2.28.0) eingehen, verrät das sofort den Bot. Selbst wenn Sie die IP wechseln, sieht die Website denselben UA und verknüpft die Anfragen.

Lösung: Verwenden Sie eine Liste von echten User-Agents von Browsern (Chrome, Firefox, Safari) und rotieren Sie diese. Die Bibliothek fake-useragent (Python) generiert automatisch zufällige UAs.

Fehler 2: Zu hohe Anfragegeschwindigkeit

Der Parser macht 100 Anfragen pro Sekunde – das ist physisch unmöglich für einen Menschen. Selbst mit verschiedenen IPs erkennen Anti-Bot-Systeme anomale Aktivitäten anhand von Mustern (alle Anfragen kommen genau nach 0,01 Sekunden).

Lösung: Fügen Sie zufällige Verzögerungen zwischen den Anfragen hinzu: time.sleep(random.uniform(2, 5)). Für Reise-Websites ist optimal: 2-5 Sekunden zwischen Anfragen von einer IP, 0,5-2 Sekunden zwischen Anfragen von verschiedenen IPs.

Fehler 3: Ignorieren von Cookies und Sitzungen

Reise-Websites verwenden Cookies zur Verfolgung von Sitzungen, Speicherung von Tokens von Anti-Bot-Systemen und Personalisierung von Preisen. Wenn Sie jede Anfrage ohne Cookies (als neuer Benutzer) stellen, ist das verdächtig.

Lösung: Verwenden Sie requests.Session() (Python) oder speichern Sie Cookies zwischen den Anfragen in Puppeteer. Für Sticky Sessions (eine IP = mehrere Anfragen) müssen Cookies unbedingt gespeichert werden.

Fehler 4: Nichtübereinstimmung von Geolokalisierung der IP und Browserparametern

IP aus Deutschland, aber die Sprache des Browsers ist Russisch, die Zeitzone ist UTC+3, die Währung ist Rubel. Anti-Bot-Systeme sehen diese Diskrepanz und blockieren die Anfrage.

Lösung: Synchronisieren Sie die Browserparameter mit der Geolokalisierung des Proxys. Wenn Sie eine deutsche IP verwenden – stellen Sie die deutsche Sprache ein (Accept-Language: de-DE), die Zeitzone Europe/Berlin, die Währung EUR.

Fehler 5: Verwendung von kostenlosen oder minderwertigen Proxys

Kostenlose Proxys und billige öffentliche Proxys sind bereits auf allen großen Reise-Websites blockiert. Ihre IPs stehen auf schwarzen Listen und haben einen schlechten Ruf (wurden für Spam, DDoS verwendet).

Lösung: Verwenden Sie qualitativ hochwertige Residential- oder Mobile-Proxys von vertrauenswürdigen Anbietern. Überprüfen Sie die Reputation der IPs über Dienste wie IPQualityScore, Scamalytics vor der Verwendung.