Proxy per il parsing di Aviasales, Booking e Skyscanner: come raccogliere i prezzi senza blocchi

I travel-aggregatori come Aviasales, Booking, Skyscanner si proteggono attivamente dalla raccolta automatica di dati: bloccano gli IP dopo 10-20 richieste, mostrano captcha e distorcono i prezzi per i bot. Se monitori i prezzi dei voli o degli hotel per il tuo servizio, programma di affiliazione o analisi di mercato, senza proxy configurati correttamente riceverai un ban già dopo pochi minuti di lavoro del parser.

In questa guida analizzeremo quali proxy sono necessari per un parsing stabile dei siti di viaggio, come configurare la rotazione degli IP, aggirare i sistemi anti-bot di Cloudflare e Akamai, e quali errori portano ai blocchi anche quando si utilizzano i proxy.

Perché i travel-aggregatori bloccano il parsing e come lo fanno

I travel-aggregatori subiscono perdite reali a causa del parsing: ogni richiesta alla loro API costa denaro (pagano le compagnie aeree e gli hotel per l'accesso ai dati), e i concorrenti utilizzano i prezzi raccolti per attrarre clienti. Pertanto, Aviasales, Booking, Skyscanner, Kayak investono milioni nella protezione anti-bot.

Principali metodi di rilevamento del parsing

1. Analisi della frequenza delle richieste da un IP. Un utente normale effettua 3-5 ricerche per sessione, un parser — centinaia al minuto. Se dal tuo IP arrivano più di 15-20 richieste al minuto, il sistema lo contrassegna come sospetto. Dopo 50-100 richieste — blocco per 24 ore o per sempre.

2. Fingerprinting del browser. I siti di viaggio raccolgono decine di parametri: risoluzione dello schermo, fuso orario, font installati, impronta WebGL, fingerprint canvas, contesto audio. Se questi parametri non corrispondono alla geolocalizzazione dichiarata dell'IP (ad esempio, IP da Mosca, ma fuso orario UTC+8) — è un segnale di proxy o VPN.

3. Verifica della reputazione IP. I siti utilizzano database di noti fornitori di proxy, data center, server VPN. Se il tuo IP è presente in tali database (ad esempio, MaxMind GeoIP2, IPQualityScore, SEON), le richieste vengono bloccate o viene mostrato un captcha. Booking e Skyscanner sono particolarmente severi con gli IP provenienti da intervalli Amazon AWS, Google Cloud, DigitalOcean.

4. Analisi comportamentale. I sistemi anti-bot monitorano i movimenti del mouse, la velocità di scorrimento, le pause tra i clic. Selenium e Puppeteer, senza patch aggiuntive, lasciano tracce: la proprietà navigator.webdriver, assenza di plugin, dimensioni della finestra atipiche. Anche con i proxy, questo tipo di traffico è facilmente riconoscibile.

5. TLS-fingerprinting. I moderni sistemi anti-bot (Cloudflare, Akamai) analizzano i parametri della stretta di mano TLS: ordine delle suite di cifratura, estensioni, versione del protocollo. Le richieste Python e le librerie standard hanno un fingerprint TLS diverso dai browser — questo rivela immediatamente un bot.

Quali tipi di proxy sono adatti per il monitoraggio dei prezzi: confronto

Per il parsing dei travel-aggregatori vengono utilizzati tre tipi di proxy: residenziali, mobili e proxy di data center. Ogni tipo ha i suoi vantaggi, svantaggi e scenari di utilizzo. La scelta dipende dal volume di parsing, dal budget e dai requisiti di anonimato.

Caratteristiche di scelta per specifici siti di viaggio

Aviasales e Skyscanner — relativamente tolleranti al parsing tramite API (se hai accesso partner). Per il web parsing sono sufficienti proxy residenziali con rotazione ogni 5-10 richieste. I proxy di data center funzionano, ma richiedono un grande pool di IP (almeno 500 indirizzi) e una rotazione lenta (non più di 1 richiesta ogni 30 secondi da un IP).

Booking.com ed Expedia — utilizzano Cloudflare Enterprise con regole rigide. I proxy di data center vengono bloccati nel 90% dei casi anche con parsing lento. Sono necessari solo proxy residenziali o mobili, più l'emulazione di un browser reale (Selenium Stealth, Puppeteer Extra con plugin). Rotazione IP — dopo ogni 3-5 richieste.

Airbnb — uno dei siti più protetti. Richiede proxy residenziali con geolocalizzazione corrispondente alla richiesta di ricerca (se cerchi hotel a Parigi — l'IP deve essere francese). Sono obbligatori i cookie, il referer, le intestazioni del browser. I proxy mobili mostrano i migliori risultati per il parsing tramite API mobile.

Kayak e Momondo — livello medio di protezione. I proxy residenziali sono la scelta ottimale. È possibile utilizzare proxy di data center, ma con rotazione obbligatoria e ritardi tra le richieste (minimo 10-15 secondi).

Proxy residenziali vs proxy di data center: cosa scegliere per i siti di viaggio

La principale differenza tra i proxy residenziali e i proxy di data center è la fonte dell'indirizzo IP. I residenziali utilizzano IP di veri provider di servizi Internet domestici (Rostelecom, MTS, Comcast, Verizon), i proxy di data center utilizzano IP di server di aziende di hosting (AWS, Google Cloud, OVH). I siti di viaggio si fidano degli IP residenziali perché sono utilizzati da utenti normali.

Quando i proxy residenziali sono obbligatori

1. Parsing di siti con Cloudflare/Akamai. Booking, Expedia, Airbnb utilizzano questi sistemi — bloccano automaticamente il 95% degli IP di data center. I proxy residenziali superano il controllo, poiché i loro IP non sono presenti nei database dei fornitori di proxy.

2. Raccolta di prezzi legati alla geolocalizzazione. I siti di viaggio mostrano prezzi diversi agli utenti di diversi paesi e città (a causa di tasse, tassi di cambio, promozioni locali). Se hai bisogno di prezzi per una regione specifica (ad esempio, prezzi per residenti in Germania), i proxy residenziali con IP tedeschi sono l'unica opzione affidabile.

3. Parsing a lungo termine senza blocchi. Se monitori i prezzi 24/7 per mesi, i proxy residenziali si ripagano — non perdi tempo a sostituire IP bloccati e configurare nuovi proxy.

Quando è possibile utilizzare i proxy di data center

1. Parsing tramite API ufficiali. Se hai accesso partner all'API di Aviasales, all'API di Skyscanner — il tipo di proxy non è critico, le API sono meno sensibili alla fonte dell'IP. I proxy di data center offriranno alta velocità e basso costo.

2. Test e sviluppo del parser. Nella fase di scrittura e debug del codice utilizza i proxy di data center — sono più economici, più veloci, e non è un problema se alcuni IP vengono bloccati.

3. Parsing di aggregatori meno protetti. Alcuni siti di viaggio regionali o aggregatori di biglietti per autobus non utilizzano protezioni anti-bot avanzate. Per loro, i proxy di data center con un grande pool di IP e una rotazione lenta sono più che adeguati.

Strategia di rotazione IP: quanto spesso cambiare i proxy durante il parsing

La corretta rotazione degli IP è la chiave per un parsing a lungo termine senza blocchi. Se cambi IP troppo spesso, esaurirai rapidamente il pool di indirizzi e avrai costi elevati per il traffico. Se troppo raramente — accumulerai attività sospetta su un IP e riceverai un ban.

Tipi di rotazione dei proxy

1. Rotazione per richieste (rotating proxies). L'IP cambia automaticamente dopo ogni richiesta o dopo un numero prestabilito di richieste. La maggior parte dei fornitori di proxy residenziali offre questa modalità: ti connetti a un endpoint (ad esempio, gate.proxycove.com:8000), e l'IP cambia dal lato del fornitore.

Vantaggi: Facilità di configurazione, non è necessario gestire manualmente il pool di IP, rischio minimo di blocco di un singolo IP.
Svantaggi: Non è possibile controllare le sessioni (se è necessario mantenere i cookie o i token), ogni richiesta = nuovo IP = nuove spese di traffico.

2. Sticky sessions (proxy di sessione). L'IP è assegnato alla tua sessione per un certo periodo (di solito 10-30 minuti). Effettui diverse richieste da un IP, poi cambia automaticamente. Si configura tramite i parametri del proxy (ad esempio, aggiungendo session-id123 nel login).

Vantaggi: È possibile mantenere i cookie e i token all'interno della sessione, minori spese di traffico (un IP = più richieste).
Svantaggi: Se l'IP viene bloccato durante la sessione, tutte le richieste successive in quella sessione verranno bloccate.

3. Rotazione manuale dal pool. Ricevi un elenco di indirizzi IP (ad esempio, 1000) e gestisci la rotazione nel codice del parser: scegli un IP casuale dall'elenco, fai N richieste, passa al successivo. Tipico per i proxy di data center.

Vantaggi: Controllo completo sulla rotazione, è possibile escludere gli IP bloccati dal pool.
Svantaggi: È necessario scrivere la logica di rotazione nel codice, gestire lo stato degli IP (quali sono stati utilizzati, quali sono stati bloccati).

Frequenza di rotazione consigliata per i siti di viaggio

Importante: Questi sono valori medi. I limiti reali dipendono dall'ora del giorno (di notte i sistemi anti-bot sono più severi), dal tipo di richieste (cercare voli = maggiore carico sull'API rispetto alla visualizzazione di un hotel), dalla qualità dell'emulazione del browser. Inizia con valori conservativi (meno richieste per IP), poi aumenta gradualmente, monitorando la percentuale di blocchi.

Geo-targeting dei proxy: perché è importante il paese e la città dell'indirizzo IP

I siti di viaggio mostrano prezzi diversi a seconda della geolocalizzazione dell'utente. Questo non è un bug, ma un modello di business: le compagnie aeree e gli hotel stabiliscono tariffe diverse per mercati diversi. Ad esempio, un biglietto Mosca-New York può costare $600 per un utente in Russia e $750 per un utente negli Stati Uniti (a causa di tasse, concorrenza, potere d'acquisto).

Come i siti determinano la geolocalizzazione

1. Tramite indirizzo IP. Metodo principale. I siti utilizzano database GeoIP (MaxMind, IP2Location) che associano l'IP a città, regione, paese. L'accuratezza nella determinazione della città è del 70-90%, del paese è del 95-99%.

2. Tramite lingua del browser e fuso orario. Se l'IP mostra la Germania, ma la lingua del browser è russa e il fuso orario è UTC+3 (Mosca) — questo è un segnale di proxy. Il sito può mostrare un captcha o bloccare la richiesta.

3. Tramite valuta e impostazioni dell'account. Se sei loggato nel tuo account Booking, il sito ha memorizzato il tuo paese al momento della registrazione. Cambiare IP in un altro paese solleverà sospetti — Booking potrebbe chiedere di confermare l'identità o bloccare l'account.

Come scegliere correttamente la geolocalizzazione del proxy

Per raccogliere prezzi di un mercato specifico: Utilizza IP del paese i cui prezzi ti interessano. Se monitori i prezzi per il mercato russo — utilizza proxy residenziali russi. Per il mercato europeo — proxy dai paesi UE (Germania, Francia, Polonia). Per gli Stati Uniti — proxy americani.

Per aggirare le geoblock: Alcuni siti di viaggio o offerte speciali sono disponibili solo da determinati paesi. Ad esempio, i voli interni negli Stati Uniti sono spesso più economici se prenotati con un IP americano. Utilizza proxy del paese desiderato + imposta la lingua del browser e il fuso orario per quel paese.

Per il parsing di dati globali: Se hai bisogno di prezzi per tutti i mercati (ad esempio, per analisi), utilizza un pool di proxy provenienti da diversi paesi. Ruota la geolocalizzazione insieme all'IP: richiesta da un IP tedesco → prezzi tedeschi, richiesta da un IP francese → prezzi francesi.

Configurazione dei proxy per i parser e script più popolari

Consideriamo la configurazione dei proxy per gli strumenti di parsing più popolari dei siti di viaggio. Gli esempi sono forniti per proxy residenziali con rotazione, ma sono adatti anche per altri tipi.

Python + requests / httpx

L'opzione più semplice per il parsing di API o pagine semplici senza JavaScript. Adatto per l'API di Aviasales, l'API di Skyscanner, endpoint semplici senza Cloudflare.

import requests

# Dati del proxy (sostituisci con i tuoi)
proxy_host = "gate.proxycove.com"
proxy_port = "8000"
proxy_user = "your_username"
proxy_pass = "your_password"

proxies = {
    "http": f"http://{proxy_user}:{proxy_pass}@{proxy_host}:{proxy_port}",
    "https": f"http://{proxy_user}:{proxy_pass}@{proxy_host}:{proxy_port}"
}

# Intestazioni del browser (obbligatorio!)
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
    "Accept-Language": "en-US,en;q=0.9",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
    "Referer": "https://www.google.com/"
}

# Richiesta tramite proxy
response = requests.get(
    "https://www.aviasales.com/search",
    proxies=proxies,
    headers=headers,
    timeout=30
)

print(response.status_code)
print(response.text[:500])  # Prime 500 caratteri della risposta

Importante: Per i proxy residenziali con rotazione, ogni nuova richiesta riceverà automaticamente un nuovo IP. Se hai bisogno di una sessione sticky (un IP per più richieste), aggiungi l'ID di sessione nel nome utente: your_username-session-12345.

Selenium (per siti con JavaScript)

Booking, Expedia, Airbnb utilizzano attivamente JavaScript per il rendering dei contenuti e controlli anti-bot. Selenium emula un vero browser, ma richiede impostazioni aggiuntive per aggirare il rilevamento.

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service

# Impostazioni Chrome
chrome_options = Options()

# Proxy
proxy_host = "gate.proxycove.com"
proxy_port = "8000"
proxy_user = "your_username"
proxy_pass = "your_password"

# Formato proxy per Chrome
chrome_options.add_argument(f'--proxy-server=http://{proxy_host}:{proxy_port}')

# Nascondere l'automazione
chrome_options.add_argument('--disable-blink-features=AutomationControlled')
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option('useAutomationExtension', False)

# User-Agent
chrome_options.add_argument('user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36')

driver = webdriver.Chrome(options=chrome_options)

# Rimuovere la proprietà webdriver
driver.execute_script("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})")

# Autenticazione del proxy (se richiesta)
# Per Chrome è necessario creare un'estensione con autenticazione, vedere selenium-wire o più semplicemente utilizzare Puppeteer

driver.get("https://www.booking.com/")
print(driver.title)
driver.quit()

Problema: Chrome non supporta l'autenticazione del proxy tramite login:password direttamente. Soluzioni: utilizzare la libreria selenium-wire (aggiunge proxy con autenticazione), creare un'estensione Chrome per l'autenticazione, oppure utilizzare Puppeteer (Node.js).

Puppeteer (Node.js) — la scelta migliore per siti complessi

Puppeteer emula meglio il browser rispetto a Selenium e si configura facilmente con l'autenticazione del proxy. Raccomandato per Booking, Airbnb, Expedia.

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch({
    headless: true,
    args: [
      '--proxy-server=http://gate.proxycove.com:8000',
      '--disable-blink-features=AutomationControlled',
      '--no-sandbox'
    ]
  });

  const page = await browser.newPage();

  // Autenticazione del proxy
  await page.authenticate({
    username: 'your_username',
    password: 'your_password'
  });

  // Nascondere il webdriver
  await page.evaluateOnNewDocument(() => {
    Object.defineProperty(navigator, 'webdriver', {
      get: () => undefined
    });
  });

  // User-Agent
  await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36');

  await page.goto('https://www.booking.com/', { waitUntil: 'networkidle2' });
  
  const title = await page.title();
  console.log('Titolo:', title);

  await browser.close();
})();

Per una protezione ancora migliore dal rilevamento, utilizza il plugin puppeteer-extra-plugin-stealth — nasconde automaticamente tutti i segni di automazione.

Soluzioni pronte: Scrapy, Crawlee

Scrapy (Python) — framework per il parsing su larga scala. Supporta i proxy tramite middleware. Esempio di configurazione in settings.py:

# settings.py
DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 1,
}

# Nello spider
class TravelSpider(scrapy.Spider):
    def start_requests(self):
        proxy = "http://your_username:your_password@gate.proxycove.com:8000"
        yield scrapy.Request(
            url="https://www.aviasales.com/",
            meta={'proxy': proxy},
            callback=self.parse
        )

Crawlee (Node.js) — framework moderno con rotazione dei proxy incorporata, aggiramento dei sistemi anti-bot, retry automatici. Ottimo per i siti di viaggio.

Aggirare i sistemi anti-bot di Cloudflare, PerimeterX, Akamai

Anche con proxy residenziali di alta qualità, puoi incontrare blocchi se non aggiri correttamente i sistemi anti-bot. Booking utilizza Cloudflare, Airbnb — PerimeterX, alcuni siti — Akamai Bot Manager. Questi sistemi analizzano non solo l'IP, ma anche il comportamento, il fingerprint del browser, la stretta di mano TLS.

Cloudflare: principali metodi di aggiramento

1. Utilizza l'automazione del browser. Cloudflare verifica la sfida JavaScript, che viene eseguita nel browser. Richieste HTTP semplici (requests, curl) non supereranno il controllo. È necessario Puppeteer, Playwright o Selenium con impostazioni corrette.

2. Nascondi i segni di automazione. Installa puppeteer-extra-plugin-stealth (Node.js) o undetected-chromedriver (Python). Queste librerie patchano il browser, rimuovendo le proprietà navigator.webdriver, window.chrome, modificando le API delle autorizzazioni.

3. Corretto fingerprint TLS. Cloudflare analizza la stretta di mano TLS. Utilizza librerie che emulano TLS dei browser: curl-impersonate (emula TLS di Chrome/Firefox), tls-client (Go), hrequests (Python).

4. Risolvi i captcha automaticamente. Se Cloudflare mostra un captcha (Turnstile), utilizza servizi di risoluzione dei captcha: 2Captcha, Anti-Captcha, CapSolver. Si integrano tramite API e costano $1-3 per 1000 soluzioni.

PerimeterX (Airbnb, alcuni siti di viaggio)

PerimeterX è uno dei sistemi anti-bot più complessi. Analizza il comportamento dell'utente (movimenti del mouse, clic, scorrimento), crea un fingerprint del dispositivo, controlla i cookie e il localStorage.

Metodi di aggiramento:

1. Emula il comportamento dell'utente. Aggiungi pause casuali tra le azioni (2-5 secondi), muovi il mouse, scorri la pagina. In Puppeteer utilizza la libreria ghost-cursor per movimenti del mouse realistici.

2. Mantieni i cookie e il localStorage. PerimeterX genera token che vengono memorizzati nei cookie (_px3, _pxhd) e nel localStorage. Se cambi IP, ma mantieni i cookie — questo è sospetto. O cambia IP + pulisci i cookie, oppure utilizza sessioni sticky (un IP = una sessione con cookie).

3. Utilizza proxy mobili. PerimeterX è più severo con gli IP di data center. I proxy mobili mostrano i migliori risultati per aggirare PerimeterX.

Akamai Bot Manager

Akamai analizza i dati sensoriali (accelerometro, giroscopio sui mobili), fingerprint WebGL, contesto audio, prestazioni del dispositivo. L'aggiramento richiede un'emulazione avanzata del browser.

Raccomandazioni: Utilizza browser reali (non headless), proxy mobili, aggiungi ritardi casuali, emula eventi sensoriali (touch events). Per casi complessi — utilizza farm di browser (BrowserStack, LambdaTest) o browser anti-detect (AdsPower, Multilogin).

Errori comuni durante il parsing dei siti di viaggio tramite proxy

Anche gli sviluppatori esperti commettono errori che portano a blocchi. Ecco i problemi più frequenti e le loro soluzioni.

Errore 1: Utilizzo di un unico User-Agent per tutte le richieste

Se tutte le tue richieste arrivano con lo stesso User-Agent (ad esempio, il classico Python requests: python-requests/2.28.0), questo rivela immediatamente un bot. Anche se cambi IP, il sito vede lo stesso UA e collega le richieste.

Soluzione: Utilizza un elenco di User-Agent reali dei browser (Chrome, Firefox, Safari) e ruotali. La libreria fake-useragent (Python) genera automaticamente UA casuali.

Errore 2: Velocità delle richieste troppo alta

Il parser effettua 100 richieste al secondo — questo è fisicamente impossibile per un essere umano. Anche con IP diversi, i sistemi anti-bot rilevano un'attività anomala in base ai pattern (tutte le richieste arrivano esattamente dopo 0.01 secondi).

Soluzione: Aggiungi ritardi casuali tra le richieste: time.sleep(random.uniform(2, 5)). Per i siti di viaggio, è ottimale: 2-5 secondi tra le richieste da un IP, 0.5-2 secondi tra le richieste da IP diversi.

Errore 3: Ignorare i cookie e le sessioni

I siti di viaggio utilizzano cookie per monitorare le sessioni, memorizzare i token dei sistemi anti-bot, personalizzare i prezzi. Se effettui ogni richiesta senza cookie (come un nuovo utente), questo è sospetto.

Soluzione: Utilizza requests.Session() (Python) o mantieni i cookie tra le richieste in Puppeteer. Per sessioni sticky (un IP = più richieste) è fondamentale mantenere i cookie.

Errore 4: Incongruenza tra geolocalizzazione IP e parametri del browser

IP dalla Germania, ma la lingua del browser è russa, fuso orario — UTC+3, valuta — rubli. I sistemi anti-bot vedono questa incongruenza e bloccano la richiesta.

Soluzione: Sincronizza i parametri del browser con la geolocalizzazione del proxy. Se utilizzi un IP tedesco — imposta la lingua tedesca (Accept-Language: de-DE), fuso orario Europe/Berlin, valuta EUR.

Errore 5: Utilizzo di proxy gratuiti o di bassa qualità

I proxy gratuiti e i proxy pubblici economici sono già bloccati su tutti i principali siti di viaggio. I loro IP sono presenti nelle liste nere, hanno una cattiva reputazione (sono stati utilizzati per spam, DDoS).

Soluzione: Utilizza proxy residenziali o mobili di alta qualità da fornitori affidabili. Controlla la reputazione degli IP tramite servizi come IPQualityScore, Scamalytics prima di utilizzarli.