Cloudflare stringe nuovamente le viti attorno ai crawler AI. L'azienda, attraverso la cui rete passa circa il 20% di tutto il traffico web, ha annunciato che a partire dal 15 settembre 2026 i crawler "misti" (mixed-use) saranno bloccati per impostazione predefinita sulle pagine pubblicitarie e monetizzabili — per tutti i nuovi clienti e per tutti i nuovi siti sugli account esistenti. Parallelamente, si espande il modello Pay Per Crawl, dove l'accesso del bot ai contenuti diventa un servizio a pagamento. Per chi si occupa di raccolta dati, questa non è una notizia astratta per gli editori — è un segnale diretto che la "zona grigia" del web aperto si restringe ulteriormente.
Cosa ha annunciato Cloudflare
La novità principale è il concetto di "crawler misto". Così Cloudflare definisce i bot che raccolgono dati per due scopi contemporaneamente: indicizzazione nei motori di ricerca e addestramento dei modelli AI. In passato, tali crawler operavano sotto il vessillo del bot "di ricerca" e ottenevano accesso ai contenuti in cambio di traffico. Ora Cloudflare rompe questo accordo: se un sito guadagna con la pubblicità, il crawler misto non è autorizzato ad accedere per impostazione predefinita alle pagine monetizzabili.
Dal punto di vista tecnico, ciò viene realizzato attraverso regole robots.txt gestite e aggiornate euristiche di gestione dei bot. Il proprietario del sito non deve scrivere nulla a mano — Cloudflare gestisce autonomamente le liste e la logica. La data di avvio per i nuovi siti è il 15 settembre 2026; i progetti esistenti potranno attivare il blocco a piacimento.
La posizione dell'azienda è stata riassunta dal suo CEO Matthew Prince: "Ora, quando la maggior parte del traffico su internet non è umano, dobbiamo agire in modo più deciso e veloce affinché possa emergere un'ecosistema sostenibile". Le modifiche sono state pubblicamente supportate da Associated Press, Time, The Atlantic e Reddit — cioè grandi editori che soffrono di più per l'estrazione gratuita dei loro contenuti.
Numeri che spiegano tutto
Per capire perché il fornitore di infrastrutture si sia coinvolto nella guerra contro le aziende AI, basta guardare il rapporto "crawl-to-referral" per il 2025, fornito dallo stesso Cloudflare:
- Google — 14:1. Per ogni 14 visite di pagina, il motore di ricerca invia al sito un visitatore reale. Accettabile: è il vecchio accordo "noi prendiamo i contenuti, voi ottenete traffico".
- OpenAI — 1.700:1. Per 1.700 visite, c'è una sola visita. Lo scambio ha già smesso di essere equivalente.
- Anthropic — 73.000:1. Settantatremila visite per una sola visita. Di fatto, i contenuti vengono estratti, e il traffico in cambio non c'è affatto.
È proprio questa asimmetria a rompere il vecchio modello del web "aperto per impostazione predefinita". Come hanno formulato con precisione gli analisti: "Dove il web era prima aperto, finché non lo chiudevi, ora una parte significativa è chiusa, finché non la apri". Questo è un'inversione del principio di default di 180 gradi — e colpisce non solo i laboratori AI, ma anche qualsiasi raccoglitore automatizzato che rientra nella stessa categoria.
Pay Per Crawl: l'accesso diventa una merce
La seconda parte dell'annuncio è l'espansione di Pay Per Crawl, il marketplace che Cloudflare ha lanciato in beta privata il 1° luglio 2025. La logica è semplice: invece di un'opzione binaria "consenti / blocca", l'editore ha una terza opzione — addebitarne il costo per ogni visita. Il proprietario del sito stabilisce la tariffa, e l'azienda AI decide se pagare o meno. Cloudflare funge da intermediario, che verifica l'identità del bot e gestisce i pagamenti.
Per il mercato, si tratta di un cambiamento tettonico. I dati, che per anni sono stati considerati "gratuiti perché pubblici", si trasformano in una risorsa a pagamento con un prezzo. E più Cloudflare espande questo modello, più costoso e complesso diventa l'accesso legale e "ufficiale" ai contenuti per coloro che non sono disposti a firmare contratti e pagare per ogni visita.
Come si collega a proxy e scraping
Qui si trova la principale conclusione pratica. Quando grandi piattaforme chiudono le porte ai crawler "onesti" tramite User-Agent, la domanda inevitabilmente si sposta verso strumenti che rendono il traffico indistinguibile da quello umano. Il fondatore della società di analisi Synthient, Ben Brandidge, afferma chiaramente: "L'AI sembra sicuramente stimolare la domanda di proxy residenziali" — perché le aziende cercano modi per aggirare i blocchi dei loro scraper.
La scala di questo strato ombra è già impressionante. Secondo IPInfo, solo sei fornitori monitorati hanno registrato quasi 79 milioni di indirizzi IP unici in 90 giorni. Inoltre, il mercato è fortemente intrecciato: circa il 46% degli indirizzi proxy residenziali è presente contemporaneamente nei pool di diversi fornitori, e singoli IP sono emersi in reti di oltre cento diversi servizi. Questo significa che un "proxy residenziale economico" si rivela spesso lo stesso indirizzo rivenduto, che è già apparso in decine di campagne altrui — e potrebbe già essere finito nelle liste nere.
Abbiamo già scritto che la pressione normativa sulla raccolta di dati sta crescendo parallelamente a quella tecnica: l'EU AI Act, che entrerà in vigore il 2 agosto 2026, conferisce peso a robots.txt e opt-out per l'addestramento dei modelli. L'azione di Cloudflare è la metà tecnica della stessa tendenza: le barriere legali e infrastrutturali si stanno avvicinando, e "inviare semplicemente una richiesta GET da un IP di data center" funziona sempre meno.
Cosa fare per i raccoglitori di dati
È presto per farsi prendere dal panico, ma è il momento di rivedere la propria strategia. Ecco alcuni orientamenti pratici per i prossimi mesi.
- Separa i compiti in base al livello di protezione. Per fonti aperte e poco protette, ci sono ancora abbastanza proxy di data center rapidi ed economici. Spendere traffico residenziale su di essi è denaro sprecato.
- Per i siti sotto Cloudflare, utilizza IP residenziali. Quando l'obiettivo invia richieste tramite gestione dei bot, i proxy residenziali di veri fornitori domestici salvano la situazione: il loro comportamento è considerato umano per impostazione predefinita. La chiave non è la dimensione assoluta del pool, ma la sua pulizia e la bassa percentuale di sovrapposizioni con altri servizi.
- IP mobili — per gli obiettivi più difficili. I social media e le piattaforme con un contorno anti-bot aggressivo funzionano meglio attraverso proxy mobili: dietro un IP dell'operatore ci sono migliaia di abbonati reali, quindi bloccarlo completamente non conviene alla piattaforma.
- Conta non il "volume", ma la "sopravvivenza". Dopo l'inversione di Cloudflare verso "chiuso per impostazione predefinita", la metrica di qualità diventa non gigabyte, ma la percentuale di pagine raccolte con successo senza divieti. Un pool economico rivenduto con il 46% di sovrapposizione di indirizzi fornisce un bel numero di traffico ma un tasso di successo fallimentare.
- Rispetta le regole dove ci sono. Se la fonte offre un'API ufficiale o condizioni di Pay Per Crawl, per pipeline produttive stabili è spesso più economico e affidabile rispetto a una corsa agli armamenti. I proxy sono uno strumento per dati pubblici, non per aggirare divieti contrattuali diretti.
Conclusione
Il passo di Cloudflare non è una notizia isolata, ma parte di una svolta sistematica: il web sta passando dal modello "aperto, finché non chiudi" a "chiuso, finché non apri". Rapporti come 73.000:1 mostrano perché questo sia inevitabile, e Pay Per Crawl trasforma l'accesso ai dati in una merce con un prezzo. Per lo scraping, questo significa una cosa: l'era in cui bastava un IP di data center e un'intestazione User-Agent sta finendo. Vince chi costruisce in anticipo la raccolta su reti residenziali e mobili pulite e conta non il volume di traffico, ma la percentuale di dati che sono realmente arrivati vivi. Le barriere continueranno a crescere — e la qualità dell'infrastruttura proxy diventa non una voce di costo, ma un fattore decisivo per ottenere i dati o meno.