Il web scraping agent-based è il principale cambiamento dell'estate 2026. Solo un anno fa, creare un parser significava scrivere manualmente selettori CSS, gestire la paginazione e riparare il codice dopo ogni redesign del sito. Ora basta fornire a un agente AI un link e un obiettivo in parole: «raccogli i nomi e i prezzi dei prodotti da questo sito» — e lui stesso naviga tra le pagine, riconosce la struttura e genera un scraper pronto. All'inizio di giugno 2026, Bright Data ha mostrato pubblicamente un tale agente: attraverso l'URL e un compito testuale, esplora il sito, trova campi come nomi, prezzi e selettori, e poi produce un completo scraper in Python. I processi che prima richiedevano ore e giorni ora si completano in pochi minuti.
Tuttavia, questa rivoluzione ha un rovescio della medaglia, di cui i video promozionali tacciono: scrivere parser è diventato facile, ma lanciare essi è ancora difficile. L'agente si scontra esattamente con lo stesso muro di uno script normale: il rilevamento tramite IP, impronta TLS e comportamento. Analizziamo cosa è realmente cambiato, dove passa il nuovo confine e perché nell'era degli agenti i proxy non stanno scomparendo, ma diventano più critici.
Cosa è cambiato: agente contro script
Lo scraper classico segue un'istruzione rigida: accedere all'indirizzo, estrarre il valore tramite il selettore, sfogliare la pagina. Si rompe a qualsiasi cambiamento nel layout. L'agente AI funziona in modo diverso: «osserva la pagina, riflette sulla sua struttura e decide come estrarre i dati dinamicamente». Quando il layout cambia, l'agente ridefinisce la logica di estrazione al volo, senza modifiche manuali.
I numeri spiegano l'entusiasmo. Secondo uno studio dell'Università di McGill, i metodi AI mantenevano 98,4% di precisione anche con cambiamenti nella struttura delle pagine, e il tempo di configurazione si riduceva da settimane a ore. In un caso aziendale, una compagnia ha sostituito 15 scraper manuali con un'unica AI: la precisione è aumentata dal 71% al 96%, e i costi del primo anno sono scesi da 4,1 milioni a 270 mila dollari. Cambia anche la struttura del lavoro: se prima il 20% del tempo era dedicato allo sviluppo e l'80% al supporto, secondo una stima di Kadoa per il 2026, i team ora dedicano fino al 95% del tempo all'utilizzo dei dati, e non alla riparazione degli scraper.
Il mercato reagisce con i soldi. Il software per il web scraping è stato valutato 1,03 miliardi di dollari nel 2025, con una previsione di crescita fino a 2,7 miliardi entro il 2035 — e questo senza considerare che circa il 70% dei modelli AI generativi viene addestrato principalmente su dati raccolti tramite scraping. I dati sono il carburante dell'IA, e gli agenti sono la nuova pompa.
Nuovi strumenti sotto il cofano
Dietro la frase «l'AI scriverà da sola il parser» ci sono progetti concreti: librerie di estrazione basate su intenti come ScrapeGraphAI e Crawl4AI, piattaforme Apify e Firecrawl con server MCP pronti. Gli agenti stessi nel 2026 hanno assunto quattro forme: orchestratori (LangChain, CrewAI, LangGraph), agenti di azione browser (Browser Use, Stagehand), Computer Use di Claude e OpenAI, e anche CLI co-piloti come Claude Code e Gemini CLI. Diverse interfacce — un'unica necessità comune: accesso affidabile a siti web attivi.
MCP — il nuovo standard di «presa» per i dati
Il cambiamento tecnico chiave dell'anno è Model Context Protocol (MCP). Questo è un protocollo attraverso il quale l'agente chiama strumenti esterni come pronte «prese»: scraper, parser, risolutore di captcha. I fornitori offrono server MCP che danno all'agente comandi come scrape, extract e screenshot, e lui orchestra una raccolta di dati multi-step in linguaggio naturale — senza XPath, selettori CSS e studio del framework. Bright Data, Apify, Firecrawl e altri già forniscono scraper compatibili con MCP; i conveyor self-healing diagnosticano e riparano autonomamente i guasti quando il sito cambia.
Suona come la fine dell'era del web scraping manuale. Nella pratica, l'MCP sposta solo la complessità a un livello inferiore. Come dicono onestamente gli ingegneri: «il web scraping è il layer portante di qualsiasi agente che interagisce con siti web attivi». E il layer portante sostiene tutto il peso — inclusa la protezione anti-bot.
L'agente si è scontrato con lo stesso muro
Il traffico automatico costituisce già circa la metà di tutte le richieste su internet, e la protezione è cresciuta di conseguenza. Cloudflare con la sua gestione dei bot copre circa il 20% del web pubblico, DataDome afferma di bloccare oltre il 99% del traffico automatizzato non autorizzato sulle proprie piattaforme. Questi sistemi non si preoccupano affatto se la richiesta è stata scritta da un umano, uno script o l'agente più intelligente — guardano ai segnali.
Ci sono cinque segnali, e funzionano a strati:
- Reputazione IP — gli indirizzi dei data center e VPN vengono contrassegnati immediatamente, mentre quelli residenziali durano di più.
- Impronta TLS (JA3/JA4) — i client HTTP come Python
requestshanno una firma caratteristica dell'handshake, che il WAF vede chiaramente. - Impronta del browser — Canvas, WebGL e proprietà del navigator rivelano la modalità headless.
- Comportamento — richieste a raffica e tempistiche innaturali attivano il blocco.
- Captcha — sfide reCAPTCHA e hCaptcha orientate al rischio.
Qui si nasconde la trappola dell'era degli agenti. L'agente genera brillantemente codice, ma naviga nella rete con lo stesso client. Da qui la regola che annulla metà del marketing: «un proxy residenziale con impronta Python requests fallirà comunque su un obiettivo sensibile al TLS». Cloudflare richiede l'esecuzione di JavaScript e un vero stack TLS del browser — le «bare» librerie HTTP non funzionano affatto contro di lui. Perché il rilevamento è diventato un gioco di identità, e non solo di IP, abbiamo analizzato in dettaglio nel materiale su JA4 e il fingerprinting TLS — gli agenti non hanno annullato questo confine, ma lo hanno reso più evidente.
Aggiungi un nuovo strato normativo. A luglio 2026, Cloudflare ha suddiviso i bot in tre categorie — search, agent e training — e dal 15 settembre blocca per impostazione predefinita agent e training su pagine monetizzabili. Ciò significa che anche un parser generato in modo impeccabile dall'agente ora incontra per impostazione predefinita una porta chiusa su un quinto del web.
Perché i proxy nell'era degli agenti non stanno scomparendo, ma diventano più costosi
La conclusione è paradossale per coloro che si aspettavano che «l'IA farà tutto da sola»: più intelligente diventa il layer superiore (generazione di codice), più importante è il layer inferiore (accesso alla rete). Il costo dell'accesso è ben visibile nella fascia di mercato per 1000 pagine: obiettivi semplici (blog, documentazione) — quasi gratuiti; e-commerce di media complessità — 3–10 dollari; obiettivi pesanti come LinkedIn e siti dietro Cloudflare — 8–20; i più protetti, con captcha, come Amazon — 15–30. La differenza non è creata dall'agente, ma dalla qualità dell'infrastruttura di accesso: tipo di proxy, reale stack del browser, rotazione e comportamento.
La scelta pratica del proxy per l'agente rimane la stessa, solo con scommesse più alte:
- Proxy residenziali — base per obiettivi dietro Cloudflare/DataDome: gli IP domestici reali superano il controllo della reputazione, dove il data center viene escluso immediatamente.
- Proxy mobili — IP degli operatori con la massima fiducia per social media e aggregatori, dove la reputazione fa la differenza.
- Proxy di data center — veloci ed economici per obiettivi semplici e compiti di grande volume, dove non ci sono rigide protezioni anti-bot: non sprecate costoso traffico residenziale dove basta un data center.
E una voce di spesa separata che gli agenti hanno portato con sé: cicli incontrollabili. Quando l'agente «ragiona» e naviga autonomamente nel sito, il looping diventa il principale motore di costo dell'esecuzione — può sfogliare pagine e consumare sia i token del modello che il traffico del proxy. Da qui la pratica: fornire ai modelli markdown invece di HTML grezzo (meno token), memorizzare le risposte tra le estrazioni e limitare rigidamente la profondità della navigazione.
Cosa significa questo nella pratica
Se stai costruendo una raccolta di dati basata su agenti nel 2026, tieni a mente quattro strati indipendenti, ognuno dei quali può rompersi da solo: caricamento stabile, osservazione strutturata, sessioni resilienti e integrazione degli strumenti. L'agente copre gli strati superiori — comprensione della pagina e generazione della logica. Gli ultimi due — rete e identità — sono a tuo carico:
- Guida l'agente attraverso un vero browser (Playwright, Puppeteer), e non attraverso un client HTTP nudo — solo così l'impronta TLS corrisponderà a un vero Chrome.
- Seleziona il tipo di proxy in base all'obiettivo, e non «residenziale per tutto»: questo riduce direttamente il budget nella fascia sopra.
- Lascia una persona per la validazione dei dati — il ruolo si è spostato dalla riparazione dei selettori al controllo della qualità, ma non è scomparso.
- Imposta limiti sulla profondità e sui cicli — altrimenti, l'agente «intelligente» consumerà silenziosamente il budget in un loop infinito.
Conclusione
Il 2026 ha reso la scrittura di parser quasi gratuita: l'agente AI costruisce e ripara una catena di montaggio con una sola frase, l'MCP ha trasformato gli strumenti di raccolta in «prese» standard, e il supporto del codice ha smesso di essere il principale problema. Ma il rilevamento non è scomparso — guarda a IP, TLS e comportamento, e l'agente deve superare le stesse porte che uno script doveva affrontare dieci anni fa. Pertanto, il vero confine della concorrenza si è spostato verso il basso: non vince chi ha l'agente più intelligente, ma chi ha l'identità più pulita e l'infrastruttura proxy giusta per il compito. Il layer superiore è diventato una merce — il valore è passato al layer portante.
```