Le aziende che monitorano le gare in Russia, Kazakistan, nei paesi dell'UE e negli Stati Uniti, prima o poi si trovano di fronte allo stesso problema: il portale degli appalti pubblici smette improvvisamente di fornire dati, appare un captcha o l'indirizzo IP viene bloccato. Questo accade perché le piattaforme governative si proteggono attivamente dalla raccolta automatica di informazioni. Analizziamo perché ciò accade, quali paesi filtrano il traffico in modo particolarmente severo e quale tipo di proxy scegliere per un monitoraggio stabile delle gare.
Perché i portali degli appalti pubblici bloccano la raccolta di dati
Formalmente, le informazioni sugli appalti pubblici nella maggior parte dei paesi sono pubbliche: è un requisito della legislazione sulla trasparenza delle spese pubbliche. Ma "pubblico" non significa "accessibile per la raccolta automatizzata su larga scala". Piattaforme come l'EIS russo (zakupki.gov.ru), il portale kazako goszakup.gov.kz, l'europea TED (Tenders Electronic Daily) o l'americana SAM.gov sono progettate per la visualizzazione manuale tramite browser, non per migliaia di richieste al minuto da script.
Quando da un indirizzo IP si verifica un'attività anomala — decine di richieste al secondo, lo stesso User-Agent, assenza di pause tra i clic — il sistema di protezione (spesso Cloudflare, DataDome o uno sviluppo interno dell'ente governativo) lo riconosce come un bot. Da qui possono verificarsi tre scenari: visualizzazione di un captcha, blocco temporaneo dell'IP per 15-60 minuti o blocco totale per subnet. Per un'azienda che costruisce un business sul monitoraggio delle gare, ciascuno di questi scenari significa gare perse e denaro perso.
Un'ulteriore difficoltà è che molte piattaforme di gara richiedono l'autenticazione tramite firma digitale (firma elettronica) o forniscono dati solo dopo aver superato un controllo JavaScript del browser. Questo significa che semplicemente cambiare IP non è sufficiente: è necessario imitare il comportamento di un utente reale con un ambiente di browser reale.
Dati aperti per paese: dove raccogliere è più difficile
Il livello di protezione e la disponibilità delle API variano notevolmente a seconda del paese. Analizziamo le giurisdizioni chiave, con cui lavorano più frequentemente gli analisti degli appalti e gli specialisti delle gare.
| Paese / regione | Portale | Livello di protezione | Caratteristiche |
|---|---|---|---|
| Russia | zakupki.gov.ru, B2B-Center | Medio-alto | Esiste un'API ufficiale, ma con limiti e registrazione |
| Kazakistan | goszakup.gov.kz | Medio | Frequenti timeout con un alto volume di richieste |
| Unione Europea | TED (ted.europa.eu) | Basso-medio | Esportazione aperta in XML/CSV, ma con geo-restrizioni su alcuni dati |
| Stati Uniti | SAM.gov | Alto | Controllo rigoroso del browser, è necessaria la registrazione e una chiave API |
| Ucraina | Prozorro | Basso | API completamente aperta, i proxy sono raramente necessari |
| Regno Unito | Contracts Finder, Find a Tender | Medio | Geo-blocco delle richieste non provenienti dal Regno Unito |
La principale conclusione dalla tabella: anche dove formalmente esiste un'API aperta, spesso ci sono geo-restrizioni o limiti severi sul numero di richieste da un singolo IP. Se stai raccogliendo dati dal Regno Unito, trovandoti fisicamente in un altro paese, la richiesta potrebbe essere rifiutata ancora prima di essere controllata per il bot — semplicemente perché l'IP non è britannico. Qui inizia il ruolo dei proxy: consentono di richiedere dati dalla geolocalizzazione desiderata e di distribuire il carico tra decine di indirizzi.
Quale tipo di proxy è necessario per le piattaforme di gara
Per il monitoraggio degli appalti pubblici non esiste una soluzione universale "un tipo di proxy per ogni occasione". La scelta dipende da quale piattaforma stai utilizzando e quanto è aggressiva la sua protezione.
| Tipo di proxy | Quando utilizzare | Rischio di blocco |
|---|---|---|
| Proxy dei data center | Piattaforme con API aperta e protezione debole (Prozorro, parzialmente TED) | Medio — le subnet dei data center sono a volte già nelle blacklist |
| Proxy residenziali | Piattaforme con Cloudflare/DataDome, geo-restrizioni (SAM.gov, Contracts Finder) | Basso — gli IP sembrano utenti domestici normali |
| Proxy mobili | Controllo specifico di gare particolari, bassa frequenza di richieste | Minimo, ma il costo del traffico è più alto |
Nella pratica, la maggior parte delle aziende che monitorano le gare in più paesi contemporaneamente, utilizza una combinazione: IP dei data center per piattaforme con API aperta e residenziali — dove c'è una protezione seria o è necessaria una geolocalizzazione precisa (ad esempio, la richiesta deve provenire esattamente da Londra, e non da un punto qualsiasi d'Europa). I proxy residenziali sono particolarmente utili quando il portale verifica non solo l'IP, ma anche la corrispondenza del fuso orario, della lingua del browser e della geolocalizzazione della richiesta — la non corrispondenza di questi parametri rivela immediatamente il traffico automatizzato.
Configurazione della raccolta dati: schema pratico
Per gli analisti degli appalti che non scrivono codice, ma gestiscono il processo di raccolta dati tramite appaltatori o servizi pronti, è importante comprendere la logica della configurazione, anche senza toccare direttamente la programmazione. Ecco uno schema passo-passo che utilizzano i dipartimenti di gara:
- Definisci i portali target. Crea un elenco delle piattaforme per paese da monitorare e verifica se hanno un'API ufficiale — questo riduce il carico sui proxy.
- Controlla i requisiti geo. Se la piattaforma blocca le richieste non provenienti dal proprio paese (come il Contracts Finder britannico), includi nel budget i proxy residenziali con la geolocalizzazione necessaria.
- Configura la rotazione degli IP. Per la raccolta regolare di dati (più volte al giorno) è necessaria una sostituzione automatica degli IP ogni 5-15 minuti, per non superare i limiti di richieste da un singolo indirizzo.
- Aggiungi pause tra le richieste. Imitare il comportamento umano — ritardi di 3-10 secondi tra le visite alle pagine — riduce la probabilità di attivazione dei sistemi anti-bot.
- Monitora i captcha e i blocchi. Imposta notifiche per l'aumento del numero di captcha — questo è un segnale che il pool attuale di IP è "riscaldato" e è necessaria una rotazione su nuovi indirizzi.
- Conserva la cronologia delle richieste. Tieni un registro delle richieste riuscite e bloccate per ciascun portale — questo aiuta a capire quale tipo di proxy funziona meglio per una piattaforma specifica.
Consiglio pratico:
Se monitori le gare da 3-4 paesi contemporaneamente, non cercare di utilizzare lo stesso pool di IP per tutte le piattaforme. Dividi i proxy per paese in anticipo — questo riduce il rischio che un blocco su un portale "colpisca" la reputazione dell'IP per un altro.
Strumenti per il monitoraggio delle gare
Le aziende raramente scrivono parser da zero — più spesso utilizzano soluzioni pronte o combinano diversi strumenti. Ecco le principali categorie utilizzate per la raccolta di dati sugli appalti pubblici:
- Parser di gare pronti — servizi come Tenderplan, Контур.Закупки, B2B-Center monitoraggio — hanno già integrata la logica per bypassare i captcha, ma la configurazione per un portale specifico potrebbe richiedere proxy per la scalabilità.
- Piattaforme di parsing no-code — Octoparse, ParseHub consentono di configurare la raccolta di dati tramite un'interfaccia visiva senza scrivere codice, con supporto per la connessione di proxy esterni.
- Browser anti-detect — se la raccolta di dati richiede autenticazione sul portale (ad esempio, area personale su zakupki.gov.ru), strumenti come Dolphin Anty o AdsPower aiutano a gestire più account contemporaneamente, ciascuno con il proprio proxy e un'impronta del browser unica.
- RSS e notifiche email dai portali stessi — dove disponibili (come in Prozorro), questo riduce la necessità di un parsing attivo e di proxy in generale.
La scelta dello strumento dipende dal volume: per monitorare 1-2 categorie di appalti in un paese può bastare una notifica RSS gratuita. Ma se si tratta di monitoraggio completo delle gare in 5-10 paesi con aggiornamenti quotidiani, non si può fare a meno di una combinazione di parser + pool di proxy + rotazione IP.
Errori comuni nel parsing degli appalti pubblici
La maggior parte dei blocchi durante il monitoraggio delle gare avviene non a causa del fatto stesso della raccolta di dati, ma a causa di errori tecnici nella configurazione. Ecco cosa porta più spesso a un blocco:
- Frequenza di richieste troppo alta. Tentare di raccogliere l'intero registro degli appalti in una sola sessione alla massima velocità quasi sempre termina con un captcha o un blocco temporaneo dell'IP.
- Utilizzo dello stesso IP per più paesi. Se un indirizzo accede sia al portale russo che a quello kazako in un breve intervallo di tempo, questo appare sospetto per entrambi i sistemi di protezione.
- Ignorare User-Agent e intestazioni del browser. Anche con un buon proxy, una richiesta con intestazioni del browser "vuote" o obsolete può essere riconosciuta come bot.
- Assenza di rotazione durante un monitoraggio prolungato. Se la raccolta di dati avviene continuamente per diverse ore da un IP, la probabilità di essere bloccati cresce esponenzialmente dopo la prima ora.
- Negligenza della corrispondenza geo. Una richiesta al portale britannico con un IP dai Paesi Bassi può passare una volta, ma con richieste regolari il sistema noterà la non corrispondenza e inizierà a richiedere conferma.
Legalità della raccolta di dati aperti
È importante distinguere due concetti: la legalità dell'accesso ai dati e il rispetto delle condizioni tecniche di utilizzo del portale (ToS). Le informazioni sugli appalti pubblici nella stragrande maggioranza dei paesi sono pubbliche per legge — è un requisito di trasparenza nell'uso delle risorse di bilancio. Tuttavia, un portale specifico può stabilire le proprie regole per l'accesso automatizzato: limiti di richieste, richiesta di registrazione per l'API, divieto di scraping di massa senza autorizzazione.
Nella pratica, la maggior parte delle aziende che si occupano di analisi delle gare opera in una zona grigia: i dati sono pubblici e la loro raccolta non viola la legge sull'accesso alle informazioni, ma può formalmente contraddire il contratto di utilizzo del portale. Questo non è un reato penale, ma con un parsing sistematico, aggressivo senza rispettare limiti ragionevoli, esiste il rischio di blocco degli indirizzi IP e persino di corrispondenza legale con l'amministrazione del portale. Pertanto, una ragionevole rotazione degli IP tramite proxy residenziali o dei data center è non solo una soluzione tecnica, ma anche reputazionale: riduce il carico sull'infrastruttura del portale e minimizza i conflitti.
Conclusione
Il monitoraggio degli appalti pubblici e delle gare in diversi paesi richiede approcci diversi per proteggersi dai blocchi. Dove esiste un'API aperta senza limiti severi (Prozorro, parzialmente TED), è sufficiente una base di rotazione degli IP. Ma per le piattaforme con protezione seria e geo-restrizioni — SAM.gov, Contracts Finder, sezioni specifiche dell'EIS — sarà necessaria un'infrastruttura più seria: proxy residenziali con la geolocalizzazione necessaria, pause tra le richieste e un'attenta imitazione del comportamento di un utente reale.
Se stai appena iniziando a costruire un sistema di monitoraggio delle gare e intendi lavorare con più paesi contemporaneamente, è ragionevole iniziare con proxy residenziali — forniscono un alto livello di fiducia da parte dei sistemi di protezione dei portali e consentono di selezionare con precisione la geolocalizzazione necessaria. Per piattaforme meno protette con API aperta si può risparmiare, utilizzando proxy dei data center — sono più veloci e più economici dove la protezione aggressiva è assente.