Les entreprises qui surveillent les appels d'offres en Russie, au Kazakhstan, dans les pays de l'UE et aux États-Unis se heurtent tôt ou tard à un même problème : le portail des marchés publics cesse soudainement de fournir des données, un captcha apparaît ou l'adresse IP est bannie. Cela se produit parce que les plateformes gouvernementales se protègent activement contre la collecte automatique d'informations. Analysons pourquoi cela se produit, quels pays filtrent particulièrement sévèrement le trafic et quel type de proxy choisir pour une surveillance stable des appels d'offres.
Pourquoi les portails de marchés publics bloquent-ils la collecte de données
Formelement, l'information sur les marchés publics est publique dans la plupart des pays — c'est une exigence de la législation sur la transparence des dépenses budgétaires. Mais « public » ne signifie pas « accessible pour la collecte automatisée à grande échelle ». Des plateformes comme l'EIS russe (zakupki.gov.ru), le portail kazakh goszakup.gov.kz, le TED européen (Tenders Electronic Daily) ou le SAM.gov américain sont conçues pour une consultation manuelle via un navigateur, et non pour des milliers de requêtes par minute provenant de scripts.
Lorsque qu'une adresse IP présente une activité anormale — des dizaines de requêtes par seconde, le même User-Agent, l'absence de pauses entre les clics — le système de protection (le plus souvent Cloudflare, DataDome ou un développement interne de l'administration gouvernementale) le reconnaît comme un bot. Ensuite, trois scénarios sont possibles : affichage d'un captcha, blocage temporaire de l'IP pendant 15 à 60 minutes ou bannissement complet par sous-réseau. Pour une entreprise qui construit son activité sur la surveillance des appels d'offres, chacun de ces scénarios signifie des appels d'offres manqués et de l'argent perdu.
Une difficulté supplémentaire est que de nombreuses plateformes d'appels d'offres exigent une authentification via une signature électronique (ECP) ou ne fournissent des données qu'après avoir passé une vérification JavaScript du navigateur. Cela signifie que changer simplement d'IP n'est pas suffisant — il faut imiter le comportement d'un utilisateur réel avec un environnement de navigateur réel.
Données ouvertes par pays : où la collecte est la plus difficile
Le niveau de protection et la disponibilité de l'API varient considérablement selon le pays. Analysons les juridictions clés avec lesquelles les analystes des marchés et les spécialistes des appels d'offres travaillent le plus souvent.
| Pays / région | Portail | Niveau de protection | Particularités |
|---|---|---|---|
| Russie | zakupki.gov.ru, B2B-Center | Moyen-élevé | Il existe une API officielle, mais avec des limites et une inscription |
| Kazakhstan | goszakup.gov.kz | Moyen | Temps d'attente fréquents avec un grand volume de requêtes |
| Union Européenne | TED (ted.europa.eu) | Bas-moyen | Exportation ouverte en XML/CSV, mais des restrictions géographiques sur certaines données |
| États-Unis | SAM.gov | Élevé | Vérification stricte du navigateur, inscription et clé API nécessaires |
| Ukraine | Prozorro | Bas | API entièrement ouverte, les proxies sont rarement nécessaires |
| Royaume-Uni | Contracts Finder, Find a Tender | Moyen | Blocage géographique des requêtes provenant de l'extérieur du Royaume-Uni |
La principale conclusion du tableau : même là où il existe formellement une API ouverte, il y a souvent des restrictions géographiques ou des limites strictes sur le nombre de requêtes provenant d'une seule IP. Si vous collectez des données depuis le Royaume-Uni tout en étant physiquement dans un autre pays, la requête peut être rejetée avant même d'être vérifiée pour un bot — simplement parce que l'IP n'est pas britannique. C'est ici que le rôle des proxies commence : ils permettent de demander des données depuis la géolocalisation souhaitée et de répartir la charge entre des dizaines d'adresses.
Quel type de proxy est nécessaire pour les plateformes d'appels d'offres
Pour la surveillance des marchés publics, il n'existe pas de solution universelle « un type de proxy pour tous les cas ». Le choix dépend de la plateforme avec laquelle vous travaillez et de l'agressivité de sa protection.
| Type de proxy | Quand utiliser | Risque de blocage |
|---|---|---|
| Proxies de data center | Portails avec API ouverte et protection faible (Prozorro, partiellement TED) | Moyen — les sous-réseaux des centres de données sont parfois déjà sur des listes noires |
| Proxies résidentiels | Plateformes avec Cloudflare/DataDome, restrictions géographiques (SAM.gov, Contracts Finder) | Faible — les IP ressemblent à des utilisateurs domestiques ordinaires |
| Proxies mobiles | Vérification ponctuelle de certains appels d'offres, faible fréquence de requêtes | Minimale, mais le coût du trafic est plus élevé |
En pratique, la plupart des entreprises qui surveillent les appels d'offres dans plusieurs pays simultanément utilisent une combinaison : des IP de data center pour les plateformes avec API ouverte, et des proxies résidentiels là où la protection est sérieuse ou une géolocalisation précise est nécessaire (par exemple, la requête doit provenir précisément de Londres, et non d'un point aléatoire en Europe). Les proxies résidentiels sont particulièrement utiles lorsque le portail vérifie non seulement l'IP, mais aussi la correspondance du fuseau horaire, de la langue du navigateur et de la géolocalisation de la requête — un non-respect de ces paramètres révèle immédiatement un trafic automatisé.
Configuration de la collecte de données : schéma pratique
Pour les analystes des marchés qui ne codent pas, mais gèrent le processus de collecte de données via des sous-traitants ou des services prêts à l'emploi, il est important de comprendre la logique de configuration, même sans toucher directement à la programmation. Voici un schéma étape par étape utilisé par les départements d'appels d'offres :
- Déterminez les portails cibles. Dressez une liste des plateformes par pays à surveiller et vérifiez s'ils ont une API officielle — cela réduit la charge sur les proxies.
- Vérifiez les exigences géographiques. Si la plateforme bloque les requêtes en dehors de son pays (comme le Contracts Finder britannique), prévoyez dans le budget des proxies résidentiels avec la géolocalisation requise.
- Configurez la rotation des IP. Pour une collecte régulière de données (plusieurs fois par jour), un changement automatique d'IP toutes les 5 à 15 minutes est nécessaire pour ne pas dépasser les limites de requêtes d'une seule adresse.
- Ajoutez des pauses entre les requêtes. Imitant le comportement humain — des délais de 3 à 10 secondes entre les accès aux pages — réduit la probabilité de déclenchement des systèmes anti-bots.
- Surveillez les captchas et les bans. Configurez des notifications sur l'augmentation du nombre de captchas — c'est un signal que le pool d'IP actuel est « usé » et qu'une rotation vers de nouvelles adresses est nécessaire.
- Conservez l'historique des requêtes. Tenez un journal des requêtes réussies et bloquées pour chaque portail — cela aide à comprendre quel type de proxy fonctionne le mieux pour une plateforme spécifique.
Conseil pratique :
Si vous surveillez des appels d'offres dans 3 à 4 pays simultanément, ne tentez pas d'utiliser le même pool d'IP pour toutes les plateformes. Séparez les proxies par pays à l'avance — cela réduit le risque que le ban sur un portail « affecte » la réputation de l'IP pour un autre.
Outils pour la surveillance des appels d'offres
Les entreprises écrivent rarement des parseurs depuis zéro — elles utilisent souvent des solutions prêtes à l'emploi ou combinent plusieurs outils. Voici les principales catégories utilisées pour la collecte de données sur les marchés publics :
- Parseurs d'appels d'offres prêts à l'emploi — des services comme Tenderplan, Контур.Закупки, B2B-Center surveillent — la logique de contournement des captchas est déjà intégrée, mais la configuration pour un portail spécifique peut nécessiter des proxies pour l'échelle.
- Plateformes de parsing sans code — Octoparse, ParseHub permettent de configurer la collecte de données via une interface visuelle sans écrire de code, avec prise en charge de la connexion de proxies externes.
- Navigateurs anti-détection — si la collecte de données nécessite une authentification sur le portail (par exemple, un compte personnel sur zakupki.gov.ru), des outils comme Dolphin Anty ou AdsPower aident à gérer plusieurs comptes en parallèle, chacun avec son propre proxy et empreinte de navigateur unique.
- Notifications RSS et email des portails eux-mêmes — là où cela est disponible (comme dans Prozorro), cela réduit le besoin de parsing actif et de proxies en général.
Le choix de l'outil dépend du volume : pour surveiller 1 à 2 catégories d'appels d'offres dans un seul pays, une notification RSS gratuite peut suffire. Mais s'il s'agit d'une surveillance complète des appels d'offres dans 5 à 10 pays avec des mises à jour quotidiennes, il est indispensable de lier un parseur + un pool de proxies + une rotation d'IP.
Erreurs fréquentes lors du parsing des marchés publics
La plupart des blocages lors de la surveillance des appels d'offres ne se produisent pas à cause de la collecte de données elle-même, mais à cause d'erreurs techniques dans la configuration. Voici ce qui conduit le plus souvent à un ban :
- Fréquence de requêtes trop élevée. Tenter de collecter tout le registre des achats en une seule session à la vitesse maximale se termine presque toujours par un captcha ou un ban temporaire de l'IP.
- Utilisation de la même IP pour plusieurs pays. Si une adresse accède à la fois au portail russe et au portail kazakh dans un court laps de temps, cela semble suspect pour les deux systèmes de protection.
- Ignorer le User-Agent et les en-têtes du navigateur. Même avec un bon proxy, une requête avec des en-têtes de navigateur « vides » ou obsolètes peut être reconnue comme un bot.
- Absence de rotation lors d'une surveillance prolongée. Si la collecte de données se fait en continu pendant plusieurs heures à partir d'une seule IP, la probabilité d'être banni augmente de manière exponentielle après la première heure.
- Negliger la correspondance géographique. Une requête à un portail britannique avec une IP des Pays-Bas peut passer une fois, mais lors d'accès réguliers, le système remarquera la non-conformité et commencera à demander une vérification.
Légalité de la collecte de données ouvertes
Il est important de distinguer deux concepts : la légalité d'accès aux données et le respect des conditions techniques d'utilisation du portail (ToS). L'information sur les marchés publics est publique par la loi dans la grande majorité des pays — c'est une exigence de transparence dans l'utilisation des fonds publics. Cependant, un portail spécifique peut établir ses propres règles d'accès automatisé : limites de requêtes, exigence d'inscription pour l'API, interdiction de scraping massif sans autorisation.
En pratique, la plupart des entreprises qui s'occupent d'analyse des appels d'offres opèrent dans une zone grise : les données sont publiques et leur collecte ne viole pas la loi sur l'accès à l'information, mais peut formellement contredire les conditions d'utilisation du portail. Ce n'est pas une infraction criminelle, mais lors d'un parsing systématique et agressif sans respecter des limites raisonnables, le risque de blocage des adresses IP et même de correspondance juridique avec l'administration du portail existe. Par conséquent, une rotation raisonnable des IP via des proxies résidentiels ou de data center n'est pas seulement une solution technique, mais aussi une solution de réputation : elle réduit la charge sur l'infrastructure du portail et minimise les conflits.
Conclusion
La surveillance des marchés publics et des appels d'offres dans différents pays nécessite une approche différente pour se protéger contre les blocages. Là où il existe une API ouverte sans limites strictes (Prozorro, partiellement TED), une rotation de base des IP suffit. Mais pour les plateformes avec une protection sérieuse et des restrictions géographiques — SAM.gov, Contracts Finder, certaines sections de l'EIS — une infrastructure plus sérieuse sera nécessaire : des proxies résidentiels avec la géolocalisation requise, des pauses entre les requêtes et une imitation soignée du comportement d'un utilisateur réel.
Si vous commencez à mettre en place un système de surveillance des appels d'offres et que vous prévoyez de travailler avec plusieurs pays simultanément, il est raisonnable de commencer avec des proxies résidentiels — ils offrent un niveau de confiance élevé de la part des systèmes de protection des portails et permettent de choisir précisément la géolocalisation requise. Pour des plateformes moins protégées avec une API ouverte, vous pouvez économiser en utilisant des proxies de data center — ils sont plus rapides et moins chers là où la protection agressive est absente.