Cloudflare resserre à nouveau les vis autour des crawlers IA. L'entreprise, par laquelle passe environ 20 % de tout le trafic web, a annoncé que, à partir du 15 septembre 2026, les crawlers « mixtes » seront par défaut bloqués sur les pages publicitaires et monétisées — pour tous les nouveaux clients et tous les nouveaux sites sur les comptes existants. Parallèlement, le modèle Pay Per Crawl est élargi, où l'accès du bot au contenu devient un service payant. Pour tous ceux qui collectent des données, ce n'est pas une nouvelle abstraite pour les éditeurs — c'est un signal direct que la « zone grise » du web ouvert se resserre d'un pas supplémentaire.
Que vient d'annoncer Cloudflare
La nouveauté clé est le concept de « crawler mixte ». C'est ainsi que Cloudflare désigne les bots qui collectent des données à la fois pour l'indexation dans les moteurs de recherche et pour l'apprentissage des modèles IA. Auparavant, ces crawlers passaient sous le drapeau des bots « de recherche » et obtenaient accès au contenu en échange de trafic. Maintenant, Cloudflare rompt cet accord : si un site génère des revenus grâce à la publicité, le crawler mixte n'est par défaut pas autorisé sur les pages monétisées.
Techniquement, cela se réalise grâce à des règles robots.txt gérées et à des heuristiques mises à jour pour la gestion des bots. Le propriétaire du site n'a rien à écrire manuellement — Cloudflare gère lui-même les listes et la logique. La date de lancement pour les nouveaux sites est le 15 septembre 2026 ; les projets existants pourront activer le blocage à leur convenance.
La position de l'entreprise a été résumée par son PDG Matthew Prince : « Maintenant que la majorité du trafic sur Internet n'est pas humain, nous devons agir plus rapidement et plus résolument pour qu'une écosystème durable puisse émerger ». Les changements ont été publiquement soutenus par l'Associated Press, Time, The Atlantic et Reddit — c'est-à-dire de grands éditeurs qui souffrent le plus de l'extraction gratuite de leur contenu.
Des chiffres qui expliquent tout
Pour comprendre pourquoi le fournisseur d'infrastructure s'est engagé dans une guerre contre les entreprises IA, il suffit de regarder le rapport « crawls to referrals » pour l'année 2025, que Cloudflare a lui-même fourni :
- Google — 14:1. Pour chaque 14 crawls d'une page, le moteur de recherche envoie un visiteur vivant au site. Acceptable : c'est l'ancien accord « nous prenons le contenu, vous obtenez le trafic ».
- OpenAI — 1 700:1. Pour 1700 crawls — un clic. L'échange n'est déjà plus équivalent.
- Anthropic — 73 000:1. Soixante-treize mille crawls pour un clic. En fait, le contenu est extrait, et il n'y a pas de trafic en retour.
C'est cette asymétrie qui a brisé l'ancien modèle du web « ouvert par défaut ». Comme l'ont formulé les analystes : « Là où le web était autrefois ouvert tant que vous ne le fermiez pas, une partie notable est maintenant fermée tant que vous ne l'ouvrez pas ». C'est un retournement du principe par défaut à 180 degrés — et cela frappe non seulement les laboratoires IA, mais aussi tous les collecteurs automatisés qui tombent sous le même coup.
Pay Per Crawl : l'accès devient une marchandise
La deuxième partie de l'annonce est l'élargissement de Pay Per Crawl, un marché que Cloudflare a lancé en bêta privée dès le 1er juillet 2025. La logique est simple : au lieu d'un binaire « autoriser / bloquer », l'éditeur a une troisième option — facturer chaque crawl. Le propriétaire du site fixe lui-même le tarif, et l'entreprise IA décide de payer ou non. Cloudflare agit en tant qu'intermédiaire, vérifiant l'identité du bot et effectuant les paiements.
Pour le marché, c'est un changement tectonique. Les données, qui ont été considérées pendant des années comme « gratuites parce que publiques », se transforment en ressources payantes avec un prix. Plus Cloudflare déploie ce modèle, plus l'accès légal et « en règle » au contenu devient coûteux et complexe pour ceux qui ne sont pas prêts à signer des contrats et à payer par crawl.
Comment cela se rapporte aux proxys et au scraping
C'est ici que se trouve la principale conclusion pratique. Lorsque de grandes plateformes ferment leurs portes aux crawlers « honnêtes » par User-Agent, la demande se déplace inévitablement vers des outils qui rendent le trafic indistinguable de celui des humains. Le fondateur de la société d'analyse Synthient, Ben Brandidge, constate directement : « L'IA semble certainement stimuler la demande pour des proxys résidentiels » — car les entreprises cherchent un moyen de contourner les blocages de leurs scrapers.
L'ampleur de cette couche d'ombre est déjà impressionnante. Selon IPInfo, seuls six fournisseurs suivis ont enregistré près de 79 millions d'IP uniques en 90 jours. De plus, le marché est fortement entrelacé : environ 46 % des adresses de proxys résidentiels sont simultanément présentes dans les pools de plusieurs fournisseurs, et certaines IP ont été repérées dans les réseaux de plus de cent services différents. Cela signifie qu'un « proxy résidentiel bon marché » se révèle souvent être la même adresse revendue qui a déjà été exposée dans des dizaines d'autres campagnes — et qui a déjà pu figurer sur des listes noires.
Nous avons déjà écrit que la pression réglementaire sur la collecte de données augmente parallèlement à la pression technique : la loi européenne sur l'IA, qui entrera en vigueur le 2 août 2026, donne du poids aux robots.txt et à l'opt-out pour l'apprentissage des modèles. L'initiative de Cloudflare est la moitié technique de cette même tendance : les barrières juridiques et infrastructurelles se rapprochent, et « simplement envoyer une requête GET depuis une IP de centre de données » fonctionne de moins en moins bien.
Que faire pour les collecteurs de données
Il est trop tôt pour paniquer, mais il est temps de revoir la pile. Voici quelques repères pratiques pour les mois à venir.
- Séparez les tâches par niveau de protection. Pour les sources ouvertes et faiblement protégées, il y a encore suffisamment de proxys de centres de données rapides et bon marché. Dépenser du trafic résidentiel pour cela est de l'argent jeté par les fenêtres.
- Pour les sites sous Cloudflare, utilisez des IP résidentielles. Lorsque l'objectif envoie des requêtes via la gestion des bots, les proxys résidentiels de véritables fournisseurs domestiques sauvent la mise : leur comportement est par défaut considéré comme humain. L'essentiel n'est pas la taille absolue du pool, mais sa propreté et le faible pourcentage de chevauchements avec d'autres services.
- Les IP mobiles — pour les objectifs les plus difficiles. Les réseaux sociaux et les plateformes avec un contour anti-bot agressif passent mieux par des proxys mobiles : derrière une IP d'opérateur se cachent des milliers d'abonnés vivants, donc il n'est pas avantageux pour la plateforme de bloquer complètement cette IP.
- Ne comptez pas le « volume », mais la « survie ». Après le tournant de Cloudflare vers « fermé par défaut », la métrique de qualité devient non pas des gigaoctets, mais la part de pages collectées avec succès sans bans. Un pool bon marché revendu avec 46 % de chevauchement d'adresses donne un joli chiffre de trafic mais un taux de succès désastreux.
- Respectez les règles là où elles existent. Si la source propose une API officielle ou des conditions de Pay Per Crawl, pour des pipelines de production stables, cela est souvent moins cher et plus fiable que la course aux armements. Les proxys sont un outil pour les données publiques, et non pour contourner des interdictions contractuelles directes.
Conclusion
Le pas de Cloudflare n'est pas une nouvelle ponctuelle, mais fait partie d'un retournement systémique : le web passe du modèle « ouvert tant que vous ne fermez pas » à « fermé tant que vous ne l'ouvrez pas ». Des rapports comme 73 000:1 montrent pourquoi cela est inévitable, et Pay Per Crawl transforme l'accès aux données en marchandise avec un prix. Pour le scraping, cela signifie une chose : l'époque où un IP de centre de données et un User-Agent suffisaient est révolue. Gagnent ceux qui construisent à l'avance des collectes sur des réseaux résidentiels et mobiles propres et qui comptent non pas le volume de trafic, mais la part de données qui ont réellement survécu. Les barrières ne feront que croître — et la qualité de l'infrastructure proxy devient non pas une dépense, mais un facteur décisif pour savoir si vous obtiendrez ou non les données.