Cloudflare novamente está apertando as regras para crawlers de IA. A empresa, pela qual passa cerca de 20% de todo o tráfego da web, anunciou que, a partir de 15 de setembro de 2026, crawlers "mistas" (mixed-use) serão bloqueados por padrão em páginas publicitárias e monetizáveis — para todos os novos clientes e todos os novos sites em contas existentes. Paralelamente, o modelo Pay Per Crawl está sendo expandido, onde o acesso do bot ao conteúdo se torna um serviço pago. Para todos que trabalham com coleta de dados, isso não é uma notícia abstrata sobre editores — é um sinal claro de que a "zona cinza" da web aberta está encolhendo mais um passo.
O que exatamente anunciou a Cloudflare
A principal novidade é o conceito de "crawler misto". Assim, a Cloudflare se refere a bots que coletam dados para duas finalidades simultaneamente: indexação em mecanismos de busca e treinamento de modelos de IA. Anteriormente, esses crawlers operavam sob a bandeira de bots "de busca" e tinham acesso ao conteúdo em troca de tráfego. Agora, a Cloudflare rompe esse acordo: se um site ganha dinheiro com publicidade, o crawler misto não terá acesso por padrão às páginas monetizáveis.
Tecnologicamente, isso é implementado através de regras gerenciadas de robots.txt e heurísticas atualizadas de gerenciamento de bots. O proprietário do site não precisa escrever nada manualmente — a Cloudflare gerencia as listas e a lógica. A data de início para novos sites é 15 de setembro de 2026; projetos existentes poderão optar por ativar o bloqueio.
A posição da empresa foi resumida pelo seu CEO, Matthew Prince: "Agora, quando a maior parte do tráfego na internet não é humano, precisamos agir de forma mais decisiva e rápida para que uma ecossistema sustentável possa surgir". As mudanças foram publicamente apoiadas pela Associated Press, Time, The Atlantic e Reddit — ou seja, grandes editores que mais sofrem com a extração gratuita de seu conteúdo.
Números que explicam tudo
Para entender por que o provedor de infraestrutura se envolveu na guerra contra as empresas de IA, basta olhar para a relação "crawls para referências" (crawl-to-referral) de 2025, que foi apresentada pela própria Cloudflare:
- Google — 14:1. Para cada 14 crawls de uma página, o mecanismo de busca envia um visitante vivo ao site. Aceitável: é o antigo acordo "nós pegamos o conteúdo, vocês recebem tráfego".
- OpenAI — 1.700:1. Para 1.700 crawls — uma referência. A troca já deixou de ser equivalente.
- Anthropic — 73.000:1. Setenta e três mil crawls para uma referência. De fato, o conteúdo está sendo extraído, e não há tráfego em troca.
É essa assimetria que quebrou o antigo modelo de "aberto por padrão" da web. Como os analistas formularam com precisão: "Onde a web antes era aberta, a menos que você a fechasse, agora uma parte significativa dela está fechada, a menos que você a abra". Isso representa uma reviravolta de 180 graus no princípio do padrão — e isso afeta não apenas os laboratórios de IA, mas também qualquer coletor automatizado que caia na mesma categoria.
Pay Per Crawl: acesso se torna um produto
A segunda parte do anúncio é a expansão do Pay Per Crawl, um marketplace que a Cloudflare lançou em beta privada em 1º de julho de 2025. A lógica é simples: em vez de um binário "permitir / bloquear", o editor agora tem uma terceira opção — cobrar por cada crawl. O proprietário do site define a tarifa, e a empresa de IA decide se vai pagar ou não. A Cloudflare atua como intermediária, que verifica a identidade do bot e realiza os pagamentos.
Para o mercado, isso representa uma mudança tectônica. Dados que por anos foram considerados "gratuitos, porque públicos", estão se transformando em um recurso pago com preço. E quanto mais a Cloudflare expande esse modelo, mais caro e complicado se torna o acesso legal e "formal" ao conteúdo para aqueles que não estão dispostos a assinar contratos e pagar por crawl.
Como isso se relaciona com proxies e scraping
Aqui está a principal conclusão prática. Quando grandes plataformas fecham as portas para crawlers "honestos" com base no User-Agent, a demanda inevitavelmente se desloca para ferramentas que tornam o tráfego indistinguível do humano. O fundador da empresa de análise Synthient, Ben Brandidge, afirma diretamente: "A IA definitivamente parece estar impulsionando a demanda por proxies residenciais" — porque as empresas estão procurando maneiras de contornar os bloqueios de seus scrapers.
A escala desse setor sombrio já é impressionante. De acordo com a IPInfo, apenas seis provedores monitorados contabilizaram quase 79 milhões de IPs únicos em 90 dias. Além disso, o mercado está fortemente entrelaçado: cerca de 46% dos endereços de proxies residenciais estão simultaneamente presentes em pools de vários provedores, e IPs individuais apareceram em redes de mais de cem serviços diferentes. Isso significa que um "proxy residencial barato" muitas vezes acaba sendo o mesmo endereço revendidos que já apareceu em dezenas de campanhas alheias — e que já pode ter sido colocado em listas negras.
Já mencionamos que a pressão regulatória sobre a coleta de dados está aumentando paralelamente à pressão técnica: o EU AI Act, que entrará em vigor em 2 de agosto de 2026, dá peso ao robots.txt e ao opt-out para treinamento de modelos. A ação da Cloudflare é a metade técnica da mesma tendência: barreiras legais e de infraestrutura estão se fechando, e "simplesmente enviar uma solicitação GET de um IP de data center" está se tornando cada vez menos eficaz.
O que fazer para os coletores de dados
É cedo para entrar em pânico, mas é hora de revisar a pilha. Aqui estão algumas orientações práticas para os próximos meses.
- Separe as tarefas por nível de proteção. Para fontes abertas e pouco protegidas, ainda há proxies de data center rápidos e baratos. Gastar tráfego residencial com eles é jogar dinheiro fora.
- Para sites sob Cloudflare, use IPs residenciais. Quando o alvo faz solicitações através do gerenciamento de bots, proxies residenciais de provedores domésticos reais salvam a situação: seu comportamento é considerado humano por padrão. O importante não é o tamanho absoluto do pool, mas sua pureza e a baixa porcentagem de sobreposição com serviços alheios.
- IPs móveis — para os alvos mais difíceis. Redes sociais e plataformas com contornos agressivos de anti-bot funcionam melhor através de proxies móveis: por trás de um IP de operadora estão milhares de assinantes vivos, portanto, bloquear completamente esse IP não é vantajoso para a plataforma.
- Conte não o "volume", mas a "sobrevivência". Após a mudança da Cloudflare para "fechado por padrão", a métrica de qualidade não se torna mais gigabytes, mas a proporção de páginas coletadas com sucesso sem bans. Um pool de revenda barato com 46% de sobreposição de endereços pode apresentar um número bonito de tráfego, mas uma taxa de sucesso fracassada.
- Siga as regras onde elas existem. Se a fonte oferece uma API oficial ou condições de Pay Per Crawl, para pipelines de produção estáveis, isso muitas vezes é mais barato e confiável do que uma corrida armamentista. Proxies são ferramentas para dados públicos, não para contornar proibições contratuais diretas.
Conclusão
A ação da Cloudflare não é uma notícia isolada, mas parte de uma reviravolta sistêmica: a web está passando de um modelo "aberto, até que você feche" para "fechado, até que você abra". Relações como 73.000:1 mostram por que isso é inevitável, e o Pay Per Crawl transforma o acesso a dados em um produto com preço. Para scraping, isso significa uma coisa: a era em que um IP de data center e um cabeçalho User-Agent eram suficientes está chegando ao fim. Vencerão aqueles que constroem antecipadamente a coleta em redes residenciais e móveis limpas e que contam não o volume de tráfego, mas a proporção de dados que realmente chegaram vivos. As barreiras só aumentarão — e a qualidade da infraestrutura de proxies se tornará um fator decisivo para saber se você obterá os dados ou não.
```