1 de julho de 2026, a Cloudflare realizou o segundo "Dia da Independência do Conteúdo" e pela primeira vez destacou oficialmente os agentes de IA em uma categoria separada de bots. Agora, o tráfego é dividido em três classes — Search, Agent e Training — e a partir de 15 de setembro de 2026, nas páginas com anúncios, bots das categorias Agent e Training serão bloqueados por padrão. Paralelamente, tribunais e grandes varejistas já estão fechando as portas para "navegadores agentes" como Perplexity Comet e ChatGPT Atlas. Vamos entender o que está acontecendo com a web agente e por que, sem proxies residenciais, assistentes de IA autônomos estão cada vez mais esbarrando em um muro.
O que aconteceu: os bots ganharam uma terceira classe
Antes, a web conhecia dois tipos de tráfego automático: crawlers de busca, que indexam páginas, e crawlers de treinamento, que extraem conteúdo para treinar modelos. Em 2026, um terceiro foi adicionado — agente. A Cloudflare, através da qual passa cerca de 20% de todo o tráfego da web, deu uma definição precisa: é "um comportamento automatizado que age, geralmente em tempo real, em nome de uma pessoa, para fazer algo imediatamente".
Essa definição abrange bots de busca de assistentes de chat (por exemplo, ChatGPT-User, que busca informações atualizadas a pedido do usuário) e agentes de uso completo de navegador — Gemini ou Claude, que operam um verdadeiro Chrome. A lógica da nova política é simples: um anúncio é um sinal de que o proprietário do site deseja mostrar a página a uma pessoa e monetizar sua atenção. Portanto, em páginas monetizáveis, a Cloudflare bloqueia por padrão bots que privam o site dessa atenção — os de treinamento e os agentes.
Datas que vale a pena lembrar: as mudanças entram em vigor 15 de setembro de 2026 e se aplicam a novos domínios conectados à Cloudflare. Bots de busca continuam permitidos — os sites ainda precisam de tráfego dos mecanismos de busca. Já crawlers multifuncionais como o Googlebot serão avaliados com base na soma de todos os seus papéis: se o proprietário ativar o bloqueio de treinamento, esse bot misto será bloqueado completamente.
Navegadores agentes: quem entrou em campo em dois anos
Ainda no início de 2025, "navegador com IA" soava como um experimento. Em meados de 2026, já é um mercado saturado de assistentes autônomos que clicam, rolam, preenchem formulários e fazem compras por conta própria. Principais players:
- Perplexity Comet — lançado em julho de 2025, gratuito, funciona em desktop, Android e iOS;
- ChatGPT Atlas da OpenAI — outubro de 2025, por assinatura, com um "Modo Agente" separado;
- Chrome + Gemini — integração do Google, janeiro de 2026, para assinantes AI Pro e Ultra;
- Claude for Chrome — extensão para o navegador existente, agosto de 2025;
- Edge Copilot Mode — modo gratuito da Microsoft, julho de 2025;
- Opera Neon — setembro de 2025, lançamento público em dezembro, assinatura em torno de $19,90 por mês.
Todos eles funcionam de maneira semelhante: o agente controla a interface através de capturas de tela e comandos de entrada — "vê" a página, clica, digita e navega por links em seu lugar. É essa mecânica humanóide que os torna uma dor de cabeça para sistemas anti-bots: formalmente, não é um crawler que puxa APIs, mas uma sessão de um navegador real, respaldada por um pedido de um usuário real. O Google até introduziu em março de 2026 um identificador separado Google-Agent, para que os proprietários de sites pudessem distinguir esses pedidos nos logs.
Tribunais já estão do lado dos sites
Enquanto a Cloudflare distribui configurações, o conflito em torno dos agentes chegou aos tribunais. O caso mais emblemático é Amazon contra Perplexity. A Amazon entrou com uma ação em novembro de 2025, acusando a startup de "ocultar" intencionalmente a natureza de seus agentes de IA, para continuar extraindo dados do site do varejista sem permissão.
Em 10 de março de 2026, a juíza Maxine Chesney decidiu a favor da Amazon. A decisão afirma que a empresa apresentou "provas convincentes": o navegador Comet acessava o site a pedido do usuário, mas "sem autorização" do varejista. Segundo a Amazon, o Comet "mascarava" sua natureza automática, se passando por um comprador real, para passar despercebido pelos sistemas de detecção. A Amazon até documentou despesas — mais de $5.000 em ferramentas para bloquear o Comet de acessar dados internos de clientes. A Perplexity, em resposta, declarou que "continuará lutando pelo direito dos usuários da internet de escolher qualquer IA que desejem".
A Amazon também atua sem a necessidade de processos. Através do arquivo robots.txt, o varejista bloqueou o acesso dos bots ChatGPT-User e OAI-SearchBot (motor do SearchGPT), e ainda antes — do GPT-bot de treinamento. Crawlers associados à Meta, Google e Perplexity também foram afetados. A ironia é que a OpenAI, paralelamente, está construindo seu próprio funil de vendas: a função Instant Checkout já permite comprar produtos diretamente no ChatGPT de Walmart, Etsy, Shopify e Target. Os varejistas querem vender através da IA em seus próprios termos — e não querem que agentes externos percorram suas vitrines sem controle.
Como os sites identificam um agente — e por que o IP não resolve tudo
Bloquear um agente apenas pelo nome do user-agent é ingênuo: é fácil falsificá-lo. Portanto, o stack anti-bot da Cloudflare e serviços semelhantes observa um conjunto de sinais, e aqui os navegadores autônomos enfrentam dificuldades:
- Fingerprint de navegador headless. O ambiente headless se revela por um conjunto de inconsistências: resolução de tela 0x0, ausência de fontes instaladas, GPU que se reporta como renderizador de software "SwiftShader". Usuários reais não se parecem assim — e isso é detectado em milissegundos.
- Fingerprinting TLS. Mesmo com cabeçalhos HTTP ideais, o handshake TLS revela uma discrepância entre a identidade declarada do navegador e as características reais da conexão. Detalhamos esse vetor em um material sobre JA4 e fingerprinting TLS — hoje, é uma das principais ferramentas de detecção.
- Análise comportamental. Um humano rola com pausas, move o mouse de maneira não ideal. O agente, por outro lado, age com "eficiência robótica brutal" — carrega a página em milissegundos e extrai dados instantaneamente, o que o entrega.
- Reputação do IP. Faixas de provedores de nuvem — AWS, Google Cloud, Azure — já foram catalogadas como "bot-friendly" e recebem pesadas penalidades em filtros de reputação, não importa quão limpo seja o restante do fingerprint.
É aqui que os proxies entram em cena. A reputação do IP é a primeira barreira contra a qual um agente, lançado de um endereço de datacenter, se quebra. Proxies residenciais substituem endereços IP de dispositivos domésticos reais, e o tráfego do agente deixa de parecer um pedido de um servidor. Para cenários móveis — redes sociais, aplicativos com detecção rigorosa — ainda mais confiáveis são proxies móveis com IPs de operadoras. Endereços de datacenter, por sua vez, não desaparecem: para tarefas que não são sensíveis à reputação, datacenter-proxies oferecem velocidade e preço que os residenciais não conseguem.
Importante ressalva: proxies são apenas uma camada
Um IP residencial remove apenas uma das quatro barreiras. Se o agente ainda estiver rodando em um navegador headless com fingerprint "SwiftShader" e se comportando como um robô, um IP limpo não o salvará — a detecção se formará a partir dos outros sinais. A combinação funcional de 2026 não é "proxy ou anti-detect", mas tudo ao mesmo tempo: um nó de saída residencial ou móvel, mascaramento do fingerprint do navegador e TLS para um dispositivo real e um timing humano nas ações. O scraping e a automação se transformaram definitivamente em um jogo de identidades, e não de endereços.
O que isso significa na prática
Para empresas e desenvolvedores que constroem automação sobre navegadores agentes, as conclusões são as seguintes:
- 15 de setembro — não é uma data abstrata. Se seus agentes acessam sites com anúncios, prepare-se para que parte deles comece a devolver placeholders em vez de conteúdo. Planeje a infraestrutura com antecedência.
- Agente de datacenter — alvo número um. A primeira coisa a fazer é mover o tráfego do agente de faixas de nuvem para IPs residenciais ou móveis. Isso é mais barato do que reescrever a lógica após banimentos em massa.
- Risco jurídico é real. O caso Amazon contra Perplexity mostra: "mascarar" um agente como humano não é uma zona cinzenta, mas um argumento para o tribunal. Respeite o robots.txt onde isso é crítico e não faça a automação parecer um usuário real em sites que proíbem isso explicitamente.
- Canais oficiais estão crescendo. Instant Checkout e parcerias de IA com varejistas são um sinal de que parte dos cenários agentes irá para APIs legais. Mas, por enquanto, a cobertura é fragmentada, e agentes autônomos terão que viver em um mundo onde metade dos sites não os espera.
Conclusão
A web agente já não é um conceito de apresentações, mas um tráfego real que os sites aprenderam e quiseram filtrar. A Cloudflare deu aos proprietários uma alavanca, os tribunais deram um precedente, e os varejistas deram um exemplo. Para assistentes de IA autônomos, isso não é um veredicto, mas um sinal claro: para que um agente chegue ao seu objetivo, ele deve parecer humano em todos os níveis — do IP de saída ao timing dos cliques. Proxies residenciais e móveis não são um luxo, mas uma camada básica, sem a qual os outros artifícios não funcionam. A web não está se fechando para agentes para sempre — ela simplesmente deixou de permitir aqueles que chegam com um cartaz dizendo "sou um bot".
```