Há um ano, era possível extrair os resultados do Google com uma única requisição GET usando o parâmetro num=100 — uma centena de resultados chegava em HTML puro. Em 2026, isso já não funciona: o Google eliminou o acesso sem JavaScript, cortou a centena de resultados por página e adicionou um bloco AI Overviews, que é renderizado de forma assíncrona e não é visível de todos os IPs. Vamos entender como coletar a SERP em novas condições, onde estão as armadilhas ocultas e por que a escolha do tipo de proxy se tornou mais importante do que o próprio parser.
Para quem é este guia
A extração de resultados de busca (SERP scraping) não se trata apenas de posições de SEO. Hoje, é utilizada por:
- Especialistas em SEO e agências — monitoram a orgânica, snippets em destaque, "As pessoas também perguntam", resultados locais e se o site apareceu nos AI Overviews.
- Analistas de mercado — acompanham quem o Google cita nos blocos de IA para consultas comerciais e como a primeira página dos concorrentes muda.
- Equipes de IA e dados — coletam a SERP como fonte de dados para sistemas RAG, treinamento de modelos e verificação de fatos.
Todas essas pessoas enfrentam um problema comum: o Google, em 2026, diferencia ativamente o tráfego automático do tráfego humano, e sem a infraestrutura correta, a coleta de dados falha nas primeiras dezenas de consultas.
O que mudou: três golpes do Google contra scrapers
Para que o guia seja honesto, vamos começar explicando por que as instruções antigas não funcionam mais.
Janeiro de 2025 — SearchGuard. O Google lançou um sistema de desafios JavaScript: uma requisição HTTP comum através de requests ou httpx agora recebe uma página de desafio, não HTML. Sem a execução de JavaScript, não é possível ver os resultados — a extração direta "de cara" falha instantaneamente.
Setembro de 2025 — o fim do num=100. O Google removeu o parâmetro que retornava 100 resultados em uma única requisição. Agora, o top-100 são dez requisições separadas com paginação. Para monitoramento profundo, isso representa um aumento de dez vezes no número de chamadas (e, consequentemente, na carga sobre os proxies e no orçamento).
Dezembro de 2025 — pressão legal. Em 19 de dezembro de 2025, o Google apresentou uma reclamação DMCA contra a SerpApi, alegando que o SearchGuard é um "meio técnico de proteção" (technological protection measure), e sua contorno se enquadra nas normas anti-contorno. O precedente ainda não foi resolvido, mas estabelece um tom: o scraping cinza do Google se torna, tanto técnica quanto legalmente, mais caro.
Vale ressaltar: a API de Pesquisa Personalizada do Google está sendo descontinuada — os clientes existentes receberam um prazo de migração até 1º de janeiro de 2027. Ou seja, a alternativa "legal" também está se restringindo.
A principal novidade dos resultados — AI Overviews
AI Overviews (anteriormente SGE) são resumos gerados por IA no topo dos resultados com links para as fontes. Para scraping, este é o elemento mais complexo de 2026 por três razões.
Há muitos deles. De acordo com a Ahrefs, os AI Overviews aparecem em cerca de 30% das consultas; estimativas mais recentes (Olostep) indicam até 48% de todas as consultas e até 80% das informativas. Ignorar este bloco significa coletar uma imagem incompleta dos resultados.
Eles são renderizados de forma assíncrona. O bloco existe em três estados: aparece imediatamente em HTML (raramente), é carregado via JavaScript alguns segundos após a página principal (o caso mais comum) ou não aparece de forma alguma. Quando o carregamento é adiado, a resposta HTTP bruta contém um contêiner vazio — o conteúdo é puxado depois, e o parser precisa esperar (na prática, cerca de 8 segundos em automação de navegador).
Não são visíveis de todos os IPs. Este é o ponto chave que os guias antigos ignoram: o Google considera os usuários móveis como a audiência prioritária para a busca por IA. Na prática, isso significa que com IPs de data center, o AI Overview muitas vezes não é retornado, enquanto a mesma consulta através de um operador móvel retorna o bloco completo. Mesmo os principais agregadores reconhecem a incompletude: a SerpApi, no início de 2026, relatou cerca de 68% de detecção bem-sucedida dos AI Overviews.
Análise passo a passo: como coletar a SERP em 2026
- Defina o volume. Até ~100 consultas por dia é possível gerenciar com sua própria automação de navegador. De 100 a 10.000 — já é necessário um parser gerenciado ou SERP-API. Acima de 10.000 por dia, sem uma infraestrutura enterprise com batches e webhooks, não há como evitar. Isso determina todo o restante da pilha.
- Monte a URL correta. O endpoint básico é /search, os parâmetros chave são: q (consulta, URL-encoding), hl (idioma da interface), gl (país dos resultados), start (paginaçã: start=10 — segunda página, start=20 — terceira e assim por diante). Lembre-se: num=100 não funciona mais, a profundidade é alcançada apenas por paginação.
- Use renderização de navegador. Como não há resultados sem JavaScript, a pilha básica é Playwright ou Selenium com Chromium headless. Certifique-se de remover os marcadores de automação (flag --disable-blink-features=AutomationControlled), caso contrário, o anti-bot identificará o navegador controlado pelas propriedades do navigator.
- Aguarde o AI Overview. Após o carregamento da página, não pegue o DOM imediatamente: deixe o networkidle estabilizar e aguarde o carregamento do bloco (referência — até 8 segundos). A presença do bloco é mais confiável ao ser determinada pelo texto do título "AI Overview", e não pelas classes CSS — elas são dinâmicas no Google e mudam (as classes condicionais Kevs9, Y3BBE hoje são uma coisa, amanhã são outra).
- Parse pela estrutura, não pelas classes. Colete a orgânica por tags de cabeçalho (h3) e semântica, e não por nomes de classes frágeis. Dos resultados em 2026, estão disponíveis: resultados orgânicos, snippets em destaque, "As pessoas também perguntam", consultas relacionadas, knowledge graph, pacote local, anúncios e citações dentro do AI Overview.
- Rotacione IPs e desacelere. Coloque pausas realistas entre as consultas (4–12 segundos) e mude de IP aproximadamente a cada 5 minutos, variando cidade/operador. Um ritmo muito uniforme e um único IP — é o caminho mais rápido para um captcha.
Armadilhas
- AI Overview "vazio". Se você coleta o DOM imediatamente após o carregamento, o bloco adiado estará vazio — e você concluirá que ele não existe. Sempre considere o tempo de espera e a verificação novamente.
- Sessões únicas para carregamento. Alguns APIs têm a chave de sessão para carregar o AI Overview adiado que é única e dura cerca de 60 segundos — não conte em reutilizá-la depois.
- Falsa economia em data center. IPs de data center baratos capturam captcha já em 5–10 consultas e, além disso, não mostram AI Overviews. A economia se transforma em dados incompletos e tempo perdido.
- Seletores frágeis. Se você se apegar aos nomes das classes CSS — o parser falhará na próxima reformulação dos resultados. Mantenha-se no texto e na estrutura.
- Impressão uniforme das consultas. User-Agent, tempos e cabeçalhos idênticos em todos os fluxos revelam um botnet. Varie a impressão digital assim como os IPs.
Qual tipo de proxy escolher
Em 2026, são os proxies, e não o parser, que determinam se você verá todos os resultados. Vamos dividir por tarefas.
Proxies móveis — para AI Overviews e as consultas mais "pesadas". Como o Google entrega blocos de IA prioritariamente para a audiência móvel, IPs reais de operadoras (T-Mobile, Verizon, Vodafone e similares) acionam os AI Overviews com mais estabilidade e suportam consideravelmente mais — observações indicam de 50 a 200 consultas antes de surgir atrito, contra 5 a 10 em data center. Além disso, o IP CGNAT móvel compartilha um endereço com centenas de assinantes vivos, portanto, o Google teme bloqueá-lo. Se sua tarefa é coletar especificamente os AI Overviews ou monitorar as SERPs mais protegidas, comece com proxies móveis.
Proxies residenciais — o cavalo de batalha para orgânica e volume. Para coletar resultados comuns, posições, snippets em destaque e pacotes locais, IPs residenciais (endereços de provedores domésticos) oferecem a melhor relação custo-benefício. Eles são difíceis de distinguir de um usuário real, e a rotação permite escalar a coleta sem um grande volume de um único endereço. A opção ideal, quando o AI Overview não está em foco, mas o volume e a geografia são importantes, são proxies residenciais com rotação.
Data center — apenas para execuções de teste. Rápido e barato, mas contra o Google em 2026, vive apenas algumas consultas e não vê blocos de IA. Adequado para depurar a lógica do parser, não para coleta em produção.
Se você não tem certeza do que escolher para uma tarefa específica, comece analisando proxies residenciais versus móveis em 2026: lá você encontrará detalhes sobre onde cada tipo economiza dinheiro e onde economiza dados.
Conclusão
A extração do Google em 2026 deixou de ser uma tarefa de "escrever um parser". O SearchGuard forçou a renderização de JavaScript, a eliminação do num=100 multiplicou o número de consultas por dez, e os AI Overviews adicionaram um bloco que é visível principalmente de IPs móveis e é carregado com atraso. Tecnicamente, tudo é solucionável: automação de navegador, extração pela estrutura, pausas razoáveis e rotação. Mas a base sobre a qual se sustenta a completude e a estabilidade da coleta são os proxies corretos: móveis para AI Overviews e consultas protegidas, residenciais para orgânica e volume. Comece com o tipo de proxy adequado para sua tarefa — e o parser deixará de tropeçar em captchas.
```