Il y a encore un an, il était possible de récupérer les résultats de Google avec une seule requête GET avec le paramètre num=100 — une centaine de résultats arrivait en HTML pur. En 2026, cela ne fonctionne plus : Google a tué l'accès sans JavaScript, a réduit le nombre de résultats à cent par page et a ajouté un bloc AI Overviews, qui est rendu de manière asynchrone et n'est pas visible depuis chaque IP. Nous allons voir comment collecter le SERP dans ces nouvelles conditions, où se cachent les pièges et pourquoi le choix du type de proxy est devenu plus important que celui du parseur lui-même.
Pour qui est ce guide
Le scraping des résultats de recherche (SERP scraping) ne concerne pas seulement les positions SEO. Aujourd'hui, il est utilisé par :
- Les spécialistes SEO et les agences — ils suivent l'organique, les extraits enrichis, « Les gens demandent aussi », les résultats locaux et vérifient si le site est présent dans les AI Overviews.
- Les analystes de marché — ils surveillent qui Google cite dans les blocs AI pour les requêtes commerciales et comment la première page change chez les concurrents.
- Les équipes AI et data — elles collectent le SERP comme source de données pour les systèmes RAG, l'entraînement de modèles et la vérification des faits.
Tout le monde est confronté à un même problème : Google en 2026 distingue activement le trafic automatisé du trafic réel, et sans la bonne infrastructure, la collecte de données échoue dès les premières dizaines de requêtes.
Ce qui a changé : trois coups de Google contre les scrapeurs
Pour que le guide soit honnête, commençons par expliquer pourquoi les anciennes instructions ne fonctionnent plus.
Janvier 2025 — SearchGuard. Google a déployé un système de défis JavaScript : une requête HTTP classique via requests ou httpx ne reçoit plus de HTML, mais une page de défi. Sans exécution de JavaScript, il est impossible de voir les résultats — le parsing direct « en frontal » échoue instantanément.
Septembre 2025 — fin de num=100. Google a supprimé le paramètre qui fournissait 100 résultats par requête. Maintenant, le top 100 correspond à dix requêtes distinctes avec pagination. Pour un suivi approfondi, cela représente littéralement une multiplication par dix du nombre de requêtes (et, par conséquent, de la charge sur les proxies et du budget).
Décembre 2025 — pression juridique. Le 19 décembre 2025, Google a déposé une plainte DMCA contre SerpApi, affirmant que SearchGuard est un « moyen de protection technique » (technological protection measure), et que son contournement tombe sous les normes anti-contournement. Le précédent n'est pas encore résolu, mais il donne le ton : le scraping gris de Google devient à la fois techniquement et juridiquement plus coûteux.
À noter : l'API de recherche personnalisée officielle de Google est en train d'être fermée — un délai de migration a été annoncé pour les clients existants, jusqu'au 1er janvier 2027. Cela signifie que l'alternative « légale » se réduit également.
La principale nouveauté des résultats — AI Overviews
Les AI Overviews (anciennement SGE) sont un résumé généré par l'IA en haut des résultats avec des liens vers les sources. Pour le scraping, c'est l'élément le plus complexe de 2026 pour trois raisons.
Ils sont nombreux. Selon Ahrefs, les AI Overviews apparaissent dans environ 30 % des requêtes ; des estimations plus récentes (Olostep) indiquent jusqu'à 48 % de toutes les requêtes et jusqu'à 80 % des requêtes d'information. Ignorer ce bloc signifie collecter une image délibérément incomplète des résultats.
Ils se chargent de manière asynchrone. Le bloc existe dans trois états : il arrive directement en HTML (le plus rarement), se charge via JavaScript quelques secondes après la page principale (le cas le plus fréquent) ou n'apparaît pas du tout. Lors du chargement différé, la réponse HTTP brute contient un conteneur vide — le contenu est récupéré plus tard, et le parseur doit attendre (en pratique, environ 8 secondes en automatisation de navigateur).
Ils ne sont pas visibles depuis chaque IP. Voici le point clé que les anciens guides omettent : Google considère les utilisateurs mobiles comme une audience prioritaire pour la recherche AI. En pratique, cela signifie que depuis une IP de centre de données, l'AI Overview n'est souvent pas rendu du tout, tandis que la même requête via un opérateur mobile renvoie le bloc complet. Même les agrégateurs de premier plan reconnaissent l'incomplétude : SerpApi a déclaré au début de 2026 environ 68 % de détection réussie des AI Overviews.
Analyse étape par étape : comment collecter le SERP en 2026
- Déterminez le volume. Jusqu'à ~100 requêtes par jour, il est réellement possible de gérer cela avec votre propre automatisation de navigateur. De 100 à 10 000 — un parseur géré ou un SERP-API est nécessaire. Au-delà de 10 000 par jour, sans infrastructure d'entreprise avec des lots et des webhooks, cela devient impossible. Cela détermine toute la pile suivante.
- Collectez l'URL correcte. Le point de terminaison de base est /search, les paramètres clés : q (requête, encodage d'URL), hl (langue de l'interface), gl (pays des résultats), start (pagination : start=10 — deuxième page, start=20 — troisième, etc.). N'oubliez pas : num=100 ne fonctionne plus, la profondeur est uniquement obtenue par la pagination.
- Utilisez le rendu par navigateur. Étant donné qu'il n'y a pas de résultats sans JavaScript, la pile de base est Playwright ou Selenium avec Chromium sans tête. Assurez-vous de supprimer les marqueurs d'automatisation (le drapeau --disable-blink-features=AutomationControlled), sinon le système anti-bot identifiera le navigateur contrôlé par les propriétés du navigateur.
- Attendez l'AI Overview. Après le chargement de la page, ne saisissez pas le DOM immédiatement : laissez le networkidle se stabiliser et attendez le chargement du bloc (référence — jusqu'à 8 secondes). La présence du bloc est plus fiable à déterminer par le texte du titre « AI Overview », plutôt que par les classes CSS — celles-ci sont dynamiques chez Google et changent (les Kevs9 conditionnels, Y3BBE aujourd'hui sont différents demain).
- Parsez par structure, pas par classes. Prenez l'organique par les balises d'en-tête (h3) et la sémantique, pas par des noms de classes fragiles. Dans les résultats de 2026, sont disponibles : résultats organiques, extraits enrichis, « Les gens demandent aussi », requêtes associées, knowledge graph, pack local, publicité et citations à l'intérieur de l'AI Overview.
- Faites tourner les IP et ralentissez. Mettez des pauses réalistes entre les requêtes (4–12 secondes) et changez d'IP environ toutes les 5 minutes, en variant la ville/l'opérateur. Un rythme trop régulier et une seule IP sont le moyen le plus rapide d'atteindre un captcha.
Pièges
- AI Overview « vide ». Si vous récupérez le DOM juste après le chargement, le bloc différé sera vide — et vous concluez qu'il n'existe pas. Prévoyez toujours une attente et une vérification répétée.
- Sesssions à usage unique pour le chargement. Certains API ont une clé de session pour le chargement différé de l'AI Overview qui est à usage unique et dure environ 60 secondes — ne comptez pas sur sa réutilisation plus tard.
- Fausse économie sur le centre de données. Les IP de centre de données bon marché capturent le captcha déjà après 5–10 requêtes et, de plus, ne montrent pas les AI Overviews. L'économie se transforme en données incomplètes et en temps perdu.
- Sélecteurs fragiles. Si vous vous êtes attaché aux noms des classes CSS — le parseur échouera lors de la prochaine refonte des résultats. Tenez-vous en au texte et à la structure.
- Empreinte de requêtes uniforme. Des User-Agent, des timings et des en-têtes identiques sur tous les flux révèlent un botnet. Diversifiez l'empreinte tout comme les IP.
Quel type de proxy choisir
En 2026, c'est le proxy, et non le parseur, qui détermine si vous verrez l'ensemble des résultats. Décomposons cela par tâches.
Proxies mobiles — pour les AI Overviews et les requêtes les plus « lourdes ». Étant donné que Google fournit des blocs AI en priorité à l'audience mobile, les IP réelles des opérateurs (T-Mobile, Verizon, Vodafone et analogues) déclenchent de manière plus stable l'AI Overview et supportent beaucoup plus — selon les observations, 50–200 requêtes avant l'apparition de friction contre 5–10 pour un centre de données. De plus, l'IP CGNAT mobile partage une adresse avec des centaines d'abonnés réels, donc Google craint de le bloquer. Si votre tâche est de collecter spécifiquement les AI Overviews ou de surveiller les SERP les plus protégés, commencez par des proxies mobiles.
Proxies résidentiels — le cheval de bataille pour l'organique et le volume. Pour collecter des résultats ordinaires, des positions, des extraits enrichis et des packs locaux, les IP résidentielles (adresses des fournisseurs domestiques) offrent le meilleur rapport qualité-prix. Elles sont difficiles à distinguer d'un utilisateur réel, et la rotation permet de mettre à l'échelle la collecte sans une décharge depuis une seule adresse. L'option optimale, lorsque l'AI Overview n'est pas au centre de l'attention, mais que le volume et la géographie sont importants, est des proxies résidentiels avec rotation.
Centre de données — uniquement pour les tests préliminaires. Rapide et bon marché, mais contre Google en 2026, seules quelques requêtes fonctionnent et ne voient pas les blocs AI. Convient pour déboguer la logique du parseur, pas pour la collecte en production.
Si vous n'êtes pas sûr de ce qu'il faut choisir pour une tâche spécifique, commencez par analyser les proxies résidentiels contre les proxies mobiles en 2026 : cela détaille où chaque type économise de l'argent et où il en perd.
Conclusion
Le scraping de Google en 2026 a cessé d'être une tâche de « rédiger un parseur ». SearchGuard a obligé à rendre du JavaScript, l'annulation de num=100 a multiplié par dix le nombre de requêtes, et les AI Overviews ont ajouté un bloc qui est principalement visible depuis des IP mobiles et se charge avec un délai. Techniquement, tout est résoluble : automatisation de navigateur, parsing par structure, pauses raisonnables et rotation. Mais le fondement sur lequel repose l'intégralité et la stabilité de la collecte, ce sont les bons proxies : mobiles pour les AI Overviews et les requêtes protégées, résidentiels pour l'organique et le volume. Commencez par le type de proxy adapté à votre tâche — et le parseur cessera de trébucher sur les captchas.
```