Si vous vendez sur des marketplaces et que vous changez les prix manuellement une fois par semaine, les concurrents qui recalculent leurs prix chaque heure vous volent des ventes. Avoir son propre système de surveillance résout ce problème, mais les marketplaces et les sites concurrents bloquent activement les bots, les adresses IP et les sous-réseaux entiers de centres de données. Dans cet article, nous examinerons un schéma de collecte de données sans blocages — avec le bon choix de proxies, d'outils et de fréquence de requêtes.
Pourquoi avoir son propre système de surveillance des concurrents
Les services de surveillance des prix prêts à l'emploi (il y en a des dizaines sur le marché) coûtent à partir de plusieurs milliers de roubles par mois et limitent généralement le nombre de produits ou la fréquence de mise à jour des données. Si vous avez un catalogue de 500 à 5000 SKU et que vous vendez simultanément sur Wildberries, Ozon et Avito, s'abonner à trois services différents devient plus coûteux qu'un système propre, et la flexibilité reste insuffisante : vous ne pouvez pas configurer une logique personnalisée de recalcul des prix ou ajouter la surveillance d'un site concurrent non standard.
Un système propre offre trois avantages concrets. Tout d'abord, vous contrôlez la fréquence de collecte — vous pouvez vérifier les prix des principaux concurrents toutes les 15 minutes, et les autres une fois par jour. Deuxièmement, vous collectez non seulement le prix, mais aussi les stocks, le classement, le nombre d'avis, la position dans les résultats — tous les paramètres qui sont importants pour votre entreprise. Troisièmement, les données restent les vôtres : vous pouvez les croiser avec l'analyse interne de la rentabilité et recalculer automatiquement le prix pour ne pas être en perte.
Les vendeurs qui ont mis en place un recalcul automatique des prix basé sur la surveillance des concurrents augmentent en moyenne le taux d'achat des positions dans le top 10 de la catégorie de 15 à 25 % grâce à une réaction plus rapide des prix aux changements du marché que manuellement. Cela est particulièrement critique dans les catégories à forte concurrence — vêtements, électronique, articles pour la maison.
Pourquoi les sites et marketplaces bloquent le scraping
Wildberries, Ozon et la plupart des boutiques en ligne utilisent des systèmes anti-fraude qui analysent le comportement des requêtes. Si une IP envoie 200 requêtes par minute sans pauses, sans en-têtes de navigateur caractéristiques et sans exécution de JavaScript — cela est immédiatement marqué comme un bot. Ensuite, le système soit renvoie un captcha, soit fournit des données manifestement incorrectes (prix fictifs), soit bloque l'IP pendant plusieurs heures.
Un problème distinct concerne les sous-réseaux de centres de données. Les adresses IP appartenant à Amazon AWS, Google Cloud, DigitalOcean et à des fournisseurs similaires sont inscrites sur les listes noires de la plupart des systèmes anti-fraude avant même que vous ne fassiez votre première requête. Les marketplaces voient l'ASN (numéro de système autonome) du fournisseur et bloquent toute la plage, même si vous envoyez une seule requête par heure.
C'est pourquoi un proxy serveur classique pour la surveillance des marketplaces fonctionne mal : il est rapide et bon marché, mais est détecté au niveau de la réputation IP. Pour contourner cela, il faut des IP qui ressemblent à des utilisateurs ordinaires — c'est l'idée clé du schéma que nous allons examiner ensuite.
Architecture du système : de quoi il se compose
Un système de surveillance des concurrents opérationnel se compose de cinq blocs, et chacun peut être assemblé sans compétences de programmation approfondies — en utilisant des outils no-code et low-code prêts à l'emploi.
- Liste des cibles — tableau avec des liens vers les fiches produits des concurrents à surveiller. Il s'agit généralement de Google Sheets ou Excel avec des colonnes : URL, marketplace, votre SKU, fréquence de vérification souhaitée.
- Collecteur de données (scraper) — programme ou service qui ouvre la page et récupère le prix, le stock, le classement. Cela peut être un parser no-code prêt à l'emploi ou un script en Python.
- Couche proxy — couche par laquelle passent toutes les requêtes du scraper, afin que l'IP ne soit pas bloquée par la marketplace.
- Stockage des données — base de données ou tableau où sont stockés les résultats de chaque passage avec un horodatage.
- Logique de réaction — règles selon lesquelles le système vous avertit (dans Telegram, par e-mail) ou modifie automatiquement le prix via l'API de la marketplace.
Pour commencer, il suffit d'une combinaison : Google Sheets + parser no-code (par exemple, basé sur Make/Zapier ou des services de parsing spécialisés) + proxy + bot Telegram pour les notifications. Cela peut être assemblé en une journée sans écrire de code. Pour un plus grand échelle (milliers de SKU), un script en Python avec les bibliothèques requests/BeautifulSoup ou Selenium sera nécessaire, qui s'exécute selon un calendrier sur le serveur.
Quels proxies choisir pour la surveillance
Le choix des proxies représente 70 % du succès de tout le système. Examinons trois types et quand chacun est approprié.
| Type de proxy | Quand utiliser | Risque de blocage |
|---|---|---|
| Proxies de centre de données | Sites simples sans anti-fraude, surveillance à faible fréquence de petites boutiques en ligne | Élevé sur les marketplaces, faible sur les sites ordinaires |
| Proxies résidentiels | Wildberries, Ozon, Avito — outil principal pour la surveillance des marketplaces | Faible avec une bonne rotation |
| Proxies mobiles | Vérification ponctuelle des fiches avec une protection stricte contre les bots, contournement des captchas lors de vérifications manuelles | Minime, mais plus cher à exploiter |
Pour la surveillance quotidienne de milliers de fiches sur Wildberries et Ozon, le choix optimal est des proxies résidentiels, car leurs IP appartiennent à de véritables fournisseurs d'accès domestiques et ne figurent pas sur les listes noires des centres de données. Ils sont plus chers que les serveurs, mais économisent du temps sur le contournement des blocages et des captchas, ce qui réduit finalement le coût de possession du système.
Les proxies mobiles doivent être conservés en réserve pour les situations où même une IP résidentielle reçoit un captcha — par exemple, lors de la surveillance d'une catégorie de produits spécifique avec une protection renforcée. Le serveur de l'opérateur mobile utilise CGNAT (IP partagée pour des milliers d'abonnés), donc le blocage d'une telle IP affecte de réels utilisateurs et les plateformes l'appliquent avec une grande prudence.
Outils de collecte de données
Si vous n'êtes pas programmeur, il existe plusieurs moyens de construire un système sans code. Tout d'abord, les services no-code de parsing et de surveillance des prix permettent d'indiquer l'URL de la fiche et de choisir le sélecteur CSS de l'élément avec le prix via une interface visuelle — littéralement en cliquant sur le bloc souhaité de la page. Deuxièmement, vous pouvez utiliser une combinaison de Google Sheets + une extension de navigateur qui vérifie les pages selon un calendrier et enregistre le résultat dans le tableau.
Si l'équipe a une personne avec des compétences techniques de base, un système en Python offre un maximum de flexibilité. Un script minimal ressemble à ceci :
import requests
from bs4 import BeautifulSoup
proxies = {
"http": "http://login:password@proxy_host:port",
"https": "http://login:password@proxy_host:port",
}
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}
url = "https://example-shop.ru/product/12345"
response = requests.get(url, proxies=proxies, headers=headers, timeout=15)
soup = BeautifulSoup(response.text, "html.parser")
price = soup.select_one(".product-price").get_text(strip=True)
print(f"Prix actuel : {price}")
Pour les pages qui chargent le prix via JavaScript (ce qui est caractéristique de Wildberries et Ozon), les requêtes ordinaires ne fonctionneront pas — un navigateur sans tête basé sur Selenium ou Playwright est nécessaire, qui rend la page complètement, comme le ferait un utilisateur ordinaire. Cette approche est plus lente, mais fournit des données précises même avec du contenu dynamique.
Configuration de la rotation et fréquence des requêtes
Même avec des proxies de qualité, le système peut être bloqué si les requêtes sont trop fréquentes et uniformes. Les algorithmes anti-fraude des marketplaces analysent non seulement l'IP, mais aussi le modèle de comportement : les intervalles entre les requêtes, l'ordre d'accès aux pages, la répétition des en-têtes.
Règles de rotation efficaces qui réduisent le risque de blocage :
- Changez d'IP à chaque requête ou toutes les 5-10 requêtes — la plupart des fournisseurs de proxies résidentiels prennent en charge la rotation automatique par minuterie ou sur demande.
- Ajoutez un délai aléatoire entre les requêtes de 3 à 15 secondes au lieu d'un intervalle fixe.
- Alternez les User-Agent d'une liste de navigateurs réels — n'utilisez pas le même en-tête pour des milliers de requêtes consécutives.
- Répartissez la charge au cours de la journée : ne vérifiez pas tout le catalogue d'un coup à 00:00, étalez les vérifications sur plusieurs heures.
- Utilisez des IP géographiquement pertinentes — si le concurrent vend en Russie, le proxy doit avoir une géolocalisation russe, sinon les prix et la disponibilité peuvent différer de la réalité pour votre région.
Pour surveiller 1000-3000 fiches par jour, un pool de plusieurs dizaines d'IP simultanées avec rotation toutes les 5-10 minutes est suffisant. Pour une échelle plus grande (dizaines de milliers de vérifications), un fournisseur avec un grand pool d'IP résidentielles et un support de rotation via API est nécessaire, afin d'intégrer le changement d'IP directement dans le script de collecte de données.
Particularités de la surveillance de Wildberries, Ozon et Avito
Chaque plateforme a sa propre spécificité de protection, et le schéma doit être adapté en conséquence.
Wildberries fournit des données sur les prix et les stocks via une API interne, qui peut être appelée directement, obtenant une réponse JSON sans avoir besoin de parser le HTML. C'est plus rapide et plus stable que de rendre la page dans un navigateur, mais cette API a des limites de fréquence de requêtes par IP, donc la rotation des proxies est obligatoire lors de la surveillance de plus de 50-100 produits par heure.
Ozon utilise activement le rendu JavaScript et une protection plus agressive contre les bots, y compris la vérification du comportement de la souris et de la vitesse de défilement dans certaines sections. Pour une surveillance stable d'Ozon, un navigateur sans tête avec émulation des actions réelles de l'utilisateur est généralement nécessaire, et pas seulement une requête HTTP.
Avito surveille principalement la fréquence des requêtes d'une seule IP et les modèles de recherche d'annonces. Pour surveiller les annonces des concurrents (par exemple, suivre les nouvelles annonces dans votre niche ou les changements de prix), il est crucial de maintenir une faible fréquence de requêtes — pas plus d'une requête par annonce toutes les 10-15 minutes à partir d'une seule IP, sinon le compte ou l'IP passe en shadow ban, où des données obsolètes sont fournies sans erreur explicite.
De nombreux spécialistes SMM et arbitragistes utilisent des navigateurs anti-détection comme Dolphin Anty, AdsPower ou Multilogin pour des tâches similaires de multi-comptes — ces mêmes outils conviennent également pour une vérification manuelle ponctuelle des fiches des concurrents, si la collecte automatique montre des données suspectes et qu'il est nécessaire de vérifier manuellement via un profil séparé avec un proxy attaché.
Stockage des données et tableaux de bord
Les données collectées sont inutiles sans un moyen pratique de les analyser. Pour de petits catalogues (jusqu'à 500 SKU), Google Sheets avec un historique des prix par date et un formatage conditionnel qui met en surbrillance le changement de prix du concurrent en rouge ou en vert est suffisant. Pour des volumes plus importants, une base de données est nécessaire — PostgreSQL ou même SQLite conviendra, si le système fonctionne sur un seul serveur.
Sur la base des données collectées, il est pratique de construire des tableaux de bord simples dans Google Data Studio (Looker Studio) ou Power BI, où l'on peut voir : la dynamique des prix du concurrent au cours des 30 derniers jours, la différence de prix par rapport à votre position, la fréquence de changement de prix de chaque concurrent. Cette visualisation aide à voir des modèles — par exemple, un concurrent change de prix chaque lundi matin, et vous pouvez adapter votre stratégie à ce cycle.
Il est important de stocker non seulement le prix actuel, mais aussi tout l'historique des changements avec des timestamps. Cela permet d'analyser plus tard la saisonnalité, d'identifier le dumping avant les soldes et de prévoir le comportement des concurrents lors de la prochaine période similaire (par exemple, avant le 11.11 ou le Black Friday).
Erreurs fréquentes lors de la construction du système
En pratique, la plupart des systèmes de surveillance faits maison échouent en raison de plusieurs erreurs typiques, qu'il est facile d'éviter à l'avance.
- Une seule IP pour toute la surveillance. Même un proxy de qualité finira par être bloqué, si des milliers de requêtes passent par lui sans rotation.
- Ignorer les en-têtes de navigateur. Une requête sans User-Agent ou avec un en-tête obsolète est un signal instantané de bot pour le système anti-fraude.
- Fréquence de vérification trop élevée. La surveillance chaque minute n'a de sens que pour 5-10 concurrents clés, pour le reste du catalogue, une vérification toutes les quelques heures est suffisante.
- Absence de gestion des erreurs. Si le site renvoie un captcha ou est temporairement inaccessible, le système doit le reconnaître et réessayer plus tard, au lieu d'enregistrer une valeur vide ou erronée comme prix actuel.
- Proxies de centres de données pour les marketplaces. Économiser sur le type de proxy se traduit par des blocages constants et la nécessité de changer d'IP manuellement chaque jour — au final, le système nécessite plus de travail manuel qu'il ne devrait.
Conclusion
Avoir son propre système de surveillance des concurrents sur les marketplaces n'est pas une configuration unique, mais un outil opérationnel qui nécessite une architecture correcte : liste des cibles, scraper, couche proxy, stockage des données et logique de réaction aux changements. L'élément clé dont dépend la stabilité de tout le schéma est le proxy. Les IP serveurs sont rapidement bloquées par les systèmes anti-fraude de Wildberries et Ozon, donc pour une surveillance régulière des marketplaces, il est conseillé de prévoir dans le budget des IP de qualité avec rotation.
Si vous prévoyez de surveiller les prix des concurrents sur Wildberries, Ozon ou Avito, commencez par des proxies résidentiels — ils assurent une haute fiabilité des données collectées et un risque minimal de blocages avec une rotation adéquate. Pour des vérifications ponctuelles des fiches les plus protégées, gardez en réserve des proxies mobiles, et pour des tâches auxiliaires sur des sites moins protégés, des proxies de centre de données plus économiques conviendront également.