Si vous collectez les prix de location d'appartements dans plusieurs villes — pour l'analyse du marché, la formation des prix ou la revente des données aux agents immobiliers — tôt ou tard, vous serez confronté à des CAPTCHA, des blocages temporaires et une consommation de trafic imprévisible. Dans cet article, nous examinerons un schéma concret de collecte d'annonces sur Avito, Cian et Yandex.Realty dans 5 villes, et nous calculerons combien de gigaoctets de trafic sur les proxies il est réellement nécessaire de prévoir dans le budget.
Pourquoi surveiller les prix de location dans plusieurs villes
La surveillance des prix de location dans plusieurs villes n'est pas seulement nécessaire pour les agences immobilières. C'est une tâche pour les analystes de marché, les gestionnaires d'entreprises, les investisseurs immobiliers et les services qui vendent des rapports sur le marché locatif. La comparaison des prix à Moscou, Saint-Pétersbourg, Kazan, Ekaterinbourg et Novossibirsk permet de voir la dynamique de la demande, la saisonnalité et les anomalies — par exemple, une chute brutale des prix dans un quartier en raison de l'affichage massif d'appartements par un seul propriétaire.
Pour les agences immobilières, c'est aussi un moyen de réagir rapidement à la concurrence : si une annonce apparaît dans un voisinage à 15 % en dessous du marché, il faut le voir dans l'heure, et non pas dans une semaine. La consultation manuelle des annonces via un navigateur pour 5 villes prend 3 à 4 heures par jour pour un seul employé — l'automatisation avec des proxies réduit ce temps à 10-15 minutes pour vérifier les résultats.
Un point important : les plateformes d'annonces (Avito, Cian, Domclick) se protègent activement contre la collecte automatique de données précisément parce que ces rapports entrent en concurrence avec leurs propres services d'analyse payants. Par conséquent, tout schéma de surveillance repose sur trois éléments : l'imitation du comportement d'un utilisateur réel, la diversité des adresses IP et le contrôle de la vitesse des requêtes.
Quelles sources d'annonces utiliser
Pour avoir une image complète du marché locatif dans 5 villes, on utilise généralement 2-3 sources simultanément, car aucune plateforme ne couvre complètement le marché :
- Avito Immobilier — la plus grande couverture pour les annonces privées, mais la protection contre le parsing est la plus stricte et il y a souvent des CAPTCHA en cas d'activité suspecte.
- Cian — mieux représenté dans les grandes villes, beaucoup d'annonces d'agences, la structure des pages est plus stable pour la collecte.
- Yandex.Immobilier — agrégateur, tire des annonces d'autres plateformes, utile pour la vérification croisée des prix.
- Domclick — pertinent pour les villes de plus d'un million d'habitants, moins de blocages, mais aussi moins d'annonces de particuliers.
Pour commencer, Avito et Cian suffisent généralement — ils couvrent 70-80 % du marché locatif dans les grandes villes. Les autres sources sont ajoutées lorsque des analyses plus approfondies ou la vérification de prix anormaux sont nécessaires.
Schéma de collecte : proxies, outils et fréquence
Le schéma de base pour la surveillance des prix de location dans 5 villes est construit selon la logique suivante : pour chaque ville et chaque plateforme, un pool distinct d'adresses IP est alloué, les requêtes sont effectuées à des intervalles imitant le comportement humain, et la collecte de données se fait selon un calendrier plusieurs fois par jour.
En pratique, le schéma ressemble à ceci :
- Une solution prête à l'emploi pour le parsing des annonces (sans écrire de code) est configurée pour collecter une liste d'annonces selon des filtres : ville, type de logement, plage de prix.
- Pour chaque ville, un profil distinct est créé avec une liaison aux proxies géographiques de la région correspondante — cela réduit la probabilité de CAPTCHA, car l'IP correspond à la localisation réelle de l'échantillon.
- Les requêtes sont réparties dans le temps : pas en un flux continu, mais avec des pauses de 3 à 8 secondes entre les annonces.
- La collecte de données pour chaque ville est répétée 2 à 4 fois par jour — cela suffit pour suivre les nouvelles annonces et les changements de prix, sans créer une charge anormale sur la plateforme.
- Les résultats sont enregistrés dans un tableau ou une base de données avec une liaison à la date et à l'heure de la collecte pour construire des graphiques de dynamique des prix.
Pour gérer plusieurs profils de collecte par ville, il est pratique d'utiliser des navigateurs anti-détection tels que Dolphin Anty, AdsPower ou Octo Browser — ils permettent d'attribuer à chaque ville un profil de navigateur distinct avec des cookies uniques, un user-agent, et surtout, un proxy lié à la région requise. C'est le même principe que celui utilisé par les arbitragistes pour le multi-comptage, mais appliqué à la tâche de parsing des annonces.
Calcul de la consommation de trafic pour 5 villes
La consommation de trafic est un paramètre clé lors de la planification du budget pour les proxies, surtout si vous utilisez des IP résidentielles, où le paiement se fait en fonction du volume de données transférées. Examinons le calcul à l'aide de l'exemple de la surveillance de cinq grandes villes : Moscou, Saint-Pétersbourg, Kazan, Ekaterinbourg, Novossibirsk.
Les données de base pour le calcul sont les suivantes :
- Poids moyen d'une page avec une liste d'annonces (30-50 annonces) — 800 Ko - 1,5 Mo en tenant compte des images, si les images ne sont pas bloquées, et environ 150-250 Ko sans chargement d'images.
- Poids moyen d'une annonce lors d'un parsing détaillé — 300-500 Ko avec photo, 40-70 Ko en mode texte.
- Nombre d'annonces à collecter par ville lors d'un passage — 300-800 selon la taille du marché (Moscou et Saint-Pétersbourg — plus, Kazan, Ekaterinbourg, Novossibirsk — moins).
| Ville | Annonces/passage | Trafic sans photo/passage | Trafic/jour (3 passages) |
|---|---|---|---|
| Moscou | 800 | ~45 Mo | ~135 Mo |
| Saint-Pétersbourg | 650 | ~37 Mo | ~111 Mo |
| Kazan | 350 | ~20 Mo | ~60 Mo |
| Ekaterinbourg | 380 | ~22 Mo | ~66 Mo |
| Novossibirsk | 400 | ~23 Mo | ~69 Mo |
Au total, nous obtenons environ 440 Mo de trafic par jour pour 5 villes lors de trois passages par jour et avec le chargement des images désactivé. Cela représente environ 13 Go par mois. Si vous collectez également des photos des annonces pour une vérification visuelle (par exemple, pour distinguer les vrais appartements des annonces frauduleuses), la consommation augmente de 6 à 8 fois — jusqu'à 80-100 Go par mois pour 5 villes.
Conseil pratique : au début, désactivez le chargement des images et des styles au niveau des paramètres du parser ou du profil de navigateur — cela réduit le trafic de plusieurs fois sans perte de données sur le prix, l'adresse et la superficie de l'appartement. Les photos peuvent être chargées au cas par cas uniquement pour les annonces avec un prix suspectement bas.
Quels proxies choisir pour chaque source
Le choix du type de proxy influence directement le nombre de CAPTCHA que vous rencontrerez et la stabilité de la collecte de données. Pour la surveillance des annonces dans 5 villes, différentes plateformes nécessitent des approches différentes.
| Plateforme | Type de proxy recommandé | Raison |
|---|---|---|
| Avito | Proxies résidentiels | Protection stricte contre les IP de centres de données, des adresses réelles de fournisseurs sont nécessaires |
| Cian | Proxies résidentiels | Surveille les modèles de requêtes, une géolocalisation à la ville est nécessaire |
| Yandex.Immobilier | Proxies de centres de données | Protection plus faible, possibilité d'économiser sur la vitesse et le coût |
| Domclick | Proxies de centres de données | Protection modérée, la vitesse de collecte est plus importante que l'anonymat |
Pour Avito, il convient de mentionner séparément les proxies mobiles — si vous collectez des données via une application mobile ou émulez un trafic mobile, la plateforme marque moins souvent ces requêtes comme suspectes, car les IP mobiles des opérateurs sont constamment réutilisées par différents utilisateurs réels. Pour les tâches de surveillance immobilière, cela est pertinent si les IP résidentielles de bureau commencent à rencontrer souvent des CAPTCHA dans une région donnée.
Rotation des IP et fréquence des requêtes sans bans
Une erreur fréquente lors de la surveillance des prix de location est d'essayer de collecter toutes les données pour 5 villes à partir de la même adresse IP de manière séquentielle. Les plateformes voient une forte augmentation des requêtes d'une seule IP vers différentes sections géographiques du site et considèrent cela comme de l'automatisation même en respectant les pauses entre les requêtes.
Un schéma de rotation efficace ressemble à ceci :
- Attribuez une IP distincte (ou un petit pool de 3-5 IP) à chaque ville pour tout le cycle de collecte — c'est logique, car un utilisateur réel de Kazan ne peut physiquement pas regarder simultanément des annonces à Novossibirsk.
- Changez d'IP à l'intérieur du pool toutes les 30-50 requêtes d'annonces, et non à chaque requête — un changement d'IP trop fréquent semble également suspect.
- Faites des pauses de 4 à 10 secondes entre les requêtes d'annonces et de 1 à 3 minutes entre les passages dans différentes sections du site.
- Ne lancez pas la collecte pour 5 villes strictement en parallèle, mais avec un léger décalage temporel — 5 à 15 minutes entre le début de la collecte pour chaque ville.
Avec cette approche, un pool de 15 à 25 IP résidentielles avec rotation par session est généralement suffisant pour 5 villes, si le volume de collecte ne dépasse pas 500-800 annonces par ville par passage. Pour une collecte plus agressive (par exemple, une surveillance horaire), il est conseillé d'augmenter le pool à 40-50 IP, afin que la charge sur chaque adresse reste dans des limites similaires à celles du comportement d'un utilisateur ordinaire.
Erreurs fréquentes lors de la surveillance des annonces
Sur la base de cas typiques, plusieurs erreurs peuvent être identifiées, qui entraînent le plus souvent des blocages et des interruptions dans la collecte de données pour plusieurs villes :
- Une seule IP pour toutes les villes — la plateforme voit une géolocalisation illogique et limite l'accès plus rapidement que si des IP locales étaient utilisées pour chaque région.
- Collecte trop fréquente — une surveillance toutes les 10-15 minutes est rarement justifiée pour le marché locatif, les prix ne changent pas si rapidement, et la charge sur la source augmente proportionnellement.
- Ignorer le User-Agent et les en-têtes du navigateur — une incohérence entre l'IP d'un opérateur mobile et un user-agent de bureau augmente immédiatement le risque de blocage.
- Absence de pool de proxies de secours — si tout le trafic passe par un seul type de proxy sans pool de secours, en cas de blocage massif, la collecte de données s'arrête complètement pendant plusieurs heures.
- Collecte sans restriction sur les photos — cela entraîne une surconsommation de trafic de 5 à 8 fois sans valeur ajoutée pour l'analyse des prix.
Ces erreurs sont facilement évitables lors de la configuration — il suffit de diviser à l'avance le pool de proxies par ville, de limiter la fréquence des requêtes et de désactiver le chargement de contenu superflu.
Conclusion et recommandations
La surveillance des prix de location par annonces dans 5 villes est une tâche qui peut être réalisée sans écrire de code, si le schéma est correctement établi : un proxy géographique distinct pour chaque ville, une fréquence raisonnable des requêtes, la désactivation des fichiers multimédias superflus et la rotation des IP à l'intérieur du pool attribué. Avec cette approche, la consommation de trafic reste dans les limites de 10-15 Go par mois sans photos et de 80-100 Go avec le chargement complet des images des annonces.
Pour commencer la collecte de données sur Avito et Cian, nous recommandons d'utiliser des proxies résidentiels — ils offrent le pourcentage le plus bas de CAPTCHA lors du travail avec des plateformes immobilières sensibles à la géolocalisation. Si le budget est limité ou si la source a une protection faible (par exemple, des agrégateurs comme Yandex.Realty), vous pouvez passer à des proxies de centres de données moins chers sans perte de qualité dans la collecte des données.