Proxies pour le scraping d'AliExpress : comment collecter des données sur les produits sans blocages

AliExpress lutte activement contre la collecte automatique de données - les scrapers reçoivent des captchas, des bans temporaires par IP et des demandes d'autorisation. Si vous surveillez les prix des concurrents, recherchez des produits tendance pour le dropshipping ou collectez une base de données pour un marketplace, sans des proxies correctement configurés, le travail se transforme en une lutte constante contre les blocages.

Dans ce guide, nous allons examiner comment choisir un proxy pour le scraping d'AliExpress, configurer la rotation des adresses IP, contourner les systèmes anti-bot et automatiser la collecte de données sur les produits, les prix et les avis sans risque de se faire bannir.

Pourquoi AliExpress bloque le scraping et comment cela fonctionne

AliExpress utilise un système de protection à plusieurs niveaux contre la collecte automatique de données. La plateforme perd de l'argent lorsque les concurrents copient massivement les catalogues, et les serveurs sont surchargés par les bots. C'est pourquoi la protection est constamment améliorée et devient plus agressive.

Méthodes principales de détection des scrapers :

• Fréquence des requêtes depuis une seule IP - si plus de 50 requêtes arrivent en une minute depuis une seule adresse, le système affiche automatiquement un captcha ou bloque temporairement l'IP pendant 30 à 60 minutes.
• Analyse du comportement - les bots ouvrent les pages trop rapidement (0,5 à 1 seconde), ne déplacent pas la souris, ne font pas défiler, ne cliquent pas sur les éléments de l'interface.
• Absence de cookies - les utilisateurs normaux accumulent des cookies lors de la visite du site, les scrapers fonctionnent souvent avec une session vierge.
• User-Agent suspect - anciennes versions de navigateurs, bibliothèques serveur (Python-requests, curl), absence d'appareils mobiles dans les statistiques.
• Empreinte digitale du navigateur - AliExpress collecte des empreintes : résolution d'écran, fuseau horaire, polices installées, WebGL, Canvas. Des empreintes identiques provenant de différentes IP sont un signe de bot.

Lorsque le système détecte une activité suspecte, il applique une gradation des blocages : d'abord un captcha, puis un ban temporaire de l'IP pendant 1 à 2 heures, en cas de violations répétées - un ban de 24 heures ou permanent.

Quels types de proxies conviennent pour le scraping d'AliExpress

Le choix du type de proxy dépend du volume de scraping, du budget et des exigences en matière de qualité des données. Examinons chaque type avec des scénarios d'utilisation réels.

Proxies de datacenter pour un scraping rapide

Convient lorsque vous devez rapidement collecter un grand volume de données : prix de 10 000+ produits, caractéristiques des catégories, liste des vendeurs. Un temps de réponse de 50-150 ms permet de faire 5 à 10 requêtes par seconde depuis une seule IP.

Scénario d'utilisation : Vous avez un magasin de dropshipping sur Shopify, vous devez mettre à jour quotidiennement les prix de 5 000 produits d'AliExpress. Vous achetez un pool de 50 à 100 IP de datacenter avec rotation tous les 10 à 15 requêtes. En 2-3 heures, vous collectez toutes les données, les coûts des proxies s'élèvent à 50-100 $ par mois.

Inconvénients : AliExpress connaît les plages d'IP des datacenters et les considère comme suspectes. Une rotation agressive est nécessaire (changer d'IP toutes les 5 à 10 requêtes) et une émulation du comportement (délais aléatoires de 2 à 5 secondes entre les requêtes).

Proxies résidentiels pour un scraping stable

Les proxies résidentiels ont des IP d'utilisateurs domestiques réels - les fournisseurs les attribuent à des particuliers. AliExpress ne peut pas distinguer une requête via un tel proxy d'une requête d'un acheteur ordinaire. Cela réduit le risque de blocages de 5 à 10 fois par rapport aux datacenters.

Scénario d'utilisation : Vous surveillez les prix des concurrents pour votre magasin sur Ozon. Vous devez vérifier chaque jour 200 à 300 produits, comparer les prix sur AliExpress et chez les fournisseurs russes. Vous utilisez 10 à 20 IP résidentielles avec rotation tous les 50 à 100 requêtes. Le scraping prend 30 à 40 minutes, il n'y a pas de blocages pendant des mois.

Avantages : Vous pouvez travailler depuis une seule IP plus longtemps (100-200 requêtes au lieu de 10-20), moins de captchas, possibilité d'autorisation et de travail avec le compte personnel du vendeur.

Proxies mobiles pour contourner les blocages stricts

Les IP mobiles (opérateurs 3G/4G/5G) ont la confiance maximale - AliExpress ne peut pas bloquer des sous-réseaux entiers d'opérateurs mobiles, cela bloquerait des millions d'acheteurs réels. Une seule IP mobile peut être utilisée par des centaines d'appareils (NAT), donc même un scraping agressif ressemble à l'activité de différents utilisateurs.

Scénario d'utilisation : Vous avez déjà été banni avec des IP résidentielles dans une région donnée, vous devez rapidement collecter des données pour un rapport à un client. Vous prenez 2 à 3 proxies mobiles, scrapez via la version mobile du site (m.aliexpress.com). Même avec un scraping agressif (1 requête par seconde), il n'y a pas de blocages.

Inconvénients : Plus cher que les résidentielles de 2 à 3 fois, vitesse inférieure (300-700 ms de délai), l'IP peut changer lors de la reconnexion de l'opérateur.

Configuration de la rotation IP : fréquence de changement et délais

Une rotation IP correcte est la clé d'un scraping à long terme sans blocages. Un changement trop fréquent semble suspect et épuise les proxies, tandis qu'un changement trop rare entraîne des bans.

Fréquence de rotation recommandée par type de proxy

Stratégies de rotation pour différentes tâches

1. Scraping rapide du catalogue (10 000+ produits en une heure)

• Utilisez un pool de 100-200 IP de datacenters
• Rotation toutes les 5-10 requêtes
• Flux parallèles : 10-20 requêtes simultanées depuis différentes IP
• Délai entre les requêtes : 1-2 secondes (simulation d'un utilisateur rapide)
• Si vous recevez un captcha sur l'IP - excluez-le du pool pendant 2-3 heures

2. Surveillance quotidienne des prix (500-1000 produits)

• Utilisez 10-20 IP résidentielles
• Rotation toutes les 50-100 requêtes
• Requêtes séquentielles avec un délai de 3-5 secondes
• Conservez les cookies entre les requêtes depuis une seule IP
• Imitez le comportement : ouvrez parfois la page d'accueil, les catégories

3. Scraping avec autorisation (compte personnel du vendeur)

• Une IP résidentielle ou mobile par compte
• Pas de rotation pendant la session (30-60 minutes)
• Délai de 5-10 secondes entre les requêtes
• Émulation complète du navigateur : conservation des cookies, localStorage, empreinte digitale

Contourner les systèmes anti-bot : User-Agent, cookies et empreinte digitale

Changer d'IP ne résout qu'une partie du problème. AliExpress analyse des dizaines de paramètres de requêtes et de comportement pour distinguer un bot d'un humain. Examinons ce qu'il faut configurer en plus des proxies.

User-Agent et en-têtes HTTP

Le User-Agent informe le serveur de quel navigateur et système d'exploitation effectuent la requête. Les scrapers utilisent souvent des valeurs par défaut des bibliothèques (Python-requests/2.28.0), qui sont immédiatement détectées.

Configuration correcte du User-Agent :

• Utilisez les versions récentes des navigateurs populaires : Chrome 120+, Firefox 121+, Safari 17+
• Changez le User-Agent lors de la rotation des IP - une IP ne doit pas afficher différents navigateurs
• Ajoutez des User-Agent mobiles dans une proportion de 40-50% (la moitié du trafic d'AliExpress provient d'appareils mobiles)
• Copiez l'ensemble complet des en-têtes d'un navigateur réel : Accept, Accept-Language, Accept-Encoding, Connection, Upgrade-Insecure-Requests

Exemple d'en-têtes corrects pour un bureau :

User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
Accept-Language: en-US,en;q=0.9
Accept-Encoding: gzip, deflate, br
Connection: keep-alive
Upgrade-Insecure-Requests: 1
Sec-Fetch-Dest: document
Sec-Fetch-Mode: navigate
Sec-Fetch-Site: none
Sec-Fetch-User: ?1

Exemple pour un appareil mobile :

User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 17_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.2 Mobile/15E148 Safari/604.1
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-US,en;q=0.9
Accept-Encoding: gzip, deflate, br

Travail avec les cookies et les sessions

AliExpress définit des cookies lors de la première visite : identifiant de session, paramètres de langue et de devise, jetons de suivi. Les scrapers sans cookies semblent suspects - un utilisateur normal les accumule lors de la navigation sur le site.

Travail correct avec les cookies :

• Avant le scraping, ouvrez la page d'accueil et conservez tous les cookies
• Utilisez ces cookies pour toutes les requêtes suivantes depuis la même IP
• Lors du changement d'IP - commencez une nouvelle session avec de nouveaux cookies
• Conservez les cookies entre les lancements du scraper - cela imite un utilisateur revenant
• Actualisez les cookies toutes les 1-2 heures (ouvrez à nouveau la page d'accueil)

Empreinte digitale du navigateur et empreinte TLS

Les systèmes anti-bot modernes collectent une empreinte digitale du navigateur - une combinaison de dizaines de paramètres qui identifie de manière unique un appareil. Même depuis différentes IP, une empreinte identique révèle un bot.

Ce qui entre dans l'empreinte digitale du navigateur :

• Résolution d'écran et profondeur de couleur
• Fuseau horaire et langue du système
• Liste des polices installées
• Empreinte WebGL et Canvas (méthode unique de rendu graphique)
• Contexte audio (empreinte AudioContext)
• Liste des plugins du navigateur
• Support de WebRTC, Battery API et d'autres API modernes

Les bibliothèques HTTP simples (requests, axios, curl) n'ont pas ces paramètres - elles fonctionnent au niveau du protocole sans rendu. Pour un scraping sérieux, des outils avec un navigateur complet sont nécessaires.

Solutions pour émuler un navigateur :

• Selenium + undetected-chromedriver - lance un vrai Chrome avec des modifications pour contourner la détection
• Puppeteer + puppeteer-extra-plugin-stealth - bibliothèque Node.js avec des plugins pour masquer l'automatisation
• Playwright - alternative moderne à Selenium avec de meilleures performances
• Navigateurs antidetect - Dolphin Anty, AdsPower, Multilogin (pour travailler via l'interface)

Outils prêts à l'emploi pour le scraping d'AliExpress

Écrire un scraper depuis zéro a du sens uniquement pour des tâches spécifiques. Pour la collecte standard de données (produits, prix, avis), il existe des solutions prêtes à l'emploi qui économisent des semaines de développement.

Services commerciaux avec API

1. ScraperAPI (scrape.do, scrapingbee.com)

Services cloud qui prennent en charge tout le travail avec les proxies et le contournement des protections. Vous leur envoyez l'URL d'un produit AliExpress, ils renvoient le HTML ou le JSON avec les données.

• Avantages : pas besoin de proxies propres, contournement automatique des captchas, scrapers prêts pour les sites populaires
• Inconvénients : coûteux pour de gros volumes (à partir de 50 $ pour 100K requêtes), dépendance à un service tiers
• Quand utiliser : tâches ponctuelles, prototypage, petits volumes (jusqu'à 10K produits par mois)

2. Bright Data (luminati.io)

Le plus grand fournisseur de proxies avec ses propres outils de scraping. Ils fournissent non seulement des proxies, mais aussi des ensembles de données prêts avec AliExpress (bases de produits mises à jour).

• Avantages : énorme pool d'IP (72+ millions résidentiels), infrastructure pour les clients Enterprise
• Inconvénients : très cher (à partir de 500 $ par mois), tarification complexe
• Quand utiliser : grandes entreprises avec un budget, scraping constant de gros volumes

Solutions open-source

1. Scrapy + scrapy-rotating-proxies

Framework populaire pour le scraping en Python. Prend en charge les requêtes asynchrones, la rotation automatique des proxies, l'exportation en CSV/JSON/base de données.

Exemple de configuration des proxies dans Scrapy :

# settings.py
ROTATING_PROXY_LIST = [
    'http://user:pass@proxy1.example.com:8000',
    'http://user:pass@proxy2.example.com:8000',
    'http://user:pass@proxy3.example.com:8000',
]

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': 90,
    'scrapy_rotating_proxies.middlewares.RotatingProxyMiddleware': 610,
    'scrapy_rotating_proxies.middlewares.BanDetectionMiddleware': 620,
}

# Paramètres pour contourner le ban
ROTATING_PROXY_PAGE_RETRY_TIMES = 5
ROTATING_PROXY_BACKOFF_BASE = 300  # temps de ban du proxy en secondes

2. Puppeteer + puppeteer-extra-plugin-stealth

Pour les sites avec une protection agressive (comme AliExpress), un navigateur complet est nécessaire. Puppeteer contrôle Chrome via le DevTools Protocol, le plugin stealth masque les signes d'automatisation.

// parser.js
const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');

puppeteer.use(StealthPlugin());

(async () => {
  const browser = await puppeteer.launch({
    args: [
      '--proxy-server=http://proxy.example.com:8000',
      '--no-sandbox',
      '--disable-setuid-sandbox'
    ]
  });

  const page = await browser.newPage();
  
  // Autorisation du proxy
  await page.authenticate({
    username: 'user',
    password: 'pass'
  });

  // Définir un viewport réaliste
  await page.setViewport({
    width: 1920,
    height: 1080,
    deviceScaleFactor: 1
  });

  // Scraping du produit
  await page.goto('https://www.aliexpress.com/item/1234567890.html', {
    waitUntil: 'networkidle2'
  });

  const productData = await page.evaluate(() => {
    return {
      title: document.querySelector('.product-title-text')?.innerText,
      price: document.querySelector('.product-price-value')?.innerText,
      rating: document.querySelector('.overview-rating-average')?.innerText
    };
  });

  console.log(productData);
  await browser.close();
})();

Applications de bureau pour utilisateurs non techniques

1. Octoparse

Scraper visuel sans code - vous cliquez sur les éléments de la page, le programme mémorise la structure et collecte les données. Support intégré pour les proxies et planificateur de tâches.

• Avantages : pas besoin de programmer, fonctionne avec du contenu dynamique, version cloud pour un fonctionnement en arrière-plan
• Inconvénients : limitations dans la version gratuite (10K lignes par mois), parfois ne gère pas bien les protections complexes
• Prix : à partir de 75 $ par mois pour le plan Standard

2. ParseHub

Similaire à Octoparse avec une interface plus simple. Fonctionne bien avec AliExpress grâce à des modèles intégrés pour les sites populaires.

• Avantages : tarif gratuit pour 200 pages, configuration simple des proxies
• Inconvénients : travail lent dans la version gratuite, pas de fonctionnalités avancées (API, webhooks)

Géotargeting : comment scraper les prix pour différents pays

AliExpress affiche des prix, une gamme de produits et des conditions d'expédition différentes selon le pays de l'utilisateur. Si vous travaillez avec le dropshipping international ou comparez les prix pour différents marchés, vous avez besoin de proxies de régions spécifiques.

Comment AliExpress détermine le pays de l'utilisateur

La plateforme utilise plusieurs sources de données :

• Adresse IP - principal moyen, détermine le pays par géolocalisation IP
• Cookies - conserve le pays sélectionné dans aep_usuc_f (peut être remplacé)
• En-tête Accept-Language - langue du navigateur, mais pas un facteur déterminant
• Devise dans l'URL - paramètres ?currency=USD ou sous-domaines (ru.aliexpress.com)

Pour un scraping fiable des prix d'un pays spécifique, vous devez utiliser des proxies de cette région. Le remplacement uniquement des cookies ne fonctionne pas toujours - AliExpress priorise la géolocalisation IP.

Régions populaires pour le scraping et leurs caractéristiques

Configuration du géotargeting via des proxies

La plupart des fournisseurs de proxies résidentiels et mobiles permettent de choisir le pays (et même la ville) via les paramètres de connexion ou l'API.

Exemple de choix de pays via le nom d'utilisateur du proxy :

# Format : username-country-code_pays
proxy_us = "http://username-country-us:password@gate.example.com:8000"
proxy_de = "http://username-country-de:password@gate.example.com:8000"
proxy_br = "http://username-country-br:password@gate.example.com:8000"

# Scraping du prix pour les États-Unis
response_us = requests.get(
    "https://www.aliexpress.com/item/1234567890.html",
    proxies={"http": proxy_us, "https": proxy_us}
)

# Scraping du prix pour l'Allemagne
response_de = requests.get(
    "https://www.aliexpress.com/item/1234567890.html",
    proxies={"http": proxy_de, "https": proxy_de}
)

Configurez également les en-têtes selon la région :

• Accept-Language : en-US pour les États-Unis, de-DE pour l'Allemagne, pt-BR pour le Brésil
• Utilisez le sous-domaine approprié : ru.aliexpress.com pour la Russie, de.aliexpress.com pour l'Allemagne
• Vérifiez la devise dans la réponse - si vous voyez une devise incorrecte, cela signifie que le géotargeting n'a pas fonctionné

Erreurs courantes lors du scraping et comment les éviter

Même avec des proxies et des configurations correctes, vous pouvez obtenir des blocages en raison d'erreurs dans la logique de scraping. Examinons les problèmes fréquents et leurs solutions.

Erreur 1 : Scraping trop agressif

Problème : Le scraper effectue 100 requêtes par minute depuis une seule IP, essayant de collecter des données plus rapidement. AliExpress détecte cela comme une attaque DDoS et bloque l'IP.

Solution : Ajoutez des délais et une limite au nombre de requêtes. Pour les proxies résidentiels, une vitesse sécurisée est de 10 à 20 requêtes par minute depuis une seule IP (1 requête toutes les 3 à 6 secondes). Il vaut mieux scraper plus longtemps que de perdre des proxies.

Erreur 2 : Ignorer les captchas et les erreurs

Problème : Le scraper reçoit une page avec un captcha, mais continue de la scraper comme un contenu ordinaire. En conséquence - des milliers d'enregistrements vides dans la base de données.

Solution : Vérifiez la réponse du serveur avant de scraper. Si le HTML contient les mots "captcha", "Accès refusé" ou le code de réponse 403/429 - cessez d'utiliser cette IP pendant 1 à 2 heures.

def is_blocked(html):
    blocked_keywords = ['captcha', 'access denied', 'too many requests']
    return any(keyword in html.lower() for keyword in blocked_keywords)

response = requests.get(url, proxies=proxy)
if is_blocked(response.text):
    print(f"Proxy {proxy} is blocked, switching...")
    # Exclure le proxy du pool pendant 2 heures
    blocked_proxies[proxy] = time.time() + 7200
    continue

Erreur 3 : Scraping de données obsolètes

Problème : AliExpress met en cache les pages via CDN (Cloudflare). Le scraper obtient des données vieilles de 2-3 heures au lieu des prix actuels.

Solution : Ajoutez un paramètre aléatoire dans l'URL pour contourner le cache, ou utilisez l'en-tête Cache-Control: no-cache.

import random
import time

# Ajoutez un timestamp dans l'URL pour contourner le cache
url = f"https://www.aliexpress.com/item/1234567890.html?_t={int(time.time())}"

# Ou utilisez l'en-tête
headers = {
    'Cache-Control': 'no-cache',
    'Pragma': 'no-cache'
}

Erreur 4 : Mauvaise gestion du contenu dynamique

Problème : Les prix et caractéristiques des produits sur AliExpress sont chargés via JavaScript après le chargement de la page. Une simple requête HTTP obtient un modèle HTML vide sans données.

Solution : Utilisez un navigateur sans tête (Selenium, Puppeteer, Playwright) qui exécute JavaScript et attend le chargement complet du contenu. Ou trouvez un point de terminaison API qui renvoie des données en JSON - il est souvent accessible via DevTools dans le réseau.

Erreur 5 : Absence de journalisation et de surveillance

Problème : Le scraper fonctionne pendant une semaine, collecte des données, mais personne ne vérifie la qualité. Il s'avère que 30 % des enregistrements sont vides en raison de changements dans la structure du site.

Solution : Journalisez tous les événements importants - requêtes réussies, erreurs, blocages de proxies, changements dans la structure des données. Configurez des alertes lorsque le nombre d'erreurs dépasse 10 %.

Conclusion

Le scraping d'AliExpress nécessite une approche complexe : des proxies corrects ne sont qu'une partie de la solution. Une rotation IP judicieuse, l'émulation d'un navigateur réel, le travail avec des cookies et des empreintes digitales, ainsi qu'une surveillance constante de la qualité des données sont nécessaires. Un scraping trop agressif entraînera des blocages même avec des proxies coûteux, tandis qu'une configuration correcte permettra de collecter des données pendant des mois sans problème.

Pour la plupart des tâches (surveillance des prix des concurrents, collecte de catalogues pour le dropshipping, analyse des tendances), le choix optimal est des proxies résidentiels avec rotation toutes les 50-100 requêtes. Ils assurent un équilibre entre la vitesse de travail et le niveau de confiance de la part d'AliExpress. Si le budget est limité et que vous avez besoin d'une grande vitesse - commencez par des proxies de datacenter, mais soyez prêt à des blocages plus fréquents et à la nécessité d'une rotation agressive.

Rappelez-vous : la qualité des proxies est plus importante que leur quantité. 10 IP résidentielles de qualité avec une configuration correcte donneront de meilleurs résultats que 100 proxies de datacenter bon marché avec un taux de blocage élevé. Investissez du temps dans la configuration de l'émulation du navigateur, la journalisation et la surveillance - cela se traduira par un fonctionnement stable du scraper sans problèmes constants de captchas et de bans.