Si vous lancez des acteurs sur Apify pour le scraping de Wildberries, Ozon, Amazon ou Google Maps, tôt ou tard, la question se pose : payer pour le proxy Apify intégré ou connecter votre propre pool d'adresses IP. À des volumes élevés, la différence de coût peut atteindre des dizaines de milliers de roubles par mois. Dans cet article, nous allons examiner comment le prix du trafic est calculé dans Apify, quand il est plus avantageux d'utiliser son propre proxy, et comment le connecter techniquement à l'acteur — avec des exemples de code.
Qu'est-ce que les acteurs Apify et pourquoi ont-ils besoin de proxy
Apify est une plateforme pour lancer des scrapers prêts à l'emploi (acteurs) sans avoir besoin de déployer votre propre infrastructure. Dans le Apify Store, il y a des centaines d'acteurs prêts à l'emploi : parseurs Amazon, Google Maps Scraper, Instagram Scraper, acteurs pour collecter des fiches produits de Wildberries et Ozon. La plupart d'entre eux nécessitent un proxy, car les sites cibles bloquent rapidement les adresses IP des centres de données Apify lors de requêtes massives.
Le proxy dans l'acteur remplit trois fonctions : il contourne les restrictions géographiques (par exemple, il est nécessaire de collecter les prix spécifiquement pour la région "Moscou" sur Wildberries), réduit la fréquence des captchas et des bans temporaires, et répartit également la charge entre plusieurs IP, imitant le comportement des utilisateurs ordinaires, et non d'un bot. Sans proxy, la plupart des acteurs pour le scraping de marketplaces ne démarreront pas du tout, ou collecteront des données avec des erreurs après quelques minutes de fonctionnement.
Apify dispose d'une solution intégrée — le proxy Apify, qui se connecte par une simple ligne de code. C'est pratique pour commencer, mais il y a un détail : le paiement se fait en fonction du trafic par Go, et lors de scraping régulier ou volumineux, la facture augmente rapidement. C'est pourquoi les utilisateurs expérimentés de la plateforme connectent de plus en plus souvent leurs propres proxies aux acteurs au lieu des intégrés.
Comment fonctionne le proxy Apify intégré et sa tarification
Le proxy Apify propose trois types d'IP : des IP de centres de données, des résidentielles (via des pools partenaires) et
des proxies Google SERP pour le scraping des résultats de recherche. La connexion est très simple — il suffit
d'indiquer le paramètre useApifyProxy: true
dans la configuration de l'acteur, et la plateforme va automatiquement faire tourner les IP pour chaque requête ou session.
Le problème réside dans le modèle de paiement : le trafic des proxies résidentiels au sein d'Apify est facturé par gigaoctets, et le prix par Go de la solution intégrée est généralement plus élevé que celui des fournisseurs de proxy directs, car Apify ajoute sa propre marge pour l'intégration et la gestion du pool. Pour de petits lancements de test (quelques milliers de requêtes par mois), cela n'est pas critique. Mais si l'acteur fonctionne en mode de surveillance — par exemple, il collecte les prix sur Wildberries chaque heure pour 5000 SKU — la consommation de trafic augmente de manière exponentielle, et le proxy intégré devient le poste de dépense le plus coûteux du budget du projet, dépassant même le coût du plan Apify lui-même.
Un autre détail : le pool intégré d'Apify est commun à tous les clients de la plateforme. Cela signifie que les adresses IP peuvent déjà être "exposées" par d'autres utilisateurs, scrappant les mêmes sites. Cela augmente le risque de captchas et de bans, en particulier sur les marketplaces avec une protection anti-bot stricte, comme Ozon et Avito.
Quand un pool de proxy propre est moins cher : calculs chiffrés
Pour comprendre quand le passage à votre propre proxy est justifié, il faut comparer deux variables : le coût du trafic avec le proxy Apify et le coût d'un volume équivalent chez un fournisseur de proxy direct, plus le temps passé à intégrer et à maintenir votre propre pool.
La pratique montre trois scénarios :
- Scraping ponctuel (jusqu'à 1 Go de trafic par mois) — le proxy Apify intégré est plus avantageux : il n'est pas utile de perdre du temps à configurer votre propre pool pour une petite collecte de données ponctuelle.
- Surveillance régulière (5–50 Go par mois) — point de basculement. Il est déjà temps de faire des calculs : si l'acteur fonctionne quotidiennement et collecte des fiches produits de Wildberries ou Ozon, la consommation de trafic avec le proxy intégré augmente plus rapidement qu'avec un pool propre à coût fixe par IP ou un tarif illimité.
- Scraping industriel (à partir de 50 Go par mois, des dizaines d'acteurs, plusieurs sources) — un pool propre est presque toujours moins cher, car il est possible de négocier un prix direct pour le trafic ou pour le nombre d'IP, sans la majoration de la plateforme intermédiaire.
Un exemple simple de calcul : si un acteur traite quotidiennement 10 000 fiches produits, et que chaque page pèse en moyenne 300 Ko en tenant compte des images et des scripts (sans optimisation du chargement des ressources), cela représente environ 90 Go de trafic par mois. Avec le tarif du proxy Apify pour le trafic résidentiel, le montant total dépasse souvent le coût d'un volume équivalent chez un fournisseur de proxy tiers d'un à deux fois. Si l'acteur est configuré pour bloquer le chargement des images et des scripts externes (ce qui est facile à faire via la configuration Puppeteer/Playwright), le poids réel du trafic diminue considérablement, et l'économie réalisée en passant à votre propre proxy devient encore plus évidente.
Quel type de proxy connecter aux acteurs
Le choix du type de proxy dépend directement du site que scrappe l'acteur et de sa sensibilité au trafic de bots.
| Type de proxy | Quand utiliser dans Apify | Risque de blocage |
|---|---|---|
| Proxies de centres de données | Scraping de sites sans protection anti-bot stricte, sources de type API, catalogues statiques | Élevé sur les marketplaces avec protection |
| Proxies résidentiels | Wildberries, Ozon, Amazon, Google Maps Scraper — sites qui détectent les IP de centres de données | Faible avec une bonne rotation |
| Proxies mobiles | Scraping de réseaux sociaux (Instagram, TikTok) via des acteurs Apify, où une "propreté" maximale de l'IP est requise | Minime |
Pour le scraping de marketplaces comme Wildberries et Ozon, le choix optimal est les proxies résidentiels, car ils utilisent de vraies IP de fournisseurs domestiques et tombent rarement sous des filtres anti-bot stricts. Pour des sources moins protégées (RSS, catalogues ouverts, sites d'entreprise) des IP de centres de données suffisent — elles sont moins chères et plus rapides.
Comment connecter votre proxy à l'acteur : code et configuration
La plupart des acteurs sur Apify sont construits sur Crawlee (anciennement Apify SDK) et supportent la transmission
de votre propre liste de proxies via le paramètre proxyConfiguration.
Au lieu du pool intégré, un tableau de vos adresses proxy est spécifié.
import { Actor } from 'apify';
import { CheerioCrawler, ProxyConfiguration } from 'crawlee';
await Actor.init();
// Nous transmettons notre propre liste de proxies au lieu de useApifyProxy
const proxyConfiguration = new ProxyConfiguration({
proxyUrls: [
'http://user:[email protected]:12345',
'http://user:[email protected]:12345',
'http://user:[email protected]:12345',
],
});
const crawler = new CheerioCrawler({
proxyConfiguration,
maxRequestsPerCrawl: 5000,
async requestHandler({ request, $, log }) {
const title = $('title').text();
log.info(`Page collectée : ${title}`);
await Actor.pushData({ url: request.url, title });
},
});
await crawler.run(['https://www.wildberries.ru/catalog/...']);
await Actor.exit();Si votre pool de proxy supporte la rotation du côté du fournisseur (c'est le cas de la plupart des services résidentiels, y compris les pools avec rotation par session ou par requête), il suffit d'indiquer un endpoint avec les paramètres de session dans l'URL — alors la rotation des IP se fera automatiquement sans avoir besoin de lister manuellement des centaines d'adresses.
Pour les acteurs en Python (par exemple, si vous lancez un script personnalisé via Apify SDK pour Python), la connexion ressemble à ceci :
import requests
proxies = {
"http": "http://user:[email protected]:12345",
"https": "http://user:[email protected]:12345",
}
response = requests.get(
"https://www.ozon.ru/category/...",
proxies=proxies,
headers={"User-Agent": "Mozilla/5.0"},
timeout=15
)
print(response.status_code)
print(response.text[:500])Un point important : lors du passage à votre propre proxy, assurez-vous de configurer manuellement la rotation des sessions et les délais entre les requêtes — le proxy Apify intégré le faisait automatiquement, mais lors de la connexion d'un pool externe, la logique doit être écrite dans le code de l'acteur ou dans la configuration du crawler.
Tableau comparatif : proxy intégré vs proxy propre
| Critère | Proxy Apify (intégré) | Pool de proxy propre |
|---|---|---|
| Vitesse de connexion | Une ligne de code, sans configuration | Nécessite 15-30 minutes pour l'intégration |
| Coût à faible volume | Plus avantageux | Excessif pour des lancements rares |
| Coût de 10-50 Go/mois | Augmente proportionnellement au trafic | Plus avantageux, souvent modèle fixe |
| "Propreté" du pool d'IP | Pool commun, possibilité de chevauchement avec d'autres clients | Pool dédié ou rotatif adapté à vos besoins |
| Flexibilité du geo-targeting | Ensemble limité de pays/régions | Choix d'une ville/région spécifique pour le marketplace |
| Contrôle sur la rotation | Automatique, sans réglages | Configuré manuellement selon le modèle souhaité |
Cas d'utilisation : scraping de marketplaces en pratique
Surveillance des prix sur Wildberries. Les vendeurs qui suivent les prix de leurs concurrents pour 3000-10000 SKU plusieurs fois par jour commencent généralement avec le proxy Apify intégré, mais après le premier mois avec une facture élevée pour le trafic, ils passent à des proxies résidentiels liés à la région. Cela permet non seulement de réduire les coûts, mais aussi de voir les prix exactement comme les voit un acheteur d'une ville spécifique — ce qui est critique, car Wildberries affiche des prix différents en fonction de l'entrepôt et de la région de livraison.
Collecte de fiches produits sur Ozon. Ozon utilise activement l'analyse comportementale et bloque rapidement les IP lors de modèles de requêtes répétitifs. Un acteur fonctionnant via le pool commun du proxy Apify est plus souvent confronté à des captchas précisément parce que les mêmes IP sont utilisées en parallèle par d'autres utilisateurs de la plateforme pour des tâches similaires. Le passage à un pool dédié de proxies résidentiels avec sa propre logique de rotation et des délais aléatoires entre les requêtes réduit la fréquence des captchas de plusieurs fois.
Scraping de Google Maps et des avis. Pour des tâches où la spécificité géographique n'est pas requise (par exemple, collecte de données de contact d'entreprises à travers le pays), il suffit souvent d'utiliser des proxies de centres de données — ils sont plus rapides que les résidentielles et significativement moins chers à des volumes élevés, si le site cible n'applique pas une protection anti-bot agressive.
Checklist pour choisir un proxy pour un projet Apify
- Calculez le volume réel de trafic de l'acteur par mois (requêtes × poids moyen de la page)
- Comparez ce volume avec le tarif du proxy Apify intégré — si cela dépasse régulièrement 5-10 Go, envisagez une alternative
- Déterminez à quel point le site cible est sensible aux bots — les marketplaces comme Ozon nécessitent des IP résidentielles
- Vérifiez si un ciblage géographique spécifique est nécessaire (pertinent pour Wildberries et Ozon)
- Configurez manuellement la rotation des sessions et les délais entre les requêtes lors du passage à un pool externe
- Désactivez le chargement de ressources inutiles (images, polices, trackers) dans l'acteur — cela réduira la consommation de trafic indépendamment du type de proxy
- Testez le pool sur un petit volume avant de transférer tous les acteurs vers la nouvelle configuration
Conclusion
Le proxy Apify intégré est un bon point de départ pour des tâches ponctuelles et de petits lancements de test, mais lors de scraping régulier ou industriel de marketplaces, son coût dépasse rapidement les dépenses pour un pool de proxy propre. Le passage nécessite un peu plus de configuration au départ — écrire la rotation, les sessions et la configuration du proxy dans le code de l'acteur — mais cela s'amortit dès le premier mois pour des volumes de 10-50 Go de trafic.
Si vos acteurs collectent des données de Wildberries, Ozon ou Amazon, envisagez les proxies résidentiels — ils offrent un faible risque de blocage et permettent de définir la région nécessaire pour un affichage correct des prix. Pour des sources moins protégées sans protection anti-bot stricte, des proxies de centres de données plus économiques conviennent, et pour le scraping d'applications mobiles et de réseaux sociaux via des acteurs Apify, il vaut la peine de considérer des proxies mobiles — ils offrent une "propreté" maximale de l'IP avec un risque minimal de détection.