Если вы запускаете акторы на Apify для парсинга Wildberries, Ozon, Amazon или Google Maps, рано или поздно встаёт вопрос: платить за встроенный Apify Proxy или подключить собственный пул IP-адресов. На больших объёмах разница в стоимости может составлять десятки тысяч рублей в месяц. В этой статье разберём, как считается цена трафика в Apify, когда свой прокси выгоднее, и как технически подключить его к актору — с примерами кода.
Что такое Apify-акторы и зачем им прокси
Apify — это платформа для запуска готовых скрейперов (акторов) без необходимости поднимать собственную инфраструктуру. В Apify Store есть сотни готовых акторов: парсеры Amazon, Google Maps Scraper, Instagram Scraper, акторы для сбора карточек товаров с Wildberries и Ozon. Большинство из них требует прокси, потому что целевые сайты быстро банят IP-адреса дата-центров Apify при массовых запросах.
Прокси в акторе решает три задачи: обходит гео-ограничения (например, нужно собирать цены именно для региона "Москва" на Wildberries), снижает частоту капч и временных банов, а также распределяет нагрузку между множеством IP, имитируя поведение обычных пользователей, а не бота. Без прокси большинство акторов для парсинга маркетплейсов либо вообще не запустятся, либо соберут данные с ошибками через пару минут работы.
У Apify есть встроенное решение — Apify Proxy, которое подключается одной строкой кода. Это удобно для старта, но у него есть нюанс: оплата идёт за трафик по ГБ, и при регулярном или объёмном парсинге счёт быстро растёт. Именно поэтому опытные пользователи платформы всё чаще подключают к акторам собственные прокси вместо встроенных.
Как устроен встроенный Apify Proxy и его тарификация
Apify Proxy предлагает три типа IP: дата-центровые, резидентные (через партнёрские пулы) и
Google SERP прокси для парсинга выдачи поиска. Подключение максимально простое — достаточно
указать параметр useApifyProxy: true
в конфигурации актора, и платформа сама будет ротировать IP на каждый запрос или сессию.
Проблема в модели оплаты: трафик резидентных прокси внутри Apify тарифицируется по гигабайтам, и цена за ГБ у встроенного решения обычно выше, чем у прямых поставщиков прокси, потому что Apify добавляет свою наценку за интеграцию и управление пулом. Для небольших тестовых запусков (пара тысяч запросов в месяц) это не критично. Но если актор работает в режиме мониторинга — например, снимает цены на Wildberries каждый час по 5000 SKU — расход трафика растёт экспоненциально, и встроенный прокси превращается в самую дорогую статью бюджета проекта, обгоняя даже стоимость самого Apify-плана.
Дополнительный нюанс: встроенный пул Apify — общий для всех клиентов платформы. Это значит, что IP-адреса могут быть уже "засвечены" другими пользователями, парсящими те же сайты. Это повышает риск капч и банов именно на маркетплейсах с жёсткой антибот-защитой, таких как Ozon и Avito.
Когда собственный пул прокси дешевле: расчёт на цифрах
Чтобы понять, когда переход на свой прокси оправдан, нужно сравнить две переменные: стоимость трафика у Apify Proxy и стоимость аналогичного объёма у прямого поставщика прокси, плюс затраты времени на интеграцию и поддержку собственного пула.
Практика показывает три сценария:
- Разовый парсинг (до 1 ГБ трафика в месяц) — встроенный Apify Proxy выгоднее: нет смысла тратить время на настройку своего пула ради небольшого разового сбора данных.
- Регулярный мониторинг (5–50 ГБ в месяц) — точка перелома. Здесь уже стоит считать: если актор работает ежедневно и собирает карточки товаров с Wildberries или Ozon, расход трафика при встроенном прокси растёт быстрее, чем при собственном пуле с фиксированной стоимостью за IP или безлимитным тарифом.
- Промышленный парсинг (от 50 ГБ в месяц, десятки акторов, несколько источников) — собственный пул почти всегда дешевле, потому что появляется возможность договориться о прямой цене за трафик или за количество IP, без наценки платформы-посредника.
Простой пример расчёта: если актор ежедневно обрабатывает 10 000 карточек товаров, и каждая страница весит в среднем 300 КБ с учётом изображений и скриптов (без оптимизации загрузки ресурсов), за месяц набегает порядка 90 ГБ трафика. При тарифе Apify Proxy за резидентный трафик итоговая сумма часто превышает стоимость аналогичного объёма у стороннего поставщика прокси в полтора-два раза. Если же актор настроен блокировать загрузку изображений и сторонних скриптов (что легко сделать через Puppeteer/Playwright-конфигурацию), реальный вес трафика снижается в разы, и экономия от перехода на свой прокси становится ещё заметнее.
Какой тип прокси подключать к акторам
Выбор типа прокси напрямую зависит от того, какой сайт парсит актор и насколько он чувствителен к боту-трафику.
| Тип прокси | Когда использовать в Apify | Риск блокировки |
|---|---|---|
| Прокси дата-центров | Парсинг сайтов без жёсткой антибот-защиты, API-подобные источники, статичные каталоги | Высокий на маркетплейсах с защитой |
| Резидентные прокси | Wildberries, Ozon, Amazon, Google Maps Scraper — сайты, которые детектят дата-центровые IP | Низкий при правильной ротации |
| Мобильные прокси | Парсинг соцсетей (Instagram, TikTok) через Apify-акторы, где нужна максимальная "чистота" IP | Минимальный |
Для парсинга маркетплейсов вроде Wildberries и Ozon оптимальный выбор — резидентные прокси, поскольку они используют реальные IP домашних провайдеров и редко попадают под жёсткие антибот-фильтры. Для менее защищённых источников (RSS, открытые каталоги, корпоративные сайты) достаточно дата-центровых IP — они дешевле и быстрее.
Как подключить свой прокси к актору: код и настройка
Большинство акторов на Apify построены на Crawlee (бывший Apify SDK) и поддерживают передачу
собственного списка прокси через параметр proxyConfiguration.
Вместо встроенного пула указывается массив ваших прокси-адресов.
import { Actor } from 'apify';
import { CheerioCrawler, ProxyConfiguration } from 'crawlee';
await Actor.init();
// Передаём собственный список прокси вместо useApifyProxy
const proxyConfiguration = new ProxyConfiguration({
proxyUrls: [
'http://user:[email protected]:12345',
'http://user:[email protected]:12345',
'http://user:[email protected]:12345',
],
});
const crawler = new CheerioCrawler({
proxyConfiguration,
maxRequestsPerCrawl: 5000,
async requestHandler({ request, $, log }) {
const title = $('title').text();
log.info(`Собрана страница: ${title}`);
await Actor.pushData({ url: request.url, title });
},
});
await crawler.run(['https://www.wildberries.ru/catalog/...']);
await Actor.exit();Если ваш пул прокси поддерживает ротацию на стороне провайдера (так работают большинство резидентных сервисов, включая пулы с ротацией по сессии или по запросу), достаточно указать один endpoint с параметрами сессии в URL — тогда ротация IP будет происходить автоматически без необходимости вручную перечислять сотни адресов.
Для акторов на Python (например, если вы запускаете кастомный скрипт через Apify SDK для Python) подключение выглядит похоже:
import requests
proxies = {
"http": "http://user:[email protected]:12345",
"https": "http://user:[email protected]:12345",
}
response = requests.get(
"https://www.ozon.ru/category/...",
proxies=proxies,
headers={"User-Agent": "Mozilla/5.0"},
timeout=15
)
print(response.status_code)
print(response.text[:500])Важный момент: при переходе на свой прокси обязательно настройте ротацию сессий и задержки между запросами вручную — встроенный Apify Proxy делал это автоматически, а при подключении внешнего пула логику нужно прописать в коде актора или в конфигурации краулера.
Сравнительная таблица: встроенный vs свой прокси
| Критерий | Apify Proxy (встроенный) | Собственный пул прокси |
|---|---|---|
| Скорость подключения | Одна строка кода, без настройки | Требует 15-30 минут на интеграцию |
| Стоимость на малых объёмах | Выгоднее | Избыточно для редких запусков |
| Стоимость от 10-50 ГБ/мес | Растёт пропорционально трафику | Выгоднее, часто фиксированная модель |
| "Чистота" IP-пула | Общий пул, возможны пересечения с другими клиентами | Выделенный или ротируемый пул под ваши задачи |
| Гибкость гео-таргетинга | Ограниченный набор стран/регионов | Выбор конкретного города/региона под маркетплейс |
| Контроль над ротацией | Автоматический, без настроек | Настраивается вручную под нужный паттерн |
Кейсы: парсинг маркетплейсов на практике
Мониторинг цен на Wildberries. Селлеры, отслеживающие цены конкурентов по 3000-10000 SKU несколько раз в день, обычно начинают с встроенного Apify Proxy, но после первого же месяца с крупным счётом за трафик переходят на резидентные прокси с привязкой к региону. Это позволяет не только снизить расходы, но и видеть цены именно так, как их видит покупатель из конкретного города — что критично, так как Wildberries показывает разные цены в зависимости от склада и региона доставки.
Сбор карточек товаров на Ozon. Ozon активно использует поведенческий анализ и быстро банит IP при однообразных паттернах запросов. Актор, работающий через общий пул Apify Proxy, чаще сталкивается с капчами именно потому, что те же IP параллельно используют другие пользователи платформы для аналогичных задач. Переход на выделенный пул резидентных прокси с собственной логикой ротации и случайными задержками между запросами снижает частоту капч в несколько раз.
Парсинг Google Maps и отзывов. Для задач, где не требуется гео-специфика (например, сбор контактных данных компаний по всей стране), часто достаточно прокси дата-центров — они быстрее резидентных и значительно дешевле при больших объёмах, если целевой сайт не применяет агрессивную антибот-защиту.
Чек-лист выбора прокси для Apify-проекта
- Посчитайте реальный объём трафика актора за месяц (запросы × средний вес страницы)
- Сравните этот объём с тарифом встроенного Apify Proxy — если выходит больше 5-10 ГБ регулярно, считайте альтернативу
- Определите, насколько целевой сайт чувствителен к ботам — маркетплейсы вроде Ozon требуют резидентных IP
- Проверьте, нужна ли гео-привязка к конкретному региону (актуально для Wildberries и Ozon)
- Настройте ротацию сессий и задержки между запросами вручную при переходе на внешний пул
- Отключите загрузку лишних ресурсов (изображения, шрифты, трекеры) в акторе — это снизит расход трафика независимо от типа прокси
- Протестируйте пул на небольшом объёме перед переводом всех акторов на новую конфигурацию
Заключение
Встроенный Apify Proxy — удобный старт для разовых задач и небольших тестовых запусков, но при регулярном или промышленном парсинге маркетплейсов его стоимость быстро превышает расходы на собственный пул прокси. Переход требует немного больше настройки на старте — прописать ротацию, сессии и прокси-конфигурацию в коде актора — но окупается уже в первый месяц при объёмах от 10-50 ГБ трафика.
Если ваши акторы собирают данные с Wildberries, Ozon или Amazon, присмотритесь к резидентным прокси — они обеспечивают низкий риск блокировок и позволяют задавать нужный регион для корректного отображения цен. Для менее защищённых источников без жёсткого антибота подойдут более бюджетные прокси дата-центров, а для парсинга мобильных приложений и соцсетей через Apify-акторы стоит рассмотреть мобильные прокси — они дают максимальную "чистоту" IP при минимальном риске детекта.