Прайс-лист прокси-провайдера устроен так, что сравнивать поставщиков кажется простым делом: у одного гигабайт стоит $1, у другого $8 — считай, разница восьмикратная. На практике команда, купившая гигабайт за доллар, регулярно платит за собранные данные больше, чем та, что взяла за восемь. Причина не в маркетинге и не в скрытых комиссиях: цена за гигабайт просто не является единицей, в которой измеряется ваша задача. Вы покупаете не трафик — вы покупаете успешно извлечённые записи, а между этими двумя величинами стоит цепочка множителей, которые у каждого проекта свои.
Счёт приходит не за то, что вы считали
Типичная сцена: планировали собрать миллион карточек товаров, заложили по 200 КБ на страницу, получили расчётные 200 ГБ и бюджет в районе полутора тысяч долларов. Через месяц в личном кабинете — 900 ГБ и счёт втрое больше сметы. Никто не обманул: изменились три вещи, которых не было в расчёте.
Разрыв между прайсом и счётом всегда раскладывается на одни и те же составляющие. Стоит разобрать их по отдельности — дальше формула соберётся сама.
Три множителя между прайсом и счётом
1. Сколько на самом деле весит страница
Оценка «200 КБ» берётся из головы и относится к голому HTML. Реальный вес зависит от того, как вы забираете страницу. Сырой HTML-ответ современного магазина — это обычно сотни килобайт. А вот полностью отрендеренная в headless-браузере страница со всеми скриптами, шрифтами, картинками и аналитикой весит уже 2–5 МБ. Разница между двумя способами получить одни и те же данные — порядок величины, и она целиком ложится на ваш трафик.
Отраслевые расчёты обычно оперируют вилкой 1–3 МБ для неоптимизированного сбора и 100–300 КБ для оптимизированного. Между этими двумя режимами — не «немного экономии», а разница в десять раз на том же самом проекте.
2. Какая доля ответов вообще годится
Второй множитель — success rate, доля запросов, вернувших пригодный контент. Капча вместо страницы, 403, пустой каркас без данных, редирект на заглушку — всё это оплаченный трафик, который не дал ни одной записи.
Арифметика простая и безжалостная: количество запросов = нужные записи ÷ success rate. При 95% успеха на миллион записей уходит 1,05 млн запросов. При 70% — уже 1,43 млн. При 60% — 1,67 млн. То есть падение успешности с 95% до 60% само по себе добавляет к счёту почти 60%, при абсолютно неизменной цене гигабайта.
3. Ретраи, таймауты и служебный трафик
Поверх этого ложится накладной трафик самой обвязки. Здесь разброс между зрелым и наспех собранным стеком огромен: у отлаженных managed-платформ переотправки съедают порядка 0,1–3% сверху, у самописного Scrapy-пайплайна — 5–15%, причём доля растёт вместе с масштабом. Агрессивная retry-логика, которая долбит заблокированный домен по пять раз подряд, легко превращает эти проценты в десятки.
Метрика, которая не врёт
Соберём всё в одну величину. Считать нужно не доллары за гигабайт, а стоимость тысячи успешно извлечённых записей:
- Цена за 1000 записей = (средний вес ответа в ГБ ÷ success rate) × (1 + доля ретраев) × цена за ГБ × 1000
Ценность этой формулы в том, что она делает несопоставимые предложения сопоставимыми. Дешёвый пул с бан-рейтом 40% и дорогой с бан-рейтом 5% наконец оказываются на одной оси. Показательно, что к этой же метрике за последний год пришли и сами провайдеры: в отраслевых материалах всё чаще звучит формулировка «цена делённая на success rate», а не голый прайс за гигабайт.
Как это выглядит в деньгах
Возьмём миллион записей, среднюю страницу 500 КБ и резидентный трафик по $8/ГБ — типичная середина рынка. Меняем только успешность:
- 95% успеха — 1,05 млн запросов, около 525 ГБ, примерно $4 200
- 70% успеха — 1,43 млн запросов, около 715 ГБ, примерно $5 720
- 60% успеха — 1,67 млн запросов, около 835 ГБ, примерно $6 680
Разброс — почти $2 500 на одном и том же прайсе. А теперь сравним два предложения, которые в прайс-листе выглядят как небо и земля. Провайдер A: $2/ГБ, но на вашей цели держит 55% успеха. Провайдер B: $6/ГБ и 92% успеха. При тех же 500 КБ и миллионе записей у A выходит около 910 ГБ и $1 820, у B — около 545 ГБ и $3 270. Здесь A действительно дешевле, и это честный результат: при большом разрыве в цене низкая успешность не всегда съедает выгоду.
Но добавьте к A ретраи 15% против 3% у B, добавьте headless-рендер, который включают именно потому, что дешёвый пул чаще отдаёт заглушку вместо контента — и вес страницы у A уезжает к 1,5 МБ против 500 КБ у B. Пересчёт: A — около 3,1 ТБ и $6 200, B — около 560 ГБ и $3 370. Расстановка перевернулась. Именно поэтому вопрос «у кого гигабайт дешевле» не имеет самостоятельного смысла: ответ зависит от вашей цели, вашего стека и вашего бан-рейта.
Почему scraping API считают иначе — и как их сравнить
Отдельная сложность в том, что часть рынка продаёт вообще не гигабайты. Scraping API и веб-анблокеры берут деньги за запросы, причём тарифицируют их по сложности. Порядок цен 2026 года за 1000 страниц выглядит так:
- Простой HTML: ScrapeOps около $0,19, ScraperAPI около $0,49, Scrape.do около $0,58, ScrapingBee около $0,66, Bright Data около $1,00
- С JS-рендерингом (обычно 5 кредитов вместо одного): ScrapeOps около $0,95, Scrape.do около $2,90, ScrapingBee около $3,30, ScraperAPI около $4,90, Bright Data около $5,00
- Сайты под антибот-защитой (10–25 кредитов): ScrapeOps около $1,90, Scrape.do около $4,45, ScraperAPI около $5,96, ScrapingBee около $6,60, Bright Data в диапазоне $8–15
Обратите внимание на разрыв внутри одного провайдера: у ScraperAPI простая страница и страница под защитой различаются в двенадцать раз. Тариф «за запрос» выглядит предсказуемее гигабайтов ровно до момента, когда цель переезжает из первой категории в третью — а происходит это без вашего участия, по решению владельца сайта.
Приводится это к общей оси всё той же формулой: стоимость запроса ÷ success rate × 1000. После этого предложение «$3,30 за 1000 JS-страниц» и предложение «$6 за гигабайт резидентного трафика» наконец можно положить рядом. Более широкий разбор самих подходов — официальный API, готовый датасет или свой парсер — мы разбирали отдельно; здесь важна только их сравнимость по деньгам.
Замер за один вечер
Формула бесполезна без ваших собственных чисел, и хорошая новость в том, что получить их — работа на пару часов. Пилот на 1000 запросов по вашим настоящим URL даёт всё необходимое.
- Возьмите репрезентативную выборку целей — не главную страницу, а те самые карточки, категории и выдачи, которые будете собирать в проде. Успешность на главной ничего не предсказывает.
- Зафиксируйте отдельно четыре счётчика: валидные ответы с данными, HTTP-ошибки, капчи и челленджи, «пустые двухсотки» — код 200 без нужного контента. Последняя категория самая коварная: формально это успех, фактически — оплаченный мусор.
- Снимите фактический объём трафика из статистики провайдера, а не из своих оценок. Расхождение между расчётным и фактическим весом страницы — обычно первая находка такого пилота.
- Посчитайте ретраи как отдельную строку, а не растворяйте их в общем числе запросов.
- Повторите на втором провайдере в тот же день. Успешность плавает вместе с настроением антибот-систем, и замеры, разнесённые на неделю, сравнивать нельзя.
Если пилот показал низкую успешность, не спешите менять поставщика: сначала стоит понять причину. Разбор типичных источников проблемы собран в материале о том, как диагностировать низкий success rate прокси, а регулярный контроль тех же метрик стоит поставить на поток. Часто дело оказывается в заголовках, тайминге или TLS-отпечатке клиента, а вовсе не в качестве IP.
Четыре рычага, которые двигают цифру сильнее скидки
Когда метрика посчитана, становится видно, где она чувствительнее всего. Скидка в 10% на прайс — самый слабый из доступных рычагов.
Вес ответа. Самый быстрый выигрыш. Забирать только то, что нужно, снижает трафик в 2–10 раз. Если headless-браузер обязателен, блокируйте на уровне перехвата запросов картинки, шрифты, медиа и сторонние скрипты — контент от этого не страдает, а объём падает кратно. Включайте сжатие и условные запросы по ETag: страница, не изменившаяся с прошлого обхода, должна стоить вам 304-й ответ, а не мегабайт.
Успешность. Каждые десять процентных пунктов успеха в диапазоне 60–95% — это десятки процентов счёта. Здесь работают не деньги, а инженерия: корректный отпечаток клиента, разумный темп, правильный тип IP под конкретную цель.
Микс типов прокси. Гонять весь трафик через резидентный пул — самая распространённая и самая дорогая ошибка. Значительная часть целей прекрасно отдаётся датацентр-прокси, которые дешевле на порядок; резидентные адреса имеет смысл тратить только на то, что действительно их требует. Маршрутизация по цели, а не по привычке, режет прокси-расходы на 60–70%.
Дисциплина ретраев. Экспоненциальная задержка, потолок попыток, отказ от повторов на кодах, которые повтором не лечатся. Разница между 3% и 15% накладного трафика — это разница между аккуратной обвязкой и её отсутствием. Практическая сторона вопроса разобрана в материале об оптимизации расхода трафика через прокси.
Что остаётся за пределами трафика
Полная картина расходов шире прокси-счёта, и об этом стоит помнить при выборе между «собрать самим» и «купить готовое». Для проекта масштаба миллион страниц в месяц отраслевые оценки self-hosted-решения выглядят так: резидентный трафик $500–1500, инженерное время $1000–2000, инфраструктура $300–500. Итого $2000–4400 в месяц — и это до написания собственно бизнес-логики. При ставке инженера около $100 в час несколько дней, потраченных на починку развалившихся селекторов, стоят дороже месячного счёта за прокси.
Это не аргумент против самостоятельного сбора — это аргумент за то, чтобы считать инженерные часы такой же строкой бюджета, как гигабайты. Модель тарификации тоже стоит выбирать осознанно: для стабильных долгих сессий оплата за выделенный IP нередко оказывается выгоднее помегабайтной.
Коротко
Цена за гигабайт — это не цена данных, а цена одного из четырёх сомножителей. Сравнивать провайдеров по ней — то же самое, что выбирать автомобиль по цене литра бензина, не спрашивая про расход. Рабочая единица сравнения одна: сколько стоит тысяча успешно извлечённых записей на ваших целях, с вашим весом ответа, вашей успешностью и вашими ретраями.
Посчитайте её на пилоте в тысячу запросов, прежде чем подписываться на годовой тариф. Довольно часто выясняется, что самое дешёвое предложение в прайс-листе стоит вам дороже всех остальных — и что самый крупный резерв экономии лежит не в переговорах о скидке, а в двух десятках строк кода, отключающих загрузку картинок.