Агентства лидогенерации и маркетологи, которые собирают базы компаний с карт, рано или поздно упираются в один и тот же вопрос: сколько реально «весит» сбор 10 000 контактов и почему аккаунты и IP-адреса начинают банить уже на третьей тысяче. Разбираем расчёт трафика по шагам, сравниваем Google Maps, 2GIS и Яндекс.Карты, и показываем, какие прокси выдерживают такие объёмы без блокировок.
Что такое лидогенерация с карт и зачем считать трафик
Лидогенерация с карт — это сбор контактных данных компаний (название, телефон, сайт, адрес, рейтинг, категория деятельности) через Google Maps, 2GIS или Яндекс.Карты для последующих холодных звонков, email-рассылок или таргетированной рекламы. Такой способ особенно популярен у агентств, которые продают B2B-услуги: веб-студиям, провайдерам CRM, маркетинговым подрядчикам — им нужны базы по нишам и городам: «стоматологии Казани», «автосервисы Новосибирска», «салоны красоты Екатеринбурга».
Расчёт трафика важен по трём причинам. Во-первых, именно от объёма переданных данных зависит, сколько прокси-трафика вы потратите и сколько это будет стоить при масштабировании на несколько городов. Во-вторых, карты фиксируют аномальную активность по количеству запросов, а не только по IP — и если не понимать, сколько запросов генерирует сбор 10 000 карточек, легко недооценить риск бана. В-третьих, зная точный объём данных, проще выбрать между парсингом HTML-страницы, использованием внутреннего API карты или готового сервиса — каждый вариант отличается по трафику в разы.
На практике 10 000 компаний — это не абстрактная цифра. Такой объём соответствует, например, полной базе действующих юрлиц в нише «ремонт техники» по 15-20 городам-миллионникам России, или всем заведениям общепита в одном крупном городе вроде Москвы или Санкт-Петербурга. Это реалистичная задача для агентства, которое продаёт лиды пакетами.
Сколько весит одна карточка компании
Вес одной карточки компании зависит от того, что именно вы собираете и каким способом. Если парсить только список результатов поиска (название, краткий адрес, рейтинг), то данные передаются компактно — обычно это JSON-ответ внутреннего API карты весом 3-8 КБ на одну компанию в составе общего списка. Если же вам нужна детальная карточка — телефон, сайт, часы работы, фотографии, отзывы — придётся открывать отдельную страницу или делать дополнительный запрос, и вес вырастает до 80-250 КБ за счёт изображений и расширенного JSON.
Ниже сравнение по трём основным картам, с которыми работают агентства лидогенерации в СНГ:
| Карта | Вес карточки в списке | Вес детальной карточки | Особенность защиты |
|---|---|---|---|
| Google Maps | 5-8 КБ | 150-250 КБ | Жёсткий rate-limit и капчи при частых запросах с одного IP |
| 2GIS | 3-6 КБ | 80-150 КБ | Блокировка по частоте запросов к API каталога |
| Яндекс.Карты | 4-7 КБ | 100-200 КБ | Антибот-система с поведенческим анализом и прокси-чёрными списками |
Важный нюанс: вес списка — это ещё не вся карточка. Чтобы получить телефон и сайт компании, в большинстве случаев нужен отдельный запрос к детальной странице. Это удваивает, а то и утраивает реальный трафик на лид, если вы собираете не просто названия, а полноценные контакты для продаж.
Расчёт трафика на 10 000 компаний пошагово
Возьмём реалистичный сценарий: агентство собирает полные карточки (название, телефон, сайт, адрес, рейтинг, категория) с Google Maps для 10 000 компаний в нескольких городах.
Шаг 1. Поиск и листинг. Google Maps выдаёт примерно 20 результатов на одну страницу выдачи. Чтобы получить 10 000 позиций, нужно обработать около 500 страниц выдачи. Каждая страница с учётом служебных запросов, подгрузки карты и скриптов весит 600-900 КБ. Итого: 500 × 750 КБ ≈ 375 МБ только на этапе поиска.
Шаг 2. Детальные карточки. Для каждой из 10 000 компаний нужен отдельный запрос с телефоном, сайтом и фото. При среднем весе 180 КБ на карточку: 10 000 × 180 КБ ≈ 1,8 ГБ.
Шаг 3. Повторные запросы и ретраи. При парсинге в реальных условиях 10-20% запросов не проходят с первого раза из-за rate-limit, капчи или смены верстки — их приходится повторять. Добавляем ещё 15% к объёму: (375 МБ + 1,8 ГБ) × 1,15 ≈ 2,5 ГБ.
Итоговая цифра — около 2,5 ГБ трафика на сбор 10 000 компаний с Google Maps при парсинге детальных карточек. Если собирать только списки без телефонов и сайтов, трафик снижается до 450-500 МБ, но такая база будет малопригодна для продаж — без телефона лид не конвертируется в звонок.
Для 2GIS и Яндекс.Карт расчёт аналогичен, но объём обычно на 20-30% ниже за счёт более компактного формата API — ориентируйтесь на 1,7-2,2 ГБ на те же 10 000 карточек.
Почему карты банят за массовый сбор данных
Карты — это коммерческий актив самих платформ, и массовый автоматический сбор данных напрямую противоречит их бизнес-модели (продажа рекламы в карточках, API-доступа для партнёров). Поэтому Google Maps, 2GIS и Яндекс.Карты одинаково агрессивно реагируют на нетипичное поведение.
Основные триггеры блокировки: слишком высокая частота запросов с одного IP (больше 1 запроса в 2-3 секунды), однотипные User-Agent и заголовки без вариативности, отсутствие cookies и сессионных данных, запросы без сопутствующих ресурсов (картинок, скриптов), которые обычный браузер всегда подгружает. При достижении лимита сервис либо показывает капчу, либо временно блокирует IP на 15-60 минут, либо банит IP навсегда при повторных нарушениях.
Для расчётного объёма в 2,5 ГБ и 10 000+ запросов с одного «чистого» IP вероятность бана приближается к 100% уже на первой тысяче карточек. Именно поэтому любой серьёзный проект по лидогенерации с карт строится вокруг ротации IP-адресов — без этого расчёт трафика теряет смысл, потому что собрать запланированный объём физически не получится.
Резидентные, мобильные и датацентр прокси для парсинга карт
Выбор типа прокси напрямую влияет на то, сколько запросов вы сможете сделать до блокировки и какую долю трафика придётся «пережечь» на повторные попытки. Для сбора данных с карт критична репутация IP — карты значительно жёстче банят дата-центровые диапазоны, потому что именно оттуда исходит основная масса автоматического парсинга.
| Тип прокси | Уровень доверия карт | Когда применять |
|---|---|---|
| Резидентные прокси | Высокий — IP реальных пользователей | Основной инструмент для сбора 5 000-50 000 карточек с ротацией по городам |
| Мобильные прокси | Очень высокий — общие IP операторов | Точечный сбор по нишам с жёсткой антибот-защитой (Яндекс.Карты) |
| Прокси дата-центров | Низкий-средний — чаще в чёрных списках | Черновые прогоны, тесты скриптов на малых объёмах без реальной выгрузки |
На практике для расчётных 10 000 компаний оптимальная связка — это резидентные прокси с ротацией по подсетям городов: вы получаете IP из того же региона, что и целевая аудитория в карточках, и снижаете долю капч и повторных запросов, которые мы закладывали в расчёт трафика выше. Дата-центровые прокси в этой задаче можно использовать только на этапе тестирования скрипта на 50-100 карточках, чтобы не сжигать бюджет резидентного трафика на отладку.
Настройка сбора данных: инструменты и пошаговая схема
Для сбора базы компаний с карт агентства обычно используют готовые no-code и low-code инструменты, а не пишут парсер с нуля. Среди популярных решений — A-Parser (гибкая настройка шаблонов под Google Maps, 2GIS, Яндекс.Карты без написания кода), Octoparse (визуальный конструктор сценариев сбора) и ZennoPoster (шаблоны автоматизации с поддержкой прокси и антидетект-профилей). Для небольших объёмов подойдут облачные сервисы парсинга карт с оплатой за количество карточек.
Пошаговая схема запуска сбора 10 000 компаний выглядит так:
- Определите список городов и ниш, по которым нужны лиды — это задаёт количество поисковых запросов и позволяет точнее спрогнозировать трафик по формуле из раздела выше.
- Настройте в парсере список резидентных прокси с ротацией по IP каждые 5-10 запросов — большинство инструментов поддерживают прокси-листы в формате логин:пароль@хост:порт.
- Включите случайную задержку между запросами 3-7 секунд и ротацию User-Agent — это снижает процент капч на 30-40% по сравнению с фиксированными интервалами.
- Запустите тестовый прогон на 100-200 карточках и зафиксируйте реальный расход трафика — сравните с расчётным, чтобы скорректировать прогноз на полный объём.
- Масштабируйте сбор до 10 000 карточек, разбивая задачу на батчи по 1 000-1 500 записей — это упрощает контроль ошибок и повторный запуск при сбоях.
- Выгрузите результат в CSV или напрямую в CRM, убрав дубликаты по номеру телефона и сайту — на картах часто встречаются повторы из-за сетевых организаций и филиалов.
Если задача сбора повторяется регулярно (например, ежемесячное обновление базы по нише), имеет смысл сразу настраивать автоматический запуск по расписанию с постоянным пулом резидентных IP — это экономит время на ручной перезапуск и снижает риск бана за счёт равномерного распределения нагрузки во времени.
Как снизить расход трафика без потери лидов
Расчётные 2,5 ГБ на 10 000 компаний можно сократить на 30-40% без потери качества данных, если применить несколько практических приёмов.
Во-первых, отключайте загрузку изображений на уровне запроса — фотографии заведений занимают до половины веса детальной карточки, но для продаж они не нужны. Во-вторых, используйте прямые запросы к внутреннему API карты вместо полного рендеринга страницы в браузере — это убирает лишние скрипты, стили и шрифты, которые не несут полезных данных. В-третьих, фильтруйте дубликаты до парсинга детальных карточек: если компания уже встречалась в другом районе того же города, не делайте повторный запрос к её странице — сверяйте по названию и адресу на этапе списка. В-четвёртых, собирайте сначала облегчённые списки по всем городам, а детальные карточки запрашивайте только для компаний, прошедших фильтр по рейтингу или категории — это особенно полезно, если вам нужны не все 10 000, а только топ-30% по релевантности.
Эти приёмы снижают не только объём трафика, но и количество запросов к серверам карт, а значит — и риск блокировки. Для агентства это означает более низкий расход прокси-трафика на том же тарифе и возможность собрать больше городов за тот же бюджет.
Частые ошибки при сборе лидов с карт
Первая ошибка — запуск сбора с одного статического IP без ротации. Даже при небольшой скорости запросов карта фиксирует аномальную активность уже после 200-300 запросов подряд, и дальнейший сбор становится невозможным без смены IP.
Вторая ошибка — игнорирование регионального соответствия прокси и целевого города. Если вы собираете компании Казани через IP из другой страны, карта чаще показывает нерелевантную выдачу или сразу блокирует запрос как подозрительный.
Третья ошибка — отсутствие расчёта трафика до запуска. Команды часто запускают сбор «на глаз» и упираются в лимит прокси-трафика на середине задачи, теряя уже собранные данные из-за прерывания сессии.
Четвёртая ошибка — сбор без дедупликации на лету. При парсинге 10 000 позиций по нескольким пересекающимся запросам (например, «кафе» и «ресторан» в одном районе) дубли могут составлять 15-25% базы, что искусственно завышает расчётный трафик и реальные затраты.
Пятая ошибка — использование одного и того же User-Agent и заголовков для всех запросов сессии. Антибот-системы карт анализируют не только IP, но и консистентность цифрового отпечатка браузера, поэтому для крупных объёмов рекомендуется комбинировать ротацию прокси с антидетект-браузером и менять отпечаток вместе с IP.
Заключение
Сбор 10 000 компаний с карт — это предсказуемая по трафику задача: при парсинге детальных карточек с Google Maps расход составляет около 2,5 ГБ с учётом повторных запросов, а для 2GIS и Яндекс.Карт показатель на 20-30% ниже. Зная эту цифру заранее, можно точно спланировать бюджет на прокси-трафик и избежать ситуации, когда сбор прерывается на середине из-за исчерпанного лимита.
Главный фактор успешного сбора — не экономия на трафике, а правильный выбор прокси. Для объёмов в несколько тысяч карточек в день рекомендуем резидентные прокси с ротацией по городам — они снижают процент капч и повторных запросов, которые съедают до 15-20% трафика. Если сбор ведётся по нишам с особо жёсткой антибот-защитой, стоит рассмотреть мобильные IP как дополнение к основному пулу — это повышает стабильность сессии при минимальном увеличении затрат.