Компании, которые мониторят тендеры в России, Казахстане, странах ЕС и США, рано или поздно сталкиваются с одной и той же проблемой: портал госзакупок внезапно перестаёт отдавать данные, появляется капча или IP-адрес попадает в бан. Это происходит потому, что государственные площадки активно защищаются от автоматического сбора информации. Разберём, почему так происходит, какие страны особенно жёстко фильтруют трафик и какой тип прокси выбрать для стабильного мониторинга тендеров.
Почему порталы госзакупок блокируют сбор данных
Формально информация о госзакупках в большинстве стран публична — это требование законодательства о прозрачности бюджетных расходов. Но «публичная» не значит «доступная для автоматизированного сбора в промышленных масштабах». Площадки вроде российской ЕИС (zakupki.gov.ru), казахстанского портала goszakup.gov.kz, европейской TED (Tenders Electronic Daily) или американской SAM.gov рассчитаны на ручной просмотр через браузер, а не на тысячи запросов в минуту от скриптов.
Когда с одного IP-адреса идёт аномальная активность — десятки запросов в секунду, одинаковый User-Agent, отсутствие пауз между кликами — система защиты (чаще всего Cloudflare, DataDome или собственная разработка госведомства) распознаёт это как бота. Дальше возможны три сценария: показ капчи, временная блокировка IP на 15-60 минут или полный бан по подсети. Для компании, которая строит бизнес на мониторинге тендеров, любой из этих сценариев означает пропущенные закупки и потерянные деньги.
Дополнительная сложность в том, что многие тендерные площадки требуют авторизации через ЭЦП (электронную цифровую подпись) или выдают данные только после прохождения JavaScript-проверки браузера. Это означает, что просто сменить IP недостаточно — нужно имитировать поведение реального пользователя с реальным браузерным окружением.
Открытые данные по странам: где собирать сложнее всего
Уровень защиты и доступность API сильно различаются в зависимости от страны. Разберём ключевые юрисдикции, с которыми чаще всего работают аналитики закупок и тендерные специалисты.
| Страна / регион | Портал | Уровень защиты | Особенности |
|---|---|---|---|
| Россия | zakupki.gov.ru, B2B-Center | Средний-высокий | Есть официальное API, но с лимитами и регистрацией |
| Казахстан | goszakup.gov.kz | Средний | Частые тайм-ауты при большом объёме запросов |
| Евросоюз | TED (ted.europa.eu) | Низкий-средний | Открытый экспорт в XML/CSV, но гео-ограничения на часть данных |
| США | SAM.gov | Высокий | Жёсткая проверка браузера, нужна регистрация и API-ключ |
| Украина | Prozorro | Низкий | Полностью открытое API, прокси нужны редко |
| Великобритания | Contracts Finder, Find a Tender | Средний | Гео-блокировка запросов не из Великобритании |
Главный вывод из таблицы: даже там, где формально есть открытое API, часто действуют гео-ограничения или жёсткие лимиты по количеству запросов с одного IP. Если вы собираете данные из Великобритании, находясь физически в другой стране, запрос может быть отклонён ещё до проверки на бота — просто потому что IP не британский. Здесь и начинается роль прокси: они позволяют запрашивать данные из нужной геолокации и распределять нагрузку между десятками адресов.
Какой тип прокси нужен для тендерных площадок
Для мониторинга госзакупок не подходит универсальное решение «один тип прокси на все случаи». Выбор зависит от того, с какой площадкой вы работаете и насколько агрессивна её защита.
| Тип прокси | Когда использовать | Риск блокировки |
|---|---|---|
| Прокси дата-центров | Порталы с открытым API и слабой защитой (Prozorro, частично TED) | Средний — подсети ЦОД иногда уже в чёрных списках |
| Резидентные прокси | Площадки с Cloudflare/DataDome, гео-ограничениями (SAM.gov, Contracts Finder) | Низкий — IP выглядят как обычные домашние пользователи |
| Мобильные прокси | Точечная проверка конкретных тендеров, низкая частота запросов | Минимальный, но стоимость трафика выше |
На практике большинство компаний, которые мониторят тендеры в нескольких странах одновременно, используют комбинацию: дата-центровые IP для площадок с открытым API, и резидентные — там, где стоит серьёзная защита или нужна точная геолокация (например, запрос должен идти именно из Лондона, а не из произвольной точки Европы). Резидентные прокси особенно полезны, когда портал проверяет не только IP, но и соответствие часового пояса, языка браузера и геолокации запроса — несовпадение этих параметров сразу выдаёт автоматизированный трафик.
Настройка сбора данных: практическая схема
Для аналитиков закупок, которые не пишут код, но управляют процессом сбора данных через подрядчиков или готовые сервисы, важно понимать логику настройки, даже не касаясь программирования напрямую. Вот пошаговая схема, которую используют тендерные отделы:
- Определите целевые порталы. Составьте список площадок по странам, которые нужно мониторить, и проверьте, есть ли у них официальное API — это снижает нагрузку на прокси.
- Проверьте гео-требования. Если площадка блокирует запросы не из своей страны (как британский Contracts Finder), заложите в бюджет резидентные прокси с нужной геолокацией.
- Настройте ротацию IP. Для регулярного сбора данных (несколько раз в день) нужна автоматическая смена IP каждые 5-15 минут, чтобы не превышать лимиты запросов с одного адреса.
- Добавьте паузы между запросами. Имитация человеческого поведения — задержки 3-10 секунд между обращениями к страницам — снижает вероятность срабатывания антибот-систем.
- Мониторьте капчи и баны. Настройте уведомления о росте числа капч — это сигнал, что текущий пул IP «прогрелся» и нужна ротация на новые адреса.
- Храните историю запросов. Ведите лог успешных и заблокированных запросов по каждому порталу — это помогает понять, какой тип прокси работает лучше для конкретной площадки.
Совет на практике:
Если вы мониторите тендеры из 3-4 стран одновременно, не пытайтесь использовать один и тот же пул IP для всех площадок. Разделите прокси по странам заранее — это снижает риск того, что бан на одном портале «зацепит» репутацию IP для другого.
Инструменты для мониторинга тендеров
Компании редко пишут парсеры с нуля — чаще используют готовые решения или комбинируют несколько инструментов. Вот основные категории, которые применяются для сбора данных по госзакупкам:
- Готовые парсеры тендеров — сервисы типа Tenderplan, Контур.Закупки, B2B-Center мониторинг — уже встроена логика обхода капч, но настройка под конкретный портал может потребовать прокси для масштабирования.
- No-code парсинг-платформы — Octoparse, ParseHub позволяют настроить сбор данных через визуальный интерфейс без написания кода, с поддержкой подключения внешних прокси.
- Антидетект-браузеры — если сбор данных требует авторизации на портале (например, личный кабинет на zakupki.gov.ru), инструменты вроде Dolphin Anty или AdsPower помогают вести несколько аккаунтов параллельно, каждый со своим прокси и уникальным отпечатком браузера.
- RSS и email-уведомления от самих порталов — там, где это доступно (как в Prozorro), это снижает потребность в активном парсинге и прокси вообще.
Выбор инструмента зависит от объёма: для мониторинга 1-2 категорий закупок в одной стране может хватить бесплатного RSS-уведомления. Но если речь идёт о сквозном мониторинге тендеров в 5-10 странах с ежедневным обновлением, без связки парсер + прокси-пул + ротация IP не обойтись.
Частые ошибки при парсинге госзакупок
Большинство блокировок при мониторинге тендеров происходит не из-за самого факта сбора данных, а из-за технических ошибок в настройке. Вот что чаще всего приводит к бану:
- Слишком высокая частота запросов. Попытка собрать весь реестр закупок за одну сессию с максимальной скоростью почти всегда заканчивается капчей или временным баном IP.
- Использование одного и того же IP для нескольких стран. Если один адрес обращается и к российскому, и к казахстанскому порталу в короткий промежуток времени, это выглядит подозрительно для обеих систем защиты.
- Игнорирование User-Agent и заголовков браузера. Даже с хорошим прокси запрос с «пустыми» или устаревшими заголовками браузера может быть распознан как бот.
- Отсутствие ротации при длительном мониторинге. Если сбор данных идёт непрерывно несколько часов с одного IP, вероятность попадания в бан растёт экспоненциально после первого часа.
- Пренебрежение гео-соответствием. Запрос к британскому порталу с IP из Нидерландов может пройти один раз, но при регулярном обращении система заметит несоответствие и начнёт требовать подтверждения.
Легальность сбора открытых данных
Важно разделять два понятия: легальность доступа к данным и соблюдение технических условий использования портала (ToS). Информация о госзакупках в подавляющем большинстве стран публична по закону — это требование прозрачности расходования бюджетных средств. Однако конкретный портал может устанавливать свои правила автоматизированного доступа: лимиты запросов, требование регистрации для API, запрет на массовое скрапинг без разрешения.
На практике большинство компаний, занимающихся тендерной аналитикой, работают в серой зоне: данные публичны и их сбор не нарушает закон о доступе к информации, но может формально противоречить пользовательскому соглашению портала. Это не уголовное нарушение, но при систематическом, агрессивном парсинге без соблюдения разумных лимитов риск блокировки IP-адресов и даже юридической переписки с администрацией портала существует. Поэтому разумная ротация IP через резидентные или дата-центровые прокси — это не только техническое, но и репутационное решение: оно снижает нагрузку на инфраструктуру портала и минимизирует конфликты.
Заключение
Мониторинг госзакупок и тендеров в разных странах требует разного подхода к защите от блокировок. Там, где действует открытое API без жёстких лимитов (Prozorro, частично TED), достаточно базовой ротации IP. Но для площадок с серьёзной защитой и гео-ограничениями — SAM.gov, Contracts Finder, отдельные разделы ЕИС — потребуется более серьёзная инфраструктура: резидентные прокси с нужной геолокацией, паузы между запросами и аккуратная имитация поведения реального пользователя.
Если вы только начинаете выстраивать систему мониторинга тендеров и собираетесь работать с несколькими странами одновременно, разумно начать с резидентных прокси — они обеспечивают высокий уровень доверия со стороны защитных систем порталов и позволяют точно подбирать нужную геолокацию. Для менее защищённых площадок с открытым API можно сэкономить, используя прокси дата-центров — они быстрее и дешевле там, где агрессивная защита отсутствует.