Cloudflare снова затягивает гайки вокруг AI-краулеров. Компания, через сеть которой проходит около 20% всего веб-трафика, объявила: с 15 сентября 2026 года «смешанные» (mixed-use) краулеры по умолчанию будут блокироваться на рекламных, монетизируемых страницах — для всех новых клиентов и всех новых сайтов на существующих аккаунтах. Параллельно расширяется модель Pay Per Crawl, где доступ бота к контенту становится платной услугой. Для всех, кто занимается сбором данных, это не абстрактная новость про издателей — это прямой сигнал, что «серая зона» открытого веба сжимается ещё на один шаг.
Что именно объявил Cloudflare
Ключевое нововведение — понятие «mixed-use crawler». Так Cloudflare называет ботов, которые собирают данные одновременно для двух целей: индексации в поиске и обучения ИИ-моделей. Раньше такие краулеры проходили под флагом «поискового» бота и получали доступ к контенту в обмен на трафик. Теперь Cloudflare разрывает эту сделку: если сайт зарабатывает на рекламе, смешанный краулер по умолчанию не пускают на монетизируемые страницы.
Технически это реализуется через управляемые правила robots.txt и обновлённые эвристики бот-менеджмента. Владельцу сайта не нужно ничего писать руками — Cloudflare сам поддерживает списки и логику. Дата старта для новых сайтов — 15 сентября 2026 года; существующие проекты смогут включить блокировку по желанию.
Позицию компании резюмировал её CEO Мэттью Принс: «Теперь, когда большинство трафика в интернете — не человеческий, мы должны действовать решительнее и быстрее, чтобы могла возникнуть устойчивая экосистема». Изменения публично поддержали Associated Press, Time, The Atlantic и Reddit — то есть крупные издатели, которые больше всех страдают от бесплатного вычерпывания их контента.
Цифры, которые всё объясняют
Чтобы понять, почему инфраструктурный провайдер вообще ввязался в войну с ИИ-компаниями, достаточно посмотреть на соотношение «обходов к переходам» (crawl-to-referral) за 2025 год, которое привёл сам Cloudflare:
- Google — 14:1. На каждые 14 обходов страницы поисковик присылает сайту одного живого посетителя. Терпимо: это старая сделка «мы берём контент, вы получаете трафик».
- OpenAI — 1 700:1. На 1700 обходов — один переход. Обмен уже перестал быть равноценным.
- Anthropic — 73 000:1. Семьдесят три тысячи обходов на один переход. Фактически контент вычерпывается, а трафика взамен нет вообще.
Именно эта асимметрия сломала старую модель «открытого по умолчанию» веба. Как точно сформулировали аналитики: «Там, где веб раньше был открыт, пока вы его не закроете, теперь заметная его часть закрыта, пока вы её не откроете». Это разворот принципа по умолчанию на 180 градусов — и он бьёт не только по ИИ-лабораториям, но и по любым автоматизированным сборщикам, которые попадают под ту же гребёнку.
Pay Per Crawl: доступ становится товаром
Вторая часть анонса — расширение Pay Per Crawl, маркетплейса, который Cloudflare запустил в приватной бете ещё 1 июля 2025 года. Логика простая: вместо бинарного «пустить / заблокировать» у издателя появляется третий вариант — брать плату за каждый обход. Владелец сайта сам выставляет тариф, а ИИ-компания решает, платить по нему или нет. Cloudflare выступает посредником, который проверяет личность бота и проводит расчёты.
Для рынка это тектонический сдвиг. Данные, которые годами считались «бесплатными, потому что публичные», превращаются в платный ресурс с ценником. И чем шире Cloudflare раскатывает эту модель, тем дороже и сложнее становится легальный, «парадный» доступ к контенту для тех, кто не готов подписывать контракты и платить пер-краул.
Как это связано с прокси и скрапингом
Здесь и находится главный практический вывод. Когда крупные площадки закрывают ворота для «честных» краулеров по User-Agent, спрос неизбежно перетекает в инструменты, которые делают трафик неотличимым от человеческого. Основатель аналитической компании Synthient Бен Брандидж прямо констатирует: «ИИ определённо, похоже, разгоняет спрос на резидентные прокси» — потому что компании ищут способ обойти блокировки своих скраперов.
Масштаб этого теневого слоя уже впечатляет. По данным IPInfo, только у шести отслеживаемых провайдеров за 90 дней насчитали почти 79 миллионов уникальных IP. При этом рынок сильно переплетён: около 46% резидентных прокси-адресов одновременно присутствуют в пулах сразу нескольких провайдеров, а отдельные IP всплывали в сетях более чем ста разных сервисов. Это значит, что «дешёвый резидентный прокси» на деле часто оказывается тем же самым перепроданным адресом, что уже светился в десятках чужих кампаний — и уже мог попасть в чёрные списки.
Мы уже писали, что регуляторное давление на сбор данных нарастает параллельно техническому: EU AI Act, вступающий в силу 2 августа 2026 года, придаёт вес robots.txt и opt-out для обучения моделей. Ход Cloudflare — это техническая половина той же тенденции: юридические и инфраструктурные барьеры смыкаются, и «просто отправить GET-запрос с датацентрового IP» работает всё хуже.
Что делать сборщикам данных
Паниковать рано, но пересматривать стек — самое время. Несколько практических ориентиров на ближайшие месяцы.
- Отделяйте задачи по уровню защиты. Для открытых, слабо защищённых источников по-прежнему хватает быстрых и дешёвых датацентровых прокси. Тратить на них резидентный трафик — деньги на ветер.
- Для сайтов под Cloudflare берите резидентные IP. Когда цель отдаёт запросы через бот-менеджмент, спасают резидентные прокси реальных домашних провайдеров: их поведение по умолчанию считается человеческим. Ключевое — не абсолютный размер пула, а его чистота и низкий процент пересечений с чужими сервисами.
- Мобильные IP — для самых жёстких целей. Соцсети и площадки с агрессивным антибот-контуром лучше проходят через мобильные прокси: за одним IP оператора сидят тысячи живых абонентов, поэтому блокировать его целиком площадке невыгодно.
- Считайте не «объём», а «выживаемость». После разворота Cloudflare к «закрыто по умолчанию» метрикой качества становится не гигабайты, а доля успешно собранных страниц без банов. Дешёвый перепроданный пул с 46%-м пересечением адресов даёт красивую цифру трафика и провальный success rate.
- Соблюдайте правила там, где они есть. Если источник предлагает официальный API или условия Pay Per Crawl, для стабильных производственных пайплайнов это часто дешевле и надёжнее гонки вооружений. Прокси — инструмент для публичных данных, а не для обхода прямых договорных запретов.
Вывод
Шаг Cloudflare — не разовая новость, а часть системного разворота: веб переходит от модели «открыто, пока не закрыл» к «закрыто, пока не открыл». Соотношения вроде 73 000:1 показывают, почему это неизбежно, а Pay Per Crawl превращает доступ к данным в товар с ценником. Для скрапинга это означает одно: эпоха, когда хватало датацентрового IP и заголовка User-Agent, заканчивается. Выигрывают те, кто заранее строит сбор на чистых резидентных и мобильных сетях и считает не объём трафика, а долю данных, которые реально дошли живыми. Барьеры будут только расти — и качество прокси-инфраструктуры становится не расходной статьёй, а решающим фактором того, получите вы данные или нет.