1 июля 2026 года Cloudflare провёл второй «День независимости контента» и впервые официально выделил AI-агентов в отдельную категорию ботов. Теперь трафик делится на три класса — Search, Agent и Training, — и с 15 сентября 2026 года на страницах с рекламой боты категорий Agent и Training будут блокироваться по умолчанию. Параллельно суды и крупные ретейлеры уже захлопывают двери перед «агентными браузерами» вроде Perplexity Comet и ChatGPT Atlas. Разбираемся, что происходит с агентным вебом и почему без резидентных прокси автономные ИИ-помощники всё чаще упираются в стену.
Что случилось: у ботов появилась третья каста
Раньше веб знал два типа автоматического трафика: поисковые краулеры, которые индексируют страницы, и обучающие краулеры, которые выкачивают контент для тренировки моделей. В 2026 году к ним добавился третий — агент. Cloudflare, через чью сеть проходит около 20% всего веб-трафика, дал ему точное определение: это «автоматизированное поведение, которое действует, как правило в реальном времени, от имени человека, чтобы прямо сейчас что-то сделать».
Под это определение попадают fetch-боты чат-ассистентов (например, ChatGPT-User, который подтягивает свежую информацию по запросу пользователя) и полноценные browser-use агенты — Gemini или Claude, управляющие настоящим Chrome. Логика новой политики проста: рекламное объявление — это сигнал, что владелец сайта хотел показать страницу человеку и монетизировать его внимание. Поэтому на монетизируемых страницах Cloudflare по умолчанию отсекает ботов, которые лишают сайт этого внимания, — обучающие и агентные.
Даты стоит запомнить: изменения вступают в силу 15 сентября 2026 года и касаются новых доменов, подключающихся к Cloudflare. Search-боты остаются разрешёнными — сайтам по-прежнему нужен трафик из поисковиков. А вот многоцелевые краулеры вроде Googlebot будут оцениваться по совокупности всех своих ролей: включил владелец блокировку обучения — заблокируется и такой смешанный бот целиком.
Агентные браузеры: кто вышел на поле за два года
Ещё в начале 2025 года «браузер с ИИ» звучал как эксперимент. К середине 2026-го это уже переполненный рынок автономных помощников, которые сами кликают, скроллят, заполняют формы и оформляют покупки. Ключевые игроки:
- Perplexity Comet — запущен в июле 2025 года, бесплатный, работает на десктопе, Android и iOS;
- ChatGPT Atlas от OpenAI — октябрь 2025 года, по подписке, с отдельным «Agent Mode»;
- Chrome + Gemini — интеграция от Google, январь 2026 года, для подписчиков AI Pro и Ultra;
- Claude for Chrome — расширение к существующему браузеру, август 2025 года;
- Edge Copilot Mode — бесплатный режим Microsoft, июль 2025 года;
- Opera Neon — сентябрь 2025 года, публичный релиз в декабре, подписка около $19,90 в месяц.
Работают все они похоже: агент управляет интерфейсом через скриншоты и команды ввода — «видит» страницу, кликает, печатает и переходит по ссылкам вместо вас. Именно эта человекоподобная механика и делает их головной болью для антибот-систем: формально это не краулер, дёргающий API, а сессия реального браузера, за которой стоит запрос живого пользователя. Google даже ввёл в марте 2026 года отдельный идентификатор Google-Agent, чтобы владельцы сайтов могли отличать такие запросы в логах.
Суды уже на стороне сайтов
Пока Cloudflare раздаёт настройки, конфликт вокруг агентов дошёл до судов. Самый показательный кейс — Amazon против Perplexity. Amazon подал иск ещё в ноябре 2025 года, обвинив стартап в том, что тот намеренно «скрывал» природу своих ИИ-агентов, чтобы продолжать скрапить сайт ретейлера без разрешения.
10 марта 2026 года судья Максин Чесни встала на сторону Amazon. В решении говорится, что компания предоставила «убедительные доказательства»: браузер Comet заходил на сайт по указанию пользователя, но «без авторизации» со стороны ретейлера. По версии Amazon, Comet «маскировал» свою автоматическую природу, выдавая себя за живого покупателя, чтобы проскользнуть мимо систем детекта. Amazon даже задокументировал расходы — более $5 000 на разработку инструментов, блокирующих Comet от доступа к внутренним клиентским данным. Perplexity в ответ заявила, что «продолжит бороться за право интернет-пользователей выбирать любой ИИ, какой они хотят».
Amazon действует и без судов. Через файл robots.txt ретейлер закрыл доступ ботам ChatGPT-User и OAI-SearchBot (движок SearchGPT), а ещё раньше — обучающему GPT-bot. Под раздачу попали краулеры, связанные с Meta, Google и Perplexity. Ирония в том, что OpenAI параллельно строит собственную торговую воронку: функция Instant Checkout уже позволяет покупать товары прямо в ChatGPT у Walmart, Etsy, Shopify и Target. Ретейлеры хотят продавать через ИИ на своих условиях — и не хотят, чтобы чужие агенты ходили по их витринам бесконтрольно.
Как сайты вычисляют агента — и почему IP решает не всё
Заблокировать агента только по названию user-agent наивно: его легко подделать. Поэтому антибот-стек Cloudflare и подобных сервисов смотрит на совокупность сигналов, и здесь автономным браузерам приходится тяжело:
- Фингерпринт безголового браузера. Headless-окружение выдаёт себя набором нестыковок: разрешение экрана 0x0, отсутствие установленных шрифтов, GPU, который отчитывается как программный рендерер «SwiftShader». Реальные пользователи так не выглядят — и это ловится за миллисекунды.
- TLS-фингерпринтинг. Даже с идеальными HTTP-заголовками рукопожатие TLS выдаёт разрыв между заявленной личностью браузера и реальными характеристиками соединения. Подробно этот вектор мы разбирали в материале про JA4 и TLS-фингерпринтинг — сегодня это один из главных инструментов детекта.
- Поведенческий анализ. Человек скроллит с паузами, водит мышью неидеально. Агент же действует с «жестокой роботизированной эффективностью» — грузит страницу за миллисекунды и мгновенно извлекает данные, чем и палится.
- Репутация IP. Диапазоны облачных провайдеров — AWS, Google Cloud, Azure — давно каталогизированы как «ботоводческие» и получают тяжёлые штрафы в репутационных фильтрах, каким бы чистым ни был остальной фингерпринт.
Вот здесь и выходит на сцену прокси. IP-репутация — это первый барьер, о который разбивается агент, запущенный с датацентрового адреса. Резидентные прокси подставляют IP-адреса реальных домашних устройств, и трафик агента перестаёт выглядеть как запрос из серверной стойки. Для мобильных сценариев — соцсети, приложения с жёстким детектом — ещё надёжнее мобильные прокси с IP операторов связи. Датацентровые адреса при этом никуда не деваются: для нечувствительных к репутации задач датацентр-прокси дают скорость и цену, которых резидентка не даст.
Важная оговорка: прокси — это только один слой
Резидентный IP снимает лишь один из четырёх барьеров. Если агент по-прежнему запущен в headless-браузере с фингерпринтом «SwiftShader» и ведёт себя как робот, чистый IP его не спасёт — детект сложится из остальных сигналов. Работающая связка 2026 года — это не «прокси или антидетект», а всё сразу: резидентный или мобильный выходной узел, маскировка браузерного и TLS-фингерпринта под реальное устройство и человекоподобный тайминг действий. Скрапинг и автоматизация окончательно превратились в игру идентичностей, а не адресов.
Что это значит на практике
Для бизнеса и разработчиков, кто строит автоматизацию поверх агентных браузеров, выводы такие:
- 15 сентября — не абстрактная дата. Если ваши агенты ходят на сайты с рекламой, готовьтесь к тому, что часть из них начнёт отдавать заглушки вместо контента. Планируйте инфраструктуру заранее.
- Датацентровый агент — мишень номер один. Первое, что стоит сделать, — вывести агентный трафик из облачных диапазонов на резидентные или мобильные IP. Это дешевле, чем переписывать логику после массовых банов.
- Юридический риск реален. Дело Amazon против Perplexity показывает: «маскировка» агента под человека — это не серая зона, а аргумент для суда. Уважайте robots.txt там, где это критично, и не выдавайте автоматизацию за живого пользователя на сайтах, которые прямо это запрещают.
- Официальные каналы растут. Instant Checkout и партнёрства ИИ с ретейлерами — сигнал, что часть агентных сценариев уйдёт в легальные API. Но пока покрытие фрагментарно, автономным агентам придётся жить в мире, где половина сайтов их не ждёт.
Вывод
Агентный веб — уже не концепт из презентаций, а реальный трафик, который сайты научились и захотели фильтровать. Cloudflare дал владельцам рычаг, суды дали прецедент, ретейлеры дали пример. Автономным ИИ-помощникам это не приговор, но ясный сигнал: чтобы агент дошёл до цели, он должен выглядеть как человек на всех уровнях — от выходного IP до тайминга кликов. Резидентные и мобильные прокси здесь не роскошь, а базовый слой, без которого остальные ухищрения не работают. Веб не закрывается для агентов насовсем — он просто перестаёт пускать тех, кто приходит с табличкой «я бот».