Пока одни блокируют ботов, другие учат их предъявлять паспорт. В 2026 году Cloudflare, Google, Amazon, Akamai и OpenAI собрались вокруг одного стандарта — Web Bot Auth. Идея простая и радикальная: автоматический трафик больше не проверяют по IP-адресу и строке User-Agent, которые легко подделать. Вместо этого агент криптографически подписывает каждый запрос, а сайт мгновенно проверяет подпись. 2 марта 2026 года вышла пятая версия черновика архитектуры (draft-meunier-web-bot-auth-architecture-05), в мае Google начал боевое тестирование, а рабочая группа IETF нацелилась выпустить стандарт к августу 2026-го. Разбираемся, что это за механизм, кто за ним стоит и почему для всех, кто занимается скрапингом и мультиаккаунтингом, это разворот на 180 градусов.
Что случилось: у ботов появляется криптографическая идентичность
Классическая проверка «свой–чужой» в вебе держалась на двух костылях. Первый — User-Agent: строка, которую клиент сообщает сам о себе и которую любой скрипт переписывает в одну строку кода. Второй — списки IP-адресов: сайт держит перечень «официальных» диапазонов Googlebot, Bingbot и прочих и сверяет обратный DNS. Оба подхода в 2026-м окончательно посыпались.
Cloudflare прямо формулирует проблему в своей технической документации: один и тот же IP может использоваться множеством пользователей или сервисов одновременно, а сами диапазоны постоянно меняются вслед за инфраструктурой. User-Agent же вообще не является доказательством — это просто самопредставление. Криптографическая подпись, по замыслу авторов, даёт аутентификацию, не опираясь ни на «вечно меняющиеся диапазоны IP», ни на «подделываемые заголовки вроде User-Agent».
Технически Web Bot Auth опирается на уже принятый стандарт HTTP Message Signatures (RFC 9421). Каждому агенту выдаётся пара ключей Ed25519. Перед отправкой запроса агент подписывает не всё подряд, а authority целевого URI — то есть домен, к которому обращается (при заходе на example.com подписывается именно example.com). В запрос добавляются заголовки Signature-Input (окно валидности с метками created и expires, идентификатор ключа keyid в формате JWK Thumbprint и тег web-bot-auth) и Signature-Agent, который указывает на директорию с публичными ключами (JWKS). Сайт скачивает публичный ключ из этой директории и проверяет подпись. Подделать её без приватного ключа невозможно, а окно валидности защищает от повторного проигрывания перехваченного запроса.
Кто стоит за стандартом
Это не эксперимент одной компании. Web Bot Auth поддерживают Cloudflare, Amazon, Akamai и OpenAI. Черновик архитектуры пишут в соавторстве Тибо Мёнье (Cloudflare) и Шандор Майор (Google). AWS WAF уже добавил поддержку проверки подписей, Cloudflare встроил её в свою программу Verified Bots и активировал на своём edge в продакшене. Отдельная рабочая группа IETF по Web Bot Auth была учреждена в 2026 году и целится сдать спецификацию в стандартизацию к августу 2026.
Google включился — и это переломный момент
6 мая 2026 года стало известно, что Google тестирует Web Bot Auth для проверки собственного бот-трафика. Смысл в том, чтобы сайт мог убедиться: запрос, представляющийся гугловским, действительно исходит от Google, а не от кого-то, кто просто вписал Googlebot в User-Agent. Подписанный AI-трафик Google идёт под идентичностью agent.bot.goog — владельцы сайтов забирают публичные ключи Google с этого эндпоинта и валидируют заголовки Signature и Signature-Input.
Почему это важно именно сейчас. Ровно из-за того, о чём мы писали про блокировку агентных браузеров: с 15 сентября 2026 года Cloudflare по умолчанию рубит «смешанных» AI-краулеров на рекламных страницах новых доменов, а через сеть Cloudflare проходит около пятой части всего веба. Веб закрывается. И Web Bot Auth — это не про «как заблокировать», а про «кого впустить». Появляется белый список нового типа: не по IP, а по криптографической личности. Сайт сможет включить политику вида «показывать цены и детали товара только проверенным подписанным агентам» — и всё остальное автоматически остаётся снаружи.
Подписанные агенты: первая когорта
Отдельная категория — signed agents (подписанные агенты). Это боты, которыми управляет конечный пользователь, а не одна корпорация: платформа или удалённый браузер, на котором работает агент, подписывает его HTTP-запросы, а Cloudflare валидирует подписи. В первую когорту вошли ChatGPT agent (OpenAI), Goose (Block), Browserbase, Anchor Browser и Cloudflare Browser Rendering. Дауве Осинга из Block описал выгоду прямо: «Web Bot Auth позволяет сайтам доверять Goose, сохраняя то, что делает его уникальным».
Ключевое различие: signed agent действует от лица человека (условный ассистент, который заходит на сайт по вашей просьбе), тогда как «поисковый» или «тренировочный» краулер работает на компанию. Cloudflare уже разводит эти сущности в правилах безопасности — и именно эта развилка определит, кому в вебе 2026–2027 будут открывать двери, а кому нет.
Что это значит для скрапинга и прокси
На первый взгляд кажется, что криптоподпись хоронит анонимный скрапинг. На практике всё тоньше — веб раскалывается на две полосы движения, и для нашей аудитории это меняет тактику, а не отменяет её.
- Полоса подписанных агентов. Узкий, привилегированный проезд для крупных платформ и «пользовательских» ассистентов из белого списка. Чтобы туда попасть, нужны приватный ключ, публичная JWKS-директория, регистрация у CDN и соответствие политикам. Для типового парсинг-проекта, антидетект-фермы или SMM-автоматизации этот путь закрыт: вы не Google и не OpenAI, вам подпись не выдадут.
- Полоса всех остальных. Здесь по-прежнему живут независимые скраперы, мониторинг цен, сбор данных, мультиаккаунтинг. И именно здесь ставки на качество прокси и достоверность отпечатка растут. Раз «легитимных» пускают по подписи, то ко всему неподписанному трафику отношение становится строже по умолчанию.
Иными словами, Web Bot Auth не убивает потребность в прокси — он повышает планку для тех, кто не в белом списке. Если раньше можно было надеяться проскочить на сером User-Agent, то теперь неподписанный запрос сразу попадает в категорию «докажи, что ты живой человек». А доказывается это связкой из чистого IP и правдоподобного поведения.
Почему резидентные и мобильные IP становятся ещё ценнее
Когда подпись недоступна, единственный способ выглядеть легитимно — быть неотличимым от обычного пользователя. Датацентровые адреса такую задачу не решают: по разным замерам защиты Cloudflare пропускают датацентр-IP лишь в 40–60% случаев, тогда как резидентные прокси дают проходимость в диапазоне 85–99%. Причина ровно в том, что резидентный адрес принадлежит реальному интернет-провайдеру и живому абоненту — по репутации IP его не отличить от человека за тем же роутером.
Ещё жёстче ситуация с самыми защищёнными платформами и мобильными приложениями, где играют роль сотовые сети. Здесь выручают мобильные прокси: за одним IP оператора сидят тысячи живых абонентов, поэтому банить такой адрес массово — значит отрезать реальных клиентов. Именно этот эффект «общего котла» делает мобильные IP самой устойчивой валютой в мире, где всё остальное просвечивается.
Но чистого IP уже мало. Раз проверка личности смещается с сети на криптографию, вся неподписанная армия ботов проходит через поведенческий и браузерный фингерпринт: TLS/JA4, canvas, WebGL, шрифты, тайминги. Прокси убирает один сигнал тревоги (репутацию адреса), но не отменяет остальные. Рабочая связка 2026 года — резидентный или мобильный IP плюс антидетект-окружение с согласованным отпечатком. Один компонент без другого выдаёт бота на первом же уровне защиты.
Как действовать уже сейчас
- Разделите проекты по полосам. Если задача — официальная интеграция от лица крупного продукта, изучайте путь signed agent: регистрацию у CDN и получение ключей. Для всего остального планируйте работу в «полосе всех остальных» и закладывайте её правила.
- Инвестируйте в качество IP, а не в количество. Дешёвые датацентр-пулы в 2026-м всё чаще стоп-фактор. Ставку делайте на резидентные и мобильные адреса с ротацией под задачу.
- Синхронизируйте отпечаток с сетью. IP из одной страны, а язык браузера, часовой пояс и локаль — из другой — это классический провал. Отпечаток должен непротиворечиво совпадать с геолокацией прокси.
- Следите за стандартом. К августу 2026 IETF планирует финализировать спецификацию. Как только Web Bot Auth станет обязательным условием доступа на конкретной площадке, тактику для неё придётся пересматривать заранее, а не постфактум.
Вывод
Web Bot Auth — это не очередной анти-бот, а смена самой логики доверия в вебе: от «кто ты по IP» к «докажи криптографией, кто ты». Для гигантов вроде Google и OpenAI это пропуск в закрывающийся интернет. Для независимых скраперов и мультиаккаунт-проектов это сигнал, что серые методы окончательно перестают работать, а разрыв между «выглядеть человеком» и «выглядеть ботом» становится решающим. Побеждать в новой реальности будет не тот, у кого больше IP, а тот, у кого чистый резидентный или мобильный адрес и безупречно согласованный отпечаток. Криптопаспорт выдали не всем — значит, всем остальным придётся быть убедительнее.