Назад к блогу

Google спрятал URL из выдачи: goto-редиректы и что теперь с парсингом SERP

26 августа 2026 Google подтвердил раскатку google.com/goto: ссылки в выдаче ведут на зашифрованный редирект, а не на сайт. Причём подмену видят только те, кого поиск счёл ботом. Разбираем механику токенов, цену вопроса в 500–1000 запросов и как перестроить сбор данных на два слоя.

📅31 августа 2026 г.
Google спрятал URL из выдачи: goto-редиректы и что теперь с парсингом SERP

26 августа 2026 года Google официально подтвердил: ссылки в поисковой выдаче больше не ведут напрямую на сайт. Вместо адреса страницы в HTML лежит редирект вида google.com/goto?url=... с зашифрованным токеном. Самое неприятное в этой истории — подменённые ссылки прилетают не всем. Обычный человек в браузере видит прямые URL. Их прячут именно от тех, кого Google уже посчитал автоматизацией.

Что именно случилось

Первые единичные сигналы появились ещё 23 июня 2026 года — на них обратил внимание Алекс Гринленд. 2 июля явление массово зафиксировал Броди Кларк. А 26 августа Дерек Перкинс, CEO платформы отслеживания позиций Nozzle, отчитался о практически полной раскатке, и Google подтвердил изменение официально.

Формулировка представителя компании для Search Engine Roundtable была подчёркнуто общей: у Google «долгая история применения технических мер против эволюционирующих форм злоупотреблений», и компания «регулярно предпринимает шаги для защиты своих сервисов и пользователей». Кого конкретно считать злоупотреблением — не уточнили ни словом.

Механика простая и оттого болезненная. Раньше в разметке результата лежал готовый адрес — парсер забирал его вместе с заголовком и сниппетом за один запрос. Теперь там ссылка на промежуточный редирект Google, а внутри — protobuf-токен: base64-строка с префиксом CAES, за которым идёт зашифрованный payload. Расшифровать его на своей стороне невозможно — ключа у вас нет. Единственный способ узнать, куда ведёт ссылка, — сходить по ней.

Три детали, которые определяют цену вопроса

  • Токен одноразовый. Одна и та же ссылка на ту же страницу по тому же запросу получает новый токен при каждом показе. Построить справочник «токен → URL» и переиспользовать его не выйдет.
  • HEAD не помогает. Запрос HEAD возвращает 200 без заголовка Location — то есть без адреса назначения. Нужен полноценный GET, который отдаёт 302 с медианной задержкой около 59 мс.
  • Задето не только органическое ядро. Скрытые адреса встречаются в обычных результатах, видео, источниках AI Overviews, блоке «Похожие вопросы» и в рекламе (адреса aclk). В исследовании Growtika разобрали 493 ссылки по восьми запросам — адрес назначения скрыла каждая.

Арифметика получается неприятная. По оценке Перкинса, чтобы разрешить все ссылки для пяти страниц выдачи по одному запросу, нужно от 500 до 1000 запросов. Независимый замер scraping.club после дедупликации даёт более скромные 295–565 — но это всё равно на два порядка больше, чем один запрос, которым раньше обходились.

Ключевая цитата Перкинса описывает суть сдвига лучше любых цифр: связывающим ограничением становятся не пропускная способность и не хранилище, а рейт-лимиты.

Почему это удар именно по автоматизации

Здесь и лежит самое интересное. По наблюдениям scraping.club, подмена ссылок не универсальна: обычный пользователь — залогиненный или в режиме инкогнито — по-прежнему получает прямые URL. Редиректы стабильно прилетают автоматизированным клиентам: скриптам, поднимающим браузер с флагами вроде --remote-debugging-port, и headless-стекам с полной автоматизацией.

Практический вывод, который стоит осознать до того, как вы начнёте переписывать парсер: появление goto-ссылок в вашем ответе — это диагностический сигнал. Он означает, что Google уже отнёс ваш клиент к ботам. Вы не столкнулись с новым форматом выдачи — вы увидели, как выглядит выдача для того, кого задетектили. И чинить в первую очередь надо не парсер ссылок, а то, по каким признакам вас отличают от человека: флаги запуска, порядок заголовков, TLS-отпечаток, поведение страницы. Мы разбирали методику такой самопроверки в материале о том, как снять карту детекта сайта по его же скриптам.

Забавная деталь, подтверждающая версию: сам резолв редиректа Google почти не защищает. По замерам scraping.club, для похода по ссылке не нужны ни прокси, ни специальные заголовки, ни имперсонация TLS — обычная библиотека requests справляется не хуже подделанного Chrome, а на малых объёмах достижимо 110+ запросов в секунду без видимых ограничений. То есть барьер не криптографический и не сетевой. Это налог на объём: вас не блокируют, вам просто выставляют счёт в запросах.

Второй удар подряд

Изменение не стоит читать в отрыве от предыдущего. 12–14 сентября 2025 года Google отключил параметр &num=100, который отдавал сотню результатов на одной странице. После этого на ту же глубину выдачи стало нужно примерно в десять раз больше запросов.

Последствия оказались заметны далеко за пределами парсинга. По анализу 319 проперти, разобранному Search Engine Land, 87,7% сайтов потеряли показы в Search Console, а 77,6% лишились части уникальных ранжирующихся запросов. Реальный трафик при этом не изменился — сломалось измерение: львиную долю «показов» на дальних позициях генерировали не люди, а трекеры, тянувшие по сто результатов.

Складываем два шага: сначала выдача подорожала в десять раз по количеству запросов, теперь к каждому результату добавился отдельный запрос за его адресом. Стратегия читается однозначно — Google методично повышает себестоимость промышленного съёма собственной выдачи.

Показателен и правовой фон. Технические меры пошли в ход ровно тогда, когда судебный путь дал сбой: иск Google к SerpApi по DMCA был отклонён — суд провёл границу между защитой авторских произведений и регулированием доступа к общедоступным фактам, указав, что факты и URL произведениями не являются. Подробности этого решения и его последствия мы разбирали в отдельном материале о деле Google против SerpApi. Не вышло запретить — вышло сделать дорого.

Что ломается в отчётах прямо сейчас

Платформа DemandSphere перечислила конкретные поломки, которые возникают, если ничего не предпринять:

  1. Домен назначения схлопывается в google.com. Парсер честно записывает то, что видит в разметке, — и вся выдача становится «принадлежащей Google».
  2. Ломается сопоставление собственных страниц. Система перестаёт узнавать ваши URL и считает, что вы выпали из выдачи.
  3. Плывут доля голоса и атрибуция конкурентов — считать больше нечего, все ссылки на одном домене.
  4. Рвётся исторический ряд ровно на дате раскатки. Это самое коварное: график покажет обвал, которого в реальности не было.

Хорошая новость: чисто позиционные данные страдают меньше. DataForSEO ещё 5 июля 2026 года сообщал, что 99,99% органических результатов через его API уже отдаются с прямыми адресами. Проблема концентрируется в блоках выдачи — по оценке Growtika, goto-ссылки сохраняются примерно в половине AI Overviews и в четверти локальных блоков. То есть страдает именно то, что сегодня важнее всего: источники AI-ответов и локальная выдача.

Как перестроить сбор

Инженерный вывод из всего перечисленного — разделить сбор на два слоя с разной ценой запроса.

  1. Сначала проверьте, задетектили ли вас. Снимите одну и ту же выдачу своим парсером и вручную из чистого браузера. Прямые ссылки в ручном прогоне и goto в автоматическом — это приговор вашей маскировке, а не свойство Google.
  2. Разнесите съём выдачи и резолв ссылок. Первый слой тяжёлый: рендер, поведенческая правдоподобность, качественные IP. Второй — примитивный GET за 302, без браузера и без имперсонации. Гонять резолв через тот же дорогой стек — сжигать бюджет впустую.
  3. Считайте лимиты, а не гигабайты. Узкое место сместилось в число запросов. Планируйте пул адресов исходя из требуемых RPS, а не из объёма трафика.
  4. Не пытайтесь кэшировать токены. Они одноразовые. Кэшировать имеет смысл результат резолва — связку «запрос + позиция + домен», а не сам токен.
  5. Отметьте дату разрыва в исторических данных. 26 августа 2026 года должно стоять в отчётах явной вехой, иначе методологический сбой будет прочитан как падение видимости.
  6. Проверяйте блоки отдельно. Органика может уже быть в порядке, а AI Overviews и локальный блок — нет. Тестируйте их как самостоятельные сущности.

Какие прокси и куда

Из разделения на два слоя следует и разделение инфраструктуры — и это заметно дешевле, чем гонять всё через один пул.

Съём самой выдачи — самая чувствительная часть. Здесь важно не выделяться на фоне обычных пользователей, и именно этот слой определяет, увидите вы прямые ссылки или goto. Под него берут резидентные прокси, а под гео-зависимые задачи вроде локальной выдачи — мобильные, где IP выглядит абсолютно естественно для конкретного региона.

А вот резолв редиректов, как показали замеры, никаких особых требований не предъявляет: обычный GET, никакой имперсонации, высокая скорость. Это классическая задача для датацентр-прокси — дёшево, быстро, много параллельных потоков. Разница в стоимости между двумя подходами при 500–1000 дополнительных запросов на запрос выдачи становится решающей статьёй бюджета.

Итог

Google не закрыл доступ к выдаче — он сделал его дороже и заодно превратил формат ответа в индикатор детекта. Для рынка это означает продолжение курса, начатого отключением &num=100: массовый съём поисковых данных перестаёт быть дешёвым по умолчанию и становится инженерной задачей с явной экономикой.

Практически же вывод сводится к двум пунктам. Если вы видите goto-ссылки — начните с маскировки, а не с парсера: возможно, чинить придётся вовсе не то, что кажется. Если маскировка в порядке, а редиректы всё равно есть — разделяйте слои сбора и не платите премиальную цену за запросы, которым она не нужна.