У Google остаётся всё меньше «законных дверей» к своей выдаче. Custom Search JSON API закрыт для новых клиентов и 1 января 2027 года перестанет работать совсем, а с 13 сентября 2026 года заметно выросла доля заблокированных запросов у сервисов, которые собирают выдачу сами. Для SEO-команд, агрегаторов, мониторинга цен и AI-агентов с веб-поиском это означает одно: до конца года нужно решить, откуда вы будете брать результаты Google в 2027-м.
Что случилось: две новости за один месяц
Официальный API доживает последние три месяца
Google объявил о закрытии Custom Search JSON API ещё 20 января 2026 года, но для большинства команд дедлайн начал ощущаться только сейчас. На странице документации прямо сказано: API закрыт для новых клиентов, а у текущих есть время до 1 января 2027 года, чтобы перейти на альтернативу.
До этой даты действуют прежние условия:
- 100 бесплатных запросов в сутки;
- дальше $5 за 1000 запросов;
- потолок — 10 000 запросов в сутки.
Это был самый дешёвый и простой официальный способ получить результаты поиска в JSON. Разработчики на форумах Google ещё в июле жаловались на ошибки 403 при включённом API, активном биллинге и не исчерпанной квоте, так что кое у кого API фактически перестал работать ещё до официальной даты.
Скраперов выдачи режут сильнее
18 сентября Search Engine Roundtable собрал сигналы от операторов SEO-инструментов. Дерек Перкинс из Nozzle сообщил, что примерно с 13 сентября большинство попыток забрать данные из Google Search блокируются: объём собранных данных упал примерно на 80%. По его словам, похожая картина была и у данных DataForSEO. Стив Пейн из Sistrix написал, что Google уже около года постоянно меняет способ отдачи результатов, а сейчас темп изменений очень высокий, и сбор у них идёт на сниженной скорости.
Гленн Гейб сверил данные трекеров с реальным трафиком сайтов: лучше всего восстановление подхватил Ahrefs, Semrush показал его с задержкой, Sistrix заметно отставал. Официального комментария Google нет.
Почему это не случайность, а курс
Если выстроить события в ряд, видна последовательная политика: сначала удорожить автоматический сбор, затем закрыть дешёвый официальный доступ.
- Январь 2025. Google ужесточил защиту выдачи, у Semrush, SE Ranking и других трекеров были провалы данных.
- Сентябрь 2025. Исчез параметр
&num=100, который позволял получить 100 результатов одной страницей. Чтобы собрать ту же глубину, нужно в разы больше запросов. - Январь 2026. Объявлено закрытие Custom Search JSON API.
- Август 2026. Ссылки в выдаче для автоматических клиентов заменены на зашифрованные редиректы google.com/goto. Мы подробно разбирали, как goto-ссылки ломают отчёты трекеров и во сколько обходится их расшифровка.
- Сентябрь 2026. Новая волна блокировок сборщиков с 13 сентября.
Microsoft прошла этот путь раньше: 11 августа 2025 года она полностью выключила семейство Bing Search API (веб, картинки, новости, видео, Custom Search и другие) и предложила вместо него Grounding with Bing Search в Azure AI Agents. Это уже не выдача в JSON, а контекст для ответа LLM. Два крупнейших поисковика перестают продавать сырую выдачу всем желающим.
Что Google предлагает взамен
Официальных вариантов три, и ни один не является заменой «один к одному».
- Vertex AI Search. Google рекомендует его для поиска по сайтам в пределах 50 доменов. Это корпоративный продукт для поиска по вашему собственному индексу, он не возвращает публичную выдачу Google.
- Search Element. Бесплатный виджет поиска по сайту, те же ограничения до 50 доменов. Для программного сбора выдачи не подходит.
- Web Search Service API. 11 сентября Search Engine Journal заметил документацию нового API «полного веб-поиска». Он возвращает JSON по REST или gRPC, до 20 результатов на запрос, но требует Google Cloud проект, API-ключ и client ID, привязанный к партнёрскому соглашению. В каждом запросе нужно передавать IP пользователя. Как стать партнёром, сколько это стоит и какие лимиты, в документации не сказано. Официально Google лишь предлагает заполнить форму интереса.
Если коротко: для небольшого проекта с поиском по нескольким сайтам решение есть. Для задач «узнать, что Google показывает по запросу X в стране Y» официальной дешёвой дороги после 1 января не будет.
Кого это заденет сильнее всего
- Внутренние SEO-скрипты. Многие команды проверяли позиции или индексацию через CSE: 10 000 запросов в сутки хватало на небольшой пул ключей. С 2027 года этот код начнёт получать ошибки.
- AI-агенты и RAG-пайплайны, где веб-поиск был подключён через Custom Search как самый доступный «официальный Google».
- Мониторинг бренда и контента: поиск упоминаний, копий текстов, фишинговых доменов по запросам в Google.
- Пользователи SEO-платформ. Сборщики вынуждены делать больше запросов на тот же объём данных, и стоимость в итоге перекладывается на подписку. В сентябре многие ещё и получили дыры в графиках позиций.
Что делать до 1 января: четыре пути
1. Проверить, нужна ли вам вообще выдача Google
Начните с аудита: где в коде вызывается customsearch/v1 и зачем. Часто CSE использовался для поиска по собственному сайту или нескольким доменам, и тогда Vertex AI Search или Search Element закрывают задачу. Если же нужны именно позиции в Google, этот путь не подходит.
2. Сторонний SERP API
Самый быстрый вариант миграции: провайдер берёт на себя блокировки, капчи и разбор HTML, вы получаете JSON. Цены на рынке сильно различаются. По сравнению, которое опубликовал сам SERP-провайдер cloro (то есть это не независимый бенчмарк), разброс от примерно $1–2 до $12 за 1000 запросов по 10 результатов. Минусы — зависимость от чужой инфраструктуры: сентябрьская волна блокировок показала, что просесть может и провайдер, который продаёт данные другим.
3. Свой сборщик на прокси
Даёт контроль над гео, частотой и форматом данных, но требует инженерной работы и учёта правил. Google в своих политиках запрещает автоматизированные запросы к поиску без разрешения, поэтому это решение с осознанным юридическим и операционным риском, а не «бесплатная замена API». Если идёте этим путём:
- для запросов к самой выдаче используйте IP, которые выглядят как обычные пользователи: резидентные прокси с выбором страны и города или мобильные для самых чувствительных сценариев. Датацентровые адреса Google распознаёт быстрее всего;
- привязывайте гео IP к параметрам запроса (
gl,hl, локация). Выдача персонализирована по месту, и несовпадение IP и параметров даёт «не тот» результат; - держите запросы похожими на браузерные: реальный рендеринг или корректный TLS и заголовки, паузы, умеренная частота на один IP;
- для вспомогательного трафика, который идёт не на google.com (скачивание найденных страниц, проверка редиректов), хватит более дешёвых датацентровых прокси. Не тратьте резидентный трафик там, где защита не требует;
- мерьте долю успешных ответов по дням. Если она резко падает, как 13 сентября, остановите сбор и разберитесь, а не повышайте частоту: это самый быстрый способ «сжечь» пул.
Практическая сторона сбора — рендеринг, парсинг блоков AI Overviews, выбор гео — описана в нашем гайде по сбору выдачи Google с AI Overviews.
4. Сменить источник истины для позиций
Для собственных сайтов у вас есть данные, которые не зависят от скраперов: Google Search Console отдаёт средние позиции, показы и клики по запросам через бесплатный API. Проверка Гленна Гейба хорошо показывает, почему это важно: трекеры в сентябре расходились друг с другом, а реальный трафик остался точкой отсчёта. Используйте Search Console как эталон, а внешние трекеры — для конкурентов и тех запросов, где у вас ещё нет показов.
Как понять, что провал в отчёте — не ваша проблема
Если после 13 сентября в трекере видно резкое падение позиций или дыры в данных, прежде чем менять сайт:
- сравните даты провала с Search Console: если там показы и клики ровные, проблема в сборе, а не в ранжировании;
- посмотрите, затронуты ли все ключи сразу. Одновременный провал сотен запросов, как правило, указывает на сбой сбора;
- проверьте статус-страницу и блог вашего SEO-инструмента: большинство провайдеров публикуют уведомления о проблемах со сбором;
- не делайте выводов по одному инструменту — в сентябре Ahrefs, Semrush и Sistrix восстанавливались с разной скоростью.
Вывод
Google последовательно закрывает дешёвый доступ к выдаче: сначала num=100, потом goto-редиректы, теперь конец Custom Search API и новая волна блокировок. Официальная замена для полного веб-поиска есть, но только для партнёров и без публичных цен. До 1 января стоит найти в коде все вызовы CSE, решить, нужна ли вам именно выдача Google, и выбрать путь: SERP API, собственный сборщик на качественных прокси или Search Console как источник истины для своих сайтов. Тем, кто откладывает миграцию до декабря, придётся делать её в спешке, пока трекеры и провайдеры сами перестраиваются под новые правила.