Meta и краулинг сайтов бизнеса: условия с 30 октября 2026

С 30 октября 2026 года у Meta начинают действовать обновлённые Commercial Terms — условия для всех, кто использует Facebook, Instagram, Messenger и WhatsApp в коммерческих целях: запускает рекламу, ведёт страницу бренда, продаёт через каталог. В новый текст попал абзац, который юристы и медиа заметили только в середине октября: бизнес разрешает Meta автоматически обходить свои сайты — индексировать, кэшировать, собирать и анализировать контент. Отказаться от этого пункта отдельно нельзя, только перестать пользоваться бизнес-продуктами Meta.

История интересна не только издателям. Это та самая Meta, которая годами судилась со скраперами, включая Bright Data, и проиграла ключевой спор именно на вопросе «кого связывают условия использования». Теперь компания использует тот же договорной механизм в свою пользу. Разберём, что написано в условиях, что Meta успела поправить после скандала и какие практические выводы отсюда для тех, кто сам собирает данные или защищает свой сайт от ботов.

Что именно написано в новых условиях Meta

Обновление Meta анонсировала в начале октября в Business Help Center и в Meta Business Suite. Оно затрагивает сразу несколько документов: Commercial Terms, условия каталога товаров, условия самостоятельной рекламы и условия генерации рекламных креативов с помощью ИИ. Предыдущая версия Commercial Terms действовала с 6 марта 2024 года, и, по разбору PPC Land, никакого языка про краулинг в ней не было.

В новой редакции раздел 1 переименован из «Лицензии» в «Лицензии и права, которые вы предоставляете Meta». Ключевые формулировки в изначальной версии:

бизнес разрешает Meta «или любому лицу, действующему от её имени» использовать автоматизированное ПО, чтобы получать доступ, индексировать, кэшировать, анализировать, собирать и краулить домены, страницы и URL, а также периодически забирать обновления;
под действие попадают сайты, «связанные» с товарами или услугами бизнеса либо доступные через использование продуктов Meta. Что такое «связанные», текст не определяет;
полученный контент Meta может использовать, чтобы «предоставлять, разрабатывать, улучшать, исследовать, обучать и поддерживать целостность» своих продуктов;
Meta вправе создавать «тестовые учётные данные» для доступа к этим ресурсам. Что это значит на практике, в условиях не объясняется.

Согласие оформлено привычно для платформ: если вы продолжаете пользоваться бизнес-продуктами после уведомления об изменениях, вы с ними согласились. Пост на странице компании 31 октября уже считается акцептом. Частичного отказа от абзаца про краулинг нет.

Реакция юристов и ответ Meta

Историю 15 октября подняла Nieman Lab, которая опросила трёх правоведов. Их оценки звучали жёстко:

Мэтт Топик (Loevy & Loevy) сказал, что неясно, признает ли суд такой пункт, но издателям «стоит исходить из того, что он будет исполним»;
Джеймс Гриммельманн (Cornell Law School) назвал абзац явным разрешением Meta обучать ИИ на контенте издателей. Отдельно он обратил внимание на «тестовые учётные данные»: по его мнению, это может позволить заводить фиктивных пользователей и проходить регистрационные стены;
Бенджамин Собел (University of Wisconsin) указал на возможную проблему «связывания»: чтобы пользоваться нужными продуктами, бизнес вынужден соглашаться и на краулинг.

Руководитель News/Media Alliance Даниэль Коффи назвала условия «возмутительными и, вероятно, незаконными». Джейсон Кинт из Digital Content Next спросил, зачем Meta требовать широкие права и прямо прописывать обучение ИИ в обязывающем договоре, если, по её словам, ничего не меняется.

Позиция Meta: 16 октября директор по коммуникациям Энди Стоун назвал публикации «ложными» и заявил, что в том, как Meta использует веб-краулеры, ничего не меняется. По версии компании, формулировки о краулинге раньше были разбросаны по разным документам, включая условия генеративного ИИ в рекламе, а теперь просто собраны в одном месте. Владельцы контента, по словам Meta, по-прежнему могут управлять доступом через robots.txt.

17 октября текст поправили. По данным Nieman Lab, из списка целей убрали слово «train», а использование ограничили рекламными и бизнес-продуктами вместо всех продуктов Meta. Часть изданий со ссылкой на The Verge пишет, что спорный пункт удалили целиком. При этом эксперты, с которыми говорила Nieman Lab, считают, что широкие права на краулинг в условиях всё равно остались, а возможности отказаться до 30 октября у бизнес-аккаунтов нет. Окончательную формулировку стоит сверить на странице Commercial Terms перед вступлением в силу.

Двойной стандарт: как Meta проиграла Bright Data и чему научилась

Чтобы понять, почему юристы так насторожились, нужно вспомнить дело Meta Platforms v. Bright Data. 23 января 2024 года судья Эдвард Чен (Северный округ Калифорнии) вынес решение в пользу Bright Data по иску о нарушении договора. Логика суда: условия Meta запрещают скрапинг, но связывают только пользователей, которые вошли в аккаунт. Сбор публичных данных без логина под эти условия не попадает. Суд также не нашёл доказательств, что Bright Data собирала данные, доступные только после входа, и отверг идею, что бывший пользователь связан условиями бессрочно.

Вывод из того дела, на который с тех пор опирается вся индустрия: договор связывает того, кто его принял. Новые Commercial Terms работают по той же схеме, только наоборот. Meta не может заставить чужой сайт пустить её краулер, но может получить на это согласие владельца через договор, который тот уже принял, чтобы запускать рекламу. И robots.txt здесь слабое утешение: сами условия про него не говорят, а юристы опасаются, что Meta может сослаться на договор как на более сильное разрешение, чем запрет в техническом файле.

Какие краулеры Meta ходят по сайтам

В документации для вебмастеров Meta сейчас перечислены пять агентов. От того, какой из них пришёл, зависит, сработает ли запрет в robots.txt:

meta-externalagent — собирает страницы для обучения базовых ИИ-моделей и для индексации в продуктах. Один токен на обе задачи, поэтому разрешить индексацию и запретить обучение отдельно нельзя;
meta-webindexer — индексирует веб для поиска и цитат в Meta AI;
meta-externalads — краулер для рекламных и бизнес-продуктов, то есть ровно для той зоны, которой Meta ограничила новый пункт;
meta-externalfetcher — загружает отдельные ссылки по запросу пользователя, в том числе для агентных задач ИИ. По документации может игнорировать robots.txt, потому что это запрос человека;
facebookexternalhit — строит превью ссылки, когда ею делятся. Тоже может обходить robots.txt ради проверок безопасности и целостности.

Что делать владельцу сайта с бизнес-аккаунтом в Meta

Если вы продаёте через Instagram или крутите рекламу в Facebook, договорную часть изменить не получится. Техническая часть в ваших руках.

Решите, что вы готовы отдавать. Превью ссылок (facebookexternalhit) нужно, иначе посты с вашим сайтом будут без картинки. Рекламный краулер (meta-externalads) нужен, если вы используете каталог товаров и динамическую рекламу. Обучение моделей (meta-externalagent) для магазина ничего не даёт.
Пропишите правила в robots.txt по отдельным агентам, например: User-agent: meta-externalagent и Disallow: /. Meta предупреждает, что краулеры кэшируют файл и изменения применяются до 24 часов.
Посмотрите логи. Отфильтруйте запросы по строкам meta-externalagent, meta-externalads и meta-webindexer, посчитайте, какие разделы они обходят и сколько. Это база, с которой можно сравнить поведение после 30 октября.
Закройте ценный контент на уровне сервера, а не только robots.txt: прайсы, базы знаний, платные материалы — за авторизацией или с ограничением по User-Agent на CDN. robots.txt остаётся добровольным соглашением, а не замком.
Сохраните текущую редакцию условий (скриншот или PDF с датой). Формулировки уже правили через пару недель после анонса, и в споре пригодится версия, действовавшая на конкретную дату.

Что это значит для тех, кто сам парсит данные

Для команд, которые собирают данные с площадок, история Meta — наглядная иллюстрация того, где на самом деле проходит юридическая граница.

Логин — это подпись под договором. Решение по Bright Data защищает сбор публичных данных без входа. Как только парсер работает из-под аккаунта, условия площадки к вам применимы, и запрет на автоматизированный сбор становится договорным обязательством. Подробнее о том, чем это грозит на практике, мы писали в разборе рисков нарушения Terms of Service при работе через прокси.
Разделяйте инфраструктуру. Бизнес-аккаунты, через которые вы ведёте рекламу, и сборщики данных не должны пересекаться ни по аккаунтам, ни по IP. Для публичного сбора без логина обычно хватает датацентр-прокси, а для площадок с жёстким антибот-фильтром — резидентных IP с ротацией.
robots.txt — сигнал, а не закон, в обе стороны. Meta сама признаёт, что два её агента могут его обходить. Но для вашего проекта соблюдение robots.txt остаётся аргументом добросовестности, если до спора дойдёт. Практика описана в материале про этичный парсинг и robots.txt.
Следите за изменениями условий. Платформы правят их через «продолжение использования означает согласие». Раз в квартал полезно сравнивать актуальные условия площадок, с которыми вы работаете под аккаунтом, с сохранёнными копиями.

Вывод

Новые Commercial Terms Meta показывают, куда движется борьба за веб-данные в 2026 году: от технических барьеров к договорным. Компания, которая проиграла спор о том, кого связывают её условия, теперь использует эти же условия, чтобы получить согласие на обход сайтов своих рекламодателей. После правки 17 октября формулировки стали мягче, но возможности отказаться по-прежнему нет, а сами условия вступают в силу 30 октября. Владельцам сайтов стоит настроить robots.txt по агентам и сохранить копию условий, а командам, которые парсят данные, — ещё раз проверить, где их сбор идёт под логином и чем это грозит.