← 返回博客

Meta允许抓取广告主网站:10月30日起的条件与数据提取

从2026年10月30日起,Commercial Terms Meta 允许公司自动绕过与 Facebook、Instagram 和 WhatsApp 商业账户相关的网站,无需单独拒绝。我们分析措辞,10月17日的修订,律师的反应,与 Meta v. Bright Data 案件的对比,Meta 的爬虫列表,以及网站所有者和自行收集数据的人的应对措施。

📅2026年10月19日
Meta允许抓取广告主网站:10月30日起的条件与数据提取

从2026年10月30日起,Meta将实施更新后的商业条款——适用于所有在商业目的上使用Facebook、Instagram、Messenger和WhatsApp的人:投放广告、管理品牌页面、通过目录销售。新文本中加入了一段,律师和媒体在十月中旬才注意到:商业允许Meta自动绕过其网站——索引、缓存、收集和分析内容。无法单独拒绝这一条款,只能停止使用Meta的商业产品。

这个故事不仅对出版商有趣。这正是Meta,多年来与抓取者(包括Bright Data)进行诉讼,并在“谁受使用条款约束”的问题上输掉了关键争议。现在,该公司利用同样的合同机制为自己谋利。我们来分析一下条款中写了什么,Meta在丑闻后做了哪些修改,以及对于那些自己收集数据或保护自己网站免受机器人攻击的人来说,有哪些实际的结论。

Meta新条款中具体写了什么

Meta在十月初的商业帮助中心和Meta商业套件中宣布了这一更新。它涉及多个文件:商业条款、商品目录条款、自助广告条款以及通过人工智能生成广告创意的条款。之前的商业条款自2024年3月6日起生效,根据PPC Land的分析,其中没有关于抓取的任何语言。

在新版本中,第1节的名称从“许可”更改为“您授予Meta的许可和权利”。原始版本中的关键表述:

  • 商业允许Meta“或任何代表其行事的个人”使用自动化软件,以访问、索引、缓存、分析、收集和抓取域名、页面和URL,并定期获取更新;
  • 受此条款约束的网站是与商业的商品或服务“相关”的,或者通过使用Meta产品可访问的。文本没有定义“相关”的具体含义;
  • Meta可以使用获得的内容来“提供、开发、改进、研究、训练和维护其产品的完整性”;
  • Meta有权创建“测试凭证”以访问这些资源。具体在条款中没有解释这意味着什么。

同意的形式与平台习惯相同:如果您在收到变更通知后继续使用商业产品,则表示您同意这些变更。公司页面上在10月31日的帖子已被视为接受。没有部分拒绝抓取条款的可能。

律师的反应和Meta的回应

10月15日,Nieman Lab报道了这一事件,并采访了三位法律专家。他们的评价非常严厉:

  • 马特·托皮克(Loevy & Loevy)表示,尚不清楚法院是否会承认这一条款,但出版商“应假设它是可执行的”;
  • 詹姆斯·格里梅尔曼(康奈尔法学院)称这一段是Meta明确允许在出版商内容上训练人工智能。他特别提到“测试凭证”:在他看来,这可能允许创建虚假用户并绕过注册墙;
  • 本杰明·索贝尔(威斯康星大学)指出了“绑定”可能带来的问题:为了使用所需的产品,商业被迫同意抓取。

新闻/媒体联盟负责人丹尼尔·科菲称这些条款“令人愤慨,可能是非法的”。Digital Content Next的杰森·金特问道,为什么Meta需要要求广泛的权利,并在具有约束力的合同中明确规定训练人工智能的条款,如果据称没有任何变化的话。

Meta的立场:10月16日,通信总监安迪·斯通称这些报道为“虚假”,并表示Meta使用网络爬虫的方式没有变化。根据该公司的说法,关于抓取的表述以前分散在不同的文件中,包括广告中的生成性人工智能条款,现在只是集中在一个地方。根据Meta的说法,内容所有者仍然可以通过robots.txt管理访问权限。

10月17日,文本进行了修订。根据Nieman Lab的报道,目标列表中删除了“训练”一词,使用限制为广告和商业产品,而不是所有Meta产品。一些出版物引用The Verge报道,争议条款已被完全删除。尽管如此,与Nieman Lab交谈的专家认为,抓取的广泛权利仍然存在,而商业账户在10月30日之前没有拒绝的可能性。最终的表述应在商业条款页面上进行核对,以便在生效前确认。

双重标准:Meta如何输给Bright Data以及学到了什么

要理解为什么律师们如此警惕,需要回顾Meta Platforms诉Bright Data一案。2024年1月23日,加州北区法官爱德华·陈裁定支持Bright Data的合同违约诉讼。法院的逻辑是,Meta的条款禁止抓取,但仅约束已登录的用户。未登录情况下收集公共数据不受这些条款约束。法院还没有找到Bright Data收集仅在登录后可用的数据的证据,并驳回了前用户与条款无限期绑定的观点。

这一案件的结论,从此成为整个行业的依据:合同约束接受它的那一方。新的商业条款以相同的方式运作,只是相反。Meta不能强迫他人网站允许其爬虫访问,但可以通过合同获得所有者的同意,而该所有者已经接受了该合同以投放广告。而robots.txt在这里是微弱的安慰:条款中没有提到它,律师们担心Meta可能会引用合同作为比技术文件中的禁止更强的许可。

Meta的爬虫访问哪些网站

在Meta的站长文档中,目前列出了五个代理。具体是哪个代理访问,将决定robots.txt的禁止是否生效:

  • meta-externalagent——收集页面以训练基础人工智能模型并在产品中进行索引。一个令牌用于这两个任务,因此无法单独允许索引和禁止训练;
  • meta-webindexer——为Meta AI索引网页以进行搜索和引用;
  • meta-externalads——用于广告和商业产品的爬虫,即正是Meta限制新条款的区域;
  • meta-externalfetcher——根据用户请求加载单个链接,包括人工智能的代理任务。根据文档,可能会忽略robots.txt,因为这是人类的请求;
  • facebookexternalhit——当链接被分享时生成链接的预览。也可能绕过robots.txt以进行安全性和完整性检查。

Meta商业账户的网站所有者该怎么办

如果您通过Instagram销售或在Facebook上投放广告,合同部分无法更改。技术部分在您手中。

  1. 决定您愿意分享什么。链接预览(facebookexternalhit)是必要的,否则与您网站相关的帖子将没有图片。如果您使用商品目录和动态广告,则需要广告爬虫(meta-externalads)。对于商店来说,训练模型(meta-externalagent)没有任何好处。
  2. 为不同的代理在robots.txt中编写规则,例如:User-agent: meta-externalagent和Disallow: /。Meta警告说,爬虫会缓存文件,修改将在24小时内生效。
  3. 查看日志。过滤meta-externalagent、meta-externalads和meta-webindexer的请求,计算它们绕过了哪些部分以及数量。这是可以在10月30日之后比较行为的基础。
  4. 在服务器级别关闭有价值的内容,而不仅仅是robots.txt:价格、知识库、付费材料——需要授权或在CDN上对User-Agent进行限制。robots.txt仍然是自愿协议,而不是锁。
  5. 保存当前版本的条款(带日期的屏幕截图或PDF)。条款在公告后几周内已经被修改,在争议中,特定日期生效的版本将是有用的。

这对自己解析数据的人意味着什么

对于那些从平台收集数据的团队来说,Meta的故事是一个生动的例子,说明法律界限实际上在哪里。

  • 登录是合同的签名。Bright Data的裁决保护了未登录情况下收集公共数据。一旦解析器在账户下工作,平台的条款就适用于您,禁止自动收集的数据成为合同义务。我们在关于通过代理工作时违反服务条款的风险的分析中详细讨论了这对实践的影响。
  • 分离基础设施。您进行广告的商业账户和数据收集器不应在账户或IP上交叉。对于未登录的公共收集,通常足够使用数据中心代理,而对于具有严格反机器人过滤的站点,则需要使用住宅IP进行轮换。
  • robots.txt是信号,而不是法律,双向的。Meta自己承认,她的两个代理可能会绕过它。但对于您的项目,遵守robots.txt仍然是善意的论据,如果争议发生的话。实践在关于伦理解析和robots.txt的材料中有所描述。
  • 关注条款的变更。平台通过“继续使用即表示同意”来修改条款。每季度比较一次您在账户下工作的平台的最新条款与保存的副本是有益的。

总结

Meta的新商业条款展示了2026年网络数据争夺战的发展方向:从技术壁垒转向合同。曾经输掉关于谁受其条款约束的争议的公司,现在利用这些条款获得对其广告客户网站的绕过同意。10月17日的修订使表述变得温和,但仍然没有拒绝的可能,而条款将在10月30日生效。网站所有者应根据代理设置robots.txt并保存条款副本,而解析数据的团队则应再次检查其收集是否在登录状态下进行,以及这会带来什么风险。