到2026年8月2日还有大约一个月——正是在这一天，欧洲人工智能法案将不再是“纸面”法规，而是获得实际的罚款权力。 对于所有在网络上收集数据的人来说——从训练大型模型到简单的价格监控——这是一个分水岭，之后机器可读的数据收集禁令首次获得版权的分量，而人工智能模型的提供者必须披露他们的训练数据来源。我们来分析一下具体会发生什么变化，以及这对实践中的相关方意味着什么。
2026年8月2日将会包括什么
欧盟人工智能法案是分阶段引入的。禁止的做法在2025年2月就已不再适用，通用人工智能模型提供者的义务（GPAI——通用人工智能）于2025年8月2日正式生效。但正是在2026年8月2日，法规将全面适用：将包括对高风险系统的要求，最重要的是，监管机构将获得对不遵守GPAI义务进行罚款的权力。
罚款的金额如下：
- 最高€3500万或全球营业额的7%——针对禁止的做法（更高的罚款）；
- 最高€1500万或全球营业额的3%——针对高风险系统和GPAI义务的违规；
- 最高€750万或营业额的1%——针对向监管机构提供虚假信息。
该法规的适用范围是跨国的：无论提供者位于何处，只要模型在欧盟市场上发布，义务就适用。美国或亚洲的人工智能公司，其产品对欧洲人可用，亦需遵循相同的规则。
GPAI提供者的义务
主要有三项义务，其中两项直接与数据收集相关：
- 技术文档——模型架构、方法论和训练资源的描述，供监管机构和下游开发者使用。
- 公开的训练数据摘要——提供者必须发布“足够详细”的内容描述，说明模型的训练数据来源，按照人工智能办公室发布的模板。这是全球首次要求模型开发者公开报告数据来源。
- 版权遵守政策——提供者必须尊重根据2019/790号版权指令第4条的文本和数据挖掘（TDM）拒绝机制，包括机器可读的信号。
对于系统风险模型（训练阈值为10^25 FLOPs），还需增加对抗性测试和强制报告事故的要求。市场上现有的模型将获得延期——必须在2027年8月2日前完全符合规定。
robots.txt获得版权“分量”
对数据收集行业的主要变化隐藏在版权要求中。以前，robots.txt是一个绅士协议：忽视它违反了网站规则，但本身并不被视为违法。现在，根据2019/790号指令第4条，机器可读的权利保留——robots.txt，出现的标准ai.txt，TDM标记——获得了版权分量。表达拒绝数据挖掘的权利人，实际上受到了版权的保护，防止其内容被用于训练。
为了标准化这些信号，欧盟委员会启动了关于权利保留协议的咨询：目标是达成一个机器可读的格式，被认为是“行业标准”，并被权利人广泛接受。换句话说，欧盟正在构建一个法律上有效的拒绝爬虫的语言，以用于人工智能训练。
背景：平台已经开始反击
该法规落在了已经激烈竞争的市场上。2025年7月，Cloudflare，保护约20%的网络，成为首个默认阻止人工智能爬虫的基础设施提供者，针对所有新域名——网站所有者现在需要明确允许特定的爬虫。到2025年8月，超过250万个网站完全禁止使用其内容进行人工智能训练；仅GPTBot就被大约19%的网站阻止。在最常被阻止的爬虫中，有GPTBot、ClaudeBot、CCBot、Google-Extended和Bytespider。
与此同时，差距巨大：根据Cloudflare的数据，人工智能爬虫大约访问了前100万网络资源的39%，但只有2.98%的资源真正阻止或挑战这些请求。同时，Cloudflare推出了按爬取付费的模型——网站向爬虫返回“402 Payment Required”的响应，而人工智能公司为访问支付费用。数据收集从免费的“全都允许”转变为有价格的市场。
法律战线也在加紧。Reddit对Perplexity AI及其相关的收集者和代理提供商（SerpApi、Oxylabs、AWMProxy）提起了诉讼，其首席律师严厉地阐述了冲突的本质：“人工智能公司被困在争夺优质人类内容的军备竞赛中，这种压力产生了大规模的数据洗钱经济。”同时，Reddit与OpenAI和Google达成了许可协议——也就是说，数据出售给愿意支付的人，而那些免费获取数据的人则受到追究。LinkedIn在一项单独的诉讼中指控ProAPIs公司创建了约一百万个虚假账户，以进行爬取并以每月高达$15,000的价格转售个人资料。
这对数据收集者意味着什么
首先也是最重要的——不要惊慌。欧盟人工智能法案并不禁止网络爬取本身，也不将公共数据的收集视为犯罪。该法规主要针对人工智能模型提供者和高风险系统。如果您监控竞争对手的价格，收集SEO分析数据，检查搜索结果或聚合公共评论，您并不会成为“GPAI提供者”，因此不直接受新的义务约束。
法案真正涉及的人
受到影响的是那些在收集的数据上训练或再训练大型模型并将其投放到欧盟市场的人。对于他们来说，发布训练数据摘要和尊重TDM拒绝成为法律要求，并伴随实际的罚款。如果您的爬取是模型训练流程中的一环，则必须记录数据来源，并遵守机器可读的禁令。
如何合理收集数据
第二个影响是间接的，但它会影响所有人。机器可读的拒绝获得的法律分量越大，平台阻止自动流量的力度越大，任何数据收集的门槛就越高。实际结论：
- 阅读robots.txt和TDM标记并做出明智的决定。忽视机器可读的拒绝现在不仅是被封禁的风险，还有潜在的版权问题，尤其是当数据用于模型训练时。
- 分开任务。收集公共事实（价格、库存、评级）和复制受版权保护的内容进行训练是法律上不同的事情。构建流程时要确保不混淆这两者。
- 最小化负载，不要在误导的地方伪装成真实用户。LinkedIn上百万虚假账户的故事就是“灰色”方法如何变成诉讼的生动例子。
- 使用合法的访问基础设施。当数据收集分散并来自真实用户的IP时，它对单个节点的负载较小，看起来也不像是来自单一数据中心的攻击。住宅代理提供与普通用户无异的流量，而对于不需要最大“人性化”的高负载任务，更快速的数据中心代理也适用。
还要记住流量的整体情况：我们已经讨论过，机器人首次超过人类在互联网中的流量——正是这种转变迫使平台关闭。而在与具体平台的实际工作中，我们的分析安全爬取X（Twitter）而不被封禁是非常有用的：同样的原则——尊重限制、分散请求、使用可信的IP——在新的监管现实中同样适用。
结论
2026年8月2日——这不是“爬取的终结”，而是数据收集最终分为两条道路的节点。记录在案、尊重机器可读的拒绝并处理公共数据的方式——将成为常态和保护。隐秘的、规避明确禁令并伪装成用户进行模型训练的方式——将面临高达€1500万或3%营业额的罚款和来自平台的诉讼。欧盟人工智能法案并没有关闭大门——它将数据收集从“野外”转变为一种规则明确、最终有价值的模式。那些提前重组流程的人将会受益，而不是在截止日期前一周才开始行动。