2026年8月21日，反机器人公司DataDome的威胁研究副总裁杰罗姆·塞古拉发布了一个数字，这个数字在一天内迅速传播到各大媒体：在一家大型零售商的DDR5内存卡上，机器人占据了91%的所有流量——大约每个真实访问对应十个自动请求。今年春天，该公司的比例为6:1。在几个月内，自动化对商品页面的压力几乎增加了一倍。
对于那些合法收集价格和库存的人——重新定价、MAP控制、产品分析——这不是个好消息，不是因为“竞争对手的黄牛超越了”。而是因为零售商现在根据普通价格监控和黄牛机器人看起来相同的行为模式来设置防护。
具体发现了什么，以及可信度如何
公开的事实来源于DataDome的两份报告。三月份的分析提供了一项活动的详细信息：每小时超过50,000个请求，91个商品在监控中，平均每个商品551个请求——也就是说，每6.5秒检查一次库存。一项操作在被阻止之前已经发出了超过1000万个请求。八月份的更新对此进行了补充：91%的流量和10:1的比例。
现在需要诚实的声明，没有这些数字就会变成市场噪音：
- 这是一家未透露名称的零售商，而不是市场的切片。
- DataDome没有公布抽样窗口和方法论——什么被视为“坏机器人”仍然由其自行决定。
- 该公司销售的产品正是阻止这种流量的。利益冲突并不否定数据，但需要修正。
- 最重要的是：请求页面并不等于购买。该指标显示的是监控对列表的压力，而不是实际被机器人购买的商品份额。
最后一点比其他所有点都重要。91%的“机器人流量”并不意味着91%的黄牛。在这个比例中包括所有自动化的内容：价格聚合器、其他重新定价工具、折扣跟踪服务、分析爬虫和您自己的监控。零售商看到的是一个整体的流量，并以一个共同的规则作出反应。
为什么会发生这种情况：内存成为稀缺资产
背景很简单。去年售价约为$72的32GB DDR5-6000套装，在八月份的平均售价为$392。64GB的套装价格上涨了约485%，达到了$1118。八月初，DDR4芯片的现货价格创下了记录——$42.45。顶级的128GB套装价格几乎上涨了十倍。原因不在于游戏内存条：生产能力被AI加速器、HBM和服务器内存所占用——根据行业预测，到2026年，数据中心将占全球内存芯片产量的70%，而短缺将至少持续到2027年第四季度。
当商品价格上涨五倍并从货架上消失时，零售价格与转售价格之间的差异为任何转售基础设施提供了合理性。因此，强度也随之增加。而且目标已超出消费零售：自动化正在冲击像Micron和Apacer这样的供应商页面，以及DIMM插槽和CAMM2连接器的制造商——Amphenol、TE Connectivity。转售者已经向供应链上游移动。
导致合法监控受损的特征
以下是DataDome报告中对机器人的行为描述——将其视为您自己爬虫的检查清单：
- 绕过缓存。每个HTTP请求都会附加一个唯一参数，以获取最新页面，而不是从CDN返回的内容。
- 模拟人类的节奏。日夜负载模式，模拟正常的活动时间。
- 略低于阈值的速度。频率设置得足够低，以避免触发流量警报。
- 扁平会话。访问一个商品页面后即退出。没有购物车、搜索或目录浏览。
现在看看典型的企业价格监控。它通过直接链接到SKU从自己的数据库中获取数据。它会添加参数，以避免捕获到昨日的缓存价格。它以固定的间隔运行，经过经验选择“以避免被封”。而且它从不将任何东西放入购物车。这就是相同的特征。唯一的区别在于意图，而反机器人引擎无法衡量意图。
实际结论令人不快：对黄牛的防护加强会自动打击合法数据收集，而在这里“解释”是没有人可以做的。我们已经在另一个平台上讨论过类似的效果——当亚马逊开始将普通顾客标记为机器人，是基于行为阈值，而不是IP。
现在需要改变数据收集的方式
更换IP池在这里帮助不大：信号来自行为，而不是地址。实际降低封锁比例的工作顺序：
- 消除均匀的节奏。每6.5秒一次的请求，精确到像节拍器一样——这并不“像人”，而是签名。需要在广泛范围内引入抖动（例如，对于一个商品20–180秒），并在一周内进行不同的分布。
- 停止在每个请求中破坏缓存。URL中的唯一cache-buster是自动化的最便宜标记。需要选择性地检查新鲜度，仅对波动大的SKU进行检查，其余的按原样获取。
- 给会话深度。通过类别或搜索进入，浏览一两个相邻商品，然后再访问目标页面。虽然这会增加流量成本，但可以消除“扁平”模式。
- 根据波动性优先排序SKU。每周价格变化一次的商品不需要每半分钟询问一次。频率应跟随变化性，而不是列表的大小。
- 按任务类别划分池。零售监控、搜索结果检查和评论收集不应来自同一地址：在一个场景中触发的保护不应影响其他场景。对于大型连锁的商品页面，住宅代理的稳定性最好，而数据中心池则合理地保留用于公共API和内部检查。
- 计算成功记录，而不是千兆字节。在保护加强的情况下，重试的比例上升，千兆字节的价格不再反映现实——为什么$/GB不准确，以及如何计算成功记录的成本，我们单独讨论过。在9个请求中有10个是自动化的情况下，“数据库中有效价格的成本”成为唯一公正的指标。
如何判断您是否已经被切断
在商品页面上的封锁很少看起来像是诚实的拒绝。它更常是静默的，监控继续向数据库写入垃圾数据。可以捕捉到的迹象：
- 429和403的比例在任务量不变的情况下上升——如果您确实在日志中记录响应代码，而不仅仅是解析结果，这是最简单的指标。
- 始终“缺货”。经典的软响应：页面返回，价格正常，但库存被替换。监控看到有效的HTML而不会发出警报。
- 价格“卡住”。返回的是一周前的缓存版本——这就是机器人开始通过参数破坏缓存的原因。
- 在商品页面上的响应延迟增加，而类别和搜索正常打开：可疑的部分启用了限流。
- 样本中的数据差异很大。如果部分SKU的数据更新，而部分则完全停滞——您已经部分被过滤，只是没有完全。
工作实践是保持几个“控制”商品，您可以手动或从第二个独立来源检查其价格，并每天核对一次。控制组与浏览器中看到的内容之间的差异意味着需要修复的不是解析器，而是请求的模式。
为什么仅仅更换IP不再解决问题
地址更换效果越来越小的原因在于，封锁决策是基于多个层次同时做出的，而IP只是其中的第一个。
- 网络层。地址和自治系统的声誉、数据中心范围的比例、来自同一子网的请求密度。在这里，轮换确实有帮助。
- 传输和客户端层。TLS指纹、头部顺序、客户端版本。2021年的库与稀有加密组合会在到达业务逻辑之前就暴露自己。
- 行为层。正是DataDome描述的那个：间隔、会话深度、没有购物车和搜索、cache-buster。这个层次与IP完全无关——可以在每个请求中更改地址，仍然是同一个机器人。
因此，八月份故事的主要实践论点是：对池质量的投资只有在修正行为的情况下才会产生回报。单独的第一项——支付流量，最终会在第三层被过滤。
未来将走向何方
内存短缺将持续数年，因此对商品页面的压力不会减轻。零售商将以显而易见的方式作出回应：购买限制、排队、查看库存的强制授权、行为评分取代简单的IP限制。这些措施中的一部分已经在票务和运动鞋领域成为标准——现在它们正进入计算机硬件领域，并进一步扩展到工业组件。
对于依赖外部数据的团队来说，这意味着方法的转变：“设置IP轮换并收集”的时代在商品稀缺的地方已经结束。有效的方式是：现实的节奏、深思熟虑的会话深度、池的划分和对结果成本的清醒考虑。如果您刚开始建立价格收集，请从我们分析中的基本方案电子商务的代理：价格解析和竞争对手监控开始，然后在此基础上叠加本材料中的行为修正。
最后，数字91%本身并不是信号，表明机器人数量过多，而是稀缺商品的商品页面已成为自动化与自动化竞争的领域。在这种环境中获胜的不是更频繁询问的人，而是更少被过滤的人。