博客

关于代理、网页抓取和互联网基础设施的最新文章和见解

在2026年5月,Reddit关闭了未认证的.json,而robots.txt对所有人返回Disallow: /。我们分析官方数据API的实际限制(100 QPM,$0.24每1000次调用),逐步讲解可持续管道的方案,1000个元素的上市上限,以及在这个方案中,代理的哪些任务确实得到了解决,哪些没有。

📅 2026年7月28日
阅读文章

2026年7月13日,Cloudflare 开始推出 Precursor:不再是一次性的入口检查,而是对整个会话内的行为进行持续分析。我们来分析一下它收集了哪些信号,为什么刷新页面不再重置签名,以及这对抓取、多账户和 AI 代理有什么影响。

📅 2026年7月27日
阅读文章