Cloudflare دوباره پیچ و مهرهها را در اطراف رباتهای هوش مصنوعی سفت میکند. شرکتی که حدود 20% از کل ترافیک وب از طریق شبکهاش عبور میکند، اعلام کرد: از 15 سپتامبر 2026 رباتهای «مختلط» (mixed-use) به طور پیشفرض در صفحات تبلیغاتی و قابل درآمدزایی مسدود خواهند شد — برای تمام مشتریان جدید و تمام وبسایتهای جدید در حسابهای موجود. به طور همزمان، مدل Pay Per Crawl گسترش مییابد، جایی که دسترسی ربات به محتوا به یک خدمت پولی تبدیل میشود. برای همه کسانی که به جمعآوری دادهها مشغولند، این یک خبر انتزاعی درباره ناشران نیست — این یک سیگنال مستقیم است که «منطقه خاکستری» وب باز یک قدم دیگر تنگتر میشود.
Cloudflare چه چیزی را اعلام کرد
نوآوری کلیدی — مفهوم «ربات مختلط». اینگونه Cloudflare رباتهایی را که به طور همزمان برای دو هدف داده جمعآوری میکنند: ایندکسگذاری در جستجو و آموزش مدلهای هوش مصنوعی، نامگذاری میکند. قبلاً این رباتها تحت پرچم ربات «جستجو» عمل میکردند و به ازای ترافیک به محتوا دسترسی پیدا میکردند. اکنون Cloudflare این معامله را قطع میکند: اگر وبسایت از تبلیغات درآمد کسب کند، ربات مختلط به طور پیشفرض به صفحات قابل درآمدزایی راه نخواهد یافت.
این موضوع به طور فنی از طریق قوانین مدیریت شده robots.txt و بهروزرسانیهای هوش مصنوعی مدیریت رباتها پیادهسازی میشود. صاحب وبسایت نیازی به نوشتن چیزی به صورت دستی ندارد — Cloudflare خود لیستها و منطق را مدیریت میکند. تاریخ شروع برای وبسایتهای جدید — 15 سپتامبر 2026؛ پروژههای موجود میتوانند به دلخواه مسدودسازی را فعال کنند.
موضع شرکت را مدیرعامل آن، متیو پرینس، خلاصه کرد: «اکنون که بیشتر ترافیک در اینترنت انسانی نیست، ما باید قاطعتر و سریعتر عمل کنیم تا یک اکوسیستم پایدار شکل بگیرد». تغییرات به طور عمومی توسط Associated Press، Time، The Atlantic و Reddit پشتیبانی شد — یعنی ناشران بزرگ که بیشتر از همه از برداشت رایگان محتوایشان آسیب میبینند.
اعدادی که همه چیز را توضیح میدهند
برای درک اینکه چرا ارائهدهنده زیرساختی اصلاً وارد جنگ با شرکتهای هوش مصنوعی شده است، کافیست به نسبت «بازدیدها به ارجاعات» (crawl-to-referral) در سال 2025 که خود Cloudflare ارائه کرده، نگاهی بیندازید:
- Google — 14:1. به ازای هر 14 بازدید از صفحه، موتور جستجو یک بازدیدکننده زنده به وبسایت میفرستد. قابل تحمل است: این یک معامله قدیمی «ما محتوا را میگیریم، شما ترافیک را دریافت میکنید» است.
- OpenAI — 1,700:1. به ازای 1700 بازدید — یک ارجاع. این تبادل دیگر برابر نیست.
- Anthropic — 73,000:1. هفتاد و سه هزار بازدید برای یک ارجاع. در واقع، محتوا برداشت میشود و ترافیک در عوض وجود ندارد.
دقیقاً این عدم تقارن مدل قدیمی «وب باز به طور پیشفرض» را شکست. همانطور که تحلیلگران به دقت بیان کردند: «جایی که وب قبلاً باز بود، تا زمانی که آن را ببندید، اکنون بخش قابل توجهی از آن بسته است، تا زمانی که آن را باز کنید». این تغییر اصل پیشفرض به 180 درجه — و این نه تنها بر آزمایشگاههای هوش مصنوعی تأثیر میگذارد، بلکه بر هر جمعآور خودکاری که تحت همان شرایط قرار میگیرد نیز تأثیر میگذارد.
Pay Per Crawl: دسترسی به کالا تبدیل میشود
قسمت دوم اعلامیه — گسترش Pay Per Crawl، بازارگاهی که Cloudflare در بتای خصوصی از 1 ژوئیه 2025 راهاندازی کرد. منطق ساده است: به جای «اجازه دادن / مسدود کردن» باینری، ناشر یک گزینه سوم دارد — دریافت هزینه برای هر بازدید. صاحب وبسایت خود نرخ را تعیین میکند و شرکت هوش مصنوعی تصمیم میگیرد که آیا بر اساس آن پرداخت کند یا خیر. Cloudflare به عنوان واسطهای عمل میکند که هویت ربات را تأیید کرده و محاسبات را انجام میدهد.
برای بازار، این یک تغییر تکتونیکی است. دادههایی که سالها به عنوان «رایگان، زیرا عمومی» در نظر گرفته میشدند، به یک منبع پولی با قیمت تبدیل میشوند. و هر چه Cloudflare این مدل را گسترش میدهد، دسترسی قانونی و «رسمی» به محتوا برای کسانی که آماده امضای قراردادها و پرداخت هزینه به ازای هر بازدید نیستند، گرانتر و پیچیدهتر میشود.
این موضوع چگونه با پروکسی و اسکرپینگ مرتبط است
اینجا و در اینجا است که نتیجه عملی اصلی قرار دارد. وقتی که پلتفرمهای بزرگ درها را به روی «رباتهای صادق» بر اساس User-Agent میبندند، تقاضا به ناچار به ابزارهایی منتقل میشود که ترافیک را از انسانی غیرقابل تشخیص میکند. بنیانگذار شرکت تحلیلی Synthient، بن براندیج، به وضوح بیان میکند: «هوش مصنوعی به وضوح به نظر میرسد که تقاضا برای پروکسیهای مقیم را افزایش میدهد» — زیرا شرکتها به دنبال راهی برای دور زدن مسدودسازیهای رباتهای خود هستند.
مقیاس این لایه سایهای در حال حاضر چشمگیر است. به گفته IPInfo، تنها در شش ارائهدهنده تحت پیگیری، در 90 روز تقریباً 79 میلیون IP منحصر به فرد شناسایی شده است. در عین حال، بازار به شدت در هم تنیده است: حدود 46% از آدرسهای پروکسی مقیم به طور همزمان در استخرهای چندین ارائهدهنده وجود دارند و IPهای خاصی در شبکههای بیش از صد سرویس مختلف ظاهر شدهاند. این بدان معناست که «پروکسی مقیم ارزان» در واقع اغلب همان آدرس فروخته شدهای است که قبلاً در دهها کمپین دیگر دیده شده — و ممکن است قبلاً در لیستهای سیاه قرار گرفته باشد.
ما قبلاً نوشتهایم که فشار نظارتی بر جمعآوری دادهها به موازات فشار فنی در حال افزایش است: قانون هوش مصنوعی اتحادیه اروپا، که از 2 اوت 2026 به اجرا در میآید، به robots.txt و opt-out برای آموزش مدلها وزن میدهد. اقدام Cloudflare — نیمه فنی همان روند است: موانع قانونی و زیرساختی در حال تنگ شدن هستند و «فقط ارسال درخواست GET از IP مرکز داده» روز به روز کمتر کارآمد میشود.
چه باید کرد جمعآورندگان داده
زود است که وحشت کنید، اما بازنگری در استک — زمان مناسبی است. چند راهنمای عملی برای ماههای آینده.
- کارها را بر اساس سطح حفاظت جدا کنید. برای منابع باز و کمحفاظت هنوز هم پروکسیهای سریع و ارزان مرکز داده کافی است. صرف ترافیک مقیم برای آنها — هدر دادن پول است.
- برای وبسایتهای تحت Cloudflare از IPهای مقیم استفاده کنید. وقتی هدف درخواستها را از طریق مدیریت ربات ارسال میکند، پروکسیهای مقیم ارائهدهندگان واقعی خانگی نجاتدهنده هستند: رفتار آنها به طور پیشفرض انسانی در نظر گرفته میشود. کلید این است که اندازه مطلق استخر نیست، بلکه پاکیزگی و درصد پایین تداخل با خدمات دیگر است.
- IPهای موبایل — برای سختترین اهداف. شبکههای اجتماعی و پلتفرمهایی با ضد رباتهای تهاجمی بهتر از طریق پروکسیهای موبایل عبور میکنند: پشت یک IP اپراتور هزاران مشترک زنده وجود دارد، بنابراین مسدود کردن آن به طور کامل برای پلتفرم به صرفه نیست.
- حجم را نه «حجم»، بلکه «بقا» محاسبه کنید. پس از تغییر Cloudflare به «بسته به طور پیشفرض»، معیار کیفیت دیگر گیگابایت نیست، بلکه سهم صفحات موفق جمعآوری شده بدون مسدودسازی است. استخر ارزان و فروخته شده با 46% تداخل آدرسها یک عدد زیبا از ترافیک ارائه میدهد و نرخ موفقیت ضعیفی دارد.
- در جاهایی که قوانین وجود دارد، از آنها پیروی کنید. اگر منبع یک API رسمی یا شرایط Pay Per Crawl را ارائه میدهد، برای خطوط تولید پایدار، این اغلب ارزانتر و مطمئنتر از مسابقه تسلیحاتی است. پروکسی — ابزاری برای دادههای عمومی است، نه برای دور زدن ممنوعیتهای قراردادی مستقیم.
نتیجهگیری
اقدام Cloudflare — یک خبر یکباره نیست، بلکه بخشی از یک تغییر سیستماتیک است: وب از مدل «باز، تا زمانی که ببندید» به «بسته، تا زمانی که باز کنید» منتقل میشود. نسبتهایی مانند 73,000:1 نشان میدهند که چرا این اجتنابناپذیر است و Pay Per Crawl دسترسی به دادهها را به کالایی با قیمت تبدیل میکند. برای اسکرپینگ، این به معنای یک چیز است: دورهای که IP مرکز داده و هدر User-Agent کافی بود، به پایان میرسد. برندگان کسانی هستند که از قبل جمعآوری را بر روی شبکههای مقیم و موبایل پاک میسازند و نه حجم ترافیک، بلکه سهم دادههایی که واقعاً زنده به دست آمدهاند را محاسبه میکنند. موانع تنها افزایش خواهند یافت — و کیفیت زیرساخت پروکسی به یک عامل تعیینکننده تبدیل میشود که آیا دادهها را دریافت خواهید کرد یا خیر.