بازگشت به وبلاگ

کلودفلر به ربات‌ها کیف پول داد: HTTP 402 بیدار می‌شود و وب به دو قسمت تقسیم می‌شود

Cloudflare به عوامل هوش مصنوعی کیف پول‌های استیبل‌کوین و هندل‌های cloudflare.pay ارائه داد و ارتباط با pay per crawl و Monetization Gateway را کامل کرد. کد HTTP 402 Payment Required دیگر رزرو نشده است: دسترسی ماشین به وب هزینه‌ای دارد. بررسی می‌کنیم که پروتکل x402 چگونه کار می‌کند، چرا ربات‌ها 60.6% درخواست‌ها به HTML را ارسال کردند و وب برای کسانی که داده‌ها را جمع‌آوری می‌کنند به چه دو خطی تقسیم می‌شود.

📅۲۶ مرداد ۱۴۰۵
کلودفلر به ربات‌ها کیف پول داد: HTTP 402 بیدار می‌شود و وب به دو قسمت تقسیم می‌شود
```html

۴ اوت ۲۰۲۶ سال Cloudflare به نمایندگان هوش مصنوعی کیف پول داد. نه به صورت مجازی — بلکه به صورت واقعی: نماینده یک حساب در استیبل‌کوین‌ها دریافت می‌کند و سایت تحت Cloudflare می‌تواند به او با کد HTTP 402 Payment Required پاسخ دهد که به جای صفحه، قیمت را نشان می‌دهد. کد ۴۰۲ به مدت سی سال در مشخصات HTTP به عنوان «رزرو شده برای آینده» باقی مانده بود. آینده فرارسیده و به طور مستقیم اقتصاد وب‌اسکرپینگ را تغییر می‌دهد.

چه چیزی اعلام شد

این اعلام در هفته نمایندگان — هفته موضوعی Cloudflare — صورت گرفت. در یک روز دو محصول معرفی شد:

  • Cloudflare Wallets — کیف پول برنامه‌پذیر. یک کیف پول حساب وجود دارد که متعلق به شخص صاحب حساب است: او می‌تواند وجوه را واریز و برداشت کند. و کیف پول‌های مجازی وجود دارند — که به نمایندگان خاصی داده می‌شوند، دسترسی از طریق کلید API انجام می‌شود و محدودیت‌ها توسط صاحب حساب تعیین می‌شود. محدودیت‌ها به وضوح در اعلامیه ذکر شده است: بودجه مجاز (allowance)، لیست دریافت‌کنندگان مجاز (allow-list) و حداکثر اندازه یک تراکنش.
  • cloudflare.pay — شناسه هَندل. حساب یک آدرس وب ثابت دریافت می‌کند که به عنوان شناسنامه عمل می‌کند؛ هویت می‌تواند به نمایندگان خاصی واگذار شود تا طرف دریافت‌کننده ببیند که چه کسی درخواست را تأیید کرده است.

متیو پرینس، هم‌بنیان‌گذار و مدیر عامل Cloudflare، منطق را این‌گونه بیان کرد: وقتی نماینده به در شما می‌زند، شما باید بدانید که چه کسی او را فرستاده است — شرکت به نمایندگان «چهره» می‌دهد، ارتباط با شخص یا سازمان صاحب حساب، و بر اساس این ارتباط، اعتماد، مسئولیت و تجارت ممکن می‌شود.

جزئیات مهمی که در نقل‌قول‌ها اغلب از دست می‌رود: در حال حاضر فقط رزرو هَندل کار می‌کند. ویل پپر، مدیر محصول، بقیه را در زمان آینده توصیف می‌کند — نگهداری استیبل‌کوین‌ها، خرید خدمات و پذیرش وجوه کیف پول «امکان‌پذیر خواهد بود». دسترسی کامل، شامل واریز و برداشت وجوه و کیف پول‌های مجازی، در «ماه‌های آینده» وعده داده شده است. به عبارت دیگر، این یک درخواست برای زیرساخت است، نه یک سیستم صورتحساب فعال در حال حاضر.

زیرساخت: x402 و کد ۴۰۲ زنده

پرداخت‌ها از طریق پروتکل x402 انجام می‌شود — یک استاندارد باز که به نام همان کد وضعیت نامگذاری شده است. این طرح در HTTP معمولی جا می‌گیرد، بدون نیاز به ریدایرکت به صفحه پرداخت:

  1. مشتری درخواست منبع پرداختی را می‌کند.
  2. سرور به جای محتوا 402 Payment Required و یک payload کوچک را برمی‌گرداند: قیمت، دارایی قابل قبول، و جایی که باید پرداخت شود.
  3. مشتری پرداخت می‌کند و درخواست را تکرار می‌کند، با پیوست تأیید پرداخت.
  4. فاسیلیتاتور پرداخت را بررسی می‌کند و سرور منبع را تحویل می‌دهد.

این پروتکل از توسعه Coinbase نشأت گرفته و اکنون تحت سرپرستی بنیاد x402 در مجموعه بنیاد لینوکس زندگی می‌کند. ترکیب شرکت‌کنندگان توضیح می‌دهد که چرا این یک آزمایش بلاکچین دیگر نیست: در میان ۲۵+ شرکت در اطراف این استاندارد — ویزا، مسترکارت، امریکن اکسپرس، گوگل، شاپیفای و استرایپ. تسویه‌حساب‌ها به صورت استیبل‌کوین‌ها (USDC) انجام می‌شود و Cloudflare تسویه زیر ثانیه‌ای و امکان دریافت وجوه توسط فروشنده به طور مستقیم در کیف پول یا تبدیل به فیات را اعلام می‌کند.

این اولین قدم نیست، بلکه سومین است

کیف پول‌ها — عنصر نهایی ساختاری هستند که Cloudflare بیش از یک سال در حال جمع‌آوری آن است:

  • ژوئیه ۲۰۲۵ — پرداخت به ازای خزیدن. صاحب سایت قیمت را برای منطقه تعیین می‌کند؛ خزنده‌ای که نیت پرداخت را اعلام نکرده باشد، ۴۰۲ با قیمت به جای محتوا دریافت می‌کند. این عملکرد هنوز در بتای بسته است.
  • ۱ ژوئیه ۲۰۲۶ — دروازه درآمدزایی. گسترش از خزنده‌ها به هر کسی: می‌توان برای هر منبع تحت Cloudflare — صفحه وب، دیتاست، API یا فراخوانی ابزار MCP — پول گرفت. بررسی پرداخت در لبه انجام می‌شود، نه در مبدا، و نیازی به ساختن استک پرداخت خود نیست. لیست انتظار باز است.
  • ۴ اوت ۲۰۲۶ — کیف پول‌ها و cloudflare.pay. طرف دوم معامله ظاهر شد: کسی که پرداخت می‌کند و هویت او.

در اعلامیه دروازه درآمدزایی مثال‌هایی از قیمت‌گذاری وجود دارد — که باید به دقت بررسی شوند، زیرا این اولین نقاط مرجع عمومی قیمت دسترسی ماشین است: چند سنت برای جستجوی وب با پرداخت به ازای فراخوان؛ $۰.۰۰۱ نرخ پایه به علاوه $۰.۰۱ به ازای هر مگابایت در نقطه بارگذاری؛ $۰.۹۹ برای یک افزایش موفق در پشتیبانی — پرداخت فقط برای نتیجه.

چرا این اتفاق می‌افتد: ربات‌ها به اکثریت تبدیل شده‌اند

پیش‌زمینه اقتصادی در آمار خود Cloudflare Radar مشهود است. در هفته‌ای که به ۱۰ اوت ۲۰۲۶ ختم شد، ربات‌ها ۶۰.۶٪ از درخواست‌ها به محتوای HTML را در مقابل ۳۹.۴٪ برای انسان‌ها ارائه دادند. هنوز در اوایل ژوئن ۲۰۲۶ نسبت ۵۷.۵٪ به ۴۲.۵٪ بود — به این معنی که ماشین‌ها نه تنها از نیمی عبور کردند، بلکه سهم آن‌ها همچنان در حال افزایش است.

برای صاحب سایت این یک شکاف در مدل است: ترافیک در حال افزایش است، اما نمایش تبلیغات و کلیک‌ها نیست. از این رو، دومین اهرم که ما به طور جداگانه نوشتیم: از ۱۵ سپتامبر ۲۰۲۶ Cloudflare به طور پیش‌فرض خزنده‌های آموزشی و نماینده را در صفحات تبلیغاتی برای مشتریان جدید و سایت‌های جدید مسدود می‌کند (خزنده‌های جستجو مجاز هستند و می‌توان تنظیمات را غیرفعال کرد). بر اساس اندازه‌گیری‌های ژوئیه، مسدودسازی پیش‌فرض حدود ۸.۵٪ از وب برتر را پوشش می‌دهد.

این ارتباط منطقی به نظر می‌رسد: ابتدا در را ببندید، سپس کنار آن یک صندوق قرار دهید.

این چه معنایی برای اسکرپینگ دارد: وب به دو قسمت تقسیم می‌شود

نتیجه کلیدی که باید به وضوح بیان شود. قبلاً دو حالت دسترسی وجود داشت — «اجازه داده شد» و «مسدود شد». اکنون سه حالت وجود دارد و سومین حالت — «پرداخت کنید».

اما فقط ترافیک‌هایی که خود را اعلام کرده‌اند به این سومین حالت می‌رسند نه هر ترافیکی. برای دریافت ۴۰۲ معنادار و پرداخت، نماینده باید هویت داشته باشد: هَندل، درخواست‌های امضا شده، ارتباط با صاحب حساب. این دقیقاً همان خطی است که Web Bot Auth با امضاهای رمزنگاری ربات‌ها پیش می‌رود — وب از سوال «تو کی هستی بر اساس IP» به سوال «به صورت رمزنگاری ثابت کن که کی هستی» منتقل می‌شود.

و ترافیکی که به عنوان مرورگر عادی یک انسان به نظر می‌رسد، به سادگی وارد قیف پرداخت نمی‌شود. آن‌ها به همان جایی می‌روند که همیشه می‌رفتند: به دایره ضد ربات با فینگرپرینتینگ، تحلیل رفتاری و شهرت IP.

از این رو، انشعاب سال ۲۰۲۶ وجود دارد و انتخاب باید آگاهانه باشد:

  1. مسیر «نماینده اعلام شده». شما هویت دریافت می‌کنید، بر اساس ۴۰۲ پرداخت می‌کنید و دسترسی پیش‌بینی‌پذیر و قانونی بدون مسابقه تسلیحاتی دریافت می‌کنید. قیمت — پول برای هر درخواست و کامل بودن ردیابی: طرف دریافت‌کننده می‌بیند که چه کسی دقیقاً شما را فرستاده و می‌تواند شما را به طور خاص غیرفعال کند.
  2. مسیر «کاربر عادی». شما مانند یک انسان حرکت می‌کنید — با IP مقیم یا موبایل، با فینگرپرینت مرورگر معتبر، با سرعت انسانی. برای شما هیچ مانع پرداختی وجود ندارد، زیرا شما در اصطلاح این سیستم ربات نیستید. قیمت — کیفیت زیرساخت: پروکسی‌های مقیم برای پوشش انبوه و موبایل در جایی که بالاترین سطح اعتماد نیاز است.

مسیر سومی — «به عنوان نماینده اعلام شوید و پرداخت نکنید» — دقیقاً همین ساختار را می‌بندد.

حساب کنید ریاضیات را قبل از انتخاب

میکروپرداخت‌ها بی‌خطر به نظر می‌رسند، تا زمانی که آن‌ها را در حجم ضرب کنید. بیایید به معیار Cloudflare «چند سنت برای هر فراخوان» نگاه کنیم. حتی با ۲ سنت، یک میلیون صفحه — حدود ۲۰۰۰۰ دلار است. با نرخ پایه ۰.۰۰۱ دلار، تصویر متفاوت است: همان یک میلیون درخواست حدود ۱۰۰۰ دلار به علاوه هزینه ترافیک می‌دهد. دامنه یک مرتبه — و کاملاً بستگی به این دارد که هر منطقه چه قیمتی تعیین کند.

نتیجه عملی: قیمت دسترسی ماشین دیگر ثابت نیست و به متغیری تبدیل می‌شود که هر سایت به طور جداگانه تعیین می‌کند. برنامه‌ریزی بودجه جمع‌آوری داده‌ها «به طور میانگین» دیگر ممکن نیست — باید برای هر منبع حساب کنید، همان‌طور که برای خرید API حساب می‌کنید.

توجه مهم: این‌ها برآوردهایی از مثال‌های قیمت‌گذاری منتشر شده Cloudflare هستند، نه تعرفه‌ها. اعداد واقعی زمانی ظاهر می‌شوند که دروازه درآمدزایی از لیست انتظار خارج شود و کیف پول‌ها از حالت «رزرو هَندل» خارج شوند.

اکنون چه کار باید کرد

  1. منابع خود را برای ۴۰۲ بررسی کنید. یک پردازش جداگانه برای کد ۴۰۲ به نظارت پارسرها اضافه کنید — اکنون بیشتر پایپ‌لاین‌ها آن را در دسته «خطای ۴xx» قرار می‌دهند و شما متوجه نمی‌شوید که چه زمانی منبع به مدل پرداختی منتقل شده است.
  2. منابع را بر اساس حالت دسترسی تقسیم کنید. یک لیست تهیه کنید: کجا شما از طریق API رسمی وارد می‌شوید، کجا — به عنوان مرورگر، کجا احتمال مانع پرداخت وجود دارد. اولین کاندید برای دسترسی پرداختی رسانه‌های بزرگ و دیتاست‌ها تحت Cloudflare هستند.
  3. عجله نکنید که به عنوان نماینده اعلام شوید. تا زمانی که این قابلیت راه‌اندازی نشده، ثبت هویت تنها ردیابی را بدون منفعت متقابل فراهم می‌کند. رزرو هَندل در cloudflare.pay — بیمه ارزان‌قیمتی برای آینده است، نه بیشتر.
  4. زیرساختی برای مسیر «انسانی» نگه دارید. هرچقدر هم که لایه پرداختی باشد، دایره ضد ربات هیچ‌گاه ناپدید نمی‌شود و کیفیت استخر IP همچنان عامل اساسی باقی می‌ماند. اگر شما با پلتفرم‌هایی کار می‌کنید که هرگز نرخ ماشین نخواهند داشت — شبکه‌های اجتماعی، بازارها، تیکتینگ — برای شما به طور رسمی هیچ چیز تغییر نمی‌کند.
  5. یک خط «پرداخت برای دسترسی» را در بودجه ۲۰۲۷ لحاظ کنید. حتی اگر امروز هیچ یک از منابع شما پول نمی‌گیرند، جهت‌گیری از طریق لایه زیرساختی که بخش قابل توجهی از وب را شامل می‌شود، تعیین شده است.

نتیجه‌گیری

Cloudflare حلقه مفقوده را تکمیل کرد: ماشین‌ها همزمان شناسنامه و راهی برای پرداخت پیدا کردند. این «پایان اینترنت رایگان» نیست — هیچ‌یک از سه بخش این ساختار هنوز صورتحساب فعال ندارند و پرداخت به ازای خزیدن بیش از یک سال است که در بتای بسته قرار دارد. اما جهت‌گیری مشخص شده و استاندارد توسط ویزا، مسترکارت، گوگل و استرایپ و نه علاقه‌مندان پشتیبانی می‌شود.

معنای عملی برای کسانی که داده‌ها را جمع‌آوری می‌کنند، ساده است. وب به دو دایره تقسیم می‌شود: پرداختی و قابل شناسایی — برای نمایندگان اعلام شده، و انسانی — برای همه دیگران، جایی که فینگرپرینت مرورگر، رفتار و شهرت IP تصمیم‌گیرنده هستند. انتخاب دایره — اکنون یک تصمیم استراتژیک با قیمت‌گذاری است، نه یک جزئیات فنی. بهتر است قبل از اینکه اولین منبع مهم به شما با کد ۴۰۲ پاسخ دهد، این تصمیم را بگیرید.

```