در حالی که برخی از رباتها را مسدود میکنند، دیگران به آنها آموزش میدهند که پاسپورت ارائه دهند. در سال 2026، Cloudflare، Google، Amazon، Akamai و OpenAI دور یک استاندارد جمع شدند — Web Bot Auth. ایده ساده و رادیکال است: ترافیک خودکار دیگر بر اساس آدرس IP و رشته User-Agent که به راحتی قابل جعل است، بررسی نمیشود. به جای آن، عامل به صورت رمزنگاری هر درخواست را امضا میکند و سایت به سرعت امضا را بررسی میکند. در 2 مارس 2026، نسخه پنجم پیشنویس معماری (draft-meunier-web-bot-auth-architecture-05) منتشر شد، در ماه مه Google آزمایشهای عملیاتی را آغاز کرد و گروه کاری IETF هدفش این بود که استاندارد را تا آگوست 2026 منتشر کند. بیایید بررسی کنیم که این مکانیزم چیست، چه کسی پشت آن است و چرا برای همه کسانی که با اسکرپینگ و چندحسابی سروکار دارند، این یک چرخش 180 درجهای است.
چه اتفاقی افتاد: رباتها هویت رمزنگاری شده پیدا میکنند
بررسی کلاسیک «خودی–غیرخودی» در وب بر دو پایه استوار بود. اولی — User-Agent: رشتهای که مشتری درباره خود اعلام میکند و هر اسکریپت آن را در یک خط کد بازنویسی میکند. دومی — لیستهای آدرسهای IP: سایت فهرستی از دامنههای «رسمی» Googlebot، Bingbot و دیگران را نگه میدارد و DNS معکوس را بررسی میکند. هر دو رویکرد در سال 2026 به طور کامل از بین رفتند.
Cloudflare به وضوح مشکل را در مستندات فنی خود بیان میکند: یک IP واحد میتواند به طور همزمان توسط تعداد زیادی کاربر یا سرویس استفاده شود و خود دامنهها به طور مداوم با زیرساخت تغییر میکنند. User-Agent اساساً مدرکی نیست — این فقط یک خودنمایی است. امضای رمزنگاری شده، به گفته نویسندگان، احراز هویت را بدون تکیه بر «دامنههای IP که دائماً در حال تغییر هستند» و «سرصفحههای قابل جعل مانند User-Agent» فراهم میکند.
از نظر فنی Web Bot Auth به استاندارد پذیرفته شده HTTP Message Signatures (RFC 9421) تکیه دارد. به هر عامل یک جفت کلید Ed25519 داده میشود. قبل از ارسال درخواست، عامل همه چیز را امضا نمیکند، بلکه authority URI هدف — یعنی دامنهای که به آن مراجعه میشود (هنگام ورود به example.com، دقیقاً example.com امضا میشود). در درخواست، سرصفحههای Signature-Input (پنجره اعتبار با برچسبهای created و expires، شناسه کلید keyid به فرمت JWK Thumbprint و برچسب web-bot-auth) و Signature-Agent که به دایرکتوری کلیدهای عمومی (JWKS) اشاره میکند، اضافه میشود. سایت کلید عمومی را از این دایرکتوری دانلود کرده و امضا را بررسی میکند. جعل آن بدون کلید خصوصی غیرممکن است و پنجره اعتبار از تکرار درخواستهای ضبط شده محافظت میکند.
چه کسی پشت استاندارد است
این یک آزمایش از سوی یک شرکت نیست. Web Bot Auth توسط Cloudflare، Amazon، Akamai و OpenAI پشتیبانی میشود. پیشنویس معماری به صورت مشترک توسط تیبو مونیئر (Cloudflare) و شاندور مایور (Google) نوشته شده است. AWS WAF قبلاً پشتیبانی از بررسی امضاها را اضافه کرده است، Cloudflare آن را در برنامه Verified Bots خود گنجانده و در edge خود در تولید فعال کرده است. گروه کاری جداگانه IETF برای Web Bot Auth در سال 2026 تأسیس شد و هدفش این است که مشخصات را تا آگوست 2026 به استانداردسازی برساند.
Google وارد عمل شد — و این یک نقطه عطف است
در 6 مه 2026، مشخص شد که Google Web Bot Auth را برای بررسی ترافیک رباتهای خود آزمایش میکند. هدف این است که سایت بتواند اطمینان حاصل کند: درخواست که خود را به عنوان ربات Google معرفی میکند، واقعاً از Google میآید و نه از کسی که فقط Googlebot را در User-Agent وارد کرده است. ترافیک امضا شده AI Google تحت هویت agent.bot.goog قرار دارد — مالکین سایتها کلیدهای عمومی Google را از این نقطه پایانی دریافت کرده و سرصفحههای Signature و Signature-Input را اعتبارسنجی میکنند.
چرا این موضوع در حال حاضر مهم است. به دلیل همان چیزی که درباره مسدود کردن مرورگرهای عامل نوشتیم: از 15 سپتامبر 2026، Cloudflare به طور پیشفرض «رباتهای AI مخلوط» را در صفحات تبلیغاتی دامنههای جدید قطع میکند و حدود یک پنجم کل وب از طریق شبکه Cloudflare عبور میکند. وب در حال بسته شدن است. و Web Bot Auth — این درباره «چگونه مسدود کنیم» نیست، بلکه درباره «چه کسی را راه دهیم» است. یک لیست سفید از نوع جدید ظاهر میشود: نه بر اساس IP، بلکه بر اساس هویت رمزنگاری شده. سایت میتواند سیاستی را فعال کند که «قیمتها و جزئیات محصول را فقط به عوامل امضا شده معتبر نشان دهد» — و همه چیز دیگر به طور خودکار در خارج باقی میماند.
عوامل امضا شده: اولین گروه
یک دسته جداگانه — signed agents (عوامل امضا شده). این رباتها توسط کاربر نهایی کنترل میشوند، نه یک شرکت: پلتفرم یا مرورگر از راه دور که عامل در آن کار میکند، درخواستهای HTTP او را امضا میکند و Cloudflare امضاها را اعتبارسنجی میکند. در اولین گروه ChatGPT agent (OpenAI)، Goose (Block)، Browserbase، Anchor Browser و Cloudflare Browser Rendering قرار دارند. داووه اوسینگا از Block به وضوح مزیت را توصیف کرد: «Web Bot Auth به سایتها اجازه میدهد به Goose اعتماد کنند و آنچه او را منحصر به فرد میکند، حفظ کنند».
تفاوت کلیدی: عامل امضا شده به نمایندگی از یک انسان عمل میکند (یک دستیار فرضی که به درخواست شما به سایت وارد میشود)، در حالی که «خزنده جستجو» یا «خزنده آموزشی» برای شرکت کار میکند. Cloudflare این موجودیتها را در قوانین امنیتی تفکیک میکند — و این تفکیک دقیقاً تعیین میکند که در وب 2026–2027 به چه کسی درها باز میشود و به چه کسی نه.
این چه معنایی برای اسکرپینگ و پروکسی دارد
در نگاه اول به نظر میرسد که امضای رمزنگاری شده اسکرپینگ ناشناس را نابود میکند. اما در عمل اوضاع پیچیدهتر است — وب به دو باند حرکتی تقسیم میشود و برای مخاطبان ما این تاکتیک را تغییر میدهد، نه اینکه آن را لغو کند.
- باند عوامل امضا شده. یک مسیر باریک و ممتاز برای پلتفرمهای بزرگ و «دستیاران» کاربری از لیست سفید. برای ورود به آن، به یک کلید خصوصی، دایرکتوری عمومی JWKS، ثبتنام در CDN و تطابق با سیاستها نیاز است. برای یک پروژه معمولی پارسینگ، مزرعه ضد شناسایی یا اتوماسیون SMM، این مسیر بسته است: شما نه Google هستید و نه OpenAI، امضا به شما داده نمیشود.
- باند همه دیگران. در اینجا هنوز اسکرپرهای مستقل، نظارت بر قیمت، جمعآوری دادهها و چندحسابی وجود دارند. و دقیقاً در اینجا شرط کیفیت پروکسی و اعتبار اثر انگشت افزایش مییابد. از آنجا که «معتبرها» با امضا وارد میشوند، بنابراین نسبت به تمام ترافیک غیرامضا شده به طور پیشفرض سختگیرانهتر برخورد میشود.
به عبارت دیگر، Web Bot Auth نیاز به پروکسی را از بین نمیبرد — بلکه میزان را برای کسانی که در لیست سفید نیستند، افزایش میدهد. اگر قبلاً میشد بر اساس User-Agent خاکستری عبور کرد، اکنون درخواست غیرامضا شده به سرعت در دسته «اثبات کن که تو یک انسان زنده هستی» قرار میگیرد. و این با ترکیبی از IP خالص و رفتار قابل قبول اثبات میشود.
چرا IPهای مقیم و موبایل ارزش بیشتری پیدا میکنند
زمانی که امضا در دسترس نیست، تنها راه برای به نظر رسیدن قانونی — غیرقابل تمایز بودن از یک کاربر عادی است. آدرسهای دیتاسنتری این مشکل را حل نمیکنند: طبق اندازهگیریهای مختلف، Cloudflare تنها 40–60% از موارد IP دیتاسنتری را عبور میدهد، در حالی که پروکسیهای مقیم نرخ عبور 85–99% را ارائه میدهند. دلیل این است که آدرس مقیم متعلق به یک ارائهدهنده اینترنت واقعی و یک مشترک زنده است — از نظر اعتبار IP نمیتوان او را از انسانی که پشت همان روتر است، تمایز داد.
وضعیت با پلتفرمهای بسیار محافظت شده و برنامههای موبایل حتی سختتر است، جایی که شبکههای سلولی نقش دارند. در اینجا پروکسیهای موبایل کمک میکنند: پشت یک IP اپراتور هزاران مشترک زنده نشستهاند، بنابراین مسدود کردن چنین آدرسی به صورت انبوه به معنای قطع مشتریان واقعی است. دقیقاً این اثر «دیگ مشترک» است که IPهای موبایل را به پایدارترین ارز در دنیایی که همه چیز دیگر شفاف است، تبدیل میکند.
اما یک IP خالص دیگر کافی نیست. از آنجا که بررسی هویت از شبکه به رمزنگاری منتقل میشود، تمام ارتش غیرامضا شده رباتها از طریق اثر انگشت رفتاری و مرورگری عبور میکنند: TLS/JA4، canvas، WebGL، فونتها، زمانها. پروکسی یک سیگنال هشدار (اعتبار آدرس) را حذف میکند، اما سایرین را لغو نمیکند. ترکیب کاری سال 2026 — IP مقیم یا موبایل به علاوه محیط ضد شناسایی با اثر انگشت هماهنگ شده است. یک مؤلفه بدون دیگری ربات را در اولین سطح حفاظت شناسایی میکند.
چگونه هماکنون عمل کنیم
- پروژهها را بر اساس باندها تقسیم کنید. اگر هدف — یک ادغام رسمی به نمایندگی از یک محصول بزرگ است، مسیر عامل امضا شده را بررسی کنید: ثبتنام در CDN و دریافت کلیدها. برای همه چیز دیگر، برنامهریزی کنید که در «باند همه دیگران» کار کنید و قوانین آن را در نظر بگیرید.
- در کیفیت IP سرمایهگذاری کنید، نه در کمیت. استخرهای دیتاسنتری ارزان در سال 2026 به طور فزایندهای عامل توقف هستند. بر روی آدرسهای مقیم و موبایل با چرخش بر اساس نیاز تمرکز کنید.
- اثر انگشت را با شبکه همگام کنید. IP از یک کشور، اما زبان مرورگر، منطقه زمانی و لوکال از کشور دیگر — این یک شکست کلاسیک است. اثر انگشت باید با موقعیت جغرافیایی پروکسی به طور غیرمتناقضی مطابقت داشته باشد.
- به استاندارد توجه کنید. IETF برنامهریزی کرده است که تا آگوست 2026 مشخصات را نهایی کند. به محض اینکه Web Bot Auth به شرط ضروری دسترسی در یک پلتفرم خاص تبدیل شود، باید تاکتیکها را از قبل بررسی کنید، نه پس از آن.
نتیجهگیری
Web Bot Auth یک ضد ربات دیگر نیست، بلکه تغییر منطق اعتماد در وب است: از «تو کی هستی بر اساس IP» به «با رمزنگاری ثابت کن که کی هستی». برای غولهایی مانند Google و OpenAI این یک گذرنامه به اینترنتی است که در حال بسته شدن است. برای اسکرپرهای مستقل و پروژههای چندحسابی، این یک سیگنال است که روشهای خاکستری به طور کامل دیگر کار نمیکنند و شکاف بین «به نظر رسیدن انسان» و «به نظر رسیدن ربات» به یک عامل تعیینکننده تبدیل میشود. در واقعیت جدید، برنده کسی خواهد بود که آدرس مقیم یا موبایل خالص و اثر انگشت بینقص هماهنگ شده داشته باشد. گذرنامه رمزنگاری شده به همه داده نشده است — بنابراین، بقیه باید قانعکنندهتر باشند.
```