1 ژوئیه 2026، Cloudflare دومین «روز استقلال محتوا» را برگزار کرد و برای اولین بار به طور رسمی عوامل هوش مصنوعی را در یک دسته جداگانه از رباتها قرار داد. اکنون ترافیک به سه کلاس تقسیم میشود — جستجو، عامل و آموزش — و از 15 سپتامبر 2026، در صفحات تبلیغاتی، رباتهای دستههای عامل و آموزش به طور پیشفرض مسدود خواهند شد. به طور همزمان، دادگاهها و خردهفروشان بزرگ در حال بستن درها به روی «مرورگرهای عامل» مانند Perplexity Comet و ChatGPT Atlas هستند. بیایید بررسی کنیم که چه اتفاقی برای وب عامل افتاده و چرا بدون پروکسیهای مقیم، دستیاران هوش مصنوعی مستقل بیشتر و بیشتر با دیوار مواجه میشوند.
چه اتفاقی افتاده: رباتها یک کست سوم پیدا کردند
قبلاً وب دو نوع ترافیک خودکار را میشناخت: خزندههای جستجو که صفحات را ایندکس میکنند و خزندههای آموزشی که محتوا را برای آموزش مدلها استخراج میکنند. در سال 2026، یک نوع سوم به آنها اضافه شد — عامل. Cloudflare، که حدود 20٪ از کل ترافیک وب را پردازش میکند، تعریفی دقیق از آن ارائه داد: این «رفتار خودکار است که معمولاً در زمان واقعی به نمایندگی از یک انسان عمل میکند تا به طور مستقیم کاری انجام دهد».
این تعریف شامل رباتهای fetch دستیاران چت (مانند ChatGPT-User که اطلاعات جدید را بر اساس درخواست کاربر دریافت میکند) و عوامل مرورگر واقعی — Gemini یا Claude، که Chrome واقعی را کنترل میکنند، میشود. منطق سیاست جدید ساده است: تبلیغ یک سیگنال است که صاحب سایت میخواست صفحه را به یک انسان نشان دهد و توجه او را به خود جلب کند. بنابراین در صفحات قابل درآمدزایی، Cloudflare به طور پیشفرض رباتهایی را که این توجه را از سایت میگیرند، مسدود میکند — آموزشی و عامل.
تاریخها را به خاطر بسپارید: تغییرات از 15 سپتامبر 2026 به اجرا در میآید و شامل دامنههای جدیدی است که به Cloudflare متصل میشوند. رباتهای جستجو همچنان مجاز هستند — سایتها به ترافیک از موتورهای جستجو نیاز دارند. اما خزندههای چندمنظوره مانند Googlebot بر اساس مجموع تمام نقشهای خود ارزیابی خواهند شد: اگر صاحب سایت مسدود کردن آموزش را فعال کند — چنین ربات ترکیبی به طور کامل مسدود خواهد شد.
مرورگرهای عامل: چه کسانی در دو سال گذشته وارد میدان شدهاند
هنوز در اوایل 2025، «مرورگر با هوش مصنوعی» به عنوان یک آزمایش به نظر میرسید. تا میانه 2026، این بازار پر از دستیاران مستقل است که خود کلیک میکنند، اسکرول میکنند، فرمها را پر میکنند و خریدها را انجام میدهند. بازیگران کلیدی:
- Perplexity Comet — در ژوئیه 2025 راهاندازی شد، رایگان، در دسکتاپ، اندروید و iOS کار میکند؛
- ChatGPT Atlas از OpenAI — اکتبر 2025، با اشتراک، با «حالت عامل» جداگانه؛
- Chrome + Gemini — ادغام از Google، ژانویه 2026، برای مشترکین AI Pro و Ultra؛
- Claude for Chrome — افزونهای برای مرورگر موجود، اوت 2025؛
- Edge Copilot Mode — حالت رایگان مایکروسافت، ژوئیه 2025؛
- Opera Neon — سپتامبر 2025، انتشار عمومی در دسامبر، اشتراک حدود 19.90 دلار در ماه.
همه آنها به طور مشابه کار میکنند: عامل از طریق اسکرینشاتها و دستورات ورودی، رابط کاربری را کنترل میکند — صفحه را «میبیند»، کلیک میکند، تایپ میکند و به لینکها میرود. این مکانیک انساننما آنها را به دردسر میاندازد برای سیستمهای ضد ربات: به طور رسمی این یک خزنده نیست که API را میکشد، بلکه یک جلسه مرورگر واقعی است که پشت آن درخواست یک کاربر زنده قرار دارد. Google حتی در مارس 2026 یک شناسه جداگانه Google-Agent را معرفی کرد تا صاحبان سایتها بتوانند چنین درخواستهایی را در لاگها تشخیص دهند.
دادگاهها در حال حاضر در کنار سایتها هستند
در حالی که Cloudflare تنظیمات را ارائه میدهد، درگیری حول عوامل به دادگاهها کشیده شده است. بارزترین مورد — آمازون علیه Perplexity. آمازون در نوامبر 2025 شکایتی را ثبت کرد و استارتاپ را متهم کرد که عمدی «طبیعت» عوامل هوش مصنوعی خود را پنهان کرده است تا به طور غیرمجاز به سایت خردهفروش دسترسی پیدا کند.
در 10 مارس 2026، قاضی مکسین چسنی به نفع آمازون رأی داد. در حکم آمده است که این شرکت «مدارک قانعکنندهای» ارائه داده است: مرورگر Comet به سایت به دستور کاربر وارد شده است، اما «بدون مجوز» از سوی خردهفروش. به گفته آمازون، Comet «طبیعت خودکار» خود را پنهان کرده و خود را به عنوان یک خریدار زنده معرفی کرده است تا از سیستمهای تشخیص عبور کند. آمازون حتی هزینهها را مستند کرده است — بیش از 5000 دلار برای توسعه ابزارهایی که دسترسی Comet به دادههای داخلی مشتریان را مسدود میکند. Perplexity در پاسخ اعلام کرد که «به مبارزه برای حق کاربران اینترنت برای انتخاب هر هوش مصنوعی که میخواهند ادامه خواهد داد».
آمازون بدون دادگاهها نیز اقدام میکند. از طریق فایل robots.txt، خردهفروش دسترسی رباتهای ChatGPT-User و OAI-SearchBot (موتور SearchGPT) را مسدود کرده و قبلاً — ربات آموزشی GPT-bot را نیز مسدود کرده است. خزندههای مرتبط با Meta، Google و Perplexity نیز تحت تأثیر قرار گرفتهاند. طنز این است که OpenAI به طور همزمان در حال ساخت قیف تجاری خود است: ویژگی Instant Checkout اکنون به کاربران اجازه میدهد تا کالاها را مستقیماً در ChatGPT از Walmart، Etsy، Shopify و Target خریداری کنند. خردهفروشان میخواهند از طریق هوش مصنوعی بر اساس شرایط خود بفروشند — و نمیخواهند که عوامل خارجی به طور غیرمجاز به ویترینهای آنها دسترسی پیدا کنند.
چگونه سایتها عامل را شناسایی میکنند — و چرا IP همه چیز را تعیین نمیکند
مسدود کردن عامل فقط بر اساس نام user-agent سادهلوحانه است: به راحتی قابل جعل است. بنابراین، استک ضد ربات Cloudflare و خدمات مشابه به مجموعهای از سیگنالها نگاه میکند و در اینجا مرورگرهای مستقل با چالشهای زیادی مواجه هستند:
- فینگرپرینت مرورگر بدون سر. محیط headless خود را با مجموعهای از تناقضات نشان میدهد: وضوح صفحه 0x0، عدم وجود فونتهای نصب شده، GPU که به عنوان رندرکننده نرمافزاری «SwiftShader» گزارش میشود. کاربران واقعی اینگونه به نظر نمیرسند — و این در عرض میلیثانیه شناسایی میشود.
- فینگرپرینتینگ TLS. حتی با هدرهای HTTP ایدهآل، handshake TLS شکاف بین هویت اعلام شده مرورگر و ویژگیهای واقعی اتصال را نشان میدهد. این وکتور را به طور مفصل در مطلبی درباره JA4 و TLS-fingerprinting بررسی کردیم — امروز این یکی از ابزارهای اصلی تشخیص است.
- تحلیل رفتاری. انسان با وقفهها اسکرول میکند، ماوس را به طور ایدهآل حرکت نمیدهد. اما عامل با «کارایی رباتیک بیرحمانه» عمل میکند — صفحه را در عرض میلیثانیه بارگذاری کرده و به سرعت دادهها را استخراج میکند، که همین باعث شناسایی او میشود.
- شهرت IP. دامنههای ارائهدهندگان ابری — AWS، Google Cloud، Azure — مدتهاست که به عنوان «رباتساز» کاتالوگ شدهاند و در فیلترهای شهرت جریمههای سنگینی دریافت میکنند، هرچند که فینگرپرینت باقیمانده پاک باشد.
در اینجا است که پروکسی وارد صحنه میشود. شهرت IP اولین مانع است که عامل اجرا شده از آدرس دیتاسنتر به آن برخورد میکند. پروکسیهای مقیم آدرسهای IP دستگاههای واقعی خانگی را ارائه میدهند و ترافیک عامل دیگر به عنوان یک درخواست از رک سرور به نظر نمیرسد. برای سناریوهای موبایلی — شبکههای اجتماعی، برنامههایی با تشخیص سخت — پروکسیهای موبایلی با IP اپراتورهای ارتباطی حتی مطمئنتر هستند. آدرسهای دیتاسنتری در این میان از بین نمیروند: برای وظایف غیرحساس به شهرت، پروکسیهای دیتاسنتر سرعت و قیمتی را ارائه میدهند که پروکسیهای مقیم نمیتوانند.
توجه مهم: پروکسی فقط یک لایه است
IP مقیم تنها یکی از چهار مانع را برمیدارد. اگر عامل هنوز در یک مرورگر headless با فینگرپرینت «SwiftShader» اجرا شود و مانند یک ربات عمل کند، IP تمیز او را نجات نخواهد داد — تشخیص از سایر سیگنالها تشکیل میشود. ترکیب کارآمد سال 2026 — نه «پروکسی یا ضد تشخیص»، بلکه همه چیز به طور همزمان: گره خروجی مقیم یا موبایلی، پنهانسازی فینگرپرینت مرورگر و TLS تحت دستگاه واقعی و زمانبندی انساننما از اقدامات. استخراج و اتوماسیون به طور کامل به بازی هویتها تبدیل شده است، نه آدرسها.
این در عمل چه معنایی دارد
برای کسبوکارها و توسعهدهندگانی که اتوماسیون را بر روی مرورگرهای عامل میسازند، نتیجهگیریها به شرح زیر است:
- 15 سپتامبر — تاریخ غیر انتزاعی. اگر عوامل شما به سایتهای دارای تبلیغات مراجعه میکنند، آماده باشید که بخشی از آنها شروع به ارائه سرپوشها به جای محتوا کنند. زیرساخت خود را از قبل برنامهریزی کنید.
- عامل دیتاسنتری — هدف شماره یک. اولین کاری که باید انجام دهید این است که ترافیک عامل را از دامنههای ابری به IPهای مقیم یا موبایلی منتقل کنید. این کار ارزانتر از بازنویسی منطق پس از مسدودسازیهای گسترده است.
- ریسک قانونی واقعی است. پرونده آمازون علیه Perplexity نشان میدهد: «پنهانسازی» عامل به عنوان انسان یک منطقه خاکستری نیست، بلکه یک استدلال برای دادگاه است. به robots.txt احترام بگذارید، جایی که این موضوع حیاتی است، و اتوماسیون را به عنوان یک کاربر زنده در سایتهایی که به وضوح این کار را ممنوع کردهاند، ارائه ندهید.
- کانالهای رسمی در حال رشد هستند. Instant Checkout و مشارکتهای هوش مصنوعی با خردهفروشان — سیگنالی است که بخشی از سناریوهای عامل به APIهای قانونی منتقل خواهد شد. اما در حال حاضر پوشش پراکنده است، و به عوامل مستقل مجبور خواهند بود در دنیایی زندگی کنند که نیمی از سایتها آنها را نمیپذیرند.
نتیجهگیری
وب عامل دیگر یک مفهوم از ارائهها نیست، بلکه ترافیک واقعی است که سایتها یاد گرفتهاند و خواستهاند فیلتر کنند. Cloudflare اهرمی به صاحبان داده است، دادگاهها یک پیشینه ایجاد کردهاند، و خردهفروشان نمونهای ارائه دادهاند. این برای دستیاران هوش مصنوعی مستقل یک حکم نیست، بلکه یک سیگنال واضح است: برای اینکه عامل به هدف برسد، او باید در تمام سطوح — از IP خروجی تا زمانبندی کلیکها — مانند یک انسان به نظر برسد. پروکسیهای مقیم و موبایلی در اینجا تجمل نیستند، بلکه یک لایه اساسی هستند که بدون آن سایر ترفندها کار نمیکنند. وب برای عوامل به طور کامل بسته نمیشود — بلکه فقط دیگر اجازه نمیدهد کسانی که با تابلو «من ربات هستم» میآیند، وارد شوند.
```