في 1 يوليو 2026، نظمت Cloudflare اليوم الثاني "يوم استقلال المحتوى" وأول مرة خصصت رسميًا وكلاء الذكاء الاصطناعي كفئة منفصلة من الروبوتات. الآن يتم تقسيم حركة المرور إلى ثلاث فئات - البحث، الوكيل، والتدريب - ومن 15 سبتمبر 2026، سيتم حظر الروبوتات من فئات الوكيل والتدريب بشكل افتراضي على الصفحات التي تحتوي على إعلانات. في الوقت نفسه، بدأت المحاكم وتجار التجزئة الكبار في إغلاق الأبواب أمام "متصفحات الوكلاء" مثل Perplexity Comet وChatGPT Atlas. دعونا نفهم ما يحدث مع الويب الوكلي ولماذا بدون بروكسيات سكنية، تواجه مساعدات الذكاء الاصطناعي المستقلة حائطًا متزايدًا.
ما الذي حدث: ظهور طبقة ثالثة من الروبوتات
كان الويب سابقًا يعرف نوعين من حركة المرور الآلية: الزواحف البحثية التي تقوم بفهرسة الصفحات، وزواحف التدريب التي تسحب المحتوى لتدريب النماذج. في عام 2026، أضيف إليهم نوع ثالث - الوكيل. قدمت Cloudflare، التي تمر عبر شبكتها حوالي 20% من إجمالي حركة مرور الويب، تعريفًا دقيقًا له: إنه "سلوك آلي يعمل، عادة في الوقت الحقيقي، نيابة عن شخص ما، للقيام بشيء ما على الفور".
يشمل هذا التعريف الروبوتات التي تستخرج المعلومات من مساعدي الدردشة (مثل ChatGPT-User، الذي يجلب المعلومات الجديدة بناءً على طلب المستخدم) ووكلاء الاستخدام الكامل للمتصفح - Gemini أو Claude، الذين يديرون Chrome الحقيقي. منطق السياسة الجديدة بسيط: الإعلان هو إشارة على أن مالك الموقع أراد عرض الصفحة لشخص ما وتحقيق الدخل من انتباهه. لذلك، على الصفحات التي يتم تحقيق الدخل منها، تقوم Cloudflare بشكل افتراضي بحظر الروبوتات التي تحرم الموقع من هذا الانتباه - أي الروبوتات التعليمية والوكيلية.
تستحق التواريخ التذكر: التغييرات تدخل حيز التنفيذ 15 سبتمبر 2026 وتؤثر على النطاقات الجديدة المتصلة بـ Cloudflare. تبقى زواحف البحث مسموح بها - لا يزال يحتاج المواقع إلى حركة المرور من محركات البحث. لكن الزواحف متعددة الأغراض مثل Googlebot سيتم تقييمها بناءً على مجموع جميع أدوارها: إذا قام المالك بتفعيل حظر التدريب - سيتم حظر هذا الروبوت المختلط بالكامل.
متصفحات الوكلاء: من ظهر في الساحة خلال عامين
حتى أوائل عام 2025، كان "متصفح الذكاء الاصطناعي" يبدو كأنه تجربة. بحلول منتصف عام 2026، أصبح سوقًا مزدحمًا بالمساعدين المستقلين الذين يقومون بالنقر، والتمرير، وملء النماذج، وإجراء المشتريات بأنفسهم. اللاعبون الرئيسيون:
- Perplexity Comet - تم إطلاقه في يوليو 2025، مجاني، يعمل على سطح المكتب، Android وiOS؛
- ChatGPT Atlas من OpenAI - أكتوبر 2025، بالاشتراك، مع "وضع الوكيل" منفصل؛
- Chrome + Gemini - تكامل من Google، يناير 2026، لمشتركي AI Pro وUltra؛
- Claude for Chrome - إضافة للمتصفح الحالي، أغسطس 2025؛
- Edge Copilot Mode - وضع مجاني من Microsoft، يوليو 2025؛
- Opera Neon - سبتمبر 2025، الإصدار العام في ديسمبر، الاشتراك حوالي 19.90 دولارًا في الشهر.
تعمل جميعها بطريقة مشابهة: الوكيل يدير الواجهة من خلال لقطات الشاشة وأوامر الإدخال - "يرى" الصفحة، ينقر، يكتب وينتقل عبر الروابط بدلاً منك. هذه الآلية الشبيهة بالبشر تجعلها صداعًا لأنظمة مكافحة الروبوتات: رسميًا، ليست زاحفًا يسحب API، بل جلسة لمتصفح حقيقي، وراءها طلب من مستخدم حي. حتى أن Google أدخلت في مارس 2026 معرفًا منفصلًا Google-Agent، بحيث يمكن لمالكي المواقع تمييز هذه الطلبات في السجلات.
المحاكم بالفعل في جانب المواقع
بينما توزع Cloudflare الإعدادات، وصل النزاع حول الوكلاء إلى المحاكم. القضية الأكثر دلالة هي أمازون ضد Perplexity. قدمت أمازون دعوى في نوفمبر 2025، متهمة الشركة الناشئة بأنها عمدت إلى "إخفاء" طبيعة وكلائها من الذكاء الاصطناعي، للاستمرار في سحب البيانات من موقع التجزئة دون إذن.
في 10 مارس 2026، انحازت القاضية ماكسين تشيسني إلى جانب أمازون. جاء في القرار أن الشركة قدمت "أدلة مقنعة": كان متصفح Comet يدخل إلى الموقع بناءً على توجيه المستخدم، ولكن "بدون تفويض" من جانب التجزئة. وفقًا لأمازون، كان Comet "يخفي" طبيعته الآلية، متظاهرًا بأنه مشتري حي، ليتجاوز أنظمة الكشف. حتى أن أمازون وثقت النفقات - أكثر من 5000 دولار لتطوير أدوات تمنع Comet من الوصول إلى بيانات العملاء الداخلية. وردت Perplexity بالقول إنها "ستواصل القتال من أجل حق مستخدمي الإنترنت في اختيار أي ذكاء اصطناعي يريدونه".
تعمل أمازون أيضًا بدون محاكم. من خلال ملف robots.txt، أغلقت التجزئة الوصول للروبوتات ChatGPT-User وOAI-SearchBot (محرك SearchGPT)، وأيضًا في وقت سابق - للروبوت التعليمي GPT-bot. شملت الحملة زواحف مرتبطة بـ Meta وGoogle وPerplexity. المفارقة هي أن OpenAI تبني في الوقت نفسه قمعها التجاري الخاص: وظيفة Instant Checkout تسمح بالفعل بشراء المنتجات مباشرة في ChatGPT من Walmart وEtsy وShopify وTarget. يريد تجار التجزئة البيع من خلال الذكاء الاصطناعي بشروطهم الخاصة - ولا يريدون أن يتجول الوكلاء الآخرون في واجهاتهم دون رقابة.
كيف تحدد المواقع الوكيل - ولماذا لا تحل IP كل شيء
حظر الوكيل فقط بناءً على اسم المستخدم-agent هو أمر ساذج: من السهل تزويره. لذلك، تنظر مجموعة مكافحة الروبوتات من Cloudflare والخدمات المماثلة إلى مجموعة من الإشارات، وهنا تواجه المتصفحات المستقلة صعوبة:
- بصمة متصفح بدون رأس. البيئة بدون رأس تظهر نفسها من خلال مجموعة من التناقضات: دقة الشاشة 0x0، عدم وجود خطوط مثبتة، GPU الذي يُبلغ كأنه مُعالج برمجي "SwiftShader". لا يبدو أن المستخدمين الحقيقيين يظهرون بهذه الطريقة - ويتم اكتشاف ذلك في غضون ميلي ثانية.
- بصمة TLS. حتى مع رؤوس HTTP المثالية، يكشف مصافحة TLS عن انقطاع بين الهوية المعلنة للمتصفح والخصائص الحقيقية للاتصال. تناولنا هذا الاتجاه بالتفصيل في المادة حول JA4 وبصمة TLS - اليوم، هذا أحد الأدوات الرئيسية للكشف.
- تحليل سلوكي. يقوم الإنسان بالتمرير مع فترات توقف، ويستخدم الماوس بشكل غير مثالي. بينما يعمل الوكيل بـ "كفاءة روبوتية صارمة" - يقوم بتحميل الصفحة في غضون ميلي ثانية ويستخرج البيانات على الفور، مما يكشفه.
- سمعة IP. تم تصنيف نطاقات مزودي الخدمات السحابية - AWS وGoogle Cloud وAzure - منذ فترة طويلة على أنها "مخصصة للروبوتات" وتتعرض لعقوبات شديدة في مرشحات السمعة، مهما كانت نظيفة بصمة الفينجر.
هنا يأتي دور البروكسي. سمعة IP هي الحاجز الأول الذي يتعثر فيه الوكيل الذي يتم تشغيله من عنوان مركز البيانات. البروكسيات السكنية تقدم عناوين IP للأجهزة المنزلية الحقيقية، وتصبح حركة مرور الوكيل غير مرئية كطلب من خادم. بالنسبة للسيناريوهات المحمولة - الشبكات الاجتماعية، التطبيقات ذات الكشف الصارم - تعتبر البروكسيات المحمولة أكثر موثوقية مع IP لمزودي الخدمة. في هذه الأثناء، تبقى عناوين مركز البيانات كما هي: للمهام التي لا تتأثر بالسمعة، توفر بروكسيات مركز البيانات السرعة والسعر الذي لا يمكن أن تقدمه السكنية.
تحذير مهم: البروكسي هو مجرد طبقة واحدة
تزيل IP السكنية حاجزًا واحدًا فقط من أربعة. إذا كان الوكيل لا يزال يعمل في متصفح بدون رأس مع بصمة "SwiftShader" ويتصرف كروبوت، فلن تنقذه IP النظيفة - سيجمع الكشف من الإشارات الأخرى. الربط الفعال في عام 2026 ليس "بروكسي أو مكافحة الكشف"، بل كل ذلك معًا: عقدة سكنية أو محمولة، تمويه بصمة المتصفح وTLS لتبدو كجهاز حقيقي وتوقيت يشبه البشر. أصبح السحب والأتمتة لعبة هويات، وليس عناوين.
ماذا يعني ذلك عمليًا
بالنسبة للأعمال والمطورين الذين يبنون الأتمتة فوق متصفحات الوكلاء، الاستنتاجات هي كما يلي:
- 15 سبتمبر - ليست تاريخًا مجردًا. إذا كانت وكلاؤك يتصفحون المواقع التي تحتوي على إعلانات، استعد لأن يبدأ بعضهم في تقديم إشعارات بدلاً من المحتوى. خطط للبنية التحتية مسبقًا.
- الوكيل من مركز البيانات - الهدف رقم واحد. أول شيء يجب القيام به هو تحويل حركة مرور الوكيل من النطاقات السحابية إلى IP سكنية أو محمولة. هذا أرخص من إعادة كتابة المنطق بعد حظر جماعي.
- المخاطر القانونية حقيقية. قضية أمازون ضد Perplexity تظهر: "تمويه" الوكيل كإنسان ليس منطقة رمادية، بل حجة للمحكمة. احترم robots.txt حيثما كان ذلك حاسمًا، ولا تقدم الأتمتة كأنها مستخدم حي على المواقع التي تحظر ذلك صراحة.
- القنوات الرسمية تنمو. Instant Checkout والشراكات مع تجار التجزئة - إشارة إلى أن بعض سيناريوهات الوكيل ستنتقل إلى واجهات برمجة التطبيقات القانونية. ولكن حتى الآن، التغطية مجزأة، وسيتعين على الوكلاء المستقلين العيش في عالم حيث لا تنتظرهم نصف المواقع.
الاستنتاج
الويب الوكلي لم يعد مفهومًا من العروض التقديمية، بل حركة مرور حقيقية تعلمت المواقع تصفيتها ورغبت فيها. أعطت Cloudflare للمالكين أداة، وأعطت المحاكم سابقة، وأعطت تجار التجزئة مثالًا. هذا ليس حكمًا على مساعدات الذكاء الاصطناعي المستقلة، بل إشارة واضحة: لكي يصل الوكيل إلى هدفه، يجب أن يبدو كإنسان على جميع المستويات - من IP الخارجي إلى توقيت النقرات. البروكسيات السكنية والمحمولة هنا ليست ترفًا، بل طبقة أساسية، بدونها لا تعمل الحيل الأخرى. لا يتم إغلاق الويب أمام الوكلاء إلى الأبد - بل يتوقف فقط عن السماح لأولئك الذين يأتون مع لافتة "أنا روبوت".