تقوم Cloudflare مرة أخرى بتشديد القيود حول زواحف الذكاء الاصطناعي. أعلنت الشركة، التي تمر عبر شبكتها حوالي 20% من إجمالي حركة مرور الويب، أنه اعتبارًا من 15 سبتمبر 2026، سيتم حظر الزواحف "المختلطة" (mixed-use) بشكل افتراضي على الصفحات الإعلانية والمربحة - لجميع العملاء الجدد وجميع المواقع الجديدة على الحسابات الحالية. في الوقت نفسه، يتم توسيع نموذج الدفع لكل زحف، حيث يصبح وصول الروبوت إلى المحتوى خدمة مدفوعة. بالنسبة لكل من يجمع البيانات، هذه ليست مجرد أخبار مجردة عن الناشرين - إنها إشارة مباشرة إلى أن "المنطقة الرمادية" للويب المفتوح تضيق خطوة أخرى.
ماذا أعلنت Cloudflare بالضبط
الابتكار الرئيسي هو مفهوم «زاحف مختلط». هكذا تسمي Cloudflare الروبوتات التي تجمع البيانات لأغراض مزدوجة: الفهرسة في محركات البحث وتدريب نماذج الذكاء الاصطناعي. سابقًا، كانت هذه الزواحف تمر تحت علم "زاحف البحث" وتحصل على وصول إلى المحتوى مقابل حركة المرور. الآن، تقوم Cloudflare بإنهاء هذه الصفقة: إذا كان الموقع يحقق إيرادات من الإعلانات، فلن يُسمح للزاحف المختلط بالوصول إلى الصفحات المربحة بشكل افتراضي.
يتم تنفيذ ذلك تقنيًا من خلال قواعد robots.txt المدارة والهيكليات المحدثة لإدارة الروبوتات. لا يحتاج مالك الموقع إلى كتابة أي شيء يدويًا - تدعم Cloudflare القوائم والمنطق بنفسها. تاريخ البدء للمواقع الجديدة هو 15 سبتمبر 2026؛ يمكن للمشاريع الحالية تفعيل الحظر إذا رغبت في ذلك.
تلخص موقف الشركة الرئيس التنفيذي ماثيو برينس: «الآن، عندما تكون معظم حركة المرور على الإنترنت ليست بشرية، يجب أن نتصرف بشكل أكثر حسمًا وسرعة، حتى يمكن أن تنشأ نظام بيئي مستدام». وقد دعمت التغييرات بشكل علني كل من Associated Press وTime وThe Atlantic وReddit - أي الناشرين الكبار الذين يعانون أكثر من غيرهم من استنزاف محتواهم مجانًا.
الأرقام التي تفسر كل شيء
لفهم لماذا دخل مزود البنية التحتية في حرب مع شركات الذكاء الاصطناعي، يكفي النظر إلى نسبة "الزحفات إلى التحويلات" (crawl-to-referral) لعام 2025، التي قدمتها Cloudflare نفسها:
- جوجل - 14:1. على كل 14 زحفًا للصفحة، ترسل محرك البحث زائرًا واحدًا حقيقيًا للموقع. مقبول: هذه صفقة قديمة "نحن نأخذ المحتوى، وأنتم تحصلون على حركة المرور".
- OpenAI - 1,700:1. على 1700 زحف - تحويل واحد. لم يعد التبادل متكافئًا.
- Anthropic - 73,000:1. ثلاثة وسبعون ألف زحف على تحويل واحد. في الواقع، يتم استنزاف المحتوى، ولا توجد حركة مرور في المقابل.
هذه اللامتساواة هي التي كسرت النموذج القديم للويب "المفتوح بشكل افتراضي". كما صاغ المحللون بدقة: «حيث كان الويب مفتوحًا سابقًا، طالما أنك لم تغلقه، الآن جزء كبير منه مغلق، طالما أنك لم تفتحه». هذه هي التحول في المبدأ الافتراضي بنسبة 180 درجة - وهو يؤثر ليس فقط على مختبرات الذكاء الاصطناعي، ولكن أيضًا على أي جامعي بيانات آليين يتعرضون لنفس المصير.
الدفع لكل زحف: الوصول يصبح سلعة
الجزء الثاني من الإعلان هو توسيع الدفع لكل زحف، السوق الذي أطلقته Cloudflare في النسخة التجريبية الخاصة في 1 يوليو 2025. المنطق بسيط: بدلاً من الخيار الثنائي "السماح / الحظر"، يحصل الناشر على خيار ثالث - فرض رسوم على كل زحف. يحدد مالك الموقع التعرفة بنفسه، وتقرر شركة الذكاء الاصطناعي ما إذا كانت ستدفع وفقًا لها أم لا. تعمل Cloudflare كوسيط، تتحقق من هوية الروبوت وتقوم بإجراء الحسابات.
بالنسبة للسوق، هذه خطوة تكتونية. البيانات التي اعتبرت لسنوات "مجانية لأنها عامة" تتحول إلى مورد مدفوع بسعر. وكلما وسعت Cloudflare هذه النموذج، أصبح الوصول القانوني "الرائع" إلى المحتوى أكثر تكلفة وتعقيدًا لأولئك الذين لا يرغبون في توقيع عقود ودفع رسوم لكل زحف.
كيف يرتبط ذلك بالوكيل والسكربينغ
هنا يكمن الاستنتاج العملي الرئيسي. عندما تغلق المنصات الكبيرة الأبواب أمام "الزواحف النزيهة" بناءً على User-Agent، فإن الطلب ينتقل حتمًا إلى الأدوات التي تجعل حركة المرور غير قابلة للتمييز عن البشر. يؤكد مؤسس شركة التحليل Synthient بن برانديج: «يبدو أن الذكاء الاصطناعي يعزز الطلب على الوكلاء السكنيين» - لأن الشركات تبحث عن طريقة لتجاوز حظر زواحفها.
حجم هذه الطبقة الظلية بالفعل مثير للإعجاب. وفقًا لـ IPInfo، فقط لدى ستة مزودين متعقبين، تم تسجيل ما يقرب من 79 مليون عنوان IP فريد خلال 90 يومًا. في الوقت نفسه، السوق متشابك بشدة: حوالي 46% من عناوين الوكلاء السكنيين موجودة في مجموعات عدة مزودين في نفس الوقت، وقد ظهرت عناوين IP فردية في شبكات أكثر من مئة خدمة مختلفة. وهذا يعني أن "الوكيل السكني الرخيص" غالبًا ما يكون نفس العنوان المعاد بيعه، الذي تم استخدامه بالفعل في عشرات الحملات الأخرى - وقد يكون قد تم إدراجه في القوائم السوداء بالفعل.
لقد كتبنا بالفعل أن الضغط التنظيمي على جمع البيانات يتزايد بالتوازي مع الضغط الفني: قانون الذكاء الاصطناعي في الاتحاد الأوروبي، الذي سيدخل حيز التنفيذ في 2 أغسطس 2026، يمنح وزنًا لـ robots.txt وopt-out لتدريب النماذج. خطوة Cloudflare هي النصف الفني من نفس الاتجاه: الحواجز القانونية والبنية التحتية تتقارب، و"إرسال طلب GET من عنوان IP لمركز البيانات" يعمل بشكل أقل فأقل.
ماذا يفعل جامعو البيانات
لا داعي للذعر مبكرًا، ولكن حان الوقت لإعادة النظر في المجموعة. إليك بعض الإرشادات العملية للأشهر القادمة.
- افصل المهام حسب مستوى الحماية. بالنسبة للمصادر المفتوحة والضعيفة الحماية، لا يزال يكفي استخدام وكلاء مراكز البيانات السريعة والرخيصة. إنفاق حركة المرور السكنية عليها هو إهدار للمال.
- للمواقع تحت Cloudflare، استخدم عناوين IP السكنية. عندما تقدم الهدف الطلبات من خلال إدارة الروبوتات، فإن وكلاء سكنيين من مزودي الخدمة المنزلية الحقيقيين ينقذون الموقف: سلوكهم يعتبر بشريًا بشكل افتراضي. الأمر الأساسي هو ليس الحجم المطلق للمجموعة، بل نقاءها ونسبة التداخل المنخفضة مع الخدمات الأخرى.
- عناوين IP المحمولة - لأكثر الأهداف صعوبة. تمر الشبكات الاجتماعية والمنصات ذات الحماية القوية ضد الروبوتات بشكل أفضل عبر وكلاء محمولين: حيث يجلس آلاف المشتركين الحقيقيين خلف عنوان IP واحد، لذا فإن حظرها بالكامل ليس في مصلحة المنصة.
- احسب "النجاة" وليس "الحجم". بعد تحول Cloudflare إلى "مغلق بشكل افتراضي"، تصبح مقياس الجودة ليس بالجيجابايت، بل نسبة الصفحات التي تم جمعها بنجاح دون حظر. مجموعة رخيصة مع 46% من التداخل في العناوين تعطي رقم حركة مرور جميل ونسبة نجاح فاشلة.
- احترم القواعد حيثما وُجدت. إذا كانت المصدر تقدم API رسميًا أو شروط الدفع لكل زحف، فإن ذلك غالبًا ما يكون أرخص وأكثر موثوقية لخطوط الإنتاج المستقرة من سباق التسلح. الوكلاء هم أداة للبيانات العامة، وليس لتجاوز الحظر التعاقدي المباشر.
الاستنتاج
خطوة Cloudflare ليست خبرًا لمرة واحدة، بل هي جزء من تحول نظامي: الويب ينتقل من نموذج "مفتوح، حتى تغلقه" إلى "مغلق، حتى تفتحه". النسب مثل 73,000:1 تظهر لماذا هذا أمر لا مفر منه، ويدفع الدفع لكل زحف الوصول إلى البيانات إلى سلعة بسعر. بالنسبة لجمع البيانات، يعني هذا شيئًا واحدًا: انتهت الحقبة التي كانت فيها عناوين IP لمراكز البيانات وعنوان User-Agent كافية. الفائزون هم أولئك الذين يبنون جمع البيانات مسبقًا على الشبكات السكنية والنقالة النظيفة ويحسبون ليس حجم حركة المرور، بل نسبة البيانات التي وصلت بالفعل بشكل حي. ستزداد الحواجز فقط - وستصبح جودة بنية الوكلاء عاملًا حاسمًا في ما إذا كنت ستحصل على البيانات أم لا.