يقوم متخصص SEO بتشغيل تدقيق تقني لموقع كبير - وبعد 10 دقائق، يبدأ Screaming Frog في عرض 403 محظور أو 429 عدد كبير جداً من الطلبات. اعتبر خادم الحماية الزاحف كروبوت مهاجم وقام بحظر عنوان IP. النتيجة - سيتعين إعادة تشغيل التدقيق، وشرح للعميل لماذا تأخر التقرير. يتم حل المشكلة من خلال إعداد البروكسي بشكل صحيح للزاحف - دعونا نناقش كيف.
لماذا تحظر المواقع Screaming Frog أثناء التدقيق
تعمل أدوات مثل Screaming Frog وSitebulb وJetOctopus وNetpeak Spider تقنيًا بنفس طريقة عمل روبوتات محركات البحث: حيث تتصفح بسرعة آلاف URL بشكل متتابع، وتنزل HTML وCSS وJS والصور، وتتحقق من إعادة التوجيهات ورموز الحالة. من وجهة نظر حماية الموقع (Cloudflare وQrator وDDoS-Guard وWAF المدمج في الاستضافة)، يبدو هذا كنشاط مشبوه - الكثير من الطلبات من عنوان IP واحد في فترة زمنية قصيرة.
تحدث الحظرات بشكل متكرر أثناء التدقيق في:
- المتاجر الإلكترونية الكبيرة على بنية تحتية مشابهة لـ Wildberries مع حماية خاصة ضد الزحف؛
- المواقع المحمية بواسطة Cloudflare مع تفعيل وضع "تحت الهجوم" أو مستوى أمان مرتفع؛
- البوابات ذات المحتوى الديناميكي، حيث يولد كل طلب حملًا على الخادم (البحث، الفلاتر، قائمة المنتجات)؛
- مواقع المنافسين التي تقوم بتحليلها من نطاق غير نطاقك - ليس لديهم أسباب لتثق في عنوان IP الخاص بك.
تعقيد إضافي: إذا كان لدى الوكالة عنوان IP ثابت واحد للمكتب، وكان التدقيق في المواقع يتم بانتظام (عدة عملاء في اليوم)، فإن هذا IP يدخل بسرعة في القوائم السوداء لأنظمة الحماية. بعد ذلك، يتم حظر ليس فقط التدقيق الحالي، ولكن أيضًا التدقيقات المستقبلية من نفس العنوان - حتى للمواقع التي كانت تفتح سابقًا بدون مشاكل.
كيفية التعرف على الحظر من خلال رموز الاستجابة
قبل تغيير إعدادات البروكسي، من المهم فهم ما يحدث بالضبط. يعرض Screaming Frog رمز الاستجابة في عمود رمز الحالة - ومن السهل تحديد سبب توقف الزحف من خلاله.
| رمز الاستجابة | ماذا يعني هذا | ماذا تفعل |
|---|---|---|
| 403 محظور | تم حظر IP بواسطة حماية الموقع | تغيير IP، تقليل سرعة الزحف |
| 429 عدد كبير جداً من الطلبات | تم تجاوز حد الطلبات في وحدة الزمن | تقليل عدد التدفقات، إضافة تأخير |
| 503 الخدمة غير متاحة | الخادم محمل أو الحماية من الروبوتات مفعلة | تغيير User-Agent، استخدام IP سكني |
| لا توجد استجابة / انتهاء الوقت | IP في القائمة السوداء، الطلبات لا تصل | استبدال كامل لمجموعة البروكسي |
إذا كان التقرير يظهر نفس الرمز بشكل جماعي على آلاف URL بشكل متتابع - فهذا غالبًا ما يكون حظرًا بواسطة IP، وليس مشكلة حقيقية في الموقع. للتحقق من الفرضية، افتح URL المproblematic في متصفح عادي من نفس IP. إذا تم فتح الصفحة بشكل طبيعي، بينما يحصل Screaming Frog على 403 - فإن المشكلة تتعلق بالزاحف، وليس بالموقع.
ما هي البروكسي المناسبة لتدقيق SEO
يعتمد اختيار نوع البروكسي على المهمة: تدقيق لمرة واحدة لموقعك، مراقبة منتظمة للمنافسين، أو مسح سوق محمي. دعونا نستعرض ثلاثة أنواع رئيسية وملاءمتها للزاحفين.
| نوع البروكسي | السرعة | خطر الحظر | متى تستخدم |
|---|---|---|---|
| بروكسي مراكز البيانات | عالية | متوسطة إلى عالية على المواقع المحمية | تدقيق الموقع الخاص بدون حماية صارمة |
| بروكسي سكنية | متوسطة | منخفضة | تدقيق المنافسين، المواقع خلف Cloudflare، الأسواق |
| بروكسي محمولة | متوسطة إلى منخفضة | حد أدنى | أكثر الحمايات عدوانية، تدقيق نادر |
بالنسبة لمعظم التدقيقات التقنية المنتظمة، توفر البروكسي السكنية توازنًا مثاليًا - حيث تستخدم عناوين IP حقيقية من مزودي الخدمة، لذلك تعتبر حماية الموقع طلبات الزاحف كحركة مرور مستخدم عادية. هذا مهم بشكل خاص إذا كنت تحلل نطاقًا ليس نطاقك، بل موقع منافس أو سوق لديه نظام مضاد للروبوتات صارم.
تظل بروكسي مراكز البيانات خيارًا جيدًا عندما تقوم بتدقيق موقعك الخاص ويمكنك إضافة نطاق IP إلى القائمة البيضاء مسبقًا على مستوى WAF أو Cloudflare - حينها ستكون سرعة المسح في أقصى حد بدون خطر الحظر.
إعداد خطوة بخطوة للبروكسي في Screaming Frog
يدعم Screaming Frog البروكسي "من الصندوق"، ويستغرق الإعداد بضع دقائق:
- افتح البرنامج وانتقل إلى القائمة Configuration → System → Proxy.
- ضع علامة على استخدام خادم البروكسي لجميع الحركة.
- أدخل عنوان و منفذ خادم البروكسي، التي حصلت عليها من المزود.
- إذا كان البروكسي يتطلب مصادقة عبر اسم المستخدم وكلمة المرور - حددها في النافذة المنبثقة عند الطلب الأول.
- اضغط على موافق وأعد تشغيل الزحف لتطبيق الإعدادات.
نقطة مهمة: يمكن لـ Screaming Frog في الإصدار المجاني والمدفوع العمل فقط مع خادم بروكسي واحد في كل مرة من خلال الواجهة المدمجة. إذا كنت بحاجة إلى تدوير IP في الوقت الحقيقي (وهذا مهم عند الزحف لأكثر من 50,000 صفحة)، استخدم بروكسي مع تغيير تلقائي لـ IP من جانب المزود - يتم إعداد ذلك ليس في الزاحف نفسه، ولكن في لوحة التحكم الخاصة بخدمة البروكسي، حيث يتم تحديد فترة تغيير IP (على سبيل المثال، كل 10 دقائق أو عند كل طلب جديد).
هذه الخطة تخفف الحمل عن عنوان واحد: يستمر الزاحف في العمل مع منفذ واحد، بينما يتغير IP تلقائيًا، ولا ترى الموقع تكرارًا غير طبيعي للطلبات من عنوان محدد.
إعدادات السرعة والتدفقات للمواقع الكبيرة
حتى مع وجود بروكسي يعمل، فإن إعدادات سرعة الزحف العدوانية جدًا ستؤدي إلى حظر. في Screaming Frog، يتحكم قسم Configuration → Speed في ذلك. القيم الموصى بها للمواقع التي تحتوي على 100,000 صفحة أو أكثر:
- الحد الأقصى من التدفقات: 2-5 للمواقع المحمية، 10-15 للمواقع بدون حماية صارمة؛
- الحد الأقصى من URI/s: حدد 2-3 طلبات في الثانية في البداية، وزدها تدريجيًا مع مراقبة رموز الاستجابة؛
- User-Agent مخصص: في قسم Configuration → HTTP Header، استخدم User-Agent لمتصفح حقيقي بدلاً من "Screaming Frog SEO Spider" القياسي، إذا كان الموقع يحظر الزاحفين بناءً على الرأس؛
- احترام robots.txt / crawl-delay: اعتبر توجيه Crawl-delay إذا كان موجودًا - تجاهله غالبًا ما يؤدي إلى حظر على مستوى الخادم.
بالنسبة للمواقع ذات الحماية العدوانية ضد الروبوتات، من المفيد أيضًا تفعيل وضع JavaScript Rendering فقط حيثما كان ذلك ضروريًا (مواقع SPA على React/Vue) - حيث يزيد عرض JS بشكل حاد من الحمل على الخادم ويزيد من فرصة الحظر أثناء الزحف عبر IP واحد.
تدوير IP أثناء مسح أكثر من 100,000 صفحة
كلما كان الموقع أكبر، كلما كان من المهم توزيع الحمل بشكل صحيح بين عناوين IP. تعمل خطتان لتدقيق بهذا الحجم:
التدوير حسب الوقت. يتغير IP تلقائيًا كل 5-15 دقيقة بغض النظر عن عدد الطلبات. يناسب الزحف الطويل المتساوي، عندما يمتد المسح على عدة ساعات.
التدوير حسب الطلب. كل طلب HTTP جديد يخرج من IP جديد من المجموعة. توفر هذه الوضعية أقصى حماية ضد الحظر، ولكن قد تعيق العمل الصحيح مع المصادقة المعتمدة على الكوكيز أو معلمات الجلسة للموقع - بالنسبة لتدقيق تقني خالص (جمع رموز الحالة، إعادة التوجيه، العلامات الوصفية) فهذا ليس حرجًا.
بالنسبة للوكالات التي تقوم بتدقيق عدة مواقع عملاء في وقت واحد، من الحكمة تقسيم مجموعات IP حسب المشاريع - هذا يمنع حدوث موقف حيث يتم "خطأ" حظر أحد النطاقات على سمعة IP عند العمل مع موقع آخر.
نصيحة عملية: قبل تدقيق كبير، قم بتشغيل زحف تجريبي على 500-1000 URL بالإعدادات الحالية للسرعة والبروكسي. إذا لم تظهر أخطاء 403/429 خلال هذه الفترة، يمكنك توسيع المسح بأمان ليشمل الموقع بالكامل.
قائمة مراجعة قبل بدء التدقيق
- ✅ تم توصيل البروكسي واختباره على الوصول (التحقق عبر curl أو متصفح منفصل)؛
- ✅ تم ضبط Max Threads وMax URI/s بشكل محافظ للجولة الأولى؛
- ✅ تم إعداد User-Agent بشكل صحيح، ولا يثير الشكوك لدى WAF؛
- ✅ تم تفعيل Respect robots.txt، إذا كان الموقع يطلب بوضوح احترام Crawl-delay؛
- ✅ تم تفعيل JavaScript Rendering فقط عند الحاجة الحقيقية؛
- ✅ تم إعداد تدوير IP عند حجم الموقع من 20,000-30,000 صفحة؛
- ✅ تم تفعيل حفظ تقدم الزحف (Configuration → Save Crawl) في حالة انقطاع الجلسة؛
- ✅ تم اختيار بروكسي سكنية أو محمولة لتدقيق الأسواق والبوابات المحمية بدلاً من بروكسي مراكز البيانات.
الأخطاء الشائعة أثناء الزحف عبر البروكسي
سرعة عالية جدًا في البداية. غالبًا ما يقوم المتخصصون بتعيين الحد الأقصى من التدفقات على الفور، على أمل تسريع التدقيق. ونتيجة لذلك، تستجيب حماية الموقع بسرعة، وبعد بضع دقائق، تجد مجموعة البروكسي بأكملها في القائمة السوداء.
IP ثابت واحد لجميع مشاريع العملاء. إذا كانت الوكالة تستخدم نفس بروكسي مراكز البيانات لعشرات التدقيقات في الشهر، فإن سمعة هذا IP تتدهور بسرعة - تتبادل أنظمة الحماية لمواقع مختلفة البيانات حول العناوين المشبوهة عبر قواعد بيانات مشتركة (على سبيل المثال، سمعة IP لـ Cloudflare).
تجاهل geo-targeting. إذا كان الموقع الذي يتم تدقيقه مخصصًا لمنطقة معينة (مثل متجر إلكتروني روسي مع حظر جغرافي على حركة المرور الأجنبية)، فإن استخدام بروكسي مع IP من دولة أخرى سيثير تلقائيًا قيود الوصول - حتى بدون زحف عدواني.
عدم المراقبة أثناء العملية. بعد بدء الزحف لعدة ساعات، غالبًا ما لا يتحقق المتخصصون من رموز الاستجابة الوسيطة. وفي النهاية، يكتشفون المشكلة فقط عند الانتهاء، عندما يتكون نصف التقرير من أخطاء الحظر، وليس من بيانات حقيقية عن الموقع.
الخاتمة
يتم حل الحظرات أثناء التدقيق الفني في Screaming Frog تقريبًا دائمًا من خلال مجموعة من ثلاثة عوامل: نوع البروكسي الصحيح، سرعة الزحف المعقولة، وتدوير IP بشكل صحيح. بالنسبة لمواقعك الخاصة بدون حماية صارمة، يكفي استخدام بروكسي مراكز البيانات مع إضافته إلى القائمة البيضاء. لتدقيق المنافسين والأسواق والمواقع خلف Cloudflare، تحتاج إلى IP تبدو كحركة مرور مستخدم عادية.
إذا كنت تقوم بتدقيق نطاقات الآخرين أو منصات محمية بانتظام، نوصي بالبدء باستخدام البروكسي السكنية - فهي تقلل من خطر الحظر على أكثر أنظمة مكافحة الروبوتات عدوانية. لمهام محددة على الموارد المحمية بشكل كبير، يجب النظر في البروكسي المحمولة، بينما تظل بروكسي مراكز البيانات حلاً جيدًا وسريعًا للتدقيقات الضخمة في البنية التحتية الخاصة بك.