المراقبة التلقائية للمشتريات الحكومية والمناقصات عبر البروكسي: إعداد بدون حظر

تستغرق مراقبة المناقصات يدويًا على منصات EIS (Zakupki.gov.ru) وSberbank-AST وRTS-tender من 3 إلى 5 ساعات يوميًا. تحل الأتمتة عبر المستخرجين هذه المشكلة، لكن المنصات الحكومية تحظر بنشاط الطلبات التلقائية - يتم حظر عنوان IP بعد 50-100 طلب. تسمح البروكسي بتجاوز القيود وجمع البيانات حول المناقصات الجديدة على مدار الساعة دون خطر حظر عنوان IP الرئيسي للشركة.

في هذا الدليل، سنناقش: أي البروكسي تناسب منصات المناقصات المختلفة، كيفية إعداد استخراج تلقائي بدون حظر، الأدوات الجاهزة للاستخدام وكيفية تجنب الأخطاء الشائعة التي تؤدي إلى الحظر.

لماذا تقوم منصات المناقصات بحظر الطلبات التلقائية

تستخدم منصات المناقصات الحكومية والتجارية حماية متعددة المستويات ضد جمع البيانات التلقائي. ويرجع ذلك إلى عدة أسباب: يمكن أن تصل الحمولة على الخوادم من المستخرجين إلى 60-70% من إجمالي حركة المرور، ويستخدم المنافسون البيانات المجمعة للتخفيض، بالإضافة إلى وجود متطلبات لحماية البيانات الشخصية للمشاركين في المشتريات.

تعتبر النظام المعلوماتي الموحد (EIS) - المنصة الأكثر حماية. يسجل النظام المعلمات التالية لكل طلب: عنوان IP، User-Agent للمتصفح، تكرار الطلبات، تسلسل الإجراءات على الموقع. إذا جاء أكثر من 100 طلب في الساعة من عنوان IP واحد أو كانت الطلبات تأتي بشكل متساوٍ جدًا (على سبيل المثال، كل 5 ثوانٍ)، يتم حظر عنوان IP لمدة 24-72 ساعة. يمتد الحظر ليشمل نطاق الشبكة الفرعية بالكامل، لذا قد تتأثر الشركة بأكملها.

تستخدم المنصات التجارية (Sberbank-AST وRTS-tender وFabrikant) حماية أكثر ليونة، لكنها تتعقب أيضًا النشاط المشبوه. المحفزات الرئيسية للحظر: عدم وجود ملفات تعريف الارتباط، JavaScript معطلة، التنقل السريع جدًا بين الصفحات (أقل من ثانيتين لكل صفحة)، فترات زمنية متساوية بين الطلبات.

أي نوع من البروكسي يجب اختياره لمراقبة المناقصات

تناسب ثلاثة أنواع من البروكسي لمراقبة منصات المناقصات، كل منها له ميزاته الخاصة. يعتمد الاختيار على حجم الاستخراج، الميزانية ومتطلبات الموثوقية.

البروكسي السكنية هي الخيار الأمثل لمعظم مهام مراقبة المناقصات. تستخدم عناوين IP لمستخدمين حقيقيين في المنازل، لذا تعتبر المنصات الطلبات كأفعال لأشخاص عاديين. يُوصى باستخدام بروكسي سكنية روسية مع تدوير كل 10-15 دقيقة لـ EIS. يسمح ذلك بجمع بيانات عن 500-1000 مناقصة يوميًا بدون أي حظر.

بروكسي مراكز البيانات تناسب المنصات التجارية الأقل حماية: RTS-tender وFabrikant وB2B-Center. هي أرخص بـ 3-5 مرات من البروكسي السكنية وتعمل بشكل أسرع، لكن EIS غالبًا ما تتعرف على هذه العناوين وتحظرها. استخدمها للاختبار الأولي للمستخرج أو لمراقبة المنصات الإقليمية الصغيرة.

بروكسي موبايل تتمتع بأقصى مستوى من الثقة، حيث تستخدم عناوين IP لمشغلي الهواتف (MTS وBeeline وMegaFon). نادرًا ما تحظر المنصات هذه العناوين، لأن وراء كل عنوان IP لمشغل الهاتف قد يكون هناك آلاف المستخدمين الحقيقيين. العيب هو التكلفة الأعلى. استخدم البروكسي الموبايل إذا كنت تعمل مع مناقصات ذات قيمة عالية أو إذا تعرضت للحظر عند استخدام البروكسي السكنية.

ميزات حماية المنصات المختلفة: EIS وSberbank-AST وRTS-tender

كل منصة مناقصات لديها ميزات حماية خاصة ضد الاستخراج. فهم هذه الآليات يسمح بإعداد المستخرج بطريقة تقلل من خطر الحظر.

EIS (Zakupki.gov.ru) - أقصى حماية

يستخدم النظام المعلوماتي الموحد أقصى حماية بين جميع المنصات. الآليات الرئيسية: حد 100 طلب في الساعة من عنوان IP واحد، دعم إلزامي لملفات تعريف الارتباط وJavaScript، التحقق من المرجع (من أين جاء المستخدم)، تحليل العوامل السلوكية (الوقت على الصفحة، حركة الماوس، التمرير).

توصيات لاستخراج EIS: استخدم بروكسي سكنية أو موبايل مع عناوين IP روسية، قم بتفعيل تدوير تلقائي للبروكسي كل 80-90 طلبًا (لتجنب الوصول إلى الحد)، أضف تأخيرات عشوائية بين الطلبات من 3 إلى 8 ثوانٍ، استخدم متصفحات بدون واجهة (Puppeteer وSelenium) بدلاً من طلبات HTTP البسيطة - فهي تحاكي سلوك المتصفح الحقيقي بالكامل.

Sberbank-AST - مستوى حماية متوسط

تستخدم منصة Sberbank قيودًا أكثر ليونة: حد حوالي 200-300 طلب في الساعة، ملفات تعريف الارتباط إلزامية، لكن JavaScript لا يتم التحقق منه دائمًا، يحدث الحظر عند سلوك واضح كروبوت (فترات زمنية متساوية بين الطلبات، عدم وجود مرجع).

لـ Sberbank-AST، يكفي استخدام بروكسي سكنية مع تدوير كل 200 طلب. يمكن استخدام أدوات استخراج أبسط بدون محاكاة كاملة للمتصفح، لكن تأكد من إضافة تأخيرات عشوائية من 2-5 ثوانٍ وعناوين User-Agent صحيحة.

RTS-tender وFabrikant وB2B-Center - حماية أساسية

تتمتع المنصات التجارية بأقل حماية: حدود 500+ طلب في الساعة، التحقق الرئيسي هو وجود ملفات تعريف الارتباط وUser-Agent مناسب، نادرًا ما تحظر بروكسي مراكز البيانات.

تناسب هذه المنصات حتى بروكسي مراكز البيانات مع تدوير أساسي. يمكن استخدام مستخرجين HTTP البسيطين بدون محاكاة المتصفح. الأهم هو عدم إرسال الطلبات بشكل متكرر جدًا (على الأقل 1-2 ثانية بين الطلبات) وتغيير IP بشكل دوري.

أدوات جاهزة لاستخراج المناقصات بدون برمجة

لمراقبة المناقصات، ليس من الضروري كتابة كود من الصفر. هناك حلول جاهزة بواجهة رسومية تدعم العمل عبر البروكسي.

Octoparse - مستخرج بصري يدعم البروكسي ومجدول المهام. يسمح بإنشاء مستخرج لأي منصة مناقصات عبر واجهة رسومية: كل ما عليك هو النقر على العناصر الموجودة في الصفحة التي تحتاج إلى جمعها (رقم المناقصة، الجهة المعلنة، المبلغ، تاريخ الانتهاء)، وستقوم البرنامج تلقائيًا بإنشاء خوارزمية الاستخراج. في الإعدادات، يمكنك تحديد قائمة البروكسي، وسيقوم Octoparse بتدويرها تلقائيًا. التكلفة - من 75 دولارًا شهريًا، وهناك نسخة مجانية مع قيود.

ParseHub - مشابه لـ Octoparse مع واجهة أبسط. مناسب جدًا للمبتدئين. يدعم مواقع JavaScript (مهم لـ EIS)، العمل عبر البروكسي، تصدير البيانات إلى Excel/Google Sheets. تسمح النسخة المجانية بإنشاء ما يصل إلى 5 مشاريع استخراج. النسخة المدفوعة - من 149 دولارًا شهريًا مع إمكانية تشغيل الاستخراج حسب الجدول (على سبيل المثال، التحقق من المناقصات الجديدة كل ساعتين).

Screaming Frog SEO Spider - أداة في الأصل لتحسين محركات البحث، لكنها مناسبة جدًا لاستخراج البيانات الهيكلية. تدعم البروكسي، ويمكنها جمع البيانات من الصفحات بناءً على محددات CSS المعطاة. العيب - تحتاج إلى معرفة بسيطة بهيكل HTML للصفحات. التكلفة - 149 جنيهًا إسترلينيًا سنويًا (حوالي 15,000 روبل)، وهو أرخص من البدائل.

خدمات متخصصة لمراقبة المناقصات - Контур.Закупки وТендер.Про وB2B-Center لديها بالفعل أنظمة مراقبة مدمجة مع فلاتر وإشعارات. لا تتطلب إعداد البروكسي، لأنها تعمل باسم الخدمة. التكلفة - من 5,000 إلى 30,000 روبل شهريًا اعتمادًا على عدد الفئات التي يتم تتبعها. العيب - أنت تعتمد على إمكانيات الخدمة ولا يمكنك جمع بيانات إضافية أو دمجها في نظام CRM الخاص بك.

إعداد خطوة بخطوة لمراقبة عبر البروكسي في 20 دقيقة

دعونا نناقش إعداد مراقبة تلقائية للمناقصات باستخدام Octoparse - واحدة من أكثر الأدوات شعبية بواجهة رسومية. هذا المثال مناسب لمراقبة EIS وSberbank-AST وغيرها من المنصات.

الخطوة 1: الحصول على البروكسي. قم بالتسجيل لدى مزود البروكسي واحصل على قائمة بعناوين IP مع المنافذ وبيانات الاعتماد. لمراقبة EIS، يُوصى بحد أدنى 10 بروكسي سكنية روسية مع تدوير تلقائي. سيقدم لك المزود البيانات بالتنسيق: IP:PORT:USERNAME:PASSWORD (على سبيل المثال، 185.123.45.67:8000:user123:pass456).

الخطوة 2: تثبيت وإعداد Octoparse. قم بتنزيل Octoparse من الموقع الرسمي وثبته على الكمبيوتر. بعد التشغيل، أنشئ مشروع استخراج جديد بإدخال عنوان URL لصفحة نتائج البحث عن المناقصات على EIS (على سبيل المثال، البحث عن كلمة "معدات" في منطقتك).

الخطوة 3: إعداد البروكسي في Octoparse. افتح الإعدادات → إعدادات البروكسي. اختر وضع "استخدام البروكسي المخصص". أضف بروكسيك إلى القائمة، مع تحديد IP، المنفذ، النوع (HTTP أو SOCKS5)، اسم المستخدم وكلمة المرور. قم بتفعيل خيار "تدوير البروكسي لكل طلب" - سيجعل هذا البرنامج يغير البروكسي بعد كل طلب، مما يوزع الحمل ويتجنب الحظر.

الخطوة 4: إنشاء خوارزمية الاستخراج. في وضع المصمم البصري، انقر على العناصر الموجودة في الصفحة التي تحتاج إلى جمعها: رقم المناقصة، الاسم، الجهة المعلنة، السعر الابتدائي، تاريخ انتهاء تقديم الطلبات، المنطقة. سيحدد Octoparse تلقائيًا هيكل البيانات وينشئ خوارزمية الجمع. تحقق من النتيجة على أول 5-10 سجلات - ستظهر لك البرنامج نتيجة أولية للاستخراج.

الخطوة 5: إعداد الترقيم. تعرض منصات المناقصات النتائج بشكل صفحات (عادةً 10-50 مناقصة في الصفحة). في Octoparse، أضف إجراء "انقر على زر الترقيم" وحدد زر "الصفحة التالية". ستنتقل البرنامج تلقائيًا بين الصفحات وتجمع جميع النتائج.

الخطوة 6: إضافة تأخيرات. في إعدادات المستخرج، قم بتعيين تأخيرات عشوائية بين الطلبات: الحد الأدنى 3 ثوانٍ، والحد الأقصى 8 ثوانٍ. هذا يحاكي سلوك المستخدم الحقيقي ويقلل من خطر الحظر. أضف أيضًا تأخيرًا من 5-10 ثوانٍ بعد تحميل كل صفحة - هذا يمنح عناصر JavaScript الوقت للتحميل بالكامل.

الخطوة 7: إعداد الجدول الزمني. في قسم "جدول المهام"، قم بإعداد بدء تلقائي للاستخراج. لمراقبة المناقصات الجديدة، من المثالي بدء التحقق كل 2-4 ساعات خلال ساعات العمل. على سبيل المثال: 9:00 و13:00 و17:00 و21:00. سيسمح لك ذلك بمراقبة المنشورات الجديدة خلال اليوم دون تحميل مفرط على المنصة.

الخطوة 8: تصدير البيانات. قم بإعداد تصدير تلقائي للبيانات المجمعة إلى تنسيق مريح: Excel أو Google Sheets أو قاعدة بيانات MySQL أو إرسال عبر API إلى نظام CRM الخاص بك. يمكن لـ Octoparse إرسال البيانات الجديدة تلقائيًا بعد كل تشغيل للمستخرج، مما يسمح بتلقي إشعارات حول المناقصات الجديدة في الوقت الحقيقي.

إعداد تدوير البروكسي والتأخيرات بين الطلبات

يعد الإعداد الصحيح لتدوير البروكسي والتأخيرات عاملًا رئيسيًا في نجاح الاستخراج بدون حظر. حتى مع وجود بروكسي عالية الجودة، قد تؤدي التكوينات الخاطئة إلى الحظر.

استراتيجيات تدوير البروكسي: هناك ثلاث طرق رئيسية لتغيير عناوين IP أثناء الاستخراج.

التدوير بعد كل طلب - هي الطريقة الأكثر أمانًا، لكنها بطيئة. كل طلب إلى المنصة يأتي من IP جديد. تناسب EIS عند استخراج كميات كبيرة من البيانات (1000+ مناقصة). العيب - يزيد من وقت الاستخراج، حيث يستغرق إنشاء اتصال جديد عبر البروكسي 200-500 مللي ثانية.

التدوير حسب عدد الطلبات - توازن مثالي بين السرعة والأمان. يتم استخدام بروكسي واحد لـ 50-100 طلب، ثم يتم تغييره إلى التالي. يُوصى بتغيير البروكسي كل 80 طلبًا لـ EIS (أقل بقليل من الحد البالغ 100). يمكن زيادة العدد إلى 200-300 طلب لكل IP للمنصات التجارية.

التدوير حسب الوقت - تغيير IP كل 10-15 دقيقة بغض النظر عن عدد الطلبات. تناسب الاستخراج الطويل مع كثافة منخفضة (على سبيل المثال، مراقبة التحديثات خلال اليوم). يقدم بعض مزودي البروكسي تدويرًا تلقائيًا حسب الوقت - تحصل على عنوان URL واحد للبروكسي، لكن يتم تغيير IP تلقائيًا كل N دقيقة.

إعداد التأخيرات بين الطلبات: لا يمكن للإنسان الانتقال بين الصفحات على الفور - يحتاج إلى وقت للقراءة، التمرير، والنقرات. يجب أن يحاكي المستخرج هذا السلوك.

من المهم استخدام تأخيرات عشوائية ضمن النطاق المحدد. إذا كان المستخرج يقوم بإرسال الطلبات كل 5 ثوانٍ بالضبط، فإن نظام الحماية سيتعرف بسهولة على الروبوت. تحتوي جميع أدوات الاستخراج الشائعة على وظيفة التأخير العشوائي.

أخطاء شائعة تؤدي إلى الحظر

حتى مع استخدام بروكسي عالية الجودة، قد يقع المستخرج في الحظر بسبب أخطاء تقنية في الإعداد. إليك أكثر المشاكل شيوعًا وطرق حلها.

خطأ 1: استخدام نفس User-Agent. User-Agent هو سلسلة تخبر الموقع عن المتصفح ونظام التشغيل المستخدمين. إذا كانت جميع الطلبات تأتي بنفس User-Agent (على سبيل المثال، الافتراضي لمكتبة requests في Python)، فهذا علامة واضحة على الروبوت. الحل: استخدم قائمة من 10-20 User-Agent شائعة لمتصفحات مختلفة (Chrome وFirefox وSafari) وأنظمة تشغيل (Windows وmacOS وLinux)، وقم بتدويرها عشوائيًا مع كل طلب.

خطأ 2: ملفات تعريف الارتباط المعطلة. تقوم معظم المواقع بتعيين ملفات تعريف الارتباط عند الزيارة الأولى وتتحقق من وجودها عند الطلبات التالية. إذا لم يحتفظ المستخرج بملفات تعريف الارتباط، فإن كل طلب يبدو كزيارة أولى من جهاز جديد، مما يكون مشبوهًا. الحل: قم بتفعيل دعم ملفات تعريف الارتباط في إعدادات المستخرج. في Octoparse وParseHub، يتم ذلك تلقائيًا. إذا كنت تكتب مستخرجك الخاص بلغة Python، استخدم مكتبة requests.Session() - فهي تحتفظ تلقائيًا بملفات تعريف الارتباط بين الطلبات.

خطأ 3: الاستخراج بدون تنفيذ JavaScript. تستخدم المواقع الحديثة، بما في ذلك EIS، JavaScript بشكل نشط لتحميل المحتوى. إذا كان المستخرج يقوم بتنزيل كود HTML للصفحة فقط دون تنفيذ JavaScript، فسيحصل على بيانات غير مكتملة، وسيسجل الخادم سلوكًا مشبوهًا. الحل: استخدم متصفحات بدون واجهة (Puppeteer وSelenium وPlaywright)، التي تقوم بتحميل الصفحة بالكامل، وتنفيذ JavaScript، ويمكنها حتى التمرير لتحميل المحتوى الديناميكي.

خطأ 4: تجاهل CAPTCHA. تظهر بعض المنصات CAPTCHA عند النشاط المشبوه. إذا لم يتمكن المستخرج من حل CAPTCHA، فسيتجمد ويبدأ في إرسال طلبات متكررة، مما يؤدي إلى حظر IP. الحل: استخدم خدمات حل CAPTCHA التلقائية (2Captcha وAnti-Captcha) - تكلف حوالي 1-3 دولارات لكل 1000 CAPTCHA تم حلها. تحتوي معظم أدوات الاستخراج على تكامل مدمج مع هذه الخدمات.

خطأ 5: الاستخراج خلال ساعات الذروة. من 10:00 إلى 16:00 في أيام العمل، تكون النشاطات القصوى للمستخدمين على منصات المناقصات، وتعمل أنظمة الحماية بأقصى صرامة. سيؤدي الاستخراج المكثف في هذا الوقت إلى حظر أسرع. الحل: قم بتشغيل الجزء الأكبر من الاستخراج في المساء (18:00-23:00) أو في الليل. خلال ساعات العمل، قم بإجراء فقط تحقق دقيق من المناقصات الجديدة بكثافة منخفضة.

خطأ 6: استخدام بروكسي "متسخة". بعض مزودي البروكسي الرخيصين يبيعون IP تم استخدامها بالفعل في البريد العشوائي أو أنشطة مشبوهة أخرى وتوجد في القوائم السوداء. الحل: اختبر البروكسي قبل الاستخدام الجماعي. أرسل 20-30 طلب اختبار إلى المنصة من كل بروكسي جديد وتحقق مما إذا كان هناك CAPTCHA أو حظر. إذا كانت البروكسي "متسخة"، استبدلها لدى المزود.

توسيع النطاق: مراقبة 10+ منصات في وقت واحد

عندما يتم إعداد مراقبة أساسية لمنصة أو منصتين وتعمل بشكل مستقر، تظهر الحاجة إلى التوسع - الاستخراج المتزامن لعشرات منصات المناقصات لتحقيق أقصى تغطية للسوق.

توزيع البروكسي بين المنصات. لا تستخدم نفس البروكسي لمنصات مختلفة في نفس الوقت. أنشئ مجموعات بروكسي: على سبيل المثال، 10 بروكسي لـ EIS، 5 لـ Sberbank-AST، 5 لـ RTS-tender وهكذا. سيمنع ذلك حدوث حظر على منصة واحدة من التأثير على عمل المستخرج على منصة أخرى.

تحديد أولويات المنصات. ليست جميع منصات المناقصات بنفس الأهمية لعملك. حدد 3-5 منصات رئيسية حيث يتم نشر أكبر عدد من المناقصات ذات الصلة، وخصص لها المزيد من الموارد: أفضل بروكسي، تحقق أكثر تكرارًا، استخراج أكثر تفصيلًا (بما في ذلك جمع الوثائق). بالنسبة لبقية المنصات، استخدم مراقبة أساسية فقط للمعلمات الرئيسية للمناقصات.

أتمتة معالجة البيانات. عند استخراج 10+ منصات، ستتلقى مئات المناقصات الجديدة يوميًا. لا يمكن معالجة ذلك يدويًا. قم بإعداد تصفية تلقائية: حسب الكلمات الرئيسية في عنوان المناقصة، حسب منطقة الجهة المعلنة، حسب نطاق السعر الابتدائي، حسب تاريخ انتهاء تقديم الطلبات. فقط المناقصات التي اجتازت جميع الفلاتر تدخل قائمة التحقق اليدوي.

التكامل مع نظام CRM وأنظمة الإشعارات. قم بإعداد إرسال تلقائي للمناقصات المصفاة إلى نظام CRM الخاص بك أو إلى المراسلات المؤسسية (Slack وTelegram وMicrosoft Teams). سيتلقى المديرون إشعارات حول المناقصات الجديدة المناسبة في الوقت الحقيقي وسيكونون قادرين على اتخاذ قرارات سريعة بشأن المشاركة.

مراقبة عمل المستخرجين. عند العمل مع العديد من المنصات، من الضروري تتبع حالة كل مستخرج. قم بإعداد لوحة معلومات حيث يمكنك رؤية: متى تم تشغيل كل مستخرج آخر مرة، وكم عدد المناقصات التي جمعها، وما إذا كانت هناك أخطاء أو حظر. تحتوي أدوات مثل Octoparse على لوحات معلومات مدمجة. إذا كنت تستخدم نصوصك الخاصة، يمكنك إعداد تسجيل في Google Sheets أو أنظمة مراقبة متخصصة مثل Grafana.

الخاتمة

تتيح أتمتة مراقبة المناقصات الحكومية والتجارية عبر البروكسي الحصول على معلومات حول المشتريات الجديدة في الوقت الحقيقي، وتوفير ما يصل إلى 4 ساعات يوميًا في البحث اليدوي وزيادة عدد الطلبات المقدمة بنسبة 30-50%. العوامل الرئيسية للنجاح: اختيار النوع الصحيح من البروكسي اعتمادًا على المنصة، الإعداد الصحيح لتدوير IP والتأخيرات بين الطلبات، واستخدام أدوات تدعم JavaScript وملفات تعريف الارتباط.

لمراقبة المنصات المحمية مثل EIS، استخدم بروكسي سكنية أو موبايل مع عناوين IP روسية - فهي توفر أقصى مستوى من الثقة وأقل خطر للحظر. بالنسبة للمنصات التجارية ذات الحماية الأساسية، تناسب البروكسي مراكز البيانات الأكثر تكلفة. ابدأ بأتمتة 2-3 منصات رئيسية، وقم بضبط الإعدادات، ثم قم بتوسيع النظام ليشمل سوق المناقصات في مجالك.

إذا كنت تخطط لإعداد مراقبة على مدار الساعة لمنصات المناقصات، نوصي باستخدام بروكسي سكنية - فهي توفر عمل مستخرجين مستقر بدون حظر حتى مع كثافة عالية من الطلبات على المنصات الحكومية المحمية.