كيفية إعداد مراقبة توافر المنتجات على الأسواق عبر البروكسي: دليل للبائعين

المراقبة التلقائية لتوفر المنتجات (stock availability) هي مهمة بالغة الأهمية للبائعين وتجار التجزئة. تتبع مخزون المنافسين على Wildberries وOzon وAmazon يتيح تعديل الأسعار والمشتريات بشكل فوري. لكن المتاجر الإلكترونية تحظر بشدة الطلبات الجماعية من عنوان IP واحد — بدون بروكسي سيتم حظر محلل البيانات الخاص بك بعد 10-50 طلباً.

في هذا الدليل سنتناول كيفية إعداد مراقبة مستقرة لتوفر المخزون عبر البروكسي: أي نوع من البروكسي يجب اختياره، كيفية إعداد تدوير IP، ما هي معاملات الطلبات التي يجب استخدامها وكيفية تجنب الحظر على المتاجر الإلكترونية الشهيرة.

لماذا تحظر المتاجر الإلكترونية مراقبة توفر المنتجات

تحمي المتاجر الإلكترونية بنيتها التحتية من التحليل بعدة مستويات من الحماية. عندما تقوم بتشغيل مراقبة تلقائية لتوفر المنتجات، يقوم السكريبت الخاص بك بإجراء مئات أو آلاف الطلبات إلى API أو صفحات الويب الخاصة بالمتجر. بالنسبة للمنصة، يبدو هذا كهجوم أو جمع بيانات غير عادل.

الطرق الرئيسية لاكتشاف المحللات:

• تكرار الطلبات من عنوان IP واحد — إذا جاء من عنوان واحد أكثر من 100 طلب في الدقيقة، فهذه علامة واضحة على روبوت. المستخدم العادي لا يمكنه فعلياً فتح 2-3 بطاقات منتج في الثانية.
• غياب الكوكيز وسجل الجلسة — غالباً ما تقوم المحللات بإجراء طلبات دون الدخول المسبق إلى الصفحة الرئيسية، مما يكشف الأتمتة.
• User-Agent متطابق — إذا كانت جميع الطلبات تأتي بنفس رأس المتصفح، فهذا مريب.
• أنماط السلوك — التعداد المتسلسل للمنتجات حسب المعرف، غياب التوقفات العشوائية، الانتظام المثالي للطلبات.

يحدث الحظر على مستوى عنوان IP. في البداية قد يعرض المتجر الإلكتروني كابتشا، ثم يقيد الوصول مؤقتاً (rate limiting)، وفي حالة الانتهاكات المنهجية — يحظر IP تماماً لعدة ساعات أو أيام.

أي نوع من البروكسي يجب اختياره لتحليل توفر المخزون

اختيار نوع البروكسي يؤثر مباشرة على استقرار المراقبة واحتمالية الحظر. المتاجر الإلكترونية المختلفة تتفاعل بشكل مختلف مع أنواع مختلفة من عناوين IP. دعونا نستعرض ثلاثة خيارات رئيسية وتطبيقاتها لتحليل توفر المنتجات.

البروكسيات السكنية — الخيار الأمثل لمعظم مهام مراقبة توفر المخزون. تستخدم عناوين IP لمستخدمين منزليين حقيقيين، لذلك تعتبر المتاجر الإلكترونية الطلبات شرعية. بالنسبة لـ Wildberries وOzon هذا متطلب إلزامي تقريباً — هذه المنصات تحظر مراكز البيانات بشكل عدواني.

بروكسيات مراكز البيانات مناسبة للمنصات الأقل حماية أو عندما تكون السرعة القصوى للتحليل مطلوبة. على سبيل المثال، لمراقبة المتاجر الإلكترونية الإقليمية أو المتاجر الصغيرة عبر الإنترنت. الميزة الرئيسية — السرعة العالية واستقرار الاتصال. لكن على المنصات الكبيرة يتم حظرها بشكل أكثر تكراراً.

البروكسيات المحمولة — الخيار الأكثر موثوقية، ولكن أيضاً الأغلى. استخدمها للمنتجات الحرجة أو عندما تبدأ البروكسيات السكنية في التعرض للحظر. عناوين IP المحمولة يكاد يكون من المستحيل حظرها، حيث يمكن أن يكون وراء عنوان واحد آلاف المستخدمين الحقيقيين لمشغل الاتصالات.

إعداد تدوير IP: كم مرة يجب تغيير العناوين

تدوير IP — معامل رئيسي لمنع الحظر. الإعداد الصحيح لتكرار تغيير العناوين يسمح بتوزيع الحمل بحيث يأتي الحد الأدنى من الطلبات من كل IP، محاكياً سلوك المستخدمين العاديين.

نهجان رئيسيان للتدوير:

1. التدوير حسب الوقت (Time-based rotation)
يتغير عنوان IP بعد فترة زمنية محددة، بغض النظر عن عدد الطلبات. هذه طريقة بسيطة ومتوقعة، مناسبة للمراقبة المنتظمة بتكرار ثابت للفحوصات.

• كل 5-10 دقائق — للمراقبة المتكررة للمنتجات الحرجة (المراكز الأولى، المنتجات ذات المنافسة العالية)
• كل 15-30 دقيقة — الوضع القياسي لمعظم مهام مراقبة توفر المخزون
• كل ساعة — للمراقبة الخلفية لمجموعة كبيرة، عندما لا تكون هناك حاجة لتحديثات متكررة

2. التدوير حسب الطلبات (Request-based rotation)
يتغير IP بعد عدد معين من الطلبات المنفذة. هذه الطريقة تعطي تحكماً أكثر دقة في الحمل على كل عنوان.

• كل 10-20 طلباً — لـ Wildberries وOzon (حماية صارمة)
• كل 50-100 طلب — لـ Amazon وeBay (حماية معتدلة)
• كل 200-500 طلب — للمنصات الأقل حماية

النهج المشترك (موصى به):
اضبط التدوير حسب الوقت كطريقة رئيسية، لكن أضف حد الطلبات كحماية إضافية. على سبيل المثال: يتغير IP كل 10 دقائق أو بعد 50 طلباً — أيهما يحدث أولاً. هذا يحمي من الارتفاعات العشوائية في النشاط.

خصوصيات المراقبة على المتاجر الإلكترونية المختلفة

كل متجر إلكتروني له خصوصياته في الحماية من التحليل ويتطلب نهجاً فردياً لإعداد مراقبة توفر المخزون. دعونا نستعرض خصوصيات العمل مع المنصات الروسية والدولية الشهيرة.

Wildberries

Wildberries لديه واحد من أكثر أنظمة الحماية عدوانية ضد التحليل بين المتاجر الإلكترونية الروسية. تستخدم المنصة فحصاً متعدد المستويات للطلبات، بما في ذلك تحليل الرؤوس والكوكيز وتكرار الطلبات وأنماط السلوك.

الخصائص الرئيسية:

• استخدام البروكسيات السكنية إلزامي — مراكز البيانات يتم حظرها فوراً تقريباً
• من الضروري إرسال مجموعة كاملة من رؤوس المتصفح، بما في ذلك Referer وAccept-Language
• API الخاص بـ Wildberries يتطلب رموزاً خاصة لبعض الطلبات
• التغيير المتكرر لـ IP (كل 5-10 دقائق) بالغ الأهمية
• أضف تأخيرات عشوائية بين الطلبات: 2-5 ثوانٍ

لمراقبة توفر المنتجات على Wildberries استخدم API العام أو تحليل بطاقات المنتجات. API أكثر استقراراً، لكن له حدود صارمة. عند تحليل HTML تأكد من محاكاة سلوك المتصفح الحقيقي: تحميل الصور، تنفيذ JavaScript، حفظ الكوكيز بين الطلبات.

Ozon

Ozon يستخدم حماية أقل عدوانية مقارنة بـ Wildberries، لكنه أيضاً يتطلب نهجاً دقيقاً. تستخدم المنصة Cloudflare بنشاط للحماية من الروبوتات، مما يضيف مستوى إضافي من التعقيد.

• البروكسيات السكنية موصى بها، لكن مراكز البيانات عالية الجودة يمكن أن تعمل مع تكرار منخفض للطلبات
• تحدي Cloudflare يتطلب تنفيذ JavaScript — استخدم متصفحات headless أو مكتبات خاصة
• تدوير IP كل 10-15 دقيقة عادة كافٍ
• التأخيرات بين الطلبات: 3-7 ثوانٍ
• احفظ الكوكيز بعد اجتياز Cloudflare بشكل إلزامي

Amazon

Amazon لديه نظام حماية معقد يحلل العديد من معاملات الطلبات. المنصة حساسة بشكل خاص لتكرار الطلبات والموقع الجغرافي لعناوين IP.

• استخدم بروكسيات سكنية من نفس البلد الذي يستهدفه المتجر (amazon.com — الولايات المتحدة، amazon.de — ألمانيا)
• Amazon غالباً ما يعرض كابتشا عند النشاط المريب — جهز نظاماً لحلها
• تدوير IP كل 15-20 دقيقة أو كل 50-100 طلب
• التأخيرات بين الطلبات: 5-10 ثوانٍ (Amazon حساس جداً للسرعة)
• استخدم User-Agent محدثاً للمتصفحات الشهيرة بشكل إلزامي

Авито

Авито له خاصية محددة — الربط الجغرافي للإعلانات. للمراقبة الصحيحة لتوفر المنتجات في مدينة معينة تحتاج إلى بروكسيات من هذه المنطقة بالذات.

• استخدم بروكسيات سكنية مع موقع جغرافي في المدينة المطلوبة
• Авито يعرض نتائج مختلفة لمناطق مختلفة — عنوان IP واحد قد يرى فقط جزءاً من الإعلانات
• التدوير كل 10-15 دقيقة كافٍ
• التأخيرات بين الطلبات: 3-5 ثوانٍ
• المنصة تستخدم الكوكيز لتتبع الجلسات — احفظها بشكل إلزامي

حدود الطلبات والتأخيرات بين الفحوصات

الإعداد الصحيح لتكرار الطلبات — توازن بين حداثة البيانات وخطر الحظر. الفحوصات المتكررة جداً ستؤدي إلى الحظر، والنادرة جداً — إلى فقدان الميزة التنافسية. دعونا نتناول كيفية إيجاد التكرار الأمثل لسيناريوهات مختلفة.

التأخيرات الموصى بها بين الطلبات لمنتج واحد:

التأخيرات بين الطلبات المتتالية (عند تحليل عدة منتجات متتالية):

• الحد الأدنى للتأخير: 2-3 ثوانٍ — الحد الأدنى المطلق لمحاكاة السلوك البشري. المستخدم الحقيقي لا يمكنه فتح بطاقات المنتجات بشكل أسرع.
• التأخير الأمثل: 4-7 ثوانٍ — موصى به لمعظم المهام. أضف عشوائية: random(4000, 7000) مللي ثانية.
• التأخير الآمن: 8-15 ثانية — استخدمه للمنصات المحمية بشكل خاص أو بعد تلقي تحذيرات بتجاوز الحدود.

مبدأ مهم — العشوائية: لا تستخدم أبداً فترات ثابتة. بدلاً من تأخير 5 ثوانٍ بالضبط، اجعله عشوائياً من 4 إلى 6 ثوانٍ. هذا بالغ الأهمية لمحاكاة السلوك البشري. المستخدمون الحقيقيون لا ينقرون بانتظام مثالي.

توزيع الحمل حسب وقت اليوم:
المتاجر الإلكترونية لها ساعات ذروة للحمل (عادة المساء 18:00-22:00)، عندما تكون أنظمة الحماية حساسة بشكل خاص. يُوصى بتقليل تكرار الطلبات في هذه الفترات أو إيقاف المراقبة تماماً، إذا لم تكن البيانات حرجة.

أدوات جاهزة للمراقبة عبر البروكسي

لمراقبة توفر المخزون ليس من الضروري كتابة محلل من الصفر. هناك العديد من الحلول الجاهزة التي تدعم العمل عبر البروكسي ولديها آليات مدمجة للحماية من الحظر. دعونا نستعرض الأدوات الشهيرة لمستويات مختلفة من الإعداد التقني.

خدمات SaaS الجاهزة (بدون برمجة)

1. Keepa (لـ Amazon)
خدمة متخصصة لمراقبة Amazon. تتبع الأسعار وتوفر المنتجات والتقييمات. لديها نظام بروكسي مدمج، لا تتطلب معرفة تقنية. العيب — تعمل فقط مع Amazon.

2. Parsehub
محلل مرئي يسمح بإعداد جمع البيانات عبر واجهة رسومية. يدعم إعداد البروكسي وتدوير IP والتأخيرات بين الطلبات. مناسب للمستخدمين بدون مهارات برمجة.

3. Octoparse
بديل لـ Parsehub مع إمكانيات أتمتة أكثر تقدماً. لديه قوالب مدمجة للمتاجر الإلكترونية الشهيرة، بما في ذلك Amazon وeBay. يدعم التنفيذ السحابي للمهام والتدوير التلقائي للبروكسي.

الحلول البرمجية (تتطلب إعداداً)

1. Scrapy (Python)
إطار عمل قوي للتحليل بلغة Python. لديه دعم مدمج للبروكسي، middleware للتدوير، معالجة الأخطاء. يتطلب مهارات برمجة، لكنه يعطي أقصى مرونة في الإعداد.

مثال على إعداد البروكسي في Scrapy موجود في ملف settings.py — تضيف middleware للتدوير وقائمة خوادم البروكسي. الإطار يوزع الطلبات تلقائياً بين عناوين IP المتاحة.

2. Puppeteer / Playwright (JavaScript)
متصفحات Headless لأتمتة Chrome/Firefox. مثالية لتحليل المواقع مع JavaScript والحماية المعقدة. تدعم إعداد البروكسي على مستوى المتصفح، محاكاة سلوك المستخدم الحقيقي.

3. Selenium
أداة كلاسيكية لأتمتة المتصفحات. تعمل بشكل أبطأ من Puppeteer، لكن لديها المزيد من الحلول والأمثلة الجاهزة. مناسبة للمطورين المبتدئين.

حلول متخصصة للمتاجر الإلكترونية

1. МойСклад (تكامل مع Wildberries وOzon)
نظام محاسبة مع تكامل مدمج مع المتاجر الإلكترونية الروسية. يزامن الأرصدة تلقائياً، لكنه يعمل فقط عبر API الرسمية — غير مناسب لمراقبة المنافسين.

2. Mpstats
خدمة تحليلية لـ Wildberries وOzon. تجمع بيانات عن المنتجات والأسعار والتوفر. لديها بنية تحتية خاصة للبروكسي، لا تتطلب إعداداً إضافياً. مدفوعة، لكنها مستقرة.

3. SellerFox
حل شامل للبائعين على المتاجر الإلكترونية الروسية. يتضمن مراقبة المنافسين والتحليلات وأتمتة الأسعار. يعمل عبر بروكسيات خاصة.

دليل خطوة بخطوة لإعداد البروكسي للمحلل

دعونا نتناول الإعداد العملي للبروكسي لمراقبة توفر المخزون على مثال سيناريو نموذجي: مراقبة 100 منتج على Wildberries مع فحص كل 30 دقيقة. التعليمات مناسبة لمعظم المحللات الجاهزة والحلول المخصصة.

الخطوة 1: اختيار وشراء البروكسي

لـ Wildberries تحتاج إلى بروكسيات سكنية. دعونا نحسب الكمية المطلوبة:
- 100 منتج × 2 فحص في الساعة = 200 طلب/ساعة
- الحد الآمن لـ Wildberries: 20 طلباً لكل IP
- مطلوب: 200 ÷ 20 = 10 عناوين IP كحد أدنى

يُوصى بأخذ احتياطي: 15-20 IP للعمل المستقر. عند شراء البروكسي تأكد من أن المزود يدعم التدوير حسب الوقت أو حسب الطلبات.

الخطوة 2: الحصول على بيانات الاتصال

بعد الشراء ستحصل على بيانات بالصيغة:

المضيف: proxy.example.com
المنفذ: 8080
اسم المستخدم: user123
كلمة المرور: pass456
النوع: HTTP/HTTPS أو SOCKS5

بعض المزودين يقدمون URL للتدوير التلقائي:

http://user123:[email protected]:8080

يمكن استخدام هذا URL مباشرة في معظم المحللات — خادم البروكسي سيغير IP تلقائياً وفقاً للإعدادات.

الخطوة 3: الإعداد في أداة جاهزة (Octoparse)

1. افتح إعدادات مهمة التحليل
في Octoparse انتقل إلى قسم "Advanced Options" ← "Proxy Settings"

2. أدخل بيانات البروكسي:

• Proxy Type: اختر HTTP أو SOCKS5 (حسب البروكسي الخاص بك)
• Server: proxy.example.com
• Port: 8080
• Username: user123
• Password: pass456

3. اضبط التدوير:
إذا كان مزودك يدعم التدوير التلقائي — فقط فعّل خيار "Use rotating proxy". إذا لم يكن كذلك — أضف قائمة IP يدوياً وفعّل "Rotate IP addresses" بفاصل 10 دقائق.

4. اضبط التأخيرات:
في قسم "Speed Settings" اضبط التأخير بين الطلبات: 4-7 ثوانٍ (Random delay between 4000 and 7000 ms).

الخطوة 4: اختبار الإعدادات

قبل بدء المراقبة الكاملة تأكد من اختبار الإعدادات:

• تحقق من الاتصال بالبروكسي — معظم الأدوات لديها زر "Test connection"
• شغّل تحليل 5-10 منتجات — تأكد من جمع البيانات بشكل صحيح
• تحقق من السجلات للأخطاء — الرموز 403، 429، 503 تشير إلى مشاكل مع البروكسي أو تكرار عالٍ جداً
• تأكد من تغيير IP — يجب أن تظهر عناوين مختلفة في السجلات وفقاً لإعدادات التدوير

الخطوة 5: المراقبة والتحسين

بعد البدء تحقق بانتظام من:

• معدل النجاح — يجب أن تكون نسبة الطلبات الناجحة أعلى من 95%
• رموز الاستجابة — إذا ظهرت 429 أو 503 بنسبة أكثر من 5% — قلل الحمل
• سرعة عمل البروكسي — إذا تجاوزت التأخيرات 2-3 ثوانٍ، ربما يجب تغيير المزود
• حداثة البيانات — قارن البيانات المحصلة مع الحقيقية على موقع المتجر الإلكتروني

حسّن الإعدادات تدريجياً: إذا كان كل شيء يعمل بشكل مستقر لمدة أسبوع، يمكنك زيادة تكرار الفحوصات قليلاً أو تقليل التأخيرات. لكن افعل ذلك تدريجياً، خطوة بخطوة.

الأخطاء الشائعة وكيفية تجنبها

حتى مع الإعداد الصحيح للبروكسي، غالباً ما يرتكب المبتدئون أخطاء تؤدي إلى الحظر أو عدم استقرار عمل المحلل. دعونا نتناول المشاكل الأكثر شيوعاً وطرق حلها.

الخطأ 1: استخدام User-Agent واحد لجميع الطلبات

المشكلة: يرسل المحلل جميع الطلبات بنفس رأس User-Agent، حتى عند تغيير IP. يبدو هذا مريباً — نفس "المتصفح" يظهر من عناوين مختلفة.

الحل: دوّر User-Agent مع عناوين IP. أنشئ قائمة بالمتصفحات الشهيرة (Chrome، Firefox، Safari بإصدارات مختلفة) واختر منها عشوائياً عند كل تغيير للبروكسي. معظم مكتبات التحليل لديها دعم مدمج لتدوير User-Agent.

الخطأ 2: تدوير IP متكرر جداً

المشكلة: يقوم البعض بإعداد تغيير IP بعد كل طلب، معتقدين أن هذا الأكثر أماناً. في الواقع هذا يبدو غير طبيعي — المستخدمون الحقيقيون لا يغيرون IP كل ثانية.

الحل: استخدم فترات تدوير معقولة: 5-15 دقيقة أو 20-100 طلب لكل IP. هذا يحاكي سلوك المستخدم الحقيقي الذي يجلس من جهاز واحد لبعض الوقت، ثم يتبدل.

الخطأ 3: تجاهل الكوكيز

المشكلة: يقوم المحلل بإجراء طلبات دون حفظ الكوكيز بينها. تستخدم المتاجر الإلكترونية الكوكيز لتتبع الجلسات — إذا لم تحفظها، يبدو كل طلب كجلسة جديدة.

الحل: احفظ دائماً الكوكيز بعد الطلب الأول وأرسلها في الطلبات اللاحقة. عند تغيير IP أنشئ جلسة جديدة مع كوكيز جديدة — هذا يحاكي مستخدماً جديداً.

الخطأ 4: تأخيرات ثابتة بين الطلبات

المشكلة: تم ضبط تأخير 5 ثوانٍ بالضبط بين جميع الطلبات. هذا ينشئ نمطاً مثالياً يسهل اكتشافه بواسطة أنظمة مكافحة الروبوتات.

الحل: استخدم تأخيرات عشوائية في نطاق. بدلاً من 5 ثوانٍ اجعلها random(4, 7) ثوانٍ. أضف أحياناً توقفات أطول (10-20 ثانية)، محاكياً تشتت انتباه المستخدم.

الخطأ 5: استخدام بروكسيات عامة رخيصة

المشكلة: محاولة التوفير على البروكسي باستخدام قوائم عامة مجانية أو رخيصة جداً. هذه العناوين محظورة بالفعل على معظم المتاجر الإلكترونية، حيث يستخدمها آلاف المحللات الأخرى.

الحل: استثمر في بروكسيات سكنية عالية الجودة من مزودين موثوقين. هذا أساس العمل المستقر. التوفير على البروكسي سيؤدي إلى فقدان الوقت في محاربة الحظر وفقدان محتمل للبيانات.

الخطأ 6: عدم معالجة الأخطاء

المشكلة: لا يعالج المحلل الأخطاء ويستمر في قصف الخادم بالطلبات حتى بعد تلقي 429 (Too Many Requests) أو 503 (Service Unavailable).

الحل: نفّذ معالجة ذكية للأخطاء:

• عند تلقي 429 — ضاعف التأخيرات وغيّر IP
• عند تلقي 503 — توقف لمدة 5-10 دقائق
• عند تلقي 403 — غيّر IP فوراً وتحقق من الإعدادات
• استخدم exponential backoff: عند الأخطاء المتكررة زد التوقف بشكل أسي

الخلاصة

المراقبة الناجحة لتوفر المنتجات عبر البروكسي تتطلب نهجاً شاملاً: اختيار النوع المناسب من البروكسي، إعداد التدوير الصحيح، تأخيرات معقولة بين الطلبات ومعالجة ذكية للأخطاء. البروكسيات السكنية هي الخيار الأمثل لمعظم المتاجر الإلكترونية، خاصة Wildberries وOzon وAmazon.

تذكر المبادئ الرئيسية: حاكِ سلوك المستخدمين الحقيقيين، استخدم التأخيرات العشوائية، دوّر User-Agent مع IP، احفظ الكوكيز واستجب للأخطاء. ابدأ بإعدادات محافظة وزد الحمل تدريجياً، مراقباً استقرار العمل.

الاستثمار في بروكسيات عالية الجودة وإعدادها الصحيح سيوفر لك الوقت والأعصاب، ويضمن الحصول على بيانات موثوقة عن المنافسين. المراقبة المستقرة لتوفر المنتجات هي ميزة تنافسية رئيسية في التجارة الإلكترونية الحديثة.