مراقبة أسعار المنافسين من خلال البروكسي: دليل للبائعين

إذا كنت تبيع على الأسواق وتقوم بتغيير الأسعار يدويًا مرة واحدة في الأسبوع، فإن المنافسين الذين يتم تحديث أسعارهم كل ساعة يأخذون مبيعاتك. نظام المراقبة الخاص بك يحل هذه المشكلة، لكن الأسواق ومواقع المنافسين تحظر الروبوتات وعناوين IP وشبكات كاملة من مراكز البيانات بشكل نشط. في هذه المقالة، سنستعرض مخطط عمل لجمع البيانات بدون حظر - مع الاختيار الصحيح للبروكسي، والأدوات، وتكرار الطلبات.

لماذا تحتاج إلى نظام مراقبة خاص بالمنافسين

تكلف خدمات مراقبة الأسعار الجاهزة (هناك العشرات في السوق) من عدة آلاف من الروبلات شهريًا وعادة ما تحد من عدد المنتجات أو تكرار تحديث البيانات. إذا كان لديك كتالوج يتضمن 500-5000 SKU وتبيع في نفس الوقت على Wildberries وOzon وAvito، فإن الاشتراك في ثلاث خدمات مختلفة يصبح أكثر تكلفة من نظامك الخاص، ولا يزال يفتقر إلى المرونة: لا يمكنك إعداد منطق مخصص لإعادة حساب السعر أو إضافة مراقبة لموقع غير قياسي للمنافس.

يوفر نظامك الخاص ثلاث مزايا محددة. أولاً، تتحكم في تكرار الجمع - يمكنك التحقق من أسعار المنافسين الرئيسيين كل 15 دقيقة، والباقي مرة واحدة في اليوم. ثانيًا، تجمع ليس فقط السعر، ولكن أيضًا المخزونات، والتقييم، وعدد المراجعات، والموقع في نتائج البحث - أي معلمات مهمة لعملك. ثالثًا، تبقى البيانات ملكك: يمكنك دمجها مع التحليلات الداخلية للربحية وإعادة حساب السعر تلقائيًا بحيث لا تتعرض للخسارة.

البائعون الذين قاموا بتنفيذ إعادة حساب الأسعار تلقائيًا بناءً على مراقبة المنافسين يزيدون في المتوسط من نسبة الشراء في المراكز العشرة الأولى في الفئة بنسبة 15-25% بفضل استجابة السعر للتغيرات في السوق بشكل أسرع من الطريقة اليدوية. هذا أمر حاسم بشكل خاص في الفئات ذات المنافسة العالية - الملابس، والإلكترونيات، والسلع المنزلية.

لماذا تحظر المواقع والأسواق عملية التحليل

تستخدم Wildberries وOzon ومعظم المتاجر الإلكترونية أنظمة لمكافحة الاحتيال، التي تحلل سلوك الطلبات. إذا جاء 200 طلب في الدقيقة من عنوان IP واحد بدون فواصل، وبدون رؤوس متصفح مميزة وبدون تنفيذ JavaScript - يتم تمييزه على الفور كروبوت. بعد ذلك، إما أن تقدم النظام CAPTCHA، أو تقدم بيانات خاطئة (أسعار وهمية)، أو تحظر عنوان IP لبضع ساعات.

مشكلة منفصلة هي الشبكات الفرعية لمراكز البيانات. عناوين IP التي تنتمي إلى Amazon AWS وGoogle Cloud وDigitalOcean ومزودي الخدمة المماثلين مدرجة في القوائم السوداء لمعظم أنظمة مكافحة الاحتيال حتى قبل أن تقوم بإجراء الطلب الأول. ترى الأسواق ASN (رقم النظام المستقل) لمزود الخدمة وتحظر النطاق بالكامل، حتى لو كنت ترسل طلبًا واحدًا في الساعة.

لهذا السبب، فإن البروكسي الخادم الكلاسيكي لمراقبة الأسواق يعمل بشكل سيء: فهو سريع ورخيص، لكنه يتم اكتشافه على مستوى سمعة IP. للتجاوز، تحتاج إلى عناوين IP التي تبدو كأنها مستخدمون عاديون - وهذه هي الفكرة الرئيسية للمخطط الذي سنستعرضه لاحقًا.

هيكل النظام: مما يتكون

يتكون نظام مراقبة المنافسين العامل من خمسة كتل، ويمكن بناء كل منها بدون مهارات برمجة عميقة - باستخدام أدوات جاهزة بدون كود وأدوات منخفضة الكود.

قائمة الأهداف - جدول يحتوي على روابط لبطاقات منتجات المنافسين التي تحتاج إلى مراقبتها. عادةً ما تكون هذه جداول بيانات Google أو Excel مع أعمدة: URL، السوق، SKU الخاص بك، تكرار الفحص المطلوب.
جامع البيانات (المسح) - برنامج أو خدمة تفتح الصفحة وتجمع السعر، والمخزون، والتقييم. يمكن أن تكون أداة مسح جاهزة بدون كود أو سكربت بلغة Python.
طبقة البروكسي - طبقة تمر من خلالها جميع الطلبات الخاصة بالمسح، حتى لا يتم حظر IP من قبل السوق.
تخزين البيانات - قاعدة بيانات أو جدول يتم تخزين نتائج كل عملية مرور فيه مع علامة زمنية.
منطق الاستجابة - القواعد التي بموجبها يقوم النظام بإخطارك (عبر Telegram، أو البريد الإلكتروني) أو تغيير السعر تلقائيًا عبر واجهة برمجة التطبيقات للسوق.

للبدء، يكفي الربط: جداول بيانات Google + أداة مسح بدون كود (على سبيل المثال، بناءً على Make/Zapier أو خدمات المسح المتخصصة) + بروكسي + روبوت Telegram للإشعارات. يمكن بناء هذا في يوم واحد دون كتابة كود. لمقياس أكثر جدية (آلاف SKU) ستحتاج إلى سكربت بلغة Python مع مكتبات requests/BeautifulSoup أو Selenium، والذي يتم تشغيله وفقًا لجدول زمني على الخادم.

ما هي البروكسي التي يجب اختيارها للمراقبة

اختيار البروكسي هو 70% من نجاح النظام بأكمله. دعونا نستعرض ثلاثة أنواع ومتى يكون كل منها مناسبًا.

نوع البروكسي	متى تستخدم	خطر الحظر
بروكسي مراكز البيانات	المواقع البسيطة بدون مكافحة الاحتيال، المراقبة منخفضة التردد لمتاجر الإنترنت الصغيرة	مرتفع في الأسواق، منخفض في المواقع العادية
بروكسي سكنية	Wildberries وOzon وAvito - الأداة الرئيسية لمراقبة الأسواق	منخفض مع تدوير صحيح
بروكسي موبايل	التحقق الدقيق من البطاقات ذات الحماية القوية ضد الروبوتات، تجاوز CAPTCHA أثناء الفحص اليدوي	أدنى، لكنه أغلى في التشغيل

للمراقبة اليومية لآلاف البطاقات على Wildberries وOzon، فإن الخيار الأمثل هو البروكسي السكنية، حيث أن عناوين IP الخاصة بها تعود لمزودي خدمة حقيقيين ولا تُدرج في القوائم السوداء لمراكز البيانات. هي أغلى من البروكسي الخادم، لكنها توفر الوقت في تجاوز الحظر وCAPTCHA، مما يقلل في النهاية من تكلفة امتلاك النظام.

يجب الاحتفاظ بالبروكسي الموبايل كاحتياطي للحالات التي يحصل فيها حتى IP السكني على CAPTCHA - على سبيل المثال، عند مراقبة فئة معينة من المنتجات ذات الحماية المعززة. يستخدم خادم مشغل الهاتف المحمول CGNAT (IP مشترك لآلاف المشتركين)، لذا فإن حظر مثل هذا IP يؤثر على المستخدمين الحقيقيين وتتعامل المنصات معه بحذر شديد.

أدوات جمع البيانات

إذا لم تكن مبرمجًا، فهناك عدة طرق لبناء النظام بدون كود. أولاً، تتيح لك خدمات المسح ومراقبة الأسعار بدون كود تحديد URL البطاقة واختيار محدد CSS لعنصر السعر من خلال واجهة بصرية - ببساطة من خلال النقر على الكتلة المطلوبة في الصفحة. ثانيًا، يمكنك استخدام الربط بين جداول بيانات Google + إضافة للمتصفح، التي تتحقق من الصفحات وفقًا لجدول زمني وتسجيل النتيجة في الجدول.

إذا كان هناك شخص في الفريق لديه مهارات تقنية أساسية، فإن النظام بلغة Python يوفر أقصى قدر من المرونة. يبدو السكربت الأدنى كما يلي:

import requests
from bs4 import BeautifulSoup

proxies = {
    "http": "http://login:password@proxy_host:port",
    "https": "http://login:password@proxy_host:port",
}

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}

url = "https://example-shop.ru/product/12345"
response = requests.get(url, proxies=proxies, headers=headers, timeout=15)
soup = BeautifulSoup(response.text, "html.parser")

price = soup.select_one(".product-price").get_text(strip=True)
print(f"السعر الحالي: {price}")

بالنسبة للصفحات التي تحمل السعر عبر JavaScript (وهذا شائع في Wildberries وOzon)، فإن requests العادية لن تعمل - تحتاج إلى متصفح بدون واجهة مستخدم قائم على Selenium أو Playwright، الذي يقوم بتحميل الصفحة بالكامل كما يفعل المستخدم العادي. هذه الطريقة أبطأ، لكنها توفر بيانات دقيقة حتى مع المحتوى الديناميكي.

إعداد التدوير وتكرار الطلبات

حتى مع البروكسي الجيدة، يمكن أن يتعرض النظام للحظر إذا كانت الطلبات تأتي بشكل متكرر جدًا ومتشابه. تقوم خوارزميات مكافحة الاحتيال في الأسواق بتحليل ليس فقط IP، ولكن أيضًا نمط السلوك: الفترات الزمنية بين الطلبات، ترتيب الوصول إلى الصفحات، تكرار الرؤوس.

القواعد العملية للتدوير، التي تقلل من خطر الحظر:

قم بتغيير IP في كل طلب أو كل 5-10 طلبات - تدعم معظم مزودي البروكسي السكنية التدوير التلقائي حسب المؤقت أو حسب الطلب.
أضف تأخير عشوائي بين الطلبات من 3 إلى 15 ثانية بدلاً من فترة ثابتة.
قم بتغيير User-Agent من قائمة المتصفحات الحقيقية - لا تستخدم نفس الرأس لآلاف الطلبات المتتالية.
وزع الحمل على مدار اليوم: لا تحقق من الكتالوج بالكامل دفعة واحدة في 00:00، بل وزع الفحوصات على عدة ساعات.
استخدم IP ذات صلة جغرافية - إذا كان المنافس يبيع في روسيا، يجب أن يكون البروكسي مع تحديد جغرافي روسي، وإلا قد تختلف الأسعار والمخزون عن الواقع في منطقتك.

لمراقبة 1000-3000 بطاقة يوميًا، يكفي مجموعة من عدة عشرات من IP المتزامنة مع تدوير كل 5-10 دقائق. لمقياس أكبر (عشرات الآلاف من الفحوصات)، تحتاج إلى مزود لديه مجموعة كبيرة من IP السكنية ودعم التدوير عبر واجهة برمجة التطبيقات، لدمج تغيير IP مباشرة في سكربت جمع البيانات.

خصائص مراقبة Wildberries وOzon وAvito

كل منصة لها خصوصية في الحماية، ويجب تكييف المخطط وفقًا لها.

Wildberries تقدم بيانات عن السعر والمخزونات عبر واجهة برمجة التطبيقات الداخلية، التي يمكن استدعاؤها مباشرة، مما يوفر استجابة JSON دون الحاجة إلى تحليل HTML. هذا أسرع وأكثر استقرارًا من تحميل الصفحة عبر المتصفح، لكن هذه الواجهة لديها حدود لتكرار الطلبات من IP واحد، لذا فإن تدوير البروكسي هنا إلزامي عند مراقبة أكثر من 50-100 منتج في الساعة.

Ozon تستخدم بشكل نشط تحميل JavaScript وحماية أكثر عدوانية ضد الروبوتات، بما في ذلك فحص سلوك الماوس وسرعة التمرير في بعض الأقسام. لمراقبة Ozon بشكل مستقر، عادةً ما يتطلب الأمر متصفح بدون واجهة مستخدم مع محاكاة لإجراءات المستخدم الحقيقية، وليس مجرد طلب HTTP.

Avito تراقب في المقام الأول تكرار الطلبات من IP واحد وأنماط البحث عن الإعلانات. لمراقبة إعلانات المنافسين (مثل تتبع الإعلانات الجديدة في مجالك أو تغييرات الأسعار) من الضروري الحفاظ على تكرار منخفض للطلبات - لا أكثر من طلب واحد للإعلان كل 10-15 دقيقة من IP واحد، وإلا فإن الحساب أو IP سيذهب إلى الحظر الخفي، حيث يتم تقديم بيانات غير دقيقة بدون خطأ واضح.

يستخدم العديد من متخصصي SMM والمروجين لمهام مشابهة متعددة الحسابات متصفحات مكافحة الكشف مثل Dolphin Anty وAdsPower أو Multilogin - هذه الأدوات مناسبة أيضًا للتحقق اليدوي الدقيق من بطاقات المنافسين، إذا أظهر جمع البيانات التلقائي بيانات مشبوهة ويجب التحقق يدويًا عبر ملف تعريف منفصل مع بروكسي مرتبط.

تخزين البيانات ولوحات المعلومات

البيانات المجمعة عديمة الفائدة بدون طريقة مريحة لتحليلها. بالنسبة للكتالوجات الصغيرة (حتى 500 SKU)، يكفي استخدام جداول بيانات Google مع تاريخ الأسعار حسب التواريخ وتنسيق شرطي يبرز تغيير سعر المنافس باللون الأحمر أو الأخضر. بالنسبة للأحجام الأكبر، تحتاج إلى قاعدة بيانات - يمكن استخدام PostgreSQL أو حتى SQLite، إذا كان النظام يعمل على خادم واحد.

بناءً على البيانات المجمعة، من السهل بناء لوحات معلومات بسيطة في Google Data Studio (Looker Studio) أو Power BI، حيث يمكنك رؤية: ديناميكية سعر المنافس خلال الثلاثين يومًا الماضية، الفرق في السعر مقارنة بموقعك، وتكرار تغيير السعر لكل منافس. تساعد هذه التصويرات في رؤية الأنماط - على سبيل المثال، يغير المنافس السعر كل يوم اثنين صباحًا، ويمكنك ضبط استراتيجيتك وفقًا لهذه الدورة.

من المهم تخزين ليس فقط السعر الحالي، ولكن أيضًا كل تاريخ التغييرات مع الطوابع الزمنية. هذا يسمح بتحليل الموسمية لاحقًا، واكتشاف التخفيضات قبل التخفيضات، وتوقع سلوك المنافسين في الفترة المشابهة التالية (على سبيل المثال، قبل 11.11 أو الجمعة السوداء).

الأخطاء الشائعة عند بناء النظام

في الممارسة العملية، تتعرض معظم أنظمة المراقبة المصنوعة يدويًا للكسر بسبب بعض الأخطاء النموذجية التي يمكن تجنبها بسهولة مسبقًا.

IP واحد لكل المراقبة. حتى البروكسي الجيد سيقع في الحظر عاجلاً أم آجلاً إذا كانت هناك آلاف الطلبات بدون تدوير.
تجاهل رؤوس المتصفح. الطلب بدون User-Agent أو برأس قديم - هو إشارة فورية للروبوت لنظام مكافحة الاحتيال.
تكرار الفحص مرتفع جدًا. المراقبة كل دقيقة لها معنى فقط لـ 5-10 منافسين رئيسيين، لبقية الكتالوج يكفي الفحص كل عدة ساعات.
عدم معالجة الأخطاء. إذا أعاد الموقع CAPTCHA أو كان غير متاح مؤقتًا، يجب أن يتعرف النظام على ذلك ويعيد المحاولة لاحقًا، وليس تسجيل قيمة فارغة أو خاطئة كالسعر الحالي.
بروكسي مراكز البيانات للأسواق. التوفير في نوع البروكسي يؤدي إلى حظرات مستمرة وضرورة تغيير IP يدويًا كل يوم - في النهاية، يتطلب النظام المزيد من العمل اليدوي مما ينبغي.

الخاتمة

نظام مراقبة المنافسين الخاص بك على الأسواق ليس إعدادًا لمرة واحدة، بل هو أداة عمل تتطلب هيكلًا صحيحًا: قائمة الأهداف، وجامع البيانات، وطبقة البروكسي، وتخزين البيانات ومنطق الاستجابة للتغييرات. العنصر الرئيسي الذي يعتمد عليه استقرار المخطط بأكمله هو البروكسي. يتم حظر IP الخادم بسرعة بواسطة أنظمة مكافحة الاحتيال في Wildberries وOzon، لذا يجب تخصيص ميزانية للبروكسي الجيدة مع التدوير للمراقبة المنتظمة للأسواق.

إذا كنت تخطط لمراقبة أسعار المنافسين على Wildberries أو Ozon أو Avito، ابدأ بـ البروكسي السكنية - فهي توفر موثوقية عالية للبيانات المجمعة وأقل خطر للحظر عند تدويرها بشكل صحيح. للاختبارات الدقيقة لأكثر البطاقات حماية، احتفظ بـ البروكسي الموبايل كاحتياطي، وللمهام المساعدة على المواقع الأقل حماية، يمكن استخدام بروكسي مراكز البيانات الأكثر اقتصادية.