कैसे प्रॉक्सी के माध्यम से Wildberries और Ozon पर प्रतिस्पर्धियों की कीमतों की निगरानी प्रणाली बनाएं

यदि आप मार्केटप्लेस पर बिक्री करते हैं और हर हफ्ते मैन्युअल रूप से कीमतें बदलते हैं, तो ऐसे प्रतियोगी जो हर घंटे कीमतें अपडेट करते हैं, आपकी बिक्री छीन लेते हैं। अपनी निगरानी प्रणाली इस समस्या को हल करती है, लेकिन मार्केटप्लेस और प्रतियोगियों की साइटें सक्रिय रूप से बॉट, IP पते और डेटा सेंटर के पूरे सबनेट को बैन करती हैं। इस लेख में, हम बिना किसी ब्लॉक के डेटा संग्रह की कार्यशील योजना पर चर्चा करेंगे - सही प्रॉक्सी, उपकरणों और अनुरोधों की आवृत्ति के साथ।

प्रतियोगियों की निगरानी के लिए अपनी प्रणाली की आवश्यकता क्यों है

तैयार मूल्य निगरानी सेवाएं (बाजार में दर्जनों हैं) प्रति माह कुछ हजार रुपये से शुरू होती हैं और आमतौर पर उत्पादों की संख्या या डेटा अपडेट की आवृत्ति को सीमित करती हैं। यदि आपके पास 500–5000 SKU का कैटलॉग है और आप एक साथ Wildberries, Ozon और Avito पर बेचते हैं, तो तीन अलग-अलग सेवाओं की सदस्यता लेना आपकी प्रणाली की तुलना में महंगा हो जाता है, और फिर भी लचीलापन की कमी होती है: आप कीमत की गणना के लिए कस्टम लॉजिक सेट नहीं कर सकते या प्रतियोगी की गैर-मानक साइट की निगरानी नहीं जोड़ सकते।

अपनी प्रणाली तीन विशेष लाभ देती है। सबसे पहले, आप संग्रह की आवृत्ति को नियंत्रित करते हैं - आप शीर्ष प्रतियोगियों की कीमतों की जांच हर 15 मिनट कर सकते हैं, जबकि अन्य की जांच एक बार प्रति दिन कर सकते हैं। दूसरे, आप केवल कीमत ही नहीं, बल्कि शेष मात्रा, रेटिंग, समीक्षाओं की संख्या, खोज परिणाम में स्थिति - किसी भी पैरामीटर को एकत्र करते हैं जो आपके व्यवसाय के लिए महत्वपूर्ण हैं। तीसरे, डेटा आपके होते हैं: आप उन्हें आंतरिक लाभप्रदता विश्लेषण के साथ जोड़ सकते हैं और स्वचालित रूप से कीमत को इस तरह से पुनः गणना कर सकते हैं कि आप घाटे में न जाएं।

विक्रेता जिन्होंने प्रतियोगियों की निगरानी के आधार पर स्वचालित मूल्य पुनः गणना को लागू किया है, औसतन शीर्ष-10 श्रेणी में स्थिति की खरीद की दर को 15-25% तक बढ़ाते हैं क्योंकि कीमत बाजार के परिवर्तनों पर मैन्युअल रूप से अधिक तेजी से प्रतिक्रिया करती है। यह उच्च प्रतिस्पर्धा वाली श्रेणियों में विशेष रूप से महत्वपूर्ण है - कपड़े, इलेक्ट्रॉनिक्स, घरेलू सामान।

क्यों साइटें और मार्केटप्लेस पार्सिंग को बैन करते हैं

Wildberries, Ozon और अधिकांश ऑनलाइन स्टोर एंटी-फ्रॉड सिस्टम का उपयोग करते हैं, जो अनुरोधों के व्यवहार का विश्लेषण करते हैं। यदि एक IP से प्रति मिनट 200 अनुरोध बिना विराम, बिना विशेष ब्राउज़र हेडर और बिना JavaScript निष्पादन के आते हैं - तो इसे तुरंत बॉट के रूप में चिह्नित किया जाता है। इसके बाद, सिस्टम या तो कैप्चा देती है, या जानबूझकर गलत डेटा (फर्जी कीमतें) प्रदान करती है, या IP को कुछ घंटों के लिए बैन कर देती है।

एक अलग समस्या - डेटा सेंटर के सबनेट। IP पते, जो Amazon AWS, Google Cloud, DigitalOcean और समान प्रदाताओं के स्वामित्व में हैं, अधिकांश एंटी-फ्रॉड सिस्टम में काले सूचियों में डाल दिए गए हैं इससे पहले कि आप पहला अनुरोध करें। मार्केटप्लेस प्रदाता के ASN (स्वायत्त प्रणाली का नंबर) को देखते हैं और पूरे रेंज को पूरी तरह से ब्लॉक कर देते हैं, भले ही आप प्रति घंटे केवल एक अनुरोध भेजते हों।

यही कारण है कि मार्केटप्लेस की निगरानी के लिए क्लासिक सर्वर प्रॉक्सी खराब काम करती है: यह तेज और सस्ती है, लेकिन IP प्रतिष्ठा के स्तर पर पकड़ी जाती है। बाईपास के लिए ऐसे IP की आवश्यकता होती है जो सामान्य उपयोगकर्ताओं की तरह दिखते हैं - यही वह कुंजी है जो हम आगे चर्चा करेंगे।

प्रणाली की आर्किटेक्चर: यह किससे बना है

कार्यशील प्रतियोगी निगरानी प्रणाली पांच ब्लॉकों से बनी होती है, और प्रत्येक को बिना गहरे प्रोग्रामिंग कौशल के इकट्ठा किया जा सकता है - तैयार नो-कोड और लो-कोड उपकरणों पर।

• लक्ष्यों की सूची - प्रतियोगियों के उत्पाद कार्ड के लिंक के साथ एक तालिका, जिन्हें ट्रैक करना है। आमतौर पर यह Google स्प्रेडशीट या Excel होती है जिसमें कॉलम होते हैं: URL, मार्केटप्लेस, आपका SKU, वांछित जांच आवृत्ति।
• डेटा कलेक्टर (स्क्रैपर) - एक प्रोग्राम या सेवा, जो पृष्ठ खोलती है और कीमत, शेष, रेटिंग लेती है। यह एक तैयार नो-कोड पार्सर या Python में स्क्रिप्ट हो सकती है।
• प्रॉक्सी-लेयर - एक परत, जिसके माध्यम से सभी स्क्रैपर के अनुरोध गुजरते हैं, ताकि IP को मार्केटप्लेस द्वारा बैन न किया जा सके।
• डेटा संग्रहण - एक डेटाबेस या तालिका, जहां प्रत्येक पास के परिणाम समय के साथ संग्रहीत होते हैं।
• प्रतिक्रिया लॉजिक - नियम, जिसके अनुसार प्रणाली आपको सूचित करती है (Telegram, ईमेल पर) या स्वचालित रूप से मार्केटप्लेस के API के माध्यम से कीमत बदलती है।

शुरुआत के लिए, Google स्प्रेडशीट + नो-कोड पार्सर (उदाहरण के लिए, Make/Zapier या विशेष पार्सिंग सेवाओं के आधार पर) + प्रॉक्सी + सूचनाओं के लिए Telegram-बॉट का संयोजन पर्याप्त है। इसे बिना कोड लिखे एक दिन में इकट्ठा किया जा सकता है। अधिक गंभीर पैमाने (हजारों SKU) के लिए, Python में requests/BeautifulSoup या Selenium के साथ एक स्क्रिप्ट की आवश्यकता होगी, जो सर्वर पर शेड्यूल के अनुसार चलती है।

निगरानी के लिए कौन सी प्रॉक्सी चुनें

प्रॉक्सी का चयन प्रणाली की सफलता का 70% है। हम तीन प्रकारों पर चर्चा करेंगे और कब प्रत्येक उपयुक्त है।

प्रॉक्सी का प्रकार	कब उपयोग करें	ब्लॉक होने का जोखिम
डेटा सेंटर प्रॉक्सी	सरल साइटें जिनमें एंटी-फ्रॉड नहीं है, छोटे ऑनलाइन स्टोर की कम आवृत्ति की निगरानी	मार्केटप्लेस पर उच्च, सामान्य साइटों पर कम
रिहायशी प्रॉक्सी	Wildberries, Ozon, Avito - मार्केटप्लेस की निगरानी के लिए मुख्य उपकरण	सही रोटेशन पर कम
मोबाइल प्रॉक्सी	बॉट्स से मजबूत सुरक्षा वाले कार्ड की लक्षित जांच, मैन्युअल जांच के दौरान कैप्चा को बाईपास करना	न्यूनतम, लेकिन संचालन में महंगा

Wildberries और Ozon पर हजारों कार्ड की दैनिक निगरानी के लिए, सबसे अच्छा विकल्प है - रिहायशी प्रॉक्सी, क्योंकि उनके IP वास्तविक घरेलू प्रदाताओं के हैं और डेटा सेंटर की काली सूचियों में नहीं हैं। वे सर्वर प्रॉक्सी की तुलना में महंगे हैं, लेकिन ब्लॉकों और कैप्चा को बाईपास करने में समय बचाते हैं, जो अंततः प्रणाली के स्वामित्व की लागत को कम करता है।

मोबाइल प्रॉक्सी को उन स्थितियों के लिए रिजर्व में रखना चाहिए जब रिहायशी IP भी कैप्चा प्राप्त करता है - उदाहरण के लिए, विशेष रूप से सुरक्षित उत्पाद श्रेणी की निगरानी करते समय। मोबाइल नेटवर्क ऑपरेटर का सर्वर CGNAT (हजारों ग्राहकों के लिए सामान्य IP) का उपयोग करता है, इसलिए ऐसे IP का बैन वास्तविक उपयोगकर्ताओं को प्रभावित करता है और प्लेटफार्म इसे बहुत सावधानी से लागू करते हैं।

डेटा संग्रह के उपकरण

यदि आप प्रोग्रामर नहीं हैं, तो बिना कोड के प्रणाली बनाने के लिए कई तरीके हैं। सबसे पहले, नो-कोड मूल्य पार्सिंग और निगरानी सेवाएं आपको उत्पाद कार्ड का URL निर्दिष्ट करने और दृश्य इंटरफ़ेस के माध्यम से मूल्य के तत्व के लिए CSS-सेलेक्टर चुनने की अनुमति देती हैं - बस पृष्ठ के आवश्यक ब्लॉक पर माउस क्लिक करके। दूसरे, आप Google स्प्रेडशीट + ब्राउज़र के लिए एक एक्सटेंशन का उपयोग कर सकते हैं, जो समय के अनुसार पृष्ठों की जांच करता है और परिणाम को तालिका में रिकॉर्ड करता है।

यदि टीम में एक व्यक्ति है जिसके पास बुनियादी तकनीकी कौशल हैं, तो Python में प्रणाली अधिकतम लचीलापन देती है। न्यूनतम स्क्रिप्ट इस प्रकार है:

import requests
from bs4 import BeautifulSoup

proxies = {
    "http": "http://login:password@proxy_host:port",
    "https": "http://login:password@proxy_host:port",
}

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}

url = "https://example-shop.ru/product/12345"
response = requests.get(url, proxies=proxies, headers=headers, timeout=15)
soup = BeautifulSoup(response.text, "html.parser")

price = soup.select_one(".product-price").get_text(strip=True)
print(f"वर्तमान कीमत: {price}")

उन पृष्ठों के लिए, जो JavaScript के माध्यम से कीमत लाते हैं (यह Wildberries और Ozon के लिए सामान्य है), सामान्य अनुरोध काम नहीं करेगा - एक हेडलेस ब्राउज़र की आवश्यकता होती है जो Selenium या Playwright के आधार पर पूरी तरह से पृष्ठ को रेंडर करता है, जैसे कि एक सामान्य उपयोगकर्ता करता है। यह दृष्टिकोण धीमा है, लेकिन गतिशील सामग्री के साथ भी सटीक डेटा देता है।

रोटेशन और अनुरोधों की आवृत्ति सेट करना

उच्च गुणवत्ता वाली प्रॉक्सी के साथ भी, यदि अनुरोध बहुत बार और एक समान होते हैं, तो प्रणाली बैन हो सकती है। मार्केटप्लेस के एंटी-फ्रॉड एल्गोरिदम केवल IP का ही नहीं, बल्कि व्यवहार के पैटर्न का भी विश्लेषण करते हैं: अनुरोधों के बीच के अंतराल, पृष्ठों के लिए कॉल करने का क्रम, हेडर की पुनरावृत्ति।

कार्यशील रोटेशन नियम, जो ब्लॉक होने के जोखिम को कम करते हैं:

• प्रत्येक अनुरोध पर या हर 5-10 अनुरोधों पर IP बदलें - अधिकांश रिहायशी प्रॉक्सी प्रदाता टाइमर या अनुरोध के अनुसार स्वचालित रोटेशन का समर्थन करते हैं।
• अनुरोधों के बीच 3 से 15 सेकंड की यादृच्छिक देरी जोड़ें, निश्चित अंतराल के बजाय।
• वास्तविक ब्राउज़रों की सूची से User-Agent को वैकल्पिक करें - हजारों अनुरोधों के लिए एक ही हेडर का उपयोग न करें।
• दिन के समय के अनुसार लोड वितरित करें: 00:00 पर एक बार में पूरे कैटलॉग की जांच न करें, जांच को कई घंटों में फैलाएं।
• भौगोलिक रूप से प्रासंगिक IP का उपयोग करें - यदि प्रतियोगी रूस में बेचता है, तो प्रॉक्सी को रूसी भू-स्थान के साथ होना चाहिए, अन्यथा कीमतें और उपलब्धता आपके क्षेत्र के लिए वास्तविक से भिन्न हो सकती हैं।

प्रति दिन 1000-3000 कार्ड की निगरानी के लिए, कुछ दर्जन समवर्ती IP के पूल के साथ 5-10 मिनट में रोटेशन पर्याप्त है। बड़े पैमाने (दर्जनों हजारों जांच) के लिए, एक प्रदाता की आवश्यकता होती है जिसमें बड़े पूल के रिहायशी IP और API के माध्यम से रोटेशन का समर्थन होता है, ताकि डेटा संग्रह स्क्रिप्ट में IP परिवर्तन को सीधे एकीकृत किया जा सके।

Wildberries, Ozon और Avito की निगरानी की विशेषताएँ

प्रत्येक प्लेटफ़ॉर्म की अपनी सुरक्षा की विशिष्टता होती है, और योजना को इसके अनुसार अनुकूलित करना आवश्यक है।

Wildberries कीमत और शेष मात्रा के डेटा को आंतरिक API के माध्यम से प्रदान करता है, जिसे सीधे कॉल किया जा सकता है, JSON प्रतिक्रिया प्राप्त करते हुए HTML मार्कअप को पार्स करने की आवश्यकता नहीं होती। यह ब्राउज़र द्वारा पृष्ठ को रेंडर करने की तुलना में तेज और अधिक स्थिर है, लेकिन इस API में एक IP से अनुरोधों की आवृत्ति पर सीमाएँ होती हैं, इसलिए 50-100 उत्पादों की निगरानी करते समय प्रॉक्सी का रोटेशन अनिवार्य है।

Ozon सक्रिय रूप से JavaScript रेंडरिंग और बॉट्स के खिलाफ अधिक आक्रामक सुरक्षा का उपयोग करता है, जिसमें कुछ अनुभागों पर माउस के व्यवहार और स्क्रॉलिंग की गति की जांच शामिल है। Ozon की स्थिर निगरानी के लिए आमतौर पर एक हेडलेस ब्राउज़र की आवश्यकता होती है, जो उपयोगकर्ता के वास्तविक कार्यों का अनुकरण करता है, न कि केवल HTTP अनुरोध।

Avito सबसे पहले एक IP से अनुरोधों की आवृत्ति और विज्ञापनों की खोज पैटर्न की निगरानी करता है। प्रतियोगियों के विज्ञापनों की निगरानी (उदाहरण के लिए, आपकी निच में नए विज्ञापनों की निगरानी या कीमत में बदलाव) के लिए, अनुरोधों की आवृत्ति को कम रखना महत्वपूर्ण है - एक IP से एक विज्ञापन पर 10-15 मिनट में एक बार से अधिक नहीं, अन्यथा खाता या IP छायाबंद में चला जाता है, जिसमें बिना स्पष्ट त्रुटि के अप्रचलित डेटा प्रदान किया जाता है।

कई SMM विशेषज्ञ और आर्बिट्राजर्स समान कार्यों के लिए मल्टी-खाता उपयोग के लिए एंटी-डिटेक्ट ब्राउज़रों जैसे Dolphin Anty, AdsPower या Multilogin का उपयोग करते हैं - ये उपकरण प्रतियोगियों के कार्ड की मैन्युअल लक्षित जांच के लिए भी उपयुक्त हैं, यदि स्वचालित संग्रह संदिग्ध डेटा दिखाता है और अलग-अलग प्रोफ़ाइल के माध्यम से मैन्युअल रूप से जांचने की आवश्यकता होती है जिसमें प्रॉक्सी जुड़ा होता है।

डेटा संग्रहण और डैशबोर्ड

एकत्रित डेटा बिना विश्लेषण के सुविधाजनक तरीके के बेकार होते हैं। छोटे कैटलॉग (500 SKU तक) के लिए, कीमतों के इतिहास के साथ Google स्प्रेडशीट पर्याप्त होती है और शर्तीय स्वरूपण जो प्रतियोगी की कीमत में बदलाव को लाल या हरे रंग में उजागर करता है। बड़े मात्रा के लिए, एक डेटाबेस की आवश्यकता होती है - PostgreSQL या यहां तक कि SQLite उपयुक्त है, यदि प्रणाली एक ही सर्वर पर काम करती है।

एकत्रित डेटा के आधार पर, Google Data Studio (Looker Studio) या Power BI में सरल डैशबोर्ड बनाना सुविधाजनक है, जहां आप देख सकते हैं: पिछले 30 दिनों में प्रतियोगी की कीमत की गतिशीलता, आपकी स्थिति के सापेक्ष मूल्य में अंतर, प्रत्येक प्रतियोगी की कीमत में बदलाव की आवृत्ति। यह दृश्यता पैटर्न देखने में मदद करती है - उदाहरण के लिए, प्रतियोगी हर सोमवार की सुबह कीमत बदलता है, और आप अपनी रणनीति को इस चक्र के अनुसार समायोजित कर सकते हैं।

यह महत्वपूर्ण है कि न केवल वर्तमान कीमत, बल्कि सभी परिवर्तन इतिहास टाइमस्टैम्प के साथ संग्रहीत किया जाए। यह बाद में मौसमीता का विश्लेषण करने, बिक्री से पहले डंपिंग का पता लगाने और अगले समान अवधि (उदाहरण के लिए, 11.11 या ब्लैक फ्राइडे से पहले) में प्रतियोगियों के व्यवहार की भविष्यवाणी करने की अनुमति देता है।

प्रणाली बनाने में सामान्य गलतियाँ

व्यावहारिक रूप से, अधिकांश DIY निगरानी प्रणालियाँ कुछ सामान्य गलतियों के कारण टूट जाती हैं, जिन्हें पहले से आसानी से टाला जा सकता है।

• सभी निगरानी के लिए एक IP। यहां तक कि उच्च गुणवत्ता वाली प्रॉक्सी भी एक समय में बैन हो जाएगी, यदि इसके माध्यम से हजारों अनुरोध बिना रोटेशन के आते हैं।
• ब्राउज़र हेडर की अनदेखी। User-Agent के बिना या पुराने हेडर के साथ अनुरोध - यह एंटी-फ्रॉड सिस्टम के लिए बॉट का तात्कालिक संकेत है।
• जांच की बहुत उच्च आवृत्ति। हर मिनट की निगरानी केवल 5-10 प्रमुख प्रतियोगियों के लिए समझ में आती है, बाकी कैटलॉग के लिए कुछ घंटों में एक बार जांच करना पर्याप्त है।
• त्रुटियों की प्रक्रिया का अभाव। यदि साइट ने कैप्चा लौटाया या अस्थायी रूप से अनुपलब्ध है, तो प्रणाली को इसे पहचानना चाहिए और बाद में प्रयास करना चाहिए, न कि डेटाबेस में खाली या गलत मान को वर्तमान कीमत के रूप में रिकॉर्ड करना चाहिए।
• मार्केटप्लेस के लिए डेटा सेंटर प्रॉक्सी। प्रॉक्सी के प्रकार पर बचत लगातार बैन और हर दिन IP को मैन्युअल रूप से बदलने की आवश्यकता में बदल जाती है - अंततः, प्रणाली को अधिक मैनुअल श्रम की आवश्यकता होती है, जितनी होनी चाहिए।

निष्कर्ष

मार्केटप्लेस पर प्रतियोगियों की निगरानी के लिए अपनी प्रणाली एक बार की सेटिंग नहीं है, बल्कि एक कार्यशील उपकरण है, जिसे सही आर्किटेक्चर की आवश्यकता होती है: लक्ष्यों की सूची, स्क्रैपर, प्रॉक्सी-लेयर, डेटा संग्रहण और परिवर्तनों पर प्रतिक्रिया करने की लॉजिक। प्रणाली की स्थिरता के लिए कुंजी तत्व प्रॉक्सी है। सर्वर IP तेजी से Wildberries और Ozon के एंटी-फ्रॉड सिस्टम द्वारा बैन होते हैं, इसलिए नियमित रूप से मार्केटप्लेस की निगरानी के लिए उच्च गुणवत्ता वाले IP के रोटेशन को बजट में शामिल करना चाहिए।

यदि आप Wildberries, Ozon या Avito पर प्रतियोगियों की कीमतों की निगरानी की योजना बना रहे हैं, तो रिहायशी प्रॉक्सी से शुरू करें - वे एकत्रित डेटा की उच्च विश्वसनीयता और सही रोटेशन के साथ ब्लॉकों का न्यूनतम जोखिम प्रदान करते हैं। सबसे सुरक्षित कार्ड की लक्षित जांच के लिए, मोबाइल प्रॉक्सी को रिजर्व में रखें, और कम सुरक्षित साइटों पर सहायक कार्यों के लिए अधिक बजट वाले डेटा सेंटर प्रॉक्सी भी उपयुक्त हैं।