Apify एजेंट अपने प्रॉक्सी के साथ: जब अपना पूल Apify प्रॉक्सी से सस्ता होता है

यदि आप Wildberries, Ozon, Amazon या Google Maps के लिए Apify पर कारक चला रहे हैं, तो एक न एक दिन सवाल उठता है: अंतर्निहित Apify प्रॉक्सी के लिए भुगतान करना या अपने IP पते का पूल कनेक्ट करना। बड़े वॉल्यूम में, लागत में अंतर हजारों रूबल प्रति माह हो सकता है। इस लेख में हम समझेंगे कि Apify में ट्रैफ़िक की कीमत कैसे गणना की जाती है, कब अपना प्रॉक्सी अधिक लाभदायक होता है, और इसे तकनीकी रूप से कारक से कैसे कनेक्ट करना है - कोड के उदाहरणों के साथ।

Apify-कारक क्या हैं और उन्हें प्रॉक्सी की आवश्यकता क्यों है

Apify एक ऐसा प्लेटफ़ॉर्म है जो बिना अपनी खुद की अवसंरचना स्थापित किए तैयार स्क्रैपर्स (कारक) चलाने की अनुमति देता है। Apify स्टोर में सैकड़ों तैयार कारक हैं: Amazon पार्सर्स, Google Maps स्क्रैपर, Instagram स्क्रैपर, Wildberries और Ozon से उत्पाद कार्ड एकत्र करने के लिए कारक। इनमें से अधिकांश को प्रॉक्सी की आवश्यकता होती है क्योंकि लक्षित वेबसाइटें बड़े पैमाने पर अनुरोधों पर Apify के डेटा सेंटर के IP पते को जल्दी से बैन कर देती हैं।

कारक में प्रॉक्सी तीन कार्यों को हल करता है: भू-प्रतिबंधों को बायपास करता है (उदाहरण के लिए, Wildberries पर "मॉस्को" क्षेत्र के लिए कीमतें एकत्र करना आवश्यक है), कैप्चा और अस्थायी बैन की आवृत्ति को कम करता है, और कई IP के बीच लोड को वितरित करता है, सामान्य उपयोगकर्ताओं के व्यवहार की नकल करता है, न कि बॉट का। बिना प्रॉक्सी के, अधिकांश मार्केटप्लेस के लिए पार्सिंग करने वाले कारक या तो बिल्कुल नहीं चलेंगे, या कुछ मिनटों के काम के बाद गलतियों के साथ डेटा एकत्र करेंगे।

Apify का एक अंतर्निहित समाधान है - Apify प्रॉक्सी, जिसे एक कोड पंक्ति से जोड़ा जा सकता है। यह शुरुआत के लिए सुविधाजनक है, लेकिन इसमें एक बारीकी है: भुगतान जीबी के अनुसार ट्रैफ़िक के लिए किया जाता है, और नियमित या बड़े पैमाने पर पार्सिंग के दौरान बिल तेजी से बढ़ता है। यही कारण है कि प्लेटफ़ॉर्म के अनुभवी उपयोगकर्ता अक्सर अंतर्निहित के बजाय अपने प्रॉक्सी को कारकों से जोड़ते हैं।

अंतर्निहित Apify प्रॉक्सी कैसे काम करता है और इसकी टैरिफ़

Apify प्रॉक्सी तीन प्रकार के IP प्रदान करता है: डेटा सेंटर, आवासीय (साझा पूल के माध्यम से) और Google SERP प्रॉक्सी खोज परिणामों को पार्स करने के लिए। कनेक्शन अधिकतम सरल है - बस कारक की कॉन्फ़िगरेशन में useApifyProxy: true पैरामीटर निर्दिष्ट करें, और प्लेटफ़ॉर्म हर अनुरोध या सत्र पर IP को स्वचालित रूप से घुमाएगा।

भुगतान के मॉडल में समस्या है: Apify के भीतर आवासीय प्रॉक्सी का ट्रैफ़िक जीबी के अनुसार मूल्यांकन किया जाता है, और अंतर्निहित समाधान के लिए जीबी की कीमत आमतौर पर सीधे प्रॉक्सी प्रदाताओं की तुलना में अधिक होती है, क्योंकि Apify एकीकरण और पूल के प्रबंधन के लिए अपनी मार्कअप जोड़ता है। छोटे परीक्षण लॉन्च (प्रति माह कुछ हजार अनुरोध) के लिए यह महत्वपूर्ण नहीं है। लेकिन यदि कारक निगरानी मोड में काम कर रहा है - उदाहरण के लिए, हर घंटे Wildberries पर 5000 SKU की कीमतें खींचता है - ट्रैफ़िक की खपत तेजी से बढ़ती है, और अंतर्निहित प्रॉक्सी परियोजना के बजट का सबसे महंगा तत्व बन जाती है, यहां तक कि Apify योजना की लागत को भी पार कर जाती है।

एक और बारीकी: Apify का अंतर्निहित पूल सभी प्लेटफ़ॉर्म ग्राहकों के लिए साझा है। इसका मतलब है कि IP पते पहले से ही अन्य उपयोगकर्ताओं द्वारा "प्रकाशित" किए जा सकते हैं जो समान वेबसाइटों को पार्स कर रहे हैं। यह Ozon और Avito जैसी कठोर एंटी-बॉट सुरक्षा वाले मार्केटप्लेस पर कैप्चा और बैन का जोखिम बढ़ाता है।

कब अपना प्रॉक्सी पूल सस्ता है: संख्याओं पर गणना

यह समझने के लिए कि कब अपने प्रॉक्सी पर स्विच करना उचित है, दो चर की तुलना करनी होगी: Apify प्रॉक्सी पर ट्रैफ़िक की लागत और समान मात्रा के लिए सीधे प्रॉक्सी प्रदाता की लागत, साथ ही अपने पूल के एकीकरण और समर्थन पर समय की लागत।

प्रथा तीन परिदृश्यों को दर्शाती है:

• एक बार का पार्सिंग (प्रति माह 1 जीबी तक ट्रैफ़िक) - अंतर्निहित Apify प्रॉक्सी अधिक लाभदायक है: छोटे एक बार के डेटा संग्रह के लिए अपने पूल को सेट करने में समय बर्बाद करने का कोई मतलब नहीं है।
• नियमित निगरानी (5-50 जीबी प्रति माह) - यह मोड़ का बिंदु है। यहां पहले से ही गणना करना उचित है: यदि कारक दैनिक रूप से काम करता है और Wildberries या Ozon से उत्पाद कार्ड एकत्र करता है, तो अंतर्निहित प्रॉक्सी के साथ ट्रैफ़िक की खपत तेजी से बढ़ती है, जबकि अपने पूल के साथ IP की निश्चित लागत या असीमित टैरिफ के साथ।
• औद्योगिक पार्सिंग (50 जीबी प्रति माह से, दर्जनों कारक, कई स्रोत) - अपना पूल लगभग हमेशा सस्ता होता है, क्योंकि ट्रैफ़िक या IP की संख्या के लिए सीधे मूल्य पर बातचीत करने की संभावना होती है, बिना प्लेटफ़ॉर्म-बीच के मार्कअप के।

गणना का एक सरल उदाहरण: यदि कारक दैनिक रूप से 10,000 उत्पाद कार्ड संसाधित करता है, और प्रत्येक पृष्ठ का औसत वजन छवियों और स्क्रिप्टों को ध्यान में रखते हुए 300 KB है (संसाधनों के लोडिंग के अनुकूलन के बिना), तो एक महीने में लगभग 90 जीबी ट्रैफ़िक जमा होता है। आवासीय ट्रैफ़िक के लिए Apify प्रॉक्सी की दर पर, अंतिम राशि अक्सर एक समान मात्रा के लिए तीसरे पक्ष के प्रॉक्सी प्रदाता की लागत को डेढ़ से दो गुना पार कर जाती है। यदि कारक छवियों और बाहरी स्क्रिप्टों के लोडिंग को अवरुद्ध करने के लिए सेट है (जो Puppeteer/Playwright कॉन्फ़िगरेशन के माध्यम से करना आसान है), तो वास्तविक ट्रैफ़िक का वजन कई गुना कम हो जाता है, और अपने प्रॉक्सी पर स्विच करने से बचत और भी अधिक स्पष्ट हो जाती है।

कारकों के लिए किस प्रकार का प्रॉक्सी कनेक्ट करना है

प्रॉक्सी के प्रकार का चयन सीधे इस बात पर निर्भर करता है कि कारक कौन सी वेबसाइट पार्स कर रहा है और यह बॉट-ट्रैफ़िक के प्रति कितना संवेदनशील है।

प्रॉक्सी का प्रकार	Apify में कब उपयोग करें	ब्लॉक होने का जोखिम
डेटा सेंटर प्रॉक्सी	कठोर एंटी-बॉट सुरक्षा के बिना वेबसाइटों, API जैसे स्रोतों, स्थिर कैटलॉग का पार्सिंग	मार्केटप्लेस पर उच्च
आवासीय प्रॉक्सी	Wildberries, Ozon, Amazon, Google Maps स्क्रैपर - वेबसाइटें जो डेटा सेंटर के IP का पता लगाती हैं	सही रोटेशन पर कम
मोबाइल प्रॉक्सी	Apify-कारकों के माध्यम से सोशल मीडिया (Instagram, TikTok) का पार्सिंग, जहां IP की अधिकतम "स्वच्छता" की आवश्यकता है	न्यूनतम

Wildberries और Ozon जैसे मार्केटप्लेस के पार्सिंग के लिए सबसे अच्छा विकल्प — आवासीय प्रॉक्सी, क्योंकि वे घरेलू प्रदाताओं के वास्तविक IP का उपयोग करते हैं और कठोर एंटी-बॉट फ़िल्टर के तहत शायद ही आते हैं। कम सुरक्षित स्रोतों (RSS, ओपन कैटलॉग, कॉर्पोरेट वेबसाइटें) के लिए डेटा सेंटर के IP पर्याप्त हैं - वे सस्ते और तेज़ हैं।

अपने प्रॉक्सी को कारक से कैसे कनेक्ट करें: कोड और सेटिंग

Apify पर अधिकांश कारक Crawlee (पूर्व Apify SDK) पर आधारित हैं और proxyConfiguration पैरामीटर के माध्यम से अपने प्रॉक्सी की सूची को पास करने का समर्थन करते हैं। अंतर्निहित पूल के बजाय, आपके प्रॉक्सी पते का एक ऐरे निर्दिष्ट किया जाता है।

import { Actor } from 'apify';
import { CheerioCrawler, ProxyConfiguration } from 'crawlee';

await Actor.init();

// useApifyProxy के बजाय अपने प्रॉक्सी की सूची पास करें
const proxyConfiguration = new ProxyConfiguration({
    proxyUrls: [
        'http://user:[email protected]:12345',
        'http://user:[email protected]:12345',
        'http://user:[email protected]:12345',
    ],
});

const crawler = new CheerioCrawler({
    proxyConfiguration,
    maxRequestsPerCrawl: 5000,
    async requestHandler({ request, $, log }) {
        const title = $('title').text();
        log.info(`पृष्ठ एकत्रित किया गया: ${title}`);
        await Actor.pushData({ url: request.url, title });
    },
});

await crawler.run(['https://www.wildberries.ru/catalog/...']);
await Actor.exit();

यदि आपका प्रॉक्सी पूल प्रदाता की ओर से रोटेशन का समर्थन करता है (इस तरह अधिकांश आवासीय सेवाएँ काम करती हैं, जिसमें सत्र या अनुरोध के आधार पर रोटेशन वाले पूल शामिल हैं), तो एक endpoint के साथ सत्र के पैरामीटर को URL में निर्दिष्ट करना पर्याप्त है - तब IP की रोटेशन स्वचालित रूप से होगी बिना सैकड़ों पते मैन्युअल रूप से सूचीबद्ध किए।

Python पर कारकों के लिए (उदाहरण के लिए, यदि आप Apify SDK के माध्यम से कस्टम स्क्रिप्ट चला रहे हैं Python के लिए) कनेक्शन कुछ इस तरह दिखता है:

import requests

proxies = {
    "http": "http://user:[email protected]:12345",
    "https": "http://user:[email protected]:12345",
}

response = requests.get(
    "https://www.ozon.ru/category/...",
    proxies=proxies,
    headers={"User-Agent": "Mozilla/5.0"},
    timeout=15
)

print(response.status_code)
print(response.text[:500])

एक महत्वपूर्ण बिंदु: अपने प्रॉक्सी पर स्विच करते समय सत्रों की रोटेशन और अनुरोधों के बीच देरी को मैन्युअल रूप से सेट करना सुनिश्चित करें - अंतर्निहित Apify प्रॉक्सी इसे स्वचालित रूप से करता था, जबकि बाहरी पूल को जोड़ने पर लॉजिक को कारक के कोड या क्रॉलर की कॉन्फ़िगरेशन में निर्दिष्ट करना आवश्यक है।

तुलनात्मक तालिका: अंतर्निहित बनाम अपना प्रॉक्सी

मानदंड	Apify प्रॉक्सी (अंतर्निहित)	अपना प्रॉक्सी पूल
कनेक्शन की गति	एक कोड पंक्ति, बिना सेटिंग के	एकीकरण के लिए 15-30 मिनट की आवश्यकता है
छोटे वॉल्यूम पर लागत	अधिक लाभदायक	दुर्लभ लॉन्च के लिए अधिक है
10-50 जीबी/माह से लागत	ट्रैफ़िक के अनुसार बढ़ता है	अधिक लाभदायक, अक्सर निश्चित मॉडल
IP-पूल की "स्वच्छता"	साझा पूल, अन्य ग्राहकों के साथ ओवरलैप की संभावना	आपके कार्यों के लिए समर्पित या रोटेटिंग पूल
भू-लक्षित रोटेशन पर नियंत्रण	स्वचालित, बिना सेटिंग के	आवश्यक पैटर्न के अनुसार मैन्युअल रूप से सेट किया जाता है

केस: मार्केटप्लेस का व्यावहारिक पार्सिंग

Wildberries पर कीमतों की निगरानी। विक्रेता जो दिन में कई बार 3000-10000 SKU की कीमतों को ट्रैक करते हैं, आमतौर पर अंतर्निहित Apify प्रॉक्सी से शुरू करते हैं, लेकिन पहले महीने के बाद बड़े ट्रैफ़िक बिल के साथ आवासीय प्रॉक्सी पर स्विच करते हैं। यह न केवल खर्चों को कम करने की अनुमति देता है, बल्कि यह भी देखने की अनुमति देता है कि कीमतें वास्तव में किसी विशेष शहर से खरीदार द्वारा कैसे देखी जाती हैं - यह महत्वपूर्ण है, क्योंकि Wildberries विभिन्न गोदामों और वितरण क्षेत्रों के आधार पर विभिन्न कीमतें दिखाता है।

Ozon पर उत्पाद कार्ड एकत्र करना। Ozon व्यवहारात्मक विश्लेषण का सक्रिय रूप से उपयोग करता है और समान अनुरोध पैटर्न पर IP को जल्दी से बैन करता है। एक कारक जो सामान्य Apify प्रॉक्सी पूल के माध्यम से काम करता है, अक्सर कैप्चा का सामना करता है क्योंकि समान IP समान कार्यों के लिए प्लेटफ़ॉर्म के अन्य उपयोगकर्ताओं द्वारा समानांतर में उपयोग किए जाते हैं। आवासीय प्रॉक्सी के समर्पित पूल पर स्विच करना, जिसमें अपनी रोटेशन लॉजिक और अनुरोधों के बीच यादृच्छिक देरी होती है, कैप्चा की आवृत्ति को कई बार कम करता है।

Google Maps और समीक्षाओं का पार्सिंग। उन कार्यों के लिए जहां भू-विशिष्टता की आवश्यकता नहीं होती (उदाहरण के लिए, देश भर में कंपनियों के संपर्क विवरण एकत्र करना), अक्सर पर्याप्त होता है डेटा सेंटर प्रॉक्सी — वे आवासीय प्रॉक्सी की तुलना में तेज़ होते हैं और यदि लक्षित वेबसाइट आक्रामक एंटी-बॉट सुरक्षा लागू नहीं करती है तो बड़े वॉल्यूम में काफी सस्ते होते हैं।

Apify-प्रोजेक्ट के लिए प्रॉक्सी का चयन करने की चेकलिस्ट

• कारक के लिए वास्तविक ट्रैफ़िक की मात्रा की गणना करें (अनुरोध × पृष्ठ का औसत वजन)
• इस मात्रा की तुलना अंतर्निहित Apify प्रॉक्सी की दर से करें - यदि यह नियमित रूप से 5-10 जीबी से अधिक है, तो विकल्प पर विचार करें
• यह निर्धारित करें कि लक्षित वेबसाइट बॉट्स के प्रति कितनी संवेदनशील है - Ozon जैसे मार्केटप्लेस आवासीय IP की आवश्यकता करते हैं
• यह जांचें कि क्या किसी विशेष क्षेत्र के लिए भू-लॉक की आवश्यकता है (Wildberries और Ozon के लिए प्रासंगिक)
• बाहरी पूल पर स्विच करते समय सत्रों की रोटेशन और अनुरोधों के बीच देरी को मैन्युअल रूप से सेट करें
• कारक में अनावश्यक संसाधनों (छवियाँ, फ़ॉन्ट, ट्रैकर्स) के लोडिंग को बंद करें - यह प्रॉक्सी के प्रकार की परवाह किए बिना ट्रैफ़िक की खपत को कम करेगा
• नई कॉन्फ़िगरेशन पर सभी कारकों को स्थानांतरित करने से पहले छोटे वॉल्यूम पर पूल का परीक्षण करें

निष्कर्ष

अंतर्निहित Apify प्रॉक्सी एक बार के कार्यों और छोटे परीक्षण लॉन्च के लिए सुविधाजनक शुरुआत है, लेकिन नियमित या औद्योगिक मार्केटप्लेस पार्सिंग के दौरान इसकी लागत तेजी से अपने प्रॉक्सी पूल पर खर्चों को पार कर जाती है। स्विच करना शुरू में थोड़ा अधिक सेटअप की आवश्यकता करता है - रोटेशन, सत्र और प्रॉक्सी कॉन्फ़िगरेशन को कारक के कोड में निर्दिष्ट करना - लेकिन 10-50 जीबी ट्रैफ़िक की मात्रा में पहले महीने में ही यह लाभदायक हो जाता है।

यदि आपके कारक Wildberries, Ozon या Amazon से डेटा एकत्र कर रहे हैं, तो आवासीय प्रॉक्सी पर विचार करें — वे ब्लॉक होने के जोखिम को कम करते हैं और कीमतों को सही ढंग से प्रदर्शित करने के लिए आवश्यक क्षेत्र निर्धारित करने की अनुमति देते हैं। कम सुरक्षित स्रोतों के लिए, जिनमें कठोर एंटी-बॉट नहीं है, अधिक बजट के लिए उपयुक्त हैं डेटा सेंटर प्रॉक्सी, और Apify-कारकों के माध्यम से मोबाइल ऐप और सोशल मीडिया का पार्सिंग करने के लिए मोबाइल प्रॉक्सी पर विचार करें — वे न्यूनतम जोखिम के साथ IP की अधिकतम "स्वच्छता" प्रदान करते हैं।