प्रॉक्सी प्रदाता की मूल्य सूची इस तरह से व्यवस्थित की गई है कि आप आपूर्तिकर्ताओं की तुलना करना आसान समझते हैं: एक जीबी की कीमत $1 है, जबकि दूसरे की $8 है - इसका मतलब है कि अंतर आठ गुना है। व्यावहारिक रूप से, एक डॉलर में जीबी खरीदने वाली टीम अक्सर उन लोगों की तुलना में अधिक भुगतान करती है जिन्होंने आठ डॉलर में खरीदी। इसका कारण मार्केटिंग या छिपी हुई फीस नहीं है: जीबी की कीमत बस उस इकाई का प्रतिनिधित्व नहीं करती है जिसमें आपका कार्य मापा जाता है। आप ट्रैफ़िक नहीं खरीदते - आप सफलतापूर्वक निकाले गए रिकॉर्ड खरीदते हैं, और इन दोनों मात्रा के बीच एक श्रृंखला होती है जो हर प्रोजेक्ट के लिए अलग होती है।
बिल उस चीज़ के लिए नहीं आता जिसे आपने गिना था
एक सामान्य दृश्य: आपने एक मिलियन उत्पाद कार्ड इकट्ठा करने की योजना बनाई, प्रति पृष्ठ 200 केबी का अनुमान लगाया, 200 जीबी का अनुमानित डेटा प्राप्त किया और बजट लगभग डेढ़ हजार डॉलर का था। एक महीने बाद, व्यक्तिगत खाते में - 900 जीबी और बिल तीन गुना अधिक। किसी ने आपको धोखा नहीं दिया: तीन चीजें बदल गई हैं जो अनुमान में नहीं थीं।
मूल्य और बिल के बीच का अंतर हमेशा एक ही घटकों में विभाजित होता है। यदि आप उन्हें अलग-अलग समझते हैं - तो आगे की गणना अपने आप बन जाएगी।
मूल्य और बिल के बीच तीन गुणक
1. पृष्ठ का वास्तविक वजन कितना है
200 केबी का अनुमान सिर से लिया गया है और कच्चे HTML से संबंधित है। वास्तविक वजन इस बात पर निर्भर करता है कि आप पृष्ठ को कैसे प्राप्त करते हैं। आधुनिक स्टोर का कच्चा HTML उत्तर आमतौर पर सैकड़ों किलोबाइट होता है। जबकि एक हेडलेस ब्राउज़र में पूरी तरह से रेंडर किया गया पृष्ठ सभी स्क्रिप्ट, फ़ॉन्ट, चित्र और एनालिटिक्स के साथ 2-5 एमबी का होता है। एक ही डेटा प्राप्त करने के दो तरीकों के बीच का अंतर मात्रा का होता है, और यह पूरी तरह से आपके ट्रैफ़िक पर पड़ता है।
उद्योग की गणनाएँ आमतौर पर अनुकूलित संग्रह के लिए 100-300 केबी और अनुकूलित नहीं होने के लिए 1-3 एमबी के बीच होती हैं। इन दोनों मोड के बीच - "थोड़ी बचत" नहीं होती है, बल्कि उसी प्रोजेक्ट पर दस गुना का अंतर होता है।
2. कितने उत्तर वास्तव में उपयोगी हैं
दूसरा गुणक - सफलता दर, उन अनुरोधों का अनुपात जो उपयोगी सामग्री लौटाते हैं। पृष्ठ के बजाय कैप्चा, 403, डेटा के बिना खाली ढांचा, स्टॉप पर रीडायरेक्ट - ये सभी भुगतान किए गए ट्रैफ़िक हैं, जिन्होंने कोई रिकॉर्ड नहीं दिया।
गणित सरल और निर्दयी है: अनुरोधों की संख्या = आवश्यक रिकॉर्ड ÷ सफलता दर। 95% सफलता पर एक मिलियन रिकॉर्ड के लिए 1.05 मिलियन अनुरोधों की आवश्यकता होती है। 70% पर - पहले से ही 1.43 मिलियन। 60% पर - 1.67 मिलियन। यानी 95% से 60% तक की सफलता में गिरावट अपने आप में बिल में लगभग 60% जोड़ती है, जबकि जीबी की कीमत बिल्कुल अपरिवर्तित रहती है।
3. रिट्राई, टाइमआउट और ओवरहेड ट्रैफ़िक
इसके ऊपर ओवरहेड ट्रैफ़िक की लागत होती है। यहाँ परिपक्व और जल्दी से इकट्ठा किए गए स्टैक के बीच का अंतर विशाल है: प्रबंधित प्लेटफार्मों में पुनःप्रेषण लगभग 0.1-3% ऊपर खा जाते हैं, जबकि स्वयं-लिखित Scrapy पाइपलाइन में - 5-15%, और यह हिस्सा पैमाने के साथ बढ़ता है। आक्रामक रिट्राई लॉजिक, जो एक ही डोमेन को लगातार पांच बार हिट करती है, आसानी से इन प्रतिशतों को दशकों में बदल देती है।
एक मीट्रिक जो झूठ नहीं बोलती
आइए सब कुछ एक मात्रा में एकत्रित करें। आपको जीबी के लिए डॉलर नहीं गिनने चाहिए, बल्कि सफलता से निकाले गए रिकॉर्ड की एक हजार की लागत:
- 1000 रिकॉर्ड की कीमत = (उत्तर का औसत वजन जीबी में ÷ सफलता दर) × (1 + रिट्राई का हिस्सा) × जीबी की कीमत × 1000
इस सूत्र की मूल्यता इस बात में है कि यह असंगत प्रस्तावों को संगत बनाती है। 40% बैन रेट वाला सस्ता पूल और 5% बैन रेट वाला महंगा पूल अंततः एक ही धुरी पर आ जाते हैं। यह उल्लेखनीय है कि पिछले वर्ष में इस मीट्रिक पर खुद प्रदाता भी आए हैं: उद्योग सामग्रियों में "सफलता दर पर विभाजित मूल्य" की परिभाषा अधिक बार सुनाई देती है, न कि जीबी की कच्ची कीमत।
यह पैसे में कैसे दिखता है
आइए एक मिलियन रिकॉर्ड, औसत पृष्ठ 500 केबी और निवासी ट्रैफ़िक $8/जीबी लेते हैं - बाजार का एक सामान्य मध्य। केवल सफलता को बदलते हैं:
- 95% सफलता - 1.05 मिलियन अनुरोध, लगभग 525 जीबी, लगभग $4,200
- 70% सफलता - 1.43 मिलियन अनुरोध, लगभग 715 जीबी, लगभग $5,720
- 60% सफलता - 1.67 मिलियन अनुरोध, लगभग 835 जीबी, लगभग $6,680
अंतर - लगभग $2,500 एक ही मूल्य पर। और अब हम दो प्रस्तावों की तुलना करते हैं, जो मूल्य सूची में आसमान और पृथ्वी की तरह दिखते हैं। प्रदाता A: $2/जीबी, लेकिन आपकी लक्ष्य पर 55% सफलता बनाए रखता है। प्रदाता B: $6/जीबी और 92% सफलता। समान 500 केबी और एक मिलियन रिकॉर्ड के साथ, A के पास लगभग 910 जीबी और $1,820 है, जबकि B के पास लगभग 545 जीबी और $3,270 है। यहाँ A वास्तव में सस्ता है, और यह एक ईमानदार परिणाम है: मूल्य में बड़े अंतर के साथ, कम सफलता हमेशा लाभ को नहीं खा जाती।
लेकिन A को 15% रिट्राई जोड़ें जबकि B को 3%, और हेडलेस-रेंडर जोड़ें, जिसे विशेष रूप से इसलिए शामिल किया गया है क्योंकि सस्ते पूल अक्सर सामग्री के बजाय स्टॉप देते हैं - और A का पृष्ठ का वजन 1.5 एमबी तक बढ़ जाता है जबकि B का 500 केबी पर रहता है। पुनर्गणना: A - लगभग 3.1 टीबी और $6,200, B - लगभग 560 जीबी और $3,370। स्थिति पलट गई। यही कारण है कि "किसके पास सस्ता जीबी है" का सवाल अपने आप में कोई अर्थ नहीं रखता: उत्तर आपके लक्ष्य, आपके स्टैक और आपके बैन रेट पर निर्भर करता है।
क्यों स्क्रैपिंग API को अलग तरह से माना जाता है - और उन्हें कैसे तुलना करें
एक अलग जटिलता यह है कि बाजार का एक हिस्सा वास्तव में जीबी नहीं बेचता। स्क्रैपिंग API और वेब अनब्लॉकर्स अनुरोधों के लिए पैसे लेते हैं, और उन्हें जटिलता के अनुसार चार्ज करते हैं। 2026 के लिए 1000 पृष्ठों की कीमत इस प्रकार है:
- सरल HTML: ScrapeOps लगभग $0.19, ScraperAPI लगभग $0.49, Scrape.do लगभग $0.58, ScrapingBee लगभग $0.66, Bright Data लगभग $1.00
- JS-रेंडरिंग के साथ (आमतौर पर एक के बजाय 5 क्रेडिट): ScrapeOps लगभग $0.95, Scrape.do लगभग $2.90, ScrapingBee लगभग $3.30, ScraperAPI लगभग $4.90, Bright Data लगभग $5.00
- एंटी-बॉट सुरक्षा वाले साइटें (10-25 क्रेडिट): ScrapeOps लगभग $1.90, Scrape.do लगभग $4.45, ScraperAPI लगभग $5.96, ScrapingBee लगभग $6.60, Bright Data $8-15 के बीच
एक प्रदाता के भीतर के अंतर पर ध्यान दें: ScraperAPI में सरल पृष्ठ और सुरक्षा वाले पृष्ठ के बीच का अंतर बारह गुना है। "प्रति अनुरोध" की दर जीबी के मुकाबले अधिक पूर्वानुमानित लगती है जब तक कि लक्ष्य पहली श्रेणी से तीसरी श्रेणी में नहीं जाता - और यह आपके हस्तक्षेप के बिना, साइट के मालिक के निर्णय से होता है।
यह सब एक ही धुरी पर लाया जाता है उसी सूत्र से: अनुरोध की लागत ÷ सफलता दर × 1000। इसके बाद "1000 JS-पृष्ठों के लिए $3.30" और "रहवासी ट्रैफ़िक के लिए $6 प्रति जीबी" प्रस्तावों को अंततः एक साथ रखा जा सकता है। स्वयं दृष्टिकोणों का अधिक व्यापक विश्लेषण - आधिकारिक API, तैयार डेटा सेट या अपना पार्सर - हमने अलग से चर्चा की; यहाँ केवल उनकी तुलना पैसे में महत्वपूर्ण है।
एक शाम में माप
सूत्र आपके अपने नंबरों के बिना बेकार है, और अच्छी खबर यह है कि उन्हें प्राप्त करना - कुछ घंटों का काम है। आपके वास्तविक URL पर 1000 अनुरोधों का पायलट सब कुछ आवश्यक देता है।
- लक्ष्यों का एक प्रतिनिधि नमूना लें - मुख्य पृष्ठ नहीं, बल्कि वही उत्पाद कार्ड, श्रेणियाँ और परिणाम जो आप उत्पादन में इकट्ठा करेंगे। मुख्य पृष्ठ पर सफलता कुछ नहीं बताती।
- चार काउंटर को अलग से रिकॉर्ड करें: डेटा के साथ वैध उत्तर, HTTP त्रुटियाँ, कैप्चा और चुनौतियाँ, "खाली दो सौ" - कोड 200 बिना आवश्यक सामग्री के। अंतिम श्रेणी सबसे कपटी है: औपचारिक रूप से यह सफलता है, वास्तव में - भुगतान किया गया कचरा।
- प्रदाता की सांख्यिकी से वास्तविक ट्रैफ़िक का मात्रा निकालें, न कि अपने अनुमानों से। अनुमानित और वास्तविक पृष्ठ के वजन के बीच का अंतर आमतौर पर उस पायलट की पहली खोज होती है।
- रिट्राई को एक अलग पंक्ति के रूप में गिनें, न कि उन्हें कुल अनुरोधों में घुलने दें।
- दूसरे प्रदाता पर उसी दिन दोहराएँ। सफलता एंटी-बॉट सिस्टम के मूड के साथ तैरती है, और एक सप्ताह में फैले माप की तुलना नहीं की जा सकती।
यदि पायलट ने कम सफलता दिखाई, तो प्रदाता को बदलने में जल्दी न करें: पहले कारण को समझना उचित है। समस्या के सामान्य स्रोतों का विश्लेषण कम सफलता दर वाले प्रॉक्सी का निदान कैसे करें पर सामग्री में संकलित किया गया है, और समान मीट्रिक की नियमित निगरानी को एक प्रवृत्ति में डालना चाहिए। अक्सर समस्या हेडर, समय या ग्राहक के TLS फिंगरप्रिंट में होती है, न कि IP की गुणवत्ता में।
चार लीवर जो संख्या को छूट से अधिक बढ़ाते हैं
जब मीट्रिक की गणना की जाती है, तो यह स्पष्ट होता है कि यह सबसे संवेदनशील कहाँ है। मूल्य पर 10% की छूट - उपलब्ध लीवर में सबसे कमजोर है।
उत्तर का वजन। सबसे तेज़ लाभ। केवल वही लें जो आवश्यक है, ट्रैफ़िक को 2-10 गुना कम करता है। यदि हेडलेस ब्राउज़र अनिवार्य है, तो अनुरोधों को पकड़ने के स्तर पर चित्र, फ़ॉन्ट, मीडिया और तृतीय-पक्ष स्क्रिप्ट को अवरुद्ध करें - सामग्री इससे प्रभावित नहीं होती, और मात्रा कई गुना घट जाती है। संकुचन और ETag पर शर्तीय अनुरोधों को सक्षम करें: पृष्ठ, जो पिछले दौरे से नहीं बदला है, आपको 304 का उत्तर देना चाहिए, न कि मेगाबाइट।
सफलता। 60-95% की सफलता के हर दस प्रतिशत अंक में - यह बिल के दशकों का अंतर है। यहाँ पैसे नहीं, बल्कि इंजीनियरिंग काम करती है: ग्राहक का सही फिंगरप्रिंट, उचित गति, विशिष्ट लक्ष्य के लिए सही प्रकार का IP।
प्रॉक्सी के प्रकारों का मिश्रण। सभी ट्रैफ़िक को निवासी पूल के माध्यम से चलाना - सबसे सामान्य और सबसे महंगी गलती है। लक्ष्यों का एक महत्वपूर्ण हिस्सा डेटा सेंटर-प्रॉक्सी के माध्यम से अच्छी तरह से दिया जाता है, जो एक क्रम में सस्ते होते हैं; रहवासी पते का उपयोग केवल तब करना उचित है जब वास्तव में इसकी आवश्यकता हो। लक्ष्य के अनुसार रूटिंग, न कि आदत के अनुसार, प्रॉक्सी खर्च को 60-70% तक कम करती है।
रिट्राई की अनुशासन। एक्सपोनेंशियल डिले, प्रयासों की छत, उन कोडों पर पुनरावृत्ति से इनकार करना जो पुनरावृत्ति से ठीक नहीं होते। 3% और 15% ओवरहेड ट्रैफ़िक के बीच का अंतर सावधानीपूर्वक बंडलिंग और इसके अभाव के बीच का अंतर है। इस मुद्दे का व्यावहारिक पक्ष प्रॉक्सी के माध्यम से ट्रैफ़िक खर्च के अनुकूलन पर सामग्री में विश्लेषित किया गया है।
जो ट्रैफ़िक के बाहर रह जाता है
खर्चों की पूरी तस्वीर प्रॉक्सी बिल से व्यापक है, और इसे "खुद इकट्ठा करें" और "तैयार खरीदें" के बीच चयन करते समय याद रखना चाहिए। एक मिलियन पृष्ठों के मासिक प्रोजेक्ट के लिए, स्व-होस्टेड समाधान के लिए उद्योग के अनुमान इस प्रकार हैं: निवासी ट्रैफ़िक $500-1500, इंजीनियरिंग समय $1000-2000, बुनियादी ढाँचा $300-500। कुल मिलाकर $2000-4400 प्रति माह - और यह स्वयं व्यवसाय की लॉजिक लिखने से पहले। यदि इंजीनियर की दर लगभग $100 प्रति घंटा है, तो कुछ दिन जो टूटे हुए चयनकर्ताओं को ठीक करने में खर्च होते हैं, वे प्रॉक्सी के लिए मासिक बिल से अधिक महंगे होते हैं।
यह आत्म-इकट्ठा करने के खिलाफ तर्क नहीं है - यह तर्क है कि इंजीनियरिंग घंटों को बजट की एक पंक्ति के रूप में गिनना चाहिए, जैसे जीबी। मूल्य निर्धारण मॉडल को भी जानबूझकर चुनना चाहिए: स्थिर लंबे सत्रों के लिए, समर्पित IP के लिए भुगतान अक्सर प्रति मेगाबाइट की तुलना में अधिक लाभदायक होता है।
संक्षेप में
जीबी की कीमत डेटा की कीमत नहीं है, बल्कि चार गुणकों में से एक की कीमत है। प्रदाताओं की तुलना करना उसी तरह है जैसे कि बिना ईंधन की खपत के प्रति लीटर गैसोलीन की कीमत पर कार चुनना। तुलना की कार्यात्मक इकाई एक ही है: आपकी लक्ष्यों पर, आपके उत्तर के वजन, आपकी सफलता और आपके रिट्राई के साथ, सफलतापूर्वक निकाले गए रिकॉर्ड की एक हजार की लागत क्या है।
इसकी गणना एक हजार अनुरोधों के पायलट पर करें, इससे पहले कि आप वार्षिक दर पर साइन अप करें। अक्सर यह पता चलता है कि मूल्य सूची में सबसे सस्ता प्रस्ताव आपको सभी अन्य से अधिक महंगा पड़ता है - और सबसे बड़ा बचत का अवसर छूट पर बातचीत में नहीं, बल्कि कोड की बीस पंक्तियों में है, जो चित्रों को लोड करने से रोकती हैं।
```