प्रश्न "एक मिलियन पृष्ठों को स्क्रैप करने की लागत कितनी है" लगभग हमेशा बेकार उत्तर प्राप्त करता है: "यह साइट पर निर्भर करता है"। यह वास्तव में निर्भर करता है - लेकिन रहस्यमय नहीं। लागत चार मापनीय घटकों में बंटती है, और इनमें से किसी भी एक को पहले से ही गिनना संभव है, इससे पहले कि ट्रैफ़िक का बिल आए। नीचे कार्यात्मक अंकगणित है: गीगाबाइट्स कहाँ से आते हैं, "प्रति जीबी" मूल्य आपके बजट के बारे में कुछ नहीं बताता, और कौन से कारक वास्तव में लागत को कई गुना कम कर सकते हैं।
मुख्य मीट्रिक - प्रति सफल अनुरोध की कीमत, न कि प्रति गीगाबाइट की कीमत
प्रदाताओं की प्रतिस्पर्धा प्रदर्शनी में संख्याओं में होती है: $1/जीबी, $3/जीबी, $0.30 प्रति हजार अनुरोध। ये संख्याएँ एक-दूसरे की तुलना में असंगत हैं, जब तक कि आप उन्हें एक ही माप में नहीं लाते - एक सफल डेटा निकासी की लागत। बाजार की समीक्षाएँ इसी पर जोर देती हैं: "प्रति जीबी" और "प्रति 1000 अनुरोध" के कच्चे आंकड़े पृष्ठ के वजन और सफल उत्तरों के अनुपात को ध्यान में रखे बिना तुलना नहीं की जा सकती।
योजना के लिए पर्याप्त सूत्र:
बजट = (लक्षित पृष्ठों की संख्या ÷ सफलता का अनुपात) × औसत पृष्ठ का वजन × प्रति जीबी की कीमत + निश्चित खर्च
पहले भाग में तीन चर और दूसरे में एक। आइए प्रत्येक को समझते हैं।
घटक 1: एक पृष्ठ का वजन कितना है
यह सबसे कम आंका गया चर है। यहाँ का अंतर प्रतिशत नहीं है, बल्कि कई गुना है, और यह इस पर निर्भर करता है कि आप पृष्ठ को कैसे प्राप्त करते हैं:
- सामान्य HTTP अनुरोध बिना रेंडरिंग के - 50–150 केबी। आप केवल HTML दस्तावेज़ प्राप्त करते हैं।
- हेडलैस ब्राउज़र में पूर्ण रेंडरिंग - 100–300 केबी सावधानीपूर्वक सेटिंग के साथ।
- ब्राउज़र "जैसा है", बिना फ़िल्टर के - 0.2–1 एमबी और उससे अधिक। आप चित्रों, फ़ॉन्ट्स, विज्ञापन स्क्रिप्ट, एनालिटिक्स और वीडियो प्लेयर के लिए भुगतान करते हैं, जिनकी आपको आवश्यकता नहीं है।
पहले और तीसरे बिंदु के बीच का अंतर एक ही पृष्ठ पर बीस गुना तक हो सकता है। एक मिलियन पृष्ठों के लिए, यह 50 जीबी और 1000 जीबी ट्रैफ़िक के बीच का अंतर है।
घटक 2: प्रॉक्सी के प्रकारों के अनुसार प्रति गीगाबाइट की कीमत
2026 के लिए प्रासंगिक बाजार के गलियारे इस प्रकार हैं:
- डेटा सेंटर - $0.50–3 प्रति जीबी या IP के लिए मासिक शुल्क।
- रेसिडेंशियल - $1–8 प्रति जीबी। मूल्य गुणवत्ता का मानक: लगभग $1/जीबी - एक उत्कृष्ट प्रस्ताव, $3–4/जीबी - बाजार का मध्य, $5–8/जीबी - कॉर्पोरेट खंड।
- मोबाइल (4G/5G) - $2–15 प्रति जीबी।
- ISP / स्थिर रेसिडेंशियल - $1.5–5 प्रति IP प्रति माह।
- तैयार स्क्रैपिंग API - $0.30–12 प्रति 1000 अनुरोध।
सबसे सस्ता लेने का प्रलोभन स्पष्ट है, लेकिन यह अगले घटक पर टूट जाता है।
घटक 3: सफलता का अनुपात - बजट का छिपा हुआ गुणांक
हर अवरुद्ध अनुरोध के लिए आप फिर भी भुगतान करते हैं: ट्रैफ़िक खर्च हो गया, डेटा नहीं है। इसलिए वास्तविक अनुरोधों की संख्या लक्षित के बराबर होती है, जिसे सफलता के अनुपात से विभाजित किया जाता है, और गुणांक गैर-रेखीय रूप से बढ़ता है:
- सफलता 95% - 5% अधिक भुगतान;
- सफलता 70% - आपको प्रति मिलियन लक्षित रिकॉर्ड के लिए लगभग 400 हजार अनुरोध अधिक चाहिए;
- सफलता 60% - अनुरोधों की आवश्यकता 2.5 गुना अधिक है।
यही कारण है कि $0.50/जीबी पर सस्ते डेटा सेंटर की लागत एक सुरक्षित साइट पर $3/जीबी के रेसिडेंशियल से अधिक होती है: Cloudflare, DataDome और Akamai डेटा सेंटर के ASN को डिफ़ॉल्ट रूप से चिह्नित करते हैं, और आप अस्वीकृति के प्रवाह के लिए भुगतान करते हैं। जुलाई 2026 के अनुमानों के अनुसार, मोबाइल प्रॉक्सी आधुनिक एंटी-बॉट सिस्टम के खिलाफ 90–95% सफलता बनाए रखते हैं - जहाँ डेटा सेंटर बिल्कुल भी पास नहीं होता।
व्यावहारिक निष्कर्ष: प्रॉक्सी का प्रकार मूल्य के अनुसार नहीं, बल्कि लक्ष्य के अनुसार चुना जाता है। सरल निर्देशिकाएँ और खुले API - डेटा सेंटर। स्टोर, सोशल मीडिया, सुरक्षा के साथ एग्रीगेटर्स - रेसिडेंशियल। सबसे आक्रामक प्लेटफार्म और मोबाइल साइटों के संस्करण - मोबाइल।
एक मिलियन पृष्ठों के लिए तीन परिदृश्य
संख्याओं को एक साथ लाते हैं। शर्त समान है: एक मिलियन उपयोगी पृष्ठ।
परिदृश्य ए - "अनुशासित"। HTTP-क्लाइंट बिना ब्राउज़र के, प्रति पृष्ठ 100 केबी, रेसिडेंशियल $2/जीबी, सफलता 95%। कुल: 1.05 मिलियन अनुरोध × 100 केबी ≈ 105 जीबी ≈ $210.
परिदृश्य बी - "टिपिकल"। हेडलैस ब्राउज़र संसाधनों के फ़िल्टरिंग के साथ, प्रति पृष्ठ 250 केबी, रेसिडेंशियल $3/जीबी, सफलता 85%। कुल: 1.18 मिलियन × 250 केबी ≈ 295 जीबी ≈ $885.
परिदृश्य सी - "बिना सेटिंग"। ब्राउज़र सब कुछ लोड करता है, प्रति पृष्ठ 800 केबी, रेसिडेंशियल $5/जीबी, सफलता 65%। कुल: 1.54 मिलियन × 800 केबी ≈ 1230 जीबी ≈ $6150.
ए और सी के बीच का अंतर लगभग तीस गुना है, जबकि आउटपुट पर परिणाम वही है। कोई भी चर असामान्य नहीं था: यह सभी सामान्य डिफ़ॉल्ट सेटिंग्स के खिलाफ सामान्य सावधानी है। संदर्भ के लिए: एक औसत आकार की कंपनी के लिए उद्योग के अनुमानों के अनुसार, जो विभिन्न साइटों पर प्रति माह एक मिलियन अनुरोध संसाधित करती है, $1000–3000 प्रति माह का खर्च आता है - यानी परिदृश्य बी और सी के बीच।
क्या ट्रैफ़िक में शामिल नहीं है, लेकिन बिल में शामिल है
प्रॉक्सी - आमतौर पर सबसे बड़ा, लेकिन एकमात्र लेख नहीं:
- कैप्चा। समाधान की लागत $0.50–3 प्रति हजार। यदि एक मिलियन में 5% पृष्ठों पर कैप्चा है, तो यह 50 हजार समाधान - $25–150 है। सहनीय। यदि 50% है - तो यह पहले से ही $250–1500 है, और प्रश्न तकनीकी नहीं रह जाता।
- इन्फ्रास्ट्रक्चर। $20–200 प्रति माह छोटे वॉल्यूम पर; $200–500 छोटे पैमाने पर और $3000–10,000 वास्तव में बड़े प्रवाह पर।
- स्टोरेज और आउटगोइंग ट्रैफ़िक। वस्तु भंडारण के लिए प्रति माह लगभग $0.023 प्रति जीबी और बड़े क्लाउड पर आउटगोइंग के लिए $0.09 प्रति जीबी - सैकड़ों गीगाबाइट्स पर यह नगण्य है, लेकिन दर्जनों टेराबाइट्स पर यह ध्यान देने योग्य है।
- लोग। सबसे महंगा लेख, जिसे भुला दिया जाता है। प्रोडक्शन-रेडी पार्सर - यह 8–12 सप्ताह का विकास है, फिर 4–8 घंटे प्रति माह साधारण साइटों पर और 20+ घंटे सुरक्षित साइटों पर। $75/घंटा की दर पर, सुरक्षित स्रोत का समर्थन $1500+ प्रति माह है - जो परिदृश्य बी में सभी ट्रैफ़िक से अधिक है।
पाँच कारक जो वास्तव में लागत को कम करते हैं
- जहाँ ब्राउज़र की आवश्यकता नहीं है, उसे हटा दें। यदि डेटा HTML में या आंतरिक API में है - रेंडरिंग अनावश्यक है। यह मुख्य कारक है: 60–80% ट्रैफ़िक की कमी।
- यदि ब्राउज़र आवश्यक है, तो संसाधनों को ब्लॉक करें। चित्र, फ़ॉन्ट, मीडिया, विज्ञापन और एनालिटिक्स स्क्रिप्ट को एक नियम के साथ अनुरोधों को पकड़कर बंद किया जा सकता है और यह कई गुना बचत देता है। तकनीकों का विस्तृत विश्लेषण - प्रॉक्सी के माध्यम से ट्रैफ़िक खर्च को अनुकूलित करने में।
- लक्ष्यों को जटिलता के अनुसार क्रमबद्ध करें। पूरे सूची को सबसे महंगे चैनल के माध्यम से चलाना - लागत का सबसे सामान्य गलती है। स्रोतों को "खुले", "मध्यम सुरक्षित" और "आक्रामक" में विभाजित करें और प्रत्येक को अपनी प्रॉक्सी प्रकार निर्धारित करें।
- जानबूझकर रिट्राई नीति बनाएं। असफलता पर तीन बार अंधाधुंध पुनरावृत्ति समस्या लक्ष्यों पर ट्रैफ़िक को तिगुना कर देती है। केवल उन उत्तर कोडों को दोहराना चाहिए जहाँ पुनरावृत्ति का अर्थ है, और एक अलग IP के साथ, न कि उसी के साथ।
- कैश करें और एक ही चीज़ को दो बार न लें। सूचियाँ, पृष्ठांकन, निर्देशिका के माध्यम से पुनरावृत्तियाँ - यहाँ बजट के कई प्रतिशत खो सकते हैं।
कब तैयार API सस्ता है, और कब अपना स्टैक
पूर्ण स्वामित्व की लागत की गणना करनी चाहिए, न कि "प्रति जीबी" की पंक्ति। बाजार के मानक: 100 हजार पृष्ठों के लिए अपना पार्सर $700–1650 में आता है, जबकि उसी मात्रा के लिए तैयार API - $50–300। बड़े आंकड़ों पर चित्र बदलता है: प्रति माह 1 मिलियन अनुरोध API के माध्यम से $250–2490 की लागत आती है, जबकि अपनी अवसंरचना का निर्माण 10 TB प्रति माह के लिए लगभग $230,000 प्रति वर्ष का मूल्यांकन किया जाता है, जबकि सेवा खरीदने के लिए $100–150,000।
कच्चा नियम: जब तक मात्रा छोटी है और साइटें अधिक हैं - तैयार समाधान लें, आप किसी और के समर्थन के लिए भुगतान कर रहे हैं। जब मात्रा स्थिर होती है, लक्ष्य कम होते हैं और वे अच्छी तरह से अध्ययन किए जाते हैं - प्रॉक्सी पर अपना स्टैक सस्ता है, क्योंकि आप उस रेंडरिंग के लिए प्रीमियम भुगतान करना बंद कर देते हैं, जिसकी आपको आवश्यकता नहीं है। दोनों दृष्टिकोणों की विस्तृत तुलना - प्रॉक्सी बनाम स्क्रैपिंग API और वेब अनब्लॉकर में।
क्या 2026 के पतन में बदलता है
एक ऐसा कारक है जो गणनाओं को ऊपर की ओर धकेल देगा। 15 सितंबर 2026 से, Cloudflare नए डोमेन को डिफ़ॉल्ट रूप से प्रशिक्षण और एजेंट श्रेणियों को ब्लॉक करने पर ले जाएगा - विज्ञापन वाले पृष्ठों पर; परिवर्तन नए ग्राहकों, मौजूदा ग्राहकों की नई साइटों और सभी मुफ्त योजना के ग्राहकों को प्रभावित करते हैं। खोज क्रॉलर को अनुमति दी जाती है। साथ ही, पे पर क्रॉल पे पर यूज़ में बदल जाता है: प्रकाशक को पृष्ठ को क्रॉल करने के तथ्य के लिए नहीं, बल्कि AI के उत्तर में सामग्री के उपयोग के लिए पैसे मिलते हैं।
संदर्भ सरल है: Cloudflare के अनुसार, उनके नेटवर्क में क्रॉलर के अनुरोधों का 52% अब AI के प्रशिक्षण के लिए है, जबकि 2025 की गर्मियों में यह 22% था। नेटवर्क बंद हो रहा है, और बजट के लिए व्यावहारिक अर्थ यह है - सुरक्षित स्रोतों पर सफलता का अनुपात औसतन कम होगा, और इसलिए तीसरे घटक से छिपा हुआ बजट गुणांक अधिक महत्वपूर्ण हो जाएगा। इसे योजना में शामिल करें, न कि बिल पर जानें।
संक्षेप में
स्क्रैपिंग की लागत - यह प्रति गीगाबाइट की कीमत नहीं है, बल्कि पृष्ठ के वजन, चैनल की कीमत और सफलता के अनुपात की विपरीत मात्रा का गुणनफल है। एक मिलियन पृष्ठों पर सावधानीपूर्वक और लापरवाह पाइपलाइन के बीच का अंतर प्रतिशत में नहीं, बल्कि मात्रा के क्रम में मापा जाता है। प्रदाता के साथ छूट के लिए सौदेबाजी करने से पहले, यह गणना करें कि आप उन चित्रों को लोड करने के लिए कितना भुगतान कर रहे हैं, जिन्हें आप स्क्रैप नहीं कर रहे हैं, और उन पुनरावृत्तियों के लिए जो नहीं होनी चाहिए थीं। आमतौर पर वहाँ अधिक पैसे होते हैं, जितना कि किसी भी छूट में।
```