← Back to Blog

विश्वभर में सरकारी खरीद और टेंडरों का पार्सिंग: प्रॉक्सी की आवश्यकता और बैन से कैसे बचें

सरकारी खरीद के पोर्टलों द्वारा डेटा संग्रह को स्वचालित रूप से ब्लॉक करने के कारणों का विस्तृत विश्लेषण और विभिन्न देशों में टेंडर की निगरानी के लिए आवश्यक प्रॉक्सी।

📅November 1, 2026

रूस, कजाकिस्तान, यूरोपीय संघ और अमेरिका में टेंडरों की निगरानी करने वाली कंपनियों को एक न एक दिन एक ही समस्या का सामना करना पड़ता है: सरकारी खरीद पोर्टल अचानक डेटा देना बंद कर देता है, कैप्चा आ जाता है या IP पता बैन में चला जाता है। ऐसा इसलिए होता है क्योंकि सरकारी प्लेटफार्म सक्रिय रूप से स्वचालित जानकारी संग्रह से सुरक्षा कर रहे हैं। आइए समझते हैं कि ऐसा क्यों होता है, कौन से देश विशेष रूप से ट्रैफिक को कड़ी सुरक्षा देते हैं और टेंडरों की स्थिर निगरानी के लिए किस प्रकार की प्रॉक्सी चुननी चाहिए।

सरकारी खरीद पोर्टल डेटा संग्रह को क्यों ब्लॉक करते हैं

औपचारिक रूप से अधिकांश देशों में सरकारी खरीद की जानकारी सार्वजनिक है — यह बजट खर्चों की पारदर्शिता के लिए कानून का एक आवश्यक तत्व है। लेकिन "सार्वजनिक" का मतलब "स्वचालित संग्रह के लिए उपलब्ध नहीं है" नहीं है। जैसे कि रूस की ईआईएस (zakupki.gov.ru), कजाकिस्तान का पोर्टल goszakup.gov.kz, यूरोपीय TED (Tenders Electronic Daily) या अमेरिकी SAM.gov का डिज़ाइन मैन्युअल ब्राउज़र के माध्यम से देखने के लिए है, न कि स्क्रिप्ट से प्रति मिनट हजारों अनुरोधों के लिए।

जब एक IP पते से असामान्य गतिविधि होती है — प्रति सेकंड दर्जनों अनुरोध, समान User-Agent, क्लिक के बीच कोई विराम नहीं — सुरक्षा प्रणाली (अधिकतर Cloudflare, DataDome या सरकारी विभाग की अपनी विकसित प्रणाली) इसे बॉट के रूप में पहचानती है। इसके बाद तीन संभावित परिदृश्य हो सकते हैं: कैप्चा प्रदर्शित करना, 15-60 मिनट के लिए IP का अस्थायी बैन या सबनेट पर पूर्ण बैन। किसी कंपनी के लिए, जो टेंडरों की निगरानी पर व्यवसाय स्थापित करती है, इनमें से कोई भी परिदृश्य का मतलब है छूटे हुए खरीद और खोए हुए पैसे।

अतिरिक्त कठिनाई यह है कि कई टेंडर प्लेटफार्मों को ईसीपी (इलेक्ट्रॉनिक डिजिटल सिग्नेचर) के माध्यम से प्रमाणीकरण की आवश्यकता होती है या डेटा केवल ब्राउज़र के जावास्क्रिप्ट परीक्षण को पास करने के बाद ही प्रदान किया जाता है। इसका मतलब है कि केवल IP बदलना पर्याप्त नहीं है — वास्तविक उपयोगकर्ता के व्यवहार की नकल करना आवश्यक है जिसमें वास्तविक ब्राउज़र वातावरण शामिल है।

देशों के लिए खुले डेटा: जहां संग्रह करना सबसे कठिन है

सुरक्षा का स्तर और API की उपलब्धता देश के आधार पर बहुत भिन्न होती है। हम प्रमुख न्यायालयों का विश्लेषण करते हैं, जिनके साथ अक्सर खरीद और टेंडर विशेषज्ञ काम करते हैं।

देश / क्षेत्र पोर्टल सुरक्षा का स्तर विशेषताएँ
रूस zakupki.gov.ru, B2B-Center मध्यम-उच्च आधिकारिक API है, लेकिन सीमाओं और पंजीकरण के साथ
कजाकिस्तान goszakup.gov.kz मध्यम बड़े मात्रा में अनुरोधों पर अक्सर टाइम-आउट
यूरोपीय संघ TED (ted.europa.eu) निम्न-मध्यम XML/CSV में ओपन एक्सपोर्ट, लेकिन कुछ डेटा पर भू-सीमाएँ
संयुक्त राज्य अमेरिका SAM.gov उच्च कड़ी ब्राउज़र जांच, पंजीकरण और API कुंजी की आवश्यकता
यूक्रेन Prozorro निम्न पूर्ण रूप से ओपन API, प्रॉक्सी की आवश्यकता कम होती है
ब्रिटेन Contracts Finder, Find a Tender मध्यम ब्रिटेन से बाहर के अनुरोधों पर भू-प्रतिबंध

तालिका से मुख्य निष्कर्ष: यहां तक कि जहां औपचारिक रूप से ओपन API है, वहां अक्सर भू-सीमाएँ या एक IP से अनुरोधों की संख्या पर कड़ी सीमाएँ होती हैं। यदि आप ब्रिटेन से डेटा एकत्र कर रहे हैं, जबकि आप शारीरिक रूप से किसी अन्य देश में हैं, तो अनुरोध को बॉट की जांच से पहले ही अस्वीकार किया जा सकता है — बस इसलिए कि IP ब्रिटिश नहीं है। यहाँ प्रॉक्सी की भूमिका शुरू होती है: वे आवश्यक भू-स्थान से डेटा अनुरोध करने और दर्जनों पते के बीच लोड को वितरित करने की अनुमति देते हैं।

टेंडर प्लेटफार्मों के लिए किस प्रकार की प्रॉक्सी की आवश्यकता है

सरकारी खरीद की निगरानी के लिए "हर स्थिति के लिए एक प्रकार की प्रॉक्सी" का सामान्य समाधान उपयुक्त नहीं है। चयन इस बात पर निर्भर करता है कि आप किस प्लेटफॉर्म के साथ काम कर रहे हैं और इसकी सुरक्षा कितनी आक्रामक है।

प्रॉक्सी का प्रकार कब उपयोग करें ब्लॉक होने का जोखिम
डेटा सेंटर प्रॉक्सी खुले API और कमजोर सुरक्षा वाले पोर्टल (Prozorro, आंशिक रूप से TED) मध्यम — डेटा सेंटर के सबनेट कभी-कभी पहले से ही काले सूचियों में होते हैं
रिहायशी प्रॉक्सी Cloudflare/DataDome, भू-सीमाओं वाले प्लेटफार्म (SAM.gov, Contracts Finder) निम्न — IP सामान्य घरेलू उपयोगकर्ताओं के रूप में दिखाई देते हैं
मोबाइल प्रॉक्सी विशिष्ट टेंडरों की जांच, अनुरोधों की कम आवृत्ति न्यूनतम, लेकिन ट्रैफिक की लागत अधिक है

प्रायोगिक रूप से, अधिकांश कंपनियाँ जो एक साथ कई देशों में टेंडरों की निगरानी करती हैं, एक संयोजन का उपयोग करती हैं: खुले API वाले प्लेटफार्मों के लिए डेटा सेंटर IP और गंभीर सुरक्षा या सटीक भू-स्थान की आवश्यकता वाले स्थानों के लिए रिहायशी प्रॉक्सी (उदाहरण के लिए, अनुरोध को लंदन से ही आना चाहिए, न कि यूरोप के किसी अन्य बिंदु से)। रिहायशी प्रॉक्सी विशेष रूप से उपयोगी होती हैं, जब पोर्टल केवल IP की जांच नहीं करता है, बल्कि समय क्षेत्र, ब्राउज़र की भाषा और अनुरोध के भू-स्थान की संगति की भी जांच करता है — इन पैरामीटरों का असंगति तुरंत स्वचालित ट्रैफिक का संकेत देती है।

डेटा संग्रह की सेटिंग: व्यावहारिक योजना

उन खरीद विश्लेषकों के लिए, जो कोड नहीं लिखते हैं, लेकिन ठेकेदारों या तैयार सेवाओं के माध्यम से डेटा संग्रह की प्रक्रिया का प्रबंधन करते हैं, सेटिंग की लॉजिक को समझना महत्वपूर्ण है, भले ही वे सीधे प्रोग्रामिंग से न जुड़ें। यहाँ एक चरण-दर-चरण योजना है, जिसका उपयोग टेंडर विभाग करते हैं:

  1. लक्षित पोर्टल निर्धारित करें। उन देशों के प्लेटफार्मों की सूची बनाएं, जिन्हें निगरानी करने की आवश्यकता है, और जांचें कि क्या उनके पास आधिकारिक API है — यह प्रॉक्सी पर लोड को कम करता है।
  2. भू-आवश्यकताओं की जांच करें। यदि प्लेटफ़ॉर्म अपनी देश से बाहर के अनुरोधों को ब्लॉक करता है (जैसे ब्रिटिश Contracts Finder), तो बजट में आवश्यक भू-स्थान के साथ रिहायशी प्रॉक्सी शामिल करें।
  3. IP रोटेशन सेट करें। नियमित डेटा संग्रह (दिन में कई बार) के लिए, हर 5-15 मिनट में IP का स्वचालित परिवर्तन आवश्यक है, ताकि एक पते से अनुरोधों की सीमाएँ न बढ़ें।
  4. अनुरोधों के बीच विराम जोड़ें। मानव व्यवहार की नकल करना — पृष्ठों पर पहुँचने के बीच 3-10 सेकंड की देरी — एंटी-बॉट सिस्टम के सक्रिय होने की संभावना को कम करता है।
  5. कैप्चा और बैन की निगरानी करें। कैप्चा की संख्या में वृद्धि के बारे में सूचनाएँ सेट करें — यह संकेत है कि वर्तमान IP पूल "गर्म" हो गया है और नए पते पर रोटेशन की आवश्यकता है।
  6. अनुरोधों का इतिहास रखें। प्रत्येक पोर्टल के लिए सफल और अवरुद्ध अनुरोधों का लॉग रखें — यह समझने में मदद करता है कि किस प्रकार की प्रॉक्सी किसी विशेष प्लेटफार्म के लिए बेहतर काम करती है।

व्यवहार में सलाह:

यदि आप एक साथ 3-4 देशों से टेंडरों की निगरानी कर रहे हैं, तो सभी प्लेटफार्मों के लिए एक ही IP पूल का उपयोग करने की कोशिश न करें। पहले से देशों के अनुसार प्रॉक्सी को विभाजित करें — यह इस बात के जोखिम को कम करता है कि एक पोर्टल पर बैन "दूसरे" के लिए IP की प्रतिष्ठा को प्रभावित करेगा।

टेंडरों की निगरानी के लिए उपकरण

कंपनियाँ शायद ही कभी शून्य से पार्सर लिखती हैं — वे अक्सर तैयार समाधानों का उपयोग करती हैं या कई उपकरणों को संयोजित करती हैं। यहाँ सरकारी खरीद के डेटा संग्रह के लिए उपयोग की जाने वाली मुख्य श्रेणियाँ हैं:

  • तैयार टेंडर पार्सर — Tenderplan, Контур.Закупки, B2B-Center जैसे सेवाएँ निगरानी — पहले से ही कैप्चा को बायपास करने की लॉजिक शामिल है, लेकिन किसी विशेष पोर्टल के लिए सेटिंग में स्केलिंग के लिए प्रॉक्सी की आवश्यकता हो सकती है।
  • No-code पार्सिंग प्लेटफार्म — Octoparse, ParseHub डेटा संग्रह को बिना कोड लिखे दृश्य इंटरफेस के माध्यम से सेट करने की अनुमति देते हैं, जिसमें बाहरी प्रॉक्सी को जोड़ने का समर्थन होता है।
  • एंटी-डिटेक्ट ब्राउज़र — यदि डेटा संग्रह के लिए पोर्टल पर प्रमाणीकरण की आवश्यकता होती है (जैसे, zakupki.gov.ru पर व्यक्तिगत खाता), तो Dolphin Anty या AdsPower जैसे उपकरण एक साथ कई खातों को प्रबंधित करने में मदद करते हैं, प्रत्येक के साथ अपनी प्रॉक्सी और अद्वितीय ब्राउज़र फिंगरप्रिंट होता है।
  • RSS और ईमेल सूचनाएँ स्वयं पोर्टलों से — जहां यह उपलब्ध है (जैसे Prozorro में), यह सक्रिय पार्सिंग और प्रॉक्सी की आवश्यकता को कम करता है।

उपकरण का चयन मात्रा पर निर्भर करता है: एक देश में 1-2 खरीद श्रेणियों की निगरानी के लिए मुफ्त RSS सूचना पर्याप्त हो सकती है। लेकिन यदि यह 5-10 देशों में दैनिक अपडेट के साथ टेंडरों की समग्र निगरानी की बात है, तो पार्सर + प्रॉक्सी पूल + IP रोटेशन का संयोजन आवश्यक है।

सरकारी खरीद के संग्रह में सामान्य गलतियाँ

टेंडरों की निगरानी के दौरान अधिकांश ब्लॉकों का कारण डेटा संग्रह का तथ्य नहीं है, बल्कि सेटिंग में तकनीकी गलतियाँ हैं। यहाँ कुछ सामान्य कारण हैं जो बैन का कारण बनते हैं:

  • अनुरोधों की अत्यधिक आवृत्ति। अधिकतम गति से एक सत्र में सभी खरीद रजिस्टर को एकत्र करने का प्रयास लगभग हमेशा कैप्चा या IP का अस्थायी बैन समाप्त होता है।
  • कई देशों के लिए एक ही IP का उपयोग। यदि एक पता रूस और कजाकिस्तान के पोर्टल पर एक छोटे समय में पहुँचता है, तो यह दोनों सुरक्षा प्रणालियों के लिए संदिग्ध लगता है।
  • User-Agent और ब्राउज़र के हेडर की अनदेखी। अच्छे प्रॉक्सी के साथ भी "खाली" या पुराने ब्राउज़र हेडर के साथ अनुरोध को बॉट के रूप में पहचाना जा सकता है।
  • लंबी निगरानी में रोटेशन की कमी। यदि डेटा संग्रह एक IP से कई घंटों तक लगातार चल रहा है, तो पहले घंटे के बाद बैन में आने की संभावना तेजी से बढ़ जाती है।
  • भू-संगति की अनदेखी। नीदरलैंड से IP के साथ ब्रिटिश पोर्टल पर अनुरोध एक बार पास हो सकता है, लेकिन नियमित पहुँच पर प्रणाली असंगति को देखेगी और पुष्टि की मांग करेगी।

दो अवधारणाओं को अलग करना महत्वपूर्ण है: डेटा तक पहुँच की वैधता और पोर्टल के उपयोग की तकनीकी शर्तों (ToS) का पालन। अधिकांश देशों में सरकारी खरीद की जानकारी कानून द्वारा सार्वजनिक है — यह बजट खर्चों की पारदर्शिता का एक आवश्यक तत्व है। हालाँकि, एक विशेष पोर्टल स्वचालित पहुँच के लिए अपने नियम स्थापित कर सकता है: अनुरोधों की सीमाएँ, API के लिए पंजीकरण की आवश्यकता, बिना अनुमति के बड़े पैमाने पर स्क्रैपिंग पर प्रतिबंध।

प्रायोगिक रूप से, अधिकांश कंपनियाँ जो टेंडर विश्लेषण में संलग्न हैं, ग्रे क्षेत्र में काम करती हैं: डेटा सार्वजनिक है और उनका संग्रह सूचना तक पहुँच के कानून का उल्लंघन नहीं करता है, लेकिन यह पोर्टल के उपयोगकर्ता समझौते के साथ औपचारिक रूप से विरोधाभासी हो सकता है। यह एक आपराधिक उल्लंघन नहीं है, लेकिन यदि प्रणालीगत, आक्रामक पार्सिंग बिना उचित सीमाओं के की जाती है, तो IP पते के ब्लॉक होने और पोर्टल प्रशासन के साथ कानूनी पत्राचार का जोखिम होता है। इसलिए रिहायशी या डेटा सेंटर प्रॉक्सी के माध्यम से उचित IP रोटेशन केवल तकनीकी नहीं, बल्कि प्रतिष्ठा समाधान भी है: यह पोर्टल की अवसंरचना पर लोड को कम करता है और संघर्षों को न्यूनतम करता है।

निष्कर्ष

विभिन्न देशों में सरकारी खरीद और टेंडरों की निगरानी के लिए ब्लॉकों से सुरक्षा के लिए विभिन्न दृष्टिकोण की आवश्यकता होती है। जहां खुले API बिना कड़ी सीमाओं के कार्य करते हैं (Prozorro, आंशिक रूप से TED), वहां बुनियादी IP रोटेशन पर्याप्त है। लेकिन गंभीर सुरक्षा और भू-सीमाओं वाले प्लेटफार्मों के लिए — SAM.gov, Contracts Finder, ईआईएस के विशेष अनुभाग — अधिक गंभीर अवसंरचना की आवश्यकता होगी: आवश्यक भू-स्थान के साथ रिहायशी प्रॉक्सी, अनुरोधों के बीच विराम और वास्तविक उपयोगकर्ता के व्यवहार की सावधानीपूर्वक नकल।

यदि आप केवल टेंडरों की निगरानी प्रणाली स्थापित करना शुरू कर रहे हैं और एक साथ कई देशों के साथ काम करने की योजना बना रहे हैं, तो रिहायशी प्रॉक्सी से शुरू करना समझदारी है — वे पोर्टलों की सुरक्षा प्रणालियों की ओर से उच्च स्तर की विश्वसनीयता प्रदान करते हैं और आवश्यक भू-स्थान को सही ढंग से चुनने की अनुमति देते हैं। कम सुरक्षित प्लेटफार्मों के लिए खुले API के साथ, आप डेटा सेंटर प्रॉक्सी का उपयोग करके बचत कर सकते हैं — वे तेजी से और सस्ते होते हैं जहां आक्रामक सुरक्षा अनुपस्थित होती है।