Cloudflare फिर से AI-क्रॉलर के चारों ओर नट कस रहा है। कंपनी, जिसके नेटवर्क के माध्यम से लगभग 20% पूरे वेब ट्रैफ़िक गुजरता है, ने घोषणा की: 15 सितंबर 2026 से "मिश्रित" (mixed-use) क्रॉलर डिफ़ॉल्ट रूप से विज्ञापन, मुद्रीकरण वाले पृष्ठों पर ब्लॉक किए जाएंगे - सभी नए ग्राहकों और मौजूदा खातों पर सभी नए साइटों के लिए। साथ ही, पे पर क्रॉल मॉडल का विस्तार किया जा रहा है, जहां बॉट की सामग्री तक पहुंच एक भुगतान सेवा बन जाती है। डेटा संग्रह करने वालों के लिए, यह प्रकाशकों के बारे में कोई अमूर्त समाचार नहीं है - यह सीधा संकेत है कि खुले वेब का "ग्रे ज़ोन" एक और कदम संकुचित हो रहा है।
Cloudflare ने क्या घोषणा की
मुख्य नवाचार - "मिश्रित-उपयोग क्रॉलर" की अवधारणा। इस तरह Cloudflare उन बॉट्स को नामित करता है, जो डेटा को दो उद्देश्यों के लिए एक साथ इकट्ठा करते हैं: खोज में अनुक्रमण और AI मॉडल को प्रशिक्षित करना। पहले ऐसे क्रॉलर "खोज" बॉट के झंडे के तहत आते थे और ट्रैफ़िक के बदले सामग्री तक पहुंच प्राप्त करते थे। अब Cloudflare इस सौदे को तोड़ता है: यदि साइट विज्ञापन से कमाई करती है, तो मिश्रित क्रॉलर को डिफ़ॉल्ट रूप से मुद्रीकरण वाले पृष्ठों पर अनुमति नहीं दी जाएगी।
तकनीकी रूप से, यह प्रबंधित robots.txt नियमों और अद्यतन बॉट प्रबंधन ह्यूरिस्टिक्स के माध्यम से लागू किया जाता है। वेबसाइट के मालिक को कुछ भी हाथ से लिखने की आवश्यकता नहीं है - Cloudflare स्वयं सूचियों और तर्कों का समर्थन करता है। नए साइटों के लिए प्रारंभ तिथि - 15 सितंबर 2026; मौजूदा परियोजनाएं इच्छानुसार ब्लॉकिंग चालू कर सकेंगी।
कंपनी की स्थिति का सारांश उसके CEO मैथ्यू प्रिंस ने दिया: "अब, जब अधिकांश ट्रैफ़िक इंटरनेट पर मानव नहीं है, हमें अधिक निर्णायक और तेज़ी से कार्य करना चाहिए ताकि एक स्थायी पारिस्थितिकी तंत्र उत्पन्न हो सके"। परिवर्तनों का सार्वजनिक रूप से समर्थन Associated Press, Time, The Atlantic और Reddit ने किया - यानी बड़े प्रकाशक, जो अपने सामग्री के मुफ्त खींचने से सबसे अधिक प्रभावित होते हैं।
संख्याएँ, जो सब कुछ स्पष्ट करती हैं
यह समझने के लिए कि बुनियादी ढांचा प्रदाता ने AI कंपनियों के खिलाफ युद्ध में क्यों कदम रखा, "क्रॉल-से-रेफरल" अनुपात पर नज़र डालना पर्याप्त है, जिसे स्वयं Cloudflare ने प्रस्तुत किया:
- Google - 14:1। प्रत्येक 14 पृष्ठों के क्रॉल पर, खोज इंजन साइट को एक जीवित आगंतुक भेजता है। सहनीय: यह पुराना सौदा "हम सामग्री लेते हैं, आप ट्रैफ़िक प्राप्त करते हैं" है।
- OpenAI - 1,700:1। 1700 क्रॉल पर - एक क्लिक। आदान-प्रदान अब समान नहीं रह गया है।
- Anthropic - 73,000:1। एक क्लिक पर तिरपन हजार क्रॉल। वास्तव में सामग्री खींची जा रही है, और इसके बदले में ट्रैफ़िक बिल्कुल नहीं है।
इसी असममिति ने "डिफ़ॉल्ट रूप से खुला" वेब का पुराना मॉडल तोड़ दिया। जैसे कि विश्लेषकों ने सटीक रूप से कहा: "जहाँ वेब पहले खुला था, जब तक आप इसे बंद नहीं करते, अब इसका एक महत्वपूर्ण हिस्सा बंद है, जब तक आप इसे नहीं खोलते"। यह डिफ़ॉल्ट सिद्धांत का 180 डिग्री मोड़ है - और यह न केवल AI प्रयोगशालाओं पर, बल्कि उन सभी स्वचालित संग्रहकर्ताओं पर भी हमला करता है, जो उसी श्रेणी में आते हैं।
पे पर क्रॉल: पहुंच वस्तु बन जाती है
घोषणा का दूसरा भाग - पे पर क्रॉल का विस्तार, एक मार्केटप्लेस, जिसे Cloudflare ने 1 जुलाई 2025 को निजी बीटा में लॉन्च किया था। तर्क सरल है: "अनुमति दें / ब्लॉक करें" के बाइनरी विकल्प के बजाय, प्रकाशक के पास एक तीसरा विकल्प है - प्रत्येक क्रॉल के लिए शुल्क लेना। वेबसाइट का मालिक स्वयं दर निर्धारित करता है, और AI कंपनी तय करती है कि उसे उस पर भुगतान करना है या नहीं। Cloudflare एक मध्यस्थ के रूप में कार्य करता है, जो बॉट की पहचान की जांच करता है और निपटान करता है।
बाजार के लिए यह एक टेकtonिक बदलाव है। डेटा, जिन्हें वर्षों से "मुफ्त, क्योंकि सार्वजनिक" माना गया है, अब एक मूल्यवान संसाधन में बदल जाता है। और जैसे-जैसे Cloudflare इस मॉडल को फैलाता है, वैध, "पारंपरिक" सामग्री तक पहुंच उन लोगों के लिए अधिक महंगी और जटिल होती जाती है, जो अनुबंध पर हस्ताक्षर करने और प्रति-क्रॉल भुगतान करने के लिए तैयार नहीं हैं।
यह प्रॉक्सी और स्क्रैपिंग से कैसे संबंधित है
यहां मुख्य व्यावहारिक निष्कर्ष है। जब बड़े प्लेटफार्म "ईमानदार" क्रॉलर्स के लिए यूजर-एजेंट द्वारा दरवाजे बंद करते हैं, तो मांग अनिवार्य रूप से उन उपकरणों की ओर बढ़ जाती है, जो ट्रैफ़िक को मानव से अलग नहीं कर पाते। विश्लेषणात्मक कंपनी Synthient के संस्थापक बेन ब्रैंडिज सीधे कहते हैं: "AI निश्चित रूप से, निवास प्रॉक्सी की मांग को बढ़ा रहा है" - क्योंकि कंपनियाँ अपने स्क्रैपर्स की ब्लॉकिंग को बायपास करने का तरीका खोज रही हैं।
इस छायादार परत का पैमाना पहले से ही प्रभावशाली है। IPInfo के अनुसार, केवल छह ट्रैक किए गए प्रदाताओं के पास 90 दिनों में लगभग 79 मिलियन अद्वितीय IP पाए गए। इस बीच, बाजार काफी उलझा हुआ है: लगभग 46% निवासी प्रॉक्सी पते एक साथ कई प्रदाताओं के पूलों में मौजूद हैं, और कुछ IP एक सौ से अधिक विभिन्न सेवाओं के नेटवर्क में दिखाई दिए हैं। इसका मतलब है कि "सस्ता निवासी प्रॉक्सी" वास्तव में अक्सर वही पुनर्विक्रय पता होता है, जो पहले ही कई अन्य अभियानों में दिखाई दे चुका है - और पहले से ही काले सूचियों में जा चुका है।
हमने पहले ही लिखा है कि डेटा संग्रह पर नियामक दबाव तकनीकी के साथ बढ़ रहा है: EU AI Act, जो 2 अगस्त 2026 को लागू होगा, robots.txt और मॉडल के प्रशिक्षण के लिए ऑप्ट-आउट को महत्व देता है। Cloudflare का कदम उसी प्रवृत्ति का तकनीकी आधा है: कानूनी और बुनियादी ढांचे की बाधाएँ एक साथ आ रही हैं, और "बस डेटा सेंटर IP से GET अनुरोध भेजना" अब पहले से कहीं अधिक कठिन हो रहा है।
डेटा संग्रहकर्ताओं को क्या करना चाहिए
घबराने का समय नहीं है, लेकिन स्टैक को फिर से देखना सही समय है। अगले कुछ महीनों के लिए कुछ व्यावहारिक दिशानिर्देश।
- सुरक्षा स्तर के अनुसार कार्यों को अलग करें। खुले, कमजोर सुरक्षा वाले स्रोतों के लिए अभी भी तेज और सस्ते डेटा सेंटर प्रॉक्सी पर्याप्त हैं। उन पर निवासी ट्रैफ़िक खर्च करना पैसे की बर्बादी है।
- Cloudflare के तहत साइटों के लिए निवासी IP लें। जब लक्ष्य बॉट प्रबंधन के माध्यम से अनुरोध भेजता है, तो वास्तविक घरेलू प्रदाताओं के निवासी प्रॉक्सी मदद करते हैं: उनका व्यवहार डिफ़ॉल्ट रूप से मानव माना जाता है। कुंजी - पूल का कुल आकार नहीं, बल्कि इसकी स्वच्छता और अन्य सेवाओं के साथ कम से कम ओवरलैप प्रतिशत है।
- मोबाइल IP - सबसे कठिन लक्ष्यों के लिए। सोशल मीडिया और आक्रामक एंटी-बॉट कंटूर वाले प्लेटफार्म मोबाइल प्रॉक्सी के माध्यम से बेहतर काम करते हैं: एक ऑपरेटर के IP के पीछे हजारों जीवित ग्राहक होते हैं, इसलिए इसे पूरी तरह से ब्लॉक करना प्लेटफार्म के लिए लाभदायक नहीं है।
- मात्रा नहीं, बल्कि "जीवित रहने" की गणना करें। Cloudflare के "डिफ़ॉल्ट रूप से बंद" मोड़ के बाद, गुणवत्ता का माप गीगाबाइट नहीं, बल्कि बिना बैन के सफलतापूर्वक एकत्रित पृष्ठों का हिस्सा बन जाता है। 46% ओवरलैप वाले सस्ते पुनर्विक्रय पूल एक सुंदर ट्रैफ़िक संख्या देते हैं और असफल सफलता दर।
- जहाँ नियम हैं, वहाँ उनका पालन करें। यदि स्रोत आधिकारिक API या पे पर क्रॉल की शर्तें प्रदान करता है, तो स्थिर उत्पादन पाइपलाइनों के लिए यह अक्सर शस्त्रों की दौड़ की तुलना में सस्ता और अधिक विश्वसनीय होता है। प्रॉक्सी सार्वजनिक डेटा के लिए एक उपकरण हैं, न कि सीधे अनुबंधित प्रतिबंधों को बायपास करने के लिए।
निष्कर्ष
Cloudflare का कदम एक बार की खबर नहीं है, बल्कि एक प्रणालीगत मोड़ का हिस्सा है: वेब "खुला, जब तक आप इसे बंद नहीं करते" के मॉडल से "बंद, जब तक आप इसे नहीं खोलते" के मॉडल में जा रहा है। अनुपात जैसे 73,000:1 दिखाते हैं कि यह क्यों अनिवार्य है, और पे पर क्रॉल डेटा तक पहुंच को एक मूल्यवान वस्तु में बदल देता है। स्क्रैपिंग के लिए इसका मतलब एक ही है: वह युग, जब डेटा सेंटर IP और यूजर-एजेंट हेडर पर्याप्त थे, समाप्त हो रहा है। वे लोग जीतते हैं, जो पहले से ही स्वच्छ निवासी और मोबाइल नेटवर्क पर संग्रह का निर्माण करते हैं और ट्रैफ़िक के बजाय उन डेटा का हिस्सा गिनते हैं, जो वास्तव में जीवित पहुंचे। बाधाएँ केवल बढ़ेंगी - और प्रॉक्सी बुनियादी ढांचे की गुणवत्ता अब एक व्यय लेख नहीं, बल्कि यह तय करने वाला कारक बन जाती है कि आप डेटा प्राप्त करेंगे या नहीं।
```