1 जुलाई 2026 को Cloudflare ने दूसरा "सामग्री स्वतंत्रता दिवस" मनाया और पहली बार आधिकारिक रूप से AI-एजेंट्स को बॉट्स की एक अलग श्रेणी में वर्गीकृत किया। अब ट्रैफ़िक को तीन श्रेणियों में विभाजित किया गया है - Search, Agent और Training, - और 15 सितंबर 2026 से विज्ञापन वाले पृष्ठों पर Agent और Training श्रेणी के बॉट्स को डिफ़ॉल्ट रूप से ब्लॉक किया जाएगा। साथ ही, अदालतें और बड़े रिटेलर "एजेंट ब्राउज़र्स" जैसे Perplexity Comet और ChatGPT Atlas के सामने दरवाजे बंद कर रहे हैं। हम समझते हैं कि एजेंट वेब के साथ क्या हो रहा है और क्यों रेजिडेंट प्रॉक्सी के बिना स्वायत्त AI सहायक अक्सर दीवार से टकरा जाते हैं।
क्या हुआ: बॉट्स की तीसरी जाति आई
पहले वेब में दो प्रकार के स्वचालित ट्रैफ़िक थे: खोज क्रॉलर, जो पृष्ठों को अनुक्रमित करते हैं, और शिक्षण क्रॉलर, जो मॉडलों के प्रशिक्षण के लिए सामग्री निकालते हैं। 2026 में, इनमें एक तीसरा जोड़ा गया - एजेंट। Cloudflare, जिसकी नेटवर्क के माध्यम से लगभग 20% पूरे वेब ट्रैफ़िक गुजरता है, ने इसका सटीक परिभाषा दी: यह "स्वचालित व्यवहार है, जो आमतौर पर वास्तविक समय में, किसी व्यक्ति के नाम पर, अभी कुछ करने के लिए कार्य करता है"।
इस परिभाषा में fetch-बॉट्स चैट-सहायक (जैसे, ChatGPT-User, जो उपयोगकर्ता के अनुरोध पर ताजा जानकारी लाता है) और पूर्ण ब्राउज़र-उपयोग एजेंट - Gemini या Claude, जो असली Chrome का प्रबंधन करते हैं, शामिल हैं। नई नीति की तर्क सरल है: विज्ञापन एक संकेत है कि वेबसाइट का मालिक किसी व्यक्ति को पृष्ठ दिखाना चाहता था और उसकी ध्यान को मुद्रीकरण करना चाहता था। इसलिए, Cloudflare डिफ़ॉल्ट रूप से उन बॉट्स को रोकता है जो इस ध्यान को वेबसाइट से हटा देते हैं - शिक्षण और एजेंट।
तारीखें याद रखने लायक हैं: परिवर्तन 15 सितंबर 2026 को लागू होंगे और नए डोमेन पर लागू होंगे, जो Cloudflare से जुड़ते हैं। Search-बॉट्स को अनुमति दी गई है - वेबसाइटों को अभी भी खोज इंजनों से ट्रैफ़िक की आवश्यकता है। लेकिन बहु-उद्देशीय क्रॉलर जैसे Googlebot को उसकी सभी भूमिकाओं के संयोजन के आधार पर आंका जाएगा: यदि मालिक ने शिक्षण को ब्लॉक किया है - तो ऐसा मिश्रित बॉट पूरी तरह से ब्लॉक हो जाएगा।
एजेंट ब्राउज़र्स: पिछले दो वर्षों में कौन मैदान में आया
अभी 2025 की शुरुआत में "AI के साथ ब्राउज़र" एक प्रयोग की तरह लग रहा था। 2026 के मध्य तक, यह स्वायत्त सहायकों का एक भरा हुआ बाजार बन गया है, जो स्वयं क्लिक करते हैं, स्क्रॉल करते हैं, फॉर्म भरते हैं और खरीदारी करते हैं। प्रमुख खिलाड़ी:
- Perplexity Comet - जुलाई 2025 में लॉन्च किया गया, मुफ्त, डेस्कटॉप, Android और iOS पर काम करता है;
- ChatGPT Atlas OpenAI से - अक्टूबर 2025, सदस्यता पर, अलग "एजेंट मोड" के साथ;
- Chrome + Gemini - Google से एकीकरण, जनवरी 2026, AI Pro और Ultra के लिए सदस्यता;
- Claude for Chrome - मौजूदा ब्राउज़र के लिए एक एक्सटेंशन, अगस्त 2025;
- Edge Copilot Mode - Microsoft का मुफ्त मोड, जुलाई 2025;
- Opera Neon - सितंबर 2025, दिसंबर में सार्वजनिक रिलीज, लगभग $19.90 प्रति माह की सदस्यता।
वे सभी लगभग एक जैसे काम करते हैं: एजेंट स्क्रीनशॉट और इनपुट कमांड के माध्यम से इंटरफ़ेस का प्रबंधन करता है - "पृष्ठ देखता है", क्लिक करता है, टाइप करता है और आपके लिए लिंक पर जाता है। यही मानव-समान तंत्र उन्हें एंटी-बॉट सिस्टम के लिए सिरदर्द बनाता है: औपचारिक रूप से, यह एक क्रॉलर नहीं है, जो API को खींचता है, बल्कि एक वास्तविक ब्राउज़र का सत्र है, जिसके पीछे एक जीवित उपयोगकर्ता का अनुरोध है। Google ने मार्च 2026 में एक अलग पहचानकर्ता Google-Agent पेश किया, ताकि वेबसाइट के मालिक ऐसे अनुरोधों को लॉग में पहचान सकें।
अदालतें पहले से ही वेबसाइटों के पक्ष में हैं
जबकि Cloudflare सेटिंग्स वितरित कर रहा है, एजेंटों के चारों ओर संघर्ष अदालतों तक पहुँच गया है। सबसे स्पष्ट मामला - Amazon बनाम Perplexity। Amazon ने नवंबर 2025 में एक मुकदमा दायर किया, जिसमें स्टार्टअप पर आरोप लगाया कि वह जानबूझकर अपने AI-एजेंट्स की प्रकृति को "छिपा" रहा था, ताकि रिटेलर की वेबसाइट को बिना अनुमति के स्क्रैप कर सके।
10 मार्च 2026 को न्यायाधीश मैक्सिन चेस्नी ने Amazon के पक्ष में फैसला सुनाया। निर्णय में कहा गया है कि कंपनी ने "विश्वसनीय सबूत" प्रदान किए: ब्राउज़र Comet उपयोगकर्ता के निर्देश पर वेबसाइट पर गया, लेकिन रिटेलर की ओर से "अनधिकृत" था। Amazon के अनुसार, Comet ने अपनी स्वचालित प्रकृति को "छिपाया", खुद को एक जीवित खरीदार के रूप में पेश किया, ताकि पहचान प्रणाली से बच सके। Amazon ने यहां तक कि खर्चों का दस्तावेजीकरण किया - Comet को आंतरिक ग्राहक डेटा तक पहुँच से रोकने के लिए उपकरणों के विकास पर $5,000 से अधिक। Perplexity ने इसके जवाब में कहा कि "इंटरनेट उपयोगकर्ताओं के अधिकार के लिए लड़ाई जारी रखेगा कि वे किसी भी AI का चयन करें, जो वे चाहते हैं।"
Amazon अदालतों के बिना भी कार्रवाई कर रहा है। robots.txt फ़ाइल के माध्यम से, रिटेलर ने ChatGPT-User और OAI-SearchBot (SearchGPT इंजन) के लिए बॉट्स का एक्सेस बंद कर दिया, और इससे पहले - शिक्षण GPT-बॉट। Meta, Google और Perplexity से जुड़े क्रॉलर भी इसमें शामिल थे। विडंबना यह है कि OpenAI समानांतर में अपनी खुद की व्यापारिक फ़नल बना रहा है: Instant Checkout फ़ंक्शन पहले से ही Walmart, Etsy, Shopify और Target में ChatGPT के माध्यम से सामान खरीदने की अनुमति देता है। रिटेलर अपने शर्तों पर AI के माध्यम से बेचना चाहते हैं - और नहीं चाहते कि अन्य एजेंट उनकी विंडो पर बिना नियंत्रण के घूमें।
वेबसाइटें एजेंट को कैसे पहचानती हैं - और क्यों IP सब कुछ तय नहीं करता
केवल user-agent के नाम पर एजेंट को ब्लॉक करना naïve है: इसे आसानी से धोखा दिया जा सकता है। इसलिए, Cloudflare और समान सेवाओं का एंटी-बॉट स्टैक संकेतों के संयोजन पर ध्यान देता है, और यहां स्वायत्त ब्राउज़र्स के लिए कठिनाई होती है:
- हेडलेस ब्राउज़र का फिंगरप्रिंट। हेडलेस वातावरण एक सेट असंगतियों के रूप में प्रकट होता है: स्क्रीन रिज़ॉल्यूशन 0x0, स्थापित फ़ॉन्ट्स की अनुपस्थिति, GPU, जो "SwiftShader" के रूप में रिपोर्ट करता है। असली उपयोगकर्ता ऐसे नहीं दिखते - और यह मिलीसेकंड में पकड़ लिया जाता है।
- TLS-फिंगरप्रिंटिंग। यहां तक कि आदर्श HTTP-हेडर के साथ, TLS का हैंडशेक ब्राउज़र की घोषित पहचान और कनेक्शन के वास्तविक गुणों के बीच एक अंतर प्रकट करता है। हमने इस वेक्टर को JA4 और TLS-फिंगरप्रिंटिंग के बारे में सामग्री में विस्तार से चर्चा की - आज यह पहचान का एक प्रमुख उपकरण है।
- व्यवहारात्मक विश्लेषण। व्यक्ति विराम के साथ स्क्रॉल करता है, माउस को आदर्श रूप से नहीं चलाता। एजेंट "क्रूर रोबोटिक दक्षता" के साथ कार्य करता है - पृष्ठ को मिलीसेकंड में लोड करता है और तुरंत डेटा निकालता है, जिससे वह पकड़ा जाता है।
- IP की प्रतिष्ठा। क्लाउड प्रदाताओं की रेंज - AWS, Google Cloud, Azure - लंबे समय से "बॉट-प्रवर्तक" के रूप में सूचीबद्ध हैं और प्रतिष्ठा फ़िल्टर में भारी दंड प्राप्त करते हैं, चाहे अन्य फिंगरप्रिंट कितना भी साफ़ हो।
यहां प्रॉक्सी का महत्व सामने आता है। IP की प्रतिष्ठा - यह पहला बाधा है, जिस पर डेटा सेंटर के पते से चलने वाला एजेंट टूटता है। रेजिडेंट प्रॉक्सी वास्तविक घरेलू उपकरणों के IP पते प्रदान करते हैं, और एजेंट का ट्रैफ़िक डेटा सेंटर के अनुरोध के रूप में नहीं दिखता। मोबाइल परिदृश्यों के लिए - सोशल मीडिया, सख्त पहचान वाले ऐप्स - मोबाइल प्रॉक्सी संचार ऑपरेटरों के IP के साथ और भी विश्वसनीय होते हैं। इस बीच, डेटा सेंटर के पते कहीं नहीं जा रहे हैं: प्रतिष्ठा के प्रति संवेदनशील कार्यों के लिए डेटा सेंटर-प्रॉक्सी गति और कीमत प्रदान करते हैं, जो रेजिडेंट प्रॉक्सी नहीं दे सकती।
महत्वपूर्ण नोट: प्रॉक्सी केवल एक परत है
रेजिडेंट IP केवल चार बाधाओं में से एक को हटा देता है। यदि एजेंट अभी भी "SwiftShader" फिंगरप्रिंट के साथ हेडलेस ब्राउज़र में चल रहा है और रोबोट की तरह व्यवहार कर रहा है, तो साफ़ IP उसे नहीं बचाएगा - पहचान अन्य संकेतों से बनेगी। 2026 का कार्यशील संयोजन "प्रॉक्सी या एंटी-डिटेक्ट" नहीं है, बल्कि सब कुछ एक साथ है: रेजिडेंट या मोबाइल आउटबाउंड नोड, ब्राउज़र और TLS फिंगरप्रिंट को वास्तविक उपकरण के रूप में छिपाना और क्रियाओं के समय को मानव-समान बनाना। स्क्रैपिंग और स्वचालन अंततः पहचान की खेल में बदल गए हैं, न कि पते के।
इसका व्यावहारिक अर्थ क्या है
व्यापार और डेवलपर्स के लिए, जो एजेंट ब्राउज़र्स के ऊपर स्वचालन का निर्माण करते हैं, निष्कर्ष इस प्रकार हैं:
- 15 सितंबर - कोई अमूर्त तारीख नहीं। यदि आपके एजेंट विज्ञापन वाले साइटों पर जाते हैं, तो तैयार रहें कि उनमें से कुछ सामग्री के बजाय स्टॉपगैप देने लगेंगे। अपनी अवसंरचना को पहले से योजना बनाएं।
- डेटा सेंटर एजेंट - नंबर एक लक्ष्य। पहला कदम यह है कि एजेंट ट्रैफ़िक को क्लाउड रेंज से रेजिडेंट या मोबाइल IP पर ले जाएं। यह बड़े बैन के बाद लॉजिक को फिर से लिखने से सस्ता है।
- कानूनी जोखिम वास्तविक है। Amazon बनाम Perplexity का मामला दिखाता है: एजेंट का मानव के रूप में "छिपाना" कोई ग्रे क्षेत्र नहीं है, बल्कि अदालत के लिए एक तर्क है। जहां यह महत्वपूर्ण है, वहां robots.txt का सम्मान करें, और उन साइटों पर स्वचालन को जीवित उपयोगकर्ता के रूप में प्रस्तुत न करें, जो इसे स्पष्ट रूप से मना करते हैं।
- आधिकारिक चैनल बढ़ रहे हैं। Instant Checkout और रिटेलरों के साथ AI की साझेदारियां - यह संकेत है कि कुछ एजेंट परिदृश्य कानूनी API में चले जाएंगे। लेकिन अभी तक कवरेज टुकड़ों में है, स्वायत्त एजेंटों को एक ऐसी दुनिया में जीना होगा, जहां आधी वेबसाइटें उनका स्वागत नहीं करतीं।
निष्कर्ष
एजेंट वेब अब प्रस्तुतियों से एक अवधारणा नहीं है, बल्कि वास्तविक ट्रैफ़िक है, जिसे वेबसाइटों ने फ़िल्टर करना सीख लिया है और चाहा है। Cloudflare ने मालिकों को एक उपकरण दिया, अदालतों ने एक मिसाल दी, रिटेलरों ने एक उदाहरण दिया। स्वायत्त AI सहायकों के लिए यह कोई अंतिम निर्णय नहीं है, बल्कि एक स्पष्ट संकेत है: एजेंट को लक्ष्य तक पहुँचने के लिए, उसे सभी स्तरों पर मानव के रूप में दिखना चाहिए - आउटबाउंड IP से लेकर क्लिक के समय तक। रेजिडेंट और मोबाइल प्रॉक्सी यहां कोई विलासिता नहीं हैं, बल्कि एक बुनियादी परत हैं, जिसके बिना अन्य चालें काम नहीं करतीं। वेब एजेंटों के लिए पूरी तरह से बंद नहीं हो रहा है - वह बस उन लोगों को नहीं आने दे रहा है, जो "मैं बॉट हूँ" का टैग लेकर आते हैं।
```