जब कुछ बॉट्स को ब्लॉक करते हैं, तो अन्य उन्हें पासपोर्ट दिखाना सिखाते हैं। 2026 में, Cloudflare, Google, Amazon, Akamai और OpenAI एक मानक के चारों ओर इकट्ठा हुए - Web Bot Auth। विचार सरल और कट्टरपंथी है: स्वचालित ट्रैफ़िक को अब IP पते और User-Agent स्ट्रिंग द्वारा नहीं जांचा जाता है, जिन्हें आसानी से धोखा दिया जा सकता है। इसके बजाय, एजेंट प्रत्येक अनुरोध को क्रिप्टोग्राफिक रूप से साइन करता है, और साइट तुरंत साइनचर की जांच करती है। 2 मार्च 2026 को आर्किटेक्चर का पांचवां ड्राफ्ट जारी किया गया (draft-meunier-web-bot-auth-architecture-05), मई में Google ने युद्ध परीक्षण शुरू किया, और IETF कार्य समूह ने अगस्त 2026 तक मानक जारी करने का लक्ष्य रखा। आइए समझते हैं कि यह तंत्र क्या है, इसके पीछे कौन है और क्यों यह सभी के लिए, जो स्क्रैपिंग और मल्टी-एकाउंटिंग कर रहे हैं, 180 डिग्री का मोड़ है।
क्या हुआ: बॉट्स को क्रिप्टोग्राफिक पहचान मिलती है
वेब में "अपना-पराया" की पारंपरिक जांच दो खंभों पर टिकी थी। पहला - User-Agent: एक स्ट्रिंग, जिसे क्लाइंट स्वयं के बारे में बताता है और जिसे कोई भी स्क्रिप्ट एक कोड की एक पंक्ति में लिखती है। दूसरा - IP पते की सूचियाँ: साइट Googlebot, Bingbot और अन्य के "आधिकारिक" रेंज की सूची रखती है और रिवर्स DNS की जांच करती है। 2026 में, दोनों दृष्टिकोण पूरी तरह से विफल हो गए।
Cloudflare अपनी तकनीकी दस्तावेज़ में समस्या को स्पष्ट रूप से formulates करता है: एक ही IP का उपयोग एक साथ कई उपयोगकर्ताओं या सेवाओं द्वारा किया जा सकता है, और स्वयं रेंज लगातार बुनियादी ढांचे के साथ बदलती रहती है। User-Agent तो वास्तव में कोई प्रमाण नहीं है - यह बस आत्म-प्रस्तुति है। क्रिप्टोग्राफिक साइनचर, लेखकों के अनुसार, प्रमाणीकरण प्रदान करता है, न तो "हमेशा बदलते IP रेंज" पर निर्भर करते हुए, और न ही "User-Agent जैसे धोखाधड़ी वाले हेडर पर"।
तकनीकी रूप से Web Bot Auth पहले से स्वीकृत मानक HTTP Message Signatures (RFC 9421) पर आधारित है। प्रत्येक एजेंट को Ed25519 की एक जोड़ी कुंजी दी जाती है। अनुरोध भेजने से पहले, एजेंट सब कुछ नहीं, बल्कि लक्षित URI का authority - यानी, उस डोमेन पर हस्ताक्षर करता है, जिस पर वह संपर्क करता है (जब example.com पर जाते हैं, तो example.com पर ही हस्ताक्षर किया जाता है)। अनुरोध में Signature-Input हेडर (created और expires के साथ वैधता की विंडो, JWK थंबप्रिंट प्रारूप में कुंजी पहचानकर्ता keyid और web-bot-auth टैग) और Signature-Agent जो सार्वजनिक कुंजी के साथ निर्देशिका को इंगित करता है (JWKS) जोड़े जाते हैं। साइट इस निर्देशिका से सार्वजनिक कुंजी डाउनलोड करती है और साइनचर की जांच करती है। इसे बिना निजी कुंजी के धोखा देना असंभव है, और वैधता की विंडो इंटरसेप्टेड अनुरोध के पुनः खेलने से बचाती है।
मानक के पीछे कौन है
यह किसी एक कंपनी का प्रयोग नहीं है। Web Bot Auth का समर्थन Cloudflare, Amazon, Akamai और OpenAI करते हैं। आर्किटेक्चर का ड्राफ्ट थिबॉ मेनियर (Cloudflare) और शैंडर मेयर (Google) द्वारा सह-लेखित किया गया है। AWS WAF ने पहले से ही साइन की जांच का समर्थन जोड़ दिया है, Cloudflare ने इसे अपने Verified Bots कार्यक्रम में शामिल किया है और अपने एज पर उत्पादन में सक्रिय किया है। Web Bot Auth के लिए एक अलग IETF कार्य समूह 2026 में स्थापित किया गया था और इसका लक्ष्य अगस्त 2026 तक विनिर्देश को मानकीकरण में सौंपना है।
Google शामिल हुआ - और यह एक मोड़ है
6 मई 2026 को यह ज्ञात हुआ कि Google अपने बॉट ट्रैफ़िक की जांच के लिए Web Bot Auth का परीक्षण कर रहा है। इसका अर्थ यह है कि साइट यह सुनिश्चित कर सकेगी: अनुरोध, जो Google के रूप में प्रस्तुत किया गया है, वास्तव में Google से आ रहा है, न कि किसी ऐसे व्यक्ति से जिसने बस Googlebot को User-Agent में लिखा है। साइन किया गया AI ट्रैफ़िक Google की पहचान agent.bot.goog के तहत आता है - साइट के मालिक इस एंडपॉइंट से Google की सार्वजनिक कुंजियाँ प्राप्त करते हैं और Signature और Signature-Input हेडर को मान्य करते हैं।
यह अब क्यों महत्वपूर्ण है। ठीक उसी कारण से, जिसके बारे में हमने एजेंट ब्राउज़रों के ब्लॉक के बारे में लिखा: 15 सितंबर 2026 से Cloudflare डिफ़ॉल्ट रूप से नए डोमेन के विज्ञापन पृष्ठों पर "मिश्रित" AI क्रॉलर को काट देता है, और Cloudflare नेटवर्क के माध्यम से लगभग एक-पांचवां हिस्सा पूरे वेब का गुजरता है। वेब बंद हो रहा है। और Web Bot Auth "कैसे ब्लॉक करें" के बारे में नहीं है, बल्कि "किसे अनुमति दें" के बारे में है। एक नए प्रकार की श्वेत सूची उभर रही है: IP के बजाय, क्रिप्टोग्राफिक पहचान के आधार पर। साइट "केवल प्रमाणित साइन किए गए एजेंटों को कीमतें और उत्पाद विवरण दिखाने" की नीति लागू कर सकेगी - और बाकी सब स्वचालित रूप से बाहर रह जाएगा।
साइन किए गए एजेंट: पहली कोहोर्ट
एक अलग श्रेणी - signed agents (साइन किए गए एजेंट)। ये बॉट्स हैं, जिन्हें अंतिम उपयोगकर्ता द्वारा नियंत्रित किया जाता है, न कि एक कॉर्पोरेशन द्वारा: प्लेटफ़ॉर्म या दूरस्थ ब्राउज़र, जिस पर एजेंट काम करता है, उसके HTTP अनुरोधों पर हस्ताक्षर करता है, और Cloudflare साइनचर की जांच करता है। पहली कोहोर्ट में ChatGPT एजेंट (OpenAI), Goose (Block), Browserbase, Anchor Browser और Cloudflare Browser Rendering शामिल हैं। Block के डौवे ओसिंग ने सीधे लाभ का वर्णन किया: "Web Bot Auth साइटों को Goose पर भरोसा करने की अनुमति देता है, जबकि इसे अद्वितीय बनाए रखता है।"
मुख्य अंतर: साइन किया गया एजेंट व्यक्ति के नाम पर कार्य करता है (एक काल्पनिक सहायक, जो आपकी अनुरोध पर साइट पर जाता है), जबकि "खोज" या "प्रशिक्षण" क्रॉलर कंपनी के लिए काम करता है। Cloudflare पहले से ही सुरक्षा नियमों में इन संस्थाओं को अलग कर रहा है - और यही विभाजन तय करेगा कि 2026-2027 में वेब में किसे दरवाजे खोले जाएंगे और किसे नहीं।
यह स्क्रैपिंग और प्रॉक्सी के लिए क्या अर्थ रखता है
पहली नज़र में ऐसा लगता है कि क्रिप्टोसाइन अज्ञात स्क्रैपिंग को समाप्त कर देता है। व्यावहारिक रूप से सब कुछ अधिक जटिल है - वेब दो लेन में विभाजित हो रहा है, और हमारे दर्शकों के लिए यह रणनीति को बदलता है, न कि इसे समाप्त करता है।
- साइन किए गए एजेंटों की लेन। बड़े प्लेटफार्मों और श्वेत सूची से "उपयोगकर्ता" सहायक के लिए एक संकीर्ण, विशेष मार्ग। वहां पहुंचने के लिए, निजी कुंजी, सार्वजनिक JWKS निर्देशिका, CDN पर पंजीकरण और नीतियों का पालन आवश्यक है। एक सामान्य पार्सिंग प्रोजेक्ट, एंटी-डिटेक्ट फार्म या SMM ऑटोमेशन के लिए यह मार्ग बंद है: आप न तो Google हैं और न ही OpenAI, आपको साइन नहीं दिया जाएगा।
- अन्य सभी की लेन। यहां स्वतंत्र स्क्रैपर्स, मूल्य निगरानी, डेटा संग्रह, मल्टी-एकाउंटिंग अभी भी जीवित हैं। और यहीं प्रॉक्सी की गुणवत्ता और फ़िंगरप्रिंट की विश्वसनीयता बढ़ती है। चूंकि "वैध" साइन द्वारा प्रवेश दिया जाता है, इसलिए सभी असाइन किए गए ट्रैफ़िक के लिए डिफ़ॉल्ट रूप से सख्त दृष्टिकोण होता है।
दूसरे शब्दों में, Web Bot Auth प्रॉक्सी की आवश्यकता को समाप्त नहीं करता - यह गुणवत्ता के लिए मानक बढ़ाता है उन लोगों के लिए जो श्वेत सूची में नहीं हैं। यदि पहले आप ग्रे User-Agent पर कूदने की उम्मीद कर सकते थे, तो अब असाइन किया गया अनुरोध तुरंत "साबित करें कि आप एक जीवित व्यक्ति हैं" श्रेणी में चला जाता है। और इसे एक शुद्ध IP और विश्वसनीय व्यवहार के संयोजन से साबित किया जाता है।
क्यों आवासीय और मोबाइल IP और भी अधिक मूल्यवान हो रहे हैं
जब साइन उपलब्ध नहीं है, तो वैध दिखने का एकमात्र तरीका सामान्य उपयोगकर्ता से अलग न होना है। डेटा सेंटर के पते इस कार्य को हल नहीं करते: Cloudflare की सुरक्षा के विभिन्न मापों के अनुसार, डेटा सेंटर-IP केवल 40-60% मामलों में पास होते हैं, जबकि आवासीय प्रॉक्सी 85-99% की सीमा में पारगम्यता प्रदान करते हैं। इसका कारण यह है कि आवासीय पता एक वास्तविक इंटरनेट सेवा प्रदाता और जीवित ग्राहक का है - IP की प्रतिष्ठा के अनुसार इसे उसी राउटर के पीछे व्यक्ति से अलग नहीं किया जा सकता।
सबसे सुरक्षित प्लेटफार्मों और मोबाइल ऐप्स के साथ स्थिति और भी कठिन है, जहां सेलुलर नेटवर्क महत्वपूर्ण भूमिका निभाते हैं। यहां मोबाइल प्रॉक्सी मदद करते हैं: एक ऑपरेटर के एक IP के पीछे हजारों जीवित ग्राहक होते हैं, इसलिए ऐसे पते को सामूहिक रूप से ब्लॉक करना वास्तविक ग्राहकों को काटने के समान है। "सामान्य बर्तन" का यह प्रभाव मोबाइल IP को दुनिया में सबसे स्थायी मुद्रा बनाता है, जहां बाकी सब कुछ पारदर्शी है।
लेकिन शुद्ध IP अब पर्याप्त नहीं है। चूंकि पहचान की जांच नेटवर्क से क्रिप्टोग्राफी की ओर बढ़ रही है, सभी असाइन किए गए बॉट्स व्यवहार और ब्राउज़र फ़िंगरप्रिंट के माध्यम से गुजरते हैं: TLS/JA4, कैनवास, WebGL, फ़ॉन्ट, समय। प्रॉक्सी एक अलार्म सिग्नल (पते की प्रतिष्ठा) को हटा देती है, लेकिन अन्य को समाप्त नहीं करती। 2026 का कार्य संयोजन - आवासीय या मोबाइल IP प्लस एंटी-डिटेक्ट वातावरण के साथ सहमत फ़िंगरप्रिंट। एक घटक बिना दूसरे के पहले ही सुरक्षा स्तर पर बॉट का पता लगाता है।
अभी कैसे कार्य करें
- प्रोजेक्ट्स को लेनों में विभाजित करें। यदि कार्य - एक बड़े उत्पाद के नाम पर आधिकारिक एकीकरण है, तो साइन किए गए एजेंट के मार्ग का अध्ययन करें: CDN पर पंजीकरण और कुंजियाँ प्राप्त करना। बाकी सब के लिए "अन्य सभी की लेन" में काम करने की योजना बनाएं और इसके नियमों को स्थापित करें।
- IP की गुणवत्ता में निवेश करें, मात्रा में नहीं। सस्ते डेटा सेंटर पूल 2026 में अधिक से अधिक स्टॉप-फैक्टर बनते जा रहे हैं। आवासीय और मोबाइल पते पर ध्यान केंद्रित करें, जो कार्य के अनुसार रोटेशन करते हैं।
- नेटवर्क के साथ फ़िंगरप्रिंट को समन्वयित करें। एक देश का IP, और ब्राउज़र की भाषा, समय क्षेत्र और स्थानीयता - दूसरे देश से - यह एक क्लासिक विफलता है। फ़िंगरप्रिंट को प्रॉक्सी के भू-स्थान के साथ असंगत रूप से मेल खाना चाहिए।
- मानक पर नज़र रखें। अगस्त 2026 तक IETF विनिर्देश को अंतिम रूप देने की योजना बना रहा है। जैसे ही Web Bot Auth किसी विशेष प्लेटफॉर्म पर पहुंचने की अनिवार्य शर्त बन जाएगा, उसके लिए रणनीति को पूर्व में पुनर्विचार करना होगा, न कि बाद में।
निष्कर्ष
Web Bot Auth कोई साधारण एंटी-बॉट नहीं है, बल्कि वेब में विश्वास की तर्कशक्ति में बदलाव है: "आप IP पर कौन हैं" से "क्रिप्टोग्राफी से साबित करें कि आप कौन हैं"। Google और OpenAI जैसे दिग्गजों के लिए यह बंद होते इंटरनेट में प्रवेश है। स्वतंत्र स्क्रैपर्स और मल्टी-एकाउंट प्रोजेक्ट्स के लिए यह संकेत है कि ग्रे तरीके पूरी तरह से काम करना बंद कर रहे हैं, और "एक व्यक्ति की तरह दिखने" और "एक बॉट की तरह दिखने" के बीच का अंतर निर्णायक होता जा रहा है। नई वास्तविकता में जीतने वाला वह नहीं होगा, जिसके पास अधिक IP हैं, बल्कि वह होगा, जिसके पास शुद्ध आवासीय या मोबाइल पता और बिना दोष के सहमत फ़िंगरप्रिंट है। क्रिप्टोपासपोर्ट सभी को नहीं मिला - इसका मतलब है कि बाकी सभी को अधिक विश्वसनीय होना पड़ेगा।
```