2 अगस्त 2026 तक लगभग एक महीना बचा है — और इसी दिन यूरोपीय AI अधिनियम "कागजी" नियमावली से वास्तविक दंड शक्तियों में बदल जाएगा। उन सभी के लिए जो ऑनलाइन डेटा एकत्र करते हैं — बड़े मॉडलों के प्रशिक्षण से लेकर साधारण मूल्य निगरानी तक — यह एक मील का पत्थर है, जिसके बाद मशीन-पठनीय डेटा संग्रह पर प्रतिबंध पहली बार कॉपीराइट का महत्व प्राप्त करते हैं, और AI मॉडल प्रदाताओं को यह खुलासा करना होगा कि उन्होंने किस पर प्रशिक्षण लिया। हम समझते हैं कि वास्तव में क्या बदलता है और यह किसे प्रभावित करता है।
2 अगस्त 2026 को क्या शामिल होगा
EU AI अधिनियम चरणबद्ध तरीके से लागू किया गया था। प्रतिबंधित प्रथाएँ फरवरी 2025 में लागू हो गई थीं, सामान्य प्रयोजन AI प्रदाताओं के लिए दायित्व 2 अगस्त 2025 को औपचारिक रूप से लागू हुए। लेकिन 2 अगस्त 2026 को यह नियम पूरी तरह से लागू हो जाएगा: उच्च जोखिम वाले सिस्टम के लिए आवश्यकताएँ शामिल की जाएंगी और सबसे महत्वपूर्ण बात यह है कि नियामक के पास GPAI दायित्वों के उल्लंघन के लिए दंड लगाने की शक्तियाँ होंगी।
दंड का आकार इस प्रकार है:
- €35 मिलियन तक या 7% वैश्विक कारोबार — प्रतिबंधित प्रथाओं के लिए (जो अधिक है);
- €15 मिलियन तक या 3% वैश्विक कारोबार — उच्च जोखिम वाले सिस्टम और GPAI दायित्वों के उल्लंघनों के लिए;
- €7.5 मिलियन तक या 1% कारोबार — नियामक को गलत जानकारी प्रदान करने के लिए।
नियम का प्रभाव क्षेत्रीय रूप से लागू होता है: दायित्व प्रदाता पर लागू होते हैं चाहे वह कहीं भी स्थित हो, यदि मॉडल EU बाजार में उपलब्ध है। अमेरिकी या एशियाई AI कंपनी, जिसका उत्पाद यूरोपीय लोगों के लिए उपलब्ध है, उन ही नियमों के अधीन है।
GPAI प्रदाताओं को क्या करना चाहिए
मुख्य दायित्व तीन हैं, और इनमें से दो सीधे डेटा संग्रह से संबंधित हैं:
- तकनीकी दस्तावेज़ — मॉडल की आर्किटेक्चर, पद्धतियों और प्रशिक्षण संसाधनों का विवरण, जो निगरानी निकायों और अधीनस्थ डेवलपर्स के लिए उपलब्ध है।
- प्रशिक्षण डेटा का सार्वजनिक सारांश — प्रदाता को "पर्याप्त विस्तृत" विवरण प्रकाशित करना होगा कि मॉडल किस सामग्री पर प्रशिक्षित हुआ, AI कार्यालय द्वारा जारी किए गए प्रारूप के अनुसार। यह दुनिया में पहली बार है जब मॉडल डेवलपर्स को डेटा स्रोतों के बारे में सार्वजनिक रूप से रिपोर्ट करने के लिए मजबूर किया जा रहा है।
- कॉपीराइट अनुपालन नीति — प्रदाता को 2019/790 कॉपीराइट निर्देश के अनुच्छेद 4 के तहत text-and-data-mining (TDM) से इनकार करने के तंत्रों का सम्मान करना होगा, जिसमें मशीन-पठनीय संकेत शामिल हैं।
सिस्टम जोखिम वाले मॉडलों (प्रशिक्षण सीमा 10^25 FLOPs) के लिए प्रतिकूल परीक्षण और घटना रिपोर्टिंग की आवश्यकता होगी। पहले से बाजार में मौजूद मॉडलों को अनुपालन लाने के लिए 2 अगस्त 2027 तक का समय दिया गया है।
robots.txt को कॉपीराइट का "वजन" मिलता है
डेटा संग्रह उद्योग के लिए सबसे बड़ा परिवर्तन वास्तव में कॉपीराइट आवश्यकता में छिपा हुआ है। पहले, robots.txt एक सज्जन समझौता था: इसे नजरअंदाज करना साइट के नियमों का उल्लंघन करता था, लेकिन यह अपने आप में कानून का उल्लंघन नहीं माना जाता था। अब 2019/790 निर्देश के अनुच्छेद 4 के तहत मशीन-पठनीय अधिकारों का आरक्षित करना — robots.txt, उभरता हुआ मानक ai.txt, TDM-लेबल्स — कॉपीराइट का वजन प्राप्त करता है। अधिकार धारक, जिसने मशीन-पठनीय रूप में डेटा माइनिंग से इनकार किया है, वास्तव में अपने सामग्री के उपयोग से प्रशिक्षण के लिए कॉपीराइट द्वारा सुरक्षित है।
इन संकेतों को मानकीकरण के लिए, यूरोपीय आयोग ने अधिकार आरक्षित करने के प्रोटोकॉल पर परामर्श शुरू किया: उद्देश्य एक मशीन-पठनीय प्रारूप पर सहमत होना है, जिसे "उद्योग की स्थिति" के रूप में मान्यता प्राप्त होगी और अधिकार धारकों द्वारा व्यापक रूप से स्वीकार किया जाएगा। दूसरे शब्दों में, EU AI के लिए स्क्रैपिंग से इनकार करने के लिए कानूनी रूप से महत्वपूर्ण भाषा का निर्माण कर रहा है।
संदर्भ: प्लेटफार्मों ने पहले ही आक्रमण शुरू कर दिया है
यह नियम पहले से ही तीव्र हो चुके बाजार पर लागू होता है। जुलाई 2025 में Cloudflare, जो लगभग 20% वेब की सुरक्षा करता है, पहला बुनियादी ढांचा प्रदाता बन गया जिसने डिफ़ॉल्ट रूप से AI-क्रॉलर को सभी नए डोमेन के लिए ब्लॉक किया — वेबसाइट के मालिक को अब विशेष बॉट्स को स्पष्ट रूप से अनुमति देनी होगी। अगस्त 2025 तक, 2.5 मिलियन से अधिक साइटों ने AI के लिए अपने सामग्री के उपयोग पर पूरी तरह से प्रतिबंध लगा दिया; केवल GPTBot लगभग 19% साइटों द्वारा ब्लॉक किया गया है। सबसे अधिक ब्लॉक किए जाने वाले क्रॉलर में GPTBot, ClaudeBot, CCBot, Google-Extended और Bytespider शामिल हैं।
इस बीच, अंतर विशाल है: Cloudflare के अनुसार, AI-बॉट्स लगभग 39% शीर्ष-1 मिलियन नेटवर्क संसाधनों को लक्षित करते हैं, लेकिन उनमें से केवल 2.98% वास्तव में ऐसे अनुरोधों को ब्लॉक या चुनौती देते हैं। साथ ही, Cloudflare ने Pay Per Crawl मॉडल शुरू किया है — साइट बॉट्स को "402 Payment Required" उत्तर देती है, और AI कंपनियाँ पहुँच के लिए भुगतान करती हैं। डेटा संग्रह से मुफ्त "सब कुछ अनुमति है" एक मूल्य निर्धारण बाजार में बदल रहा है।
कानूनी मोर्चा पीछे नहीं है। Reddit ने Perplexity AI और इससे संबंधित डेटा संग्रहकर्ताओं और प्रॉक्सी प्रदाताओं (SerpApi, Oxylabs, AWMProxy) के खिलाफ मुकदमे दायर किए हैं, और इसके मुख्य वकील ने संघर्ष का सार कठोरता से प्रस्तुत किया: "AI कंपनियाँ गुणवत्तापूर्ण मानव सामग्री के लिए हथियारों की दौड़ में बंद हैं, और यह दबाव डेटा माइनिंग की औद्योगिक पैमाने की अर्थव्यवस्था को जन्म देता है।" साथ ही, Reddit ने OpenAI और Google के साथ लाइसेंसिंग सौदों पर हस्ताक्षर किए हैं — यानी डेटा उन लोगों को बेचा जाता है जो भुगतान करते हैं, और उन लोगों का पीछा किया जाता है जो मुफ्त में लेते हैं। LinkedIn ने एक अलग मुकदमे में ProAPIs कंपनी पर डेटा स्क्रैपिंग और प्रोफाइल को $15,000 प्रति माह की कीमत पर पुनर्विक्रय के लिए लगभग एक मिलियन फर्जी खातों का निर्माण करने का आरोप लगाया है।
यह डेटा संग्रहकर्ताओं के लिए क्या अर्थ रखता है
पहला और सबसे महत्वपूर्ण — घबराने की जरूरत नहीं है। EU AI अधिनियम वेब स्क्रैपिंग को प्रतिबंधित नहीं करता और सार्वजनिक डेटा संग्रह को अपराध में नहीं बदलता। यह नियम विशेष रूप से AI मॉडल प्रदाताओं और उच्च जोखिम वाले सिस्टम पर लक्षित है। यदि आप प्रतिस्पर्धियों की कीमतों की निगरानी कर रहे हैं, SEO विश्लेषण के लिए डेटा एकत्र कर रहे हैं, परिणामों की जांच कर रहे हैं या सार्वजनिक समीक्षाओं को संकलित कर रहे हैं, तो आप "GPAI प्रदाता" नहीं बनते हैं और नए दायित्वों के तहत सीधे नहीं आते हैं।
किसे अधिनियम वास्तव में प्रभावित करता है
उन पर असर पड़ता है जो एकत्रित डेटा पर बड़े मॉडलों को प्रशिक्षित या पुनः प्रशिक्षित करते हैं और उन्हें EU बाजार में रखते हैं। उनके लिए प्रशिक्षण डेटा का सारांश प्रकाशित करना और TDM इनकारों का सम्मान करना वास्तविक दंड के साथ कानूनी आवश्यकता बन जाता है। यदि आपका स्क्रैपिंग मॉडल के प्रशिक्षण पाइपलाइन में एक कड़ी है, तो स्रोतों का दस्तावेजीकरण करना आवश्यक होगा, और मशीन-पठनीय प्रतिबंधों का पालन करना होगा।
डेटा को सही तरीके से कैसे एकत्र करें
दूसरा प्रभाव — अप्रत्यक्ष, लेकिन यह सभी को प्रभावित करेगा। जितना अधिक कानूनी वजन मशीन-पठनीय इनकार प्राप्त करते हैं और प्लेटफार्मों द्वारा स्वचालित ट्रैफ़िक को रोकने की कोशिश की जाती है, डेटा संग्रह के लिए मानक उतना ही ऊँचा होता है। व्यावहारिक निष्कर्ष:
- robots.txt और TDM-लेबल पढ़ें और उनके अनुसार सूचित निर्णय लें। मशीन-पठनीय इनकार को नजरअंदाज करना अब केवल प्रतिबंध का जोखिम नहीं है, बल्कि संभावित कॉपीराइट कहानी भी है, खासकर यदि डेटा मॉडल के प्रशिक्षण में जाता है।
- कार्य को विभाजित करें। सार्वजनिक तथ्यों (कीमतें, उपलब्धता, रेटिंग) का संग्रह और प्रशिक्षण के लिए कॉपीराइट से सुरक्षित सामग्री की नकल करना कानूनी रूप से अलग चीजें हैं। प्रक्रियाओं को इस तरह से बनाएं कि उन्हें मिश्रित न किया जाए।
- भार को न्यूनतम करें और जहां यह भ्रमित करता है, वहां जीवित उपयोगकर्ता के रूप में छिपें नहीं। LinkedIn के एक मिलियन फर्जी खातों की कहानी इस बात का स्पष्ट उदाहरण है कि कैसे "ग्रे" तरीके मुकदमे में बदल जाते हैं।
- कानूनी पहुँच बुनियादी ढाँचा का उपयोग करें। जब डेटा संग्रह वितरित रूप से और वास्तविक उपयोगकर्ता IP से होता है, तो यह एकल नोड पर कम भार डालता है और एक डेटा सेंटर से एक बार में नहीं दिखता। रिहायशी प्रॉक्सी ट्रैफ़िक प्रदान करते हैं, जो सामान्य उपयोगकर्ता से अलग नहीं होता, और उच्च भार वाले कार्यों के लिए, जहां अधिकतम "मानवता" की आवश्यकता नहीं होती, तेज़ डेटा सेंटर प्रॉक्सी उपयुक्त होती हैं।
ट्रैफ़िक के सामान्य चित्र को भी ध्यान में रखना चाहिए: हमने पहले ही देखा है कि बॉट्स ने पहली बार इंटरनेट पर लोगों को पीछे छोड़ दिया — यही बदलाव प्लेटफार्मों को बंद करने के लिए मजबूर करता है। और विशिष्ट प्लेटफार्मों के साथ व्यावहारिक काम के लिए, हमारा विश्लेषण बिना बैन के X (Twitter) का सुरक्षित स्क्रैपिंग के लिए उपयोगी है: वही सिद्धांत — सीमाओं का सम्मान करना, अनुरोधों को वितरित करना, विश्वसनीय IP का उपयोग करना — नए नियामक वास्तविकता में भी काम करते हैं।
निष्कर्ष
2 अगस्त 2026 एक "स्क्रैपिंग का अंत" नहीं है, बल्कि एक बिंदु है, जिसके बाद डेटा संग्रह अंततः दो पथों में विभाजित हो जाता है। दस्तावेजीकृत, मशीन-पठनीय इनकारों का सम्मान करने वाला और सार्वजनिक डेटा के साथ काम करने वाला — सामान्य और सुरक्षा बनता है। छिपा हुआ, स्पष्ट प्रतिबंधों से बचने वाला और उपयोगकर्ताओं के रूप में छिपने वाला — €15 मिलियन तक या 3% कारोबार के दंड और प्लेटफार्मों से मुकदमों के जोखिम में आता है। EU AI अधिनियम दरवाजा बंद नहीं करता — यह डेटा संग्रह को "जंगली क्षेत्र" से एक मोड में बदलता है, जहां नियम अंततः मूल्य रखते हैं। और वे जीतते हैं जो प्रक्रियाओं को पहले से पुनर्गठित करते हैं, न कि डेडलाइन से एक सप्ताह पहले।
```