30 अक्टूबर 2026 से मेटा के लिए अद्यतन व्यावसायिक शर्तें लागू हो रही हैं - उन सभी के लिए शर्तें जो फेसबुक, इंस्टाग्राम, मैसेंजर और व्हाट्सएप का व्यावसायिक उद्देश्यों के लिए उपयोग करते हैं: विज्ञापन चलाना, ब्रांड पृष्ठ का प्रबंधन करना, कैटलॉग के माध्यम से बेचना। नए पाठ में एक पैराग्राफ शामिल है, जिसे वकीलों और मीडिया ने केवल अक्टूबर के मध्य में नोटिस किया: व्यवसाय मेटा को अपने साइटों को स्वचालित रूप से बायपास करने की अनुमति देता है - सामग्री को अनुक्रमित, कैश, एकत्र और विश्लेषण करने के लिए। इस बिंदु से अलग हटना संभव नहीं है, केवल मेटा के व्यावसायिक उत्पादों का उपयोग करना बंद करना होगा।
यह कहानी केवल प्रकाशकों के लिए ही दिलचस्प नहीं है। यह वही मेटा है, जिसने वर्षों तक स्क्रैपर्स के खिलाफ मुकदमा किया, जिसमें ब्राइट डेटा भी शामिल है, और "किसे उपयोग की शर्तें बांधती हैं" के मुद्दे पर एक प्रमुख विवाद हार गई। अब कंपनी उसी संविदात्मक तंत्र का उपयोग अपने लाभ के लिए कर रही है। आइए देखें कि शर्तों में क्या लिखा है, मेटा ने विवाद के बाद क्या सुधार किया है और उन लोगों के लिए यहां से क्या व्यावहारिक निष्कर्ष हैं जो स्वयं डेटा एकत्र करते हैं या अपने साइट को बॉट्स से बचाते हैं।
मेटा की नई शर्तों में क्या लिखा है
मेटा ने अक्टूबर की शुरुआत में बिजनेस हेल्प सेंटर और मेटा बिजनेस सूट में इस अद्यतन की घोषणा की। यह कई दस्तावेजों को प्रभावित करता है: व्यावसायिक शर्तें, उत्पाद कैटलॉग की शर्तें, स्वायत्त विज्ञापन की शर्तें और एआई के माध्यम से विज्ञापन क्रिएटिव बनाने की शर्तें। पिछले व्यावसायिक शर्तों का संस्करण 6 मार्च 2024 से लागू था, और, PPC लैंड के विश्लेषण के अनुसार, इसमें क्रॉलिंग के बारे में कोई भाषा नहीं थी।
नई संस्करण में, अनुभाग 1 का नाम "लाइसेंस" से बदलकर "लाइसेंस और अधिकार, जो आप मेटा को प्रदान करते हैं" कर दिया गया है। मूल संस्करण में प्रमुख वाक्यांश:
- व्यवसाय मेटा "या उसके नाम पर कार्य करने वाले किसी भी व्यक्ति" को स्वचालित सॉफ़्टवेयर का उपयोग करने की अनुमति देता है, ताकि डोमेन, पृष्ठों और यूआरएल तक पहुंच प्राप्त की जा सके, अनुक्रमित किया जा सके, कैश किया जा सके, विश्लेषण किया जा सके, एकत्र किया जा सके और क्रॉल किया जा सके, और समय-समय पर अपडेट प्राप्त किया जा सके;
- वेबसाइटें "संबंधित" हैं जो व्यवसाय के उत्पादों या सेवाओं से संबंधित हैं या मेटा के उत्पादों के उपयोग के माध्यम से उपलब्ध हैं। "संबंधित" का क्या अर्थ है, पाठ में परिभाषित नहीं किया गया है;
- प्राप्त सामग्री का उपयोग मेटा "अपने उत्पादों को प्रदान करने, विकसित करने, सुधारने, शोध करने, शिक्षित करने और अखंडता बनाए रखने" के लिए कर सकता है;
- मेटा इन संसाधनों तक पहुंच के लिए "परीक्षण क्रेडेंशियल" बनाने का अधिकार रखता है। इसका व्यावहारिक अर्थ क्या है, शर्तों में स्पष्ट नहीं किया गया है।
सहमति प्लेटफार्मों के लिए सामान्य रूप से दी गई है: यदि आप परिवर्तनों के बारे में सूचनाकरण के बाद व्यावसायिक उत्पादों का उपयोग करना जारी रखते हैं, तो आप उनके साथ सहमत हो गए हैं। कंपनी के पृष्ठ पर 31 अक्टूबर को पोस्ट पहले से ही स्वीकृति मानी जाती है। क्रॉलिंग के बारे में पैराग्राफ से आंशिक रूप से हटने का कोई विकल्प नहीं है।
वकीलों की प्रतिक्रिया और मेटा का उत्तर
15 अक्टूबर को Nieman Lab ने इस कहानी को उठाया, जिसने तीन कानूनी विशेषज्ञों का सर्वेक्षण किया। उनके आकलन कठोर थे:
- मैट टॉपिक (लोवी & लोवी) ने कहा कि यह स्पष्ट नहीं है कि क्या अदालत इस बिंदु को मान्यता देगी, लेकिन प्रकाशकों को "यह मान लेना चाहिए कि यह लागू होगा";
- जेम्स ग्रिमेलमैन (कॉर्नेल लॉ स्कूल) ने इस पैराग्राफ को मेटा द्वारा प्रकाशकों की सामग्री पर एआई को प्रशिक्षित करने की स्पष्ट अनुमति कहा। उन्होंने "परीक्षण क्रेडेंशियल" पर भी ध्यान दिया: उनके अनुसार, यह फर्जी उपयोगकर्ताओं को बनाने और पंजीकरण दीवारों को पार करने की अनुमति दे सकता है;
- बेंजामिन सोबेल (विस्कॉन्सिन विश्वविद्यालय) ने "संबंधन" की संभावित समस्या की ओर इशारा किया: आवश्यक उत्पादों का उपयोग करने के लिए, व्यवसाय को क्रॉलिंग पर भी सहमत होना पड़ता है।
न्यूज/मीडिया एलायंस के प्रमुख डैनियल कॉफी ने शर्तों को "अवमाननापूर्ण और संभवतः अवैध" कहा। डिजिटल कंटेंट नेक्स्ट के जेसन किन्न्ट ने पूछा कि मेटा को व्यापक अधिकारों की मांग करने और एआई के प्रशिक्षण को बाध्यकारी अनुबंध में स्पष्ट रूप से लिखने की आवश्यकता क्यों है, यदि, उनके अनुसार, कुछ नहीं बदलता।
मेटा की स्थिति: 16 अक्टूबर को संचार निदेशक एंडी स्टोन ने प्रकाशनों को "झूठा" कहा और कहा कि मेटा के वेब क्रॉलर के उपयोग में कुछ नहीं बदलता। कंपनी के अनुसार, क्रॉलिंग के बारे में वाक्यांश पहले विभिन्न दस्तावेजों में बिखरे हुए थे, जिसमें विज्ञापन में जनरेटिव एआई की शर्तें शामिल थीं, और अब बस एक स्थान पर एकत्रित किए गए हैं। मेटा के अनुसार, सामग्री के मालिक अभी भी robots.txt के माध्यम से पहुंच को प्रबंधित कर सकते हैं।
17 अक्टूबर को पाठ में संशोधन किए गए। Nieman Lab के अनुसार, लक्ष्यों की सूची से "train" शब्द हटा दिया गया, और उपयोग को सभी मेटा उत्पादों के बजाय विज्ञापन और व्यावसायिक उत्पादों तक सीमित कर दिया गया। कुछ प्रकाशनों ने The Verge का हवाला देते हुए लिखा है कि विवादास्पद बिंदु को पूरी तरह से हटा दिया गया। हालांकि, जिन विशेषज्ञों से Nieman Lab ने बात की, उनका मानना है कि क्रॉलिंग पर व्यापक अधिकार शर्तों में फिर भी बने रहे, और व्यवसाय खातों के लिए 30 अक्टूबर तक हटने का कोई विकल्प नहीं है। अंतिम वाक्यांश को लागू होने से पहले व्यावसायिक शर्तों के पृष्ठ पर सत्यापित करना चाहिए।
दोहरा मानक: कैसे मेटा ने ब्राइट डेटा को हराया और क्या सीखा
यह समझने के लिए कि वकील इतने सतर्क क्यों हैं, हमें मेटा प्लेटफार्म बनाम ब्राइट डेटा मामले को याद करना चाहिए। 23 जनवरी 2024 को, न्यायाधीश एडवर्ड चेन (उत्तर कैलिफोर्निया जिला) ने ब्राइट डेटा के पक्ष में अनुबंध उल्लंघन के मामले में निर्णय दिया। अदालत की तर्कशक्ति: मेटा की शर्तें स्क्रैपिंग को प्रतिबंधित करती हैं, लेकिन केवल उन उपयोगकर्ताओं को बांधती हैं जो खाते में लॉग इन करते हैं। बिना लॉगिन के सार्वजनिक डेटा एकत्र करना इन शर्तों के अंतर्गत नहीं आता। अदालत ने यह भी नहीं पाया कि ब्राइट डेटा ने केवल लॉगिन के बाद उपलब्ध डेटा एकत्र किया और इस विचार को खारिज कर दिया कि पूर्व उपयोगकर्ता शर्तों से अनिश्चितकाल तक बंधा है।
उस मामले से निष्कर्ष, जिस पर तब से पूरी उद्योग निर्भर करती है: अनुबंध उस व्यक्ति को बांधता है जिसने इसे स्वीकार किया है. नए व्यावसायिक शर्तें उसी योजना पर काम करती हैं, केवल इसके विपरीत। मेटा किसी अन्य साइट को अपने क्रॉलर को अनुमति देने के लिए मजबूर नहीं कर सकती, लेकिन वह अनुबंध के माध्यम से मालिक की सहमति प्राप्त कर सकती है, जिसे उसने पहले विज्ञापन चलाने के लिए स्वीकार किया था। और robots.txt यहां एक कमजोर सांत्वना है: स्वयं की शर्तें इसके बारे में कुछ नहीं कहती हैं, और वकील चिंतित हैं कि मेटा अनुबंध का हवाला देकर तकनीकी फ़ाइल में प्रतिबंध से अधिक मजबूत अनुमति प्राप्त कर सकती है।
मेटा के कौन से क्रॉलर साइटों पर जाते हैं
मेटा की वेबमास्टर दस्तावेज़ीकरण में वर्तमान में पांच एजेंटों की सूची है। यह इस बात पर निर्भर करता है कि कौन सा आया है, कि क्या robots.txt में प्रतिबंध लागू होगा:
- meta-externalagent - मूल एआई मॉडल को प्रशिक्षित करने और उत्पादों में अनुक्रमण के लिए पृष्ठों को एकत्र करता है। दोनों कार्यों के लिए एक टोकन, इसलिए अनुक्रमण की अनुमति देना और प्रशिक्षण को अलग से प्रतिबंधित करना संभव नहीं है;
- meta-webindexer - मेटा एआई में खोज और उद्धरण के लिए वेब को अनुक्रमित करता है;
- meta-externalads - विज्ञापन और व्यावसायिक उत्पादों के लिए क्रॉलर, यानी उसी क्षेत्र के लिए, जिसे मेटा ने नए बिंदु में सीमित किया;
- meta-externalfetcher - उपयोगकर्ता के अनुरोध पर अलग-अलग लिंक लोड करता है, जिसमें एआई के एजेंट कार्यों के लिए भी शामिल है। दस्तावेज़ के अनुसार robots.txt को अनदेखा कर सकता है, क्योंकि यह मानव का अनुरोध है;
- facebookexternalhit - जब लिंक साझा किया जाता है, तो लिंक का पूर्वावलोकन बनाता है। यह भी सुरक्षा और अखंडता की जांच के लिए robots.txt को बायपास कर सकता है।
मेटा में व्यावसायिक खाते वाले साइट के मालिक को क्या करना चाहिए
यदि आप इंस्टाग्राम के माध्यम से बेचते हैं या फेसबुक पर विज्ञापन चलाते हैं, तो अनुबंध भाग को बदलना संभव नहीं होगा। तकनीकी भाग आपके हाथ में है।
- निर्धारित करें कि आप क्या देने के लिए तैयार हैं। लिंक का पूर्वावलोकन (facebookexternalhit) आवश्यक है, अन्यथा आपके साइट के साथ पोस्ट बिना चित्र के होंगे। विज्ञापन क्रॉलर (meta-externalads) आवश्यक है, यदि आप उत्पाद कैटलॉग और डायनामिक विज्ञापन का उपयोग करते हैं। स्टोर के लिए मॉडल का प्रशिक्षण (meta-externalagent) से कोई लाभ नहीं होता है।
- अलग-अलग एजेंटों के लिए robots.txt में नियम लिखें, उदाहरण के लिए:
User-agent: meta-externalagentऔरDisallow: /। मेटा चेतावनी देती है कि क्रॉलर फ़ाइल को कैश करते हैं और परिवर्तन 24 घंटे तक लागू होते हैं। - लॉग्स की जांच करें। meta-externalagent, meta-externalads और meta-webindexer द्वारा अनुरोधों को फ़िल्टर करें, यह गिनें कि वे कितने अनुभागों को बायपास करते हैं और कितनी बार। यह एक आधार है, जिससे 30 अक्टूबर के बाद व्यवहार की तुलना की जा सके।
- महत्वपूर्ण सामग्री को सर्वर स्तर पर बंद करें, न कि केवल robots.txt: मूल्य सूची, ज्ञान आधार, भुगतान सामग्री - प्रमाणीकरण के लिए या CDN पर User-Agent पर प्रतिबंध के साथ। robots.txt एक स्वैच्छिक समझौता है, न कि एक ताला।
- शर्तों का वर्तमान संस्करण सहेजें (स्क्रीनशॉट या दिनांक के साथ PDF)। वाक्यांशों को घोषणा के कुछ सप्ताह बाद ही संशोधित किया गया था, और विवाद में उस विशेष तिथि पर लागू संस्करण सहायक होगा।
जो लोग स्वयं डेटा एकत्र करते हैं, उनके लिए इसका क्या अर्थ है
उन टीमों के लिए जो प्लेटफार्मों से डेटा एकत्र करती हैं, मेटा की कहानी उस जगह की स्पष्ट चित्रण है, जहां वास्तव में कानूनी सीमा गुजरती है।
- लॉगिन - अनुबंध पर हस्ताक्षर है। ब्राइट डेटा पर निर्णय बिना लॉगिन के सार्वजनिक डेटा एकत्र करने की रक्षा करता है। जैसे ही पार्सर खाते से काम करता है, प्लेटफार्म की शर्तें आपके लिए लागू होती हैं, और स्वचालित संग्रह पर प्रतिबंध अनुबंधीय दायित्व बन जाता है। इस पर व्यावहारिक रूप से क्या खतरा है, इसके बारे में हमने प्रॉक्सी के माध्यम से सेवा की शर्तों के उल्लंघन के जोखिमों में लिखा है।
- इन्फ्रास्ट्रक्चर को विभाजित करें। व्यावसायिक खाते, जिनके माध्यम से आप विज्ञापन चलाते हैं, और डेटा एकत्र करने वाले एकत्रक को न तो खातों और न ही आईपी के स्तर पर ओवरलैप करना चाहिए। बिना लॉगिन के सार्वजनिक संग्रह के लिए आमतौर पर डेटा सेंटर प्रॉक्सी पर्याप्त होती है, और सख्त एंटी-बॉट फ़िल्टर वाले प्लेटफार्मों के लिए - रहायशी आईपी के साथ रोटेशन।
- robots.txt - संकेत है, न कि कानून, दोनों दिशाओं में। मेटा खुद मानती है कि उसके दो एजेंट इसे बायपास कर सकते हैं। लेकिन आपके प्रोजेक्ट के लिए robots.txt का पालन एक अच्छे विश्वास का तर्क बना रहता है, यदि विवाद तक पहुंचता है। इस प्रथा का वर्णन नैतिक पार्सिंग और robots.txt के बारे में सामग्री में किया गया है।
- शर्तों में परिवर्तनों पर नज़र रखें। प्लेटफार्म अपने शर्तों को "उपयोग जारी रखने का अर्थ सहमति" के माध्यम से संशोधित करते हैं। हर तिमाही में, यह उपयोगी है कि आप अपने खाते के तहत काम करने वाले प्लेटफार्मों की वर्तमान शर्तों की तुलना सहेजे गए प्रतियों के साथ करें।
निष्कर्ष
नए व्यावसायिक शर्तें मेटा दिखाती हैं कि 2026 में वेब डेटा के लिए संघर्ष किस दिशा में बढ़ रहा है: तकनीकी बाधाओं से संविदात्मक तक। कंपनी, जिसने यह विवाद हार दिया कि किसे उसकी शर्तें बांधती हैं, अब उन शर्तों का उपयोग अपने विज्ञापनदाताओं की साइटों को बायपास करने की सहमति प्राप्त करने के लिए कर रही है। 17 अक्टूबर को संशोधन के बाद, वाक्यांश अधिक नरम हो गए, लेकिन हटने का कोई विकल्प फिर भी नहीं है, और स्वयं की शर्तें 30 अक्टूबर को लागू होती हैं। साइट के मालिकों को एजेंटों के अनुसार robots.txt को सेट करना चाहिए और शर्तों की एक प्रति सहेजनी चाहिए, और डेटा एकत्र करने वाली टीमों को यह फिर से जांचना चाहिए कि उनका संग्रह कहां लॉगिन के तहत हो रहा है और इससे क्या खतरा है।