متا و خزیدن سایت‌های کسب و کار: شرایط از ۳۰ اکتبر ۲۰۲۶

از 30 اکتبر 2026، شرایط تجاری به‌روز شده متا برای همه کسانی که از فیس‌بوک، اینستاگرام، مسنجر و واتساپ به‌طور تجاری استفاده می‌کنند، به اجرا درمی‌آید: تبلیغات راه‌اندازی می‌شود، صفحه برند مدیریت می‌شود و از طریق کاتالوگ فروش انجام می‌شود. در متن جدید، پاراگرافی وجود دارد که وکلا و رسانه‌ها فقط در اواسط اکتبر متوجه آن شدند: کسب‌وکار اجازه می‌دهد متا به‌طور خودکار به وب‌سایت‌های خود دسترسی پیدا کند — محتوای آن‌ها را ایندکس، کش، جمع‌آوری و تحلیل کند. نمی‌توان به‌طور جداگانه از این بند صرف‌نظر کرد، تنها می‌توان از محصولات تجاری متا استفاده نکرد.

این داستان فقط برای ناشران جالب نیست. این همان متاست که سال‌ها با اسکرپرها، از جمله Bright Data، درگیر دعوی قضایی بوده و در یک اختلاف کلیدی به‌ویژه در مورد «چه کسی تحت شرایط استفاده قرار می‌گیرد» شکست خورده است. اکنون این شرکت از همان مکانیزم قراردادی به نفع خود استفاده می‌کند. بیایید بررسی کنیم که در شرایط چه نوشته شده، متا چه چیزی را پس از جنجال اصلاح کرده و چه نتایج عملی برای کسانی که خود داده‌ها را جمع‌آوری می‌کنند یا از وب‌سایت خود در برابر ربات‌ها محافظت می‌کنند، وجود دارد.

چه چیزی در شرایط جدید متا نوشته شده است

متا در اوایل اکتبر این به‌روزرسانی را در مرکز کمک تجاری و در متا بیزنس سوئیت اعلام کرد. این به‌روزرسانی چندین سند را تحت تأثیر قرار می‌دهد: شرایط تجاری، شرایط کاتالوگ محصولات، شرایط تبلیغات مستقل و شرایط تولید خلاقیت‌های تبلیغاتی با استفاده از هوش مصنوعی. نسخه قبلی شرایط تجاری از 6 مارس 2024 معتبر بود و طبق بررسی PPC Land، هیچ زبانی درباره خزیدن در آن وجود نداشت.

در ویرایش جدید، بخش 1 از «مجوزها» به «مجوزها و حقوقی که شما به متا می‌دهید» تغییر نام داده است. عبارات کلیدی در نسخه اولیه:

کسب‌وکار به متا «یا هر شخصی که به نمایندگی از او عمل می‌کند» اجازه می‌دهد از نرم‌افزارهای خودکار برای دسترسی، ایندکس، کش، تحلیل، جمع‌آوری و خزیدن به دامنه‌ها، صفحات و URL‌ها استفاده کند و همچنین به‌طور دوره‌ای به‌روزرسانی‌ها را دریافت کند؛
سایت‌هایی که «به محصولات یا خدمات کسب‌وکار مرتبط» هستند یا از طریق استفاده از محصولات متا در دسترس هستند، تحت این شرایط قرار می‌گیرند. متن به‌طور مشخص «مرتبط» را تعریف نمی‌کند؛
محتوای به‌دست‌آمده توسط متا می‌تواند برای «ارائه، توسعه، بهبود، تحقیق، آموزش و حفظ یکپارچگی» محصولاتش استفاده شود؛
متا حق دارد «حساب‌های آزمایشی» برای دسترسی به این منابع ایجاد کند. در عمل، این به چه معناست، در شرایط توضیح داده نشده است.

توافق به‌طور معمول برای پلتفرم‌ها تنظیم شده است: اگر پس از اطلاع‌رسانی درباره تغییرات به استفاده از محصولات تجاری ادامه دهید، با آن‌ها موافقت کرده‌اید. پست در صفحه شرکت در 31 اکتبر به‌عنوان پذیرش تلقی می‌شود. امکان انصراف جزئی از بند مربوط به خزیدن وجود ندارد.

واکنش وکلای حقوقی و پاسخ متا

این داستان در 15 اکتبر توسط نیمن لب مطرح شد که از سه حقوقدان نظرخواهی کرد. ارزیابی‌های آن‌ها سخت بود:

مت تاپیک (Loevy & Loevy) گفت که مشخص نیست آیا دادگاه چنین بندی را به رسمیت می‌شناسد یا نه، اما ناشران «باید فرض کنند که این بند قابل اجرا خواهد بود»؛
جیمز گریمملمن (Cornell Law School) این بند را مجوز واضح متا برای آموزش هوش مصنوعی بر روی محتوای ناشران دانست. او به‌طور جداگانه به «حساب‌های آزمایشی» اشاره کرد: به نظر او، این می‌تواند اجازه دهد تا کاربران جعلی ایجاد شوند و از دیوارهای ثبت‌نام عبور کنند؛
بنجامین سوبل (University of Wisconsin) به مشکل احتمالی «پیوند» اشاره کرد: برای استفاده از محصولات مورد نیاز، کسب‌وکار مجبور به موافقت با خزیدن است.

مدیر News/Media Alliance، دانیل کافه، شرایط را «خشم‌آور و احتمالاً غیرقانونی» نامید. جیسون کینت از Digital Content Next پرسید که چرا متا باید حقوق وسیعی بخواهد و به‌طور مستقیم آموزش هوش مصنوعی را در یک قرارداد الزامی ذکر کند، اگر به گفته او، هیچ چیزی تغییر نمی‌کند.

موضع متا: در 16 اکتبر، مدیر ارتباطات، اندی استون، این انتشارات را «غلط» نامید و اعلام کرد که در نحوه استفاده متا از خزنده‌های وب، هیچ تغییری وجود ندارد. به گفته این شرکت، عبارات مربوط به خزیدن قبلاً در اسناد مختلف پراکنده بودند، از جمله شرایط هوش مصنوعی تولیدی در تبلیغات، و اکنون فقط در یک مکان جمع‌آوری شده‌اند. به گفته متا، مالکان محتوا همچنان می‌توانند دسترسی را از طریق robots.txt مدیریت کنند.

در 17 اکتبر، متن اصلاح شد. طبق گزارش نیمن لب، کلمه «train» از فهرست اهداف حذف شد و استفاده از آن به محصولات تبلیغاتی و تجاری محدود شد به‌جای همه محصولات متا. برخی از نشریات به نقل از The Verge گزارش می‌دهند که بند جنجالی به‌طور کامل حذف شده است. با این حال، کارشناسانی که با نیمن لب صحبت کردند، معتقدند که حقوق وسیع خزیدن در شرایط همچنان باقی مانده است و حساب‌های تجاری امکان انصراف تا 30 اکتبر را ندارند. لازم است که نسخه نهایی را در صفحه شرایط تجاری قبل از اجرایی شدن بررسی کنید.

استاندارد دوگانه: چگونه متا به Bright Data باخت و چه آموخت

برای درک اینکه چرا وکلا این‌قدر نگران شدند، باید به پرونده Meta Platforms v. Bright Data اشاره کرد. در 23 ژانویه 2024، قاضی ادوارد چن (شمال کالیفرنیا) به نفع Bright Data در دعوی نقض قرارداد حکم صادر کرد. منطق دادگاه: شرایط متا خزیدن را ممنوع می‌کند، اما فقط کاربران را که وارد حساب کاربری شده‌اند، متعهد می‌کند. جمع‌آوری داده‌های عمومی بدون ورود به حساب تحت این شرایط قرار نمی‌گیرد. دادگاه همچنین هیچ مدرکی پیدا نکرد که نشان دهد Bright Data داده‌هایی را جمع‌آوری کرده که فقط پس از ورود به حساب در دسترس هستند و ایده‌ای را رد کرد که کاربر سابق تحت شرایط به‌طور نامحدود متعهد است.

نتیجه این پرونده که از آن زمان تمام صنعت به آن استناد می‌کند: قرارداد کسی را که آن را پذیرفته، متعهد می‌کند. شرایط تجاری جدید بر اساس همان الگو عمل می‌کند، فقط به‌صورت معکوس. متا نمی‌تواند یک وب‌سایت خارجی را مجبور کند تا خزنده‌اش را راه دهد، اما می‌تواند با توافق مالک از طریق قراردادی که او قبلاً برای راه‌اندازی تبلیغات پذیرفته، به این توافق برسد. و robots.txt در اینجا تسلی کمی است: خود شرایط درباره آن صحبت نمی‌کنند و وکلا نگران هستند که متا ممکن است به قرارداد به‌عنوان مجوز قوی‌تر از ممنوعیت در فایل فنی استناد کند.

کدام خزنده‌های متا در وب‌سایت‌ها فعالیت می‌کنند

در مستندات برای وب‌مستران، متا در حال حاضر پنج عامل را فهرست کرده است. اینکه کدام یک از آن‌ها آمده، بستگی دارد به اینکه آیا ممنوعیت در robots.txt کار می‌کند یا نه:

meta-externalagent — صفحات را برای آموزش مدل‌های پایه هوش مصنوعی و برای ایندکس در محصولات جمع‌آوری می‌کند. یک توکن برای هر دو وظیفه، بنابراین نمی‌توان ایندکس را مجاز کرد و آموزش را به‌طور جداگانه ممنوع کرد؛
meta-webindexer — وب را برای جستجو و نقل‌قول‌ها در متا AI ایندکس می‌کند؛
meta-externalads — خزنده‌ای برای محصولات تبلیغاتی و تجاری، یعنی دقیقاً برای همان حوزه‌ای که متا بند جدید را محدود کرده است؛
meta-externalfetcher — لینک‌های جداگانه را به درخواست کاربر بارگذاری می‌کند، از جمله برای وظایف هوش مصنوعی. طبق مستندات، ممکن است robots.txt را نادیده بگیرد، زیرا این درخواست یک انسان است؛
facebookexternalhit — پیش‌نمایش لینک را زمانی که به اشتراک گذاشته می‌شود، می‌سازد. همچنین ممکن است robots.txt را برای بررسی‌های امنیتی و یکپارچگی دور بزند.

چه باید کرد اگر شما مالک یک وب‌سایت با حساب تجاری در متا هستید

اگر از طریق اینستاگرام فروش می‌کنید یا تبلیغاتی در فیس‌بوک اجرا می‌کنید، نمی‌توانید بخش قراردادی را تغییر دهید. بخش فنی در دستان شماست.

تصمیم بگیرید که چه چیزی را آماده‌اید ارائه دهید. پیش‌نمایش لینک‌ها (facebookexternalhit) ضروری است، در غیر این صورت پست‌های شما بدون تصویر خواهند بود. خزنده تبلیغاتی (meta-externalads) لازم است اگر از کاتالوگ محصولات و تبلیغات دینامیک استفاده می‌کنید. آموزش مدل‌ها (meta-externalagent) برای فروشگاه هیچ فایده‌ای ندارد.
قوانین را در robots.txt برای عوامل جداگانه بنویسید، به‌عنوان مثال: User-agent: meta-externalagent و Disallow: /. متا هشدار می‌دهد که خزنده‌ها فایل را کش می‌کنند و تغییرات تا 24 ساعت اعمال می‌شوند.
لاگ‌ها را بررسی کنید. درخواست‌ها را بر اساس خطوط meta-externalagent، meta-externalads و meta-webindexer فیلتر کنید، محاسبه کنید که کدام بخش‌ها را دور می‌زنند و چه مقدار. این پایه‌ای است که می‌توان رفتار را پس از 30 اکتبر مقایسه کرد.
محتوای ارزشمند را در سطح سرور ببندید، نه فقط در robots.txt: قیمت‌ها، پایگاه‌های دانش، مطالب پرداختی — با احراز هویت یا با محدودیت بر اساس User-Agent در CDN. robots.txt همچنان یک توافق داوطلبانه باقی می‌ماند، نه یک قفل.
نسخه فعلی شرایط را حفظ کنید (عکس صفحه یا PDF با تاریخ). عبارات پس از چند هفته از اعلامیه اصلاح شده‌اند و در اختلاف، نسخه‌ای که در تاریخ خاصی معتبر بوده، مفید خواهد بود.

این چه معنایی برای کسانی که خود داده‌ها را جمع‌آوری می‌کنند دارد

برای تیم‌هایی که داده‌ها را از پلتفرم‌ها جمع‌آوری می‌کنند، داستان متا یک تصویر واضح از جایی است که مرز قانونی واقعاً قرار دارد.

ورود به حساب — امضای قرارداد است. حکم در مورد Bright Data جمع‌آوری داده‌های عمومی بدون ورود را محافظت می‌کند. به محض اینکه پارسر از حساب کاربری استفاده کند، شرایط پلتفرم به شما اعمال می‌شود و ممنوعیت جمع‌آوری خودکار به یک تعهد قراردادی تبدیل می‌شود. جزئیات بیشتر درباره اینکه این در عمل چه عواقبی دارد، در بررسی ریسک‌های نقض شرایط خدمات هنگام کار از طریق پروکسی نوشته شده است.
زیرساخت را جدا کنید. حساب‌های تجاری که از طریق آن‌ها تبلیغات انجام می‌دهید و جمع‌آورندگان داده‌ها نباید نه از نظر حساب‌ها و نه از نظر IP تداخل داشته باشند. برای جمع‌آوری عمومی بدون ورود معمولاً پروکسی‌های دیتاسنتر کافی است و برای پلتفرم‌هایی با فیلتر ضد ربات سخت‌گیرانه — IP‌های مسکونی با چرخش.
robots.txt — سیگنال است، نه قانون، در هر دو جهت. متا خود اعتراف می‌کند که دو عامل آن می‌توانند آن را دور بزنند. اما برای پروژه شما رعایت robots.txt همچنان یک استدلال برای حسن نیت باقی می‌ماند، اگر به دعوی کشیده شود. این موضوع در مطلبی درباره جمع‌آوری اخلاقی و robots.txt توصیف شده است.
به تغییرات شرایط توجه کنید. پلتفرم‌ها آن‌ها را از طریق «ادامه استفاده به معنای موافقت است» اصلاح می‌کنند. هر سه ماه یک بار مقایسه شرایط فعلی پلتفرم‌هایی که با آن‌ها کار می‌کنید با نسخه‌های ذخیره شده مفید است.

نتیجه‌گیری

شرایط تجاری جدید متا نشان می‌دهد که مبارزه برای داده‌های وب در سال 2026 به کجا می‌رود: از موانع فنی به قراردادها. شرکتی که در مورد اینکه چه کسی تحت شرایط آن قرار می‌گیرد، در دعوی شکست خورد، اکنون از همان شرایط برای به‌دست آوردن موافقت برای دور زدن وب‌سایت‌های تبلیغ‌کنندگان خود استفاده می‌کند. پس از اصلاحات 17 اکتبر، عبارات نرم‌تر شدند، اما هنوز امکان انصراف وجود ندارد و خود شرایط از 30 اکتبر به اجرا درمی‌آید. مالکان وب‌سایت‌ها باید robots.txt را بر اساس عوامل تنظیم کنند و نسخه‌ای از شرایط را حفظ کنند، در حالی که تیم‌هایی که داده‌ها را جمع‌آوری می‌کنند باید دوباره بررسی کنند که کجا جمع‌آوری آن‌ها تحت ورود به حساب است و این چه عواقبی دارد.