قانون هوش مصنوعی اتحادیه اروپا از ۲ اوت ۲۰۲۶ اجرایی می‌شود: تغییرات در وب‌اسکرپینگ و جمع‌آوری داده‌ها

```html

تا ۲ اوت ۲۰۲۶ حدود یک ماه باقی مانده است - و در این روز قانون AI اتحادیه اروپا دیگر یک مقررات «کاغذی» نخواهد بود و قدرت واقعی برای جریمه‌ها را به دست می‌آورد. برای همه کسانی که داده‌ها را در اینترنت جمع‌آوری می‌کنند - از آموزش مدل‌های بزرگ تا نظارت ساده بر قیمت‌ها - این یک نقطه عطف است که پس از آن ممنوعیت‌های قابل خواندن توسط ماشین برای جمع‌آوری داده‌ها برای اولین بار وزن حق مؤلف را به خود می‌گیرد و ارائه‌دهندگان مدل‌های AI ملزم به افشای مواردی هستند که بر اساس آن آموزش دیده‌اند. بیایید بررسی کنیم که چه تغییراتی به‌طور خاص رخ می‌دهد و این موضوع به چه کسانی مربوط می‌شود.

چه چیزی در ۲ اوت ۲۰۲۶ شامل می‌شود

قانون AI اتحادیه اروپا به‌طور مرحله‌ای معرفی شد. شیوه‌های ممنوعه از فوریه ۲۰۲۵ غیرقابل اجرا شدند و الزامات برای ارائه‌دهندگان مدل‌های عمومی (GPAI - AI عمومی) به‌طور رسمی از ۲ اوت ۲۰۲۵ به اجرا درآمد. اما دقیقاً در ۲ اوت ۲۰۲۶ این مقررات به‌طور کامل قابل اجرا می‌شود: الزامات مربوط به سیستم‌های با ریسک بالا شامل می‌شود و مهم‌تر از همه، نهاد نظارتی قدرت جریمه کردن به‌خاطر عدم رعایت الزامات GPAI را به دست می‌آورد.

میزان جریمه‌ها به این صورت است:

• تا ۳۵ میلیون یورو یا ۷٪ از گردش مالی جهانی - برای شیوه‌های ممنوعه (که بالاتر است)؛
• تا ۱۵ میلیون یورو یا ۳٪ از گردش مالی جهانی - برای نقایص در سیستم‌های با ریسک بالا و الزامات GPAI؛
• تا ۷.۵ میلیون یورو یا ۱٪ از گردش مالی - برای ارائه اطلاعات نادرست به نهاد نظارتی.

عملکرد این مقررات فرامرزی است: الزامات بر روی ارائه‌دهنده اعمال می‌شود، صرف‌نظر از محل او، اگر مدل در بازار اتحادیه اروپا قرار گیرد. یک شرکت AI آمریکایی یا آسیایی که محصولش برای اروپایی‌ها در دسترس است، تحت همان قوانین قرار می‌گیرد.

چه چیزهایی را ارائه‌دهندگان GPAI باید انجام دهند

سه وظیفه کلیدی وجود دارد که دو مورد از آن‌ها به‌طور مستقیم به جمع‌آوری داده‌ها مربوط می‌شود:

• مستندات فنی - توصیف معماری مدل، روش‌شناسی و منابع آموزشی که در دسترس نهادهای نظارتی و توسعه‌دهندگان پایین‌دست قرار دارد.
• خلاصه عمومی داده‌های آموزشی - ارائه‌دهنده موظف است توصیف «به‌اندازه کافی دقیق» از محتوایی که مدل بر اساس آن آموزش دیده است، بر اساس الگوی منتشر شده توسط دفتر AI منتشر کند. این اولین تلاش در جهان برای وادار کردن توسعه‌دهندگان مدل‌ها به گزارش‌دهی عمومی درباره منابع داده‌ها است.
• سیاست رعایت حق مؤلف - ارائه‌دهنده موظف است به مکانیزم‌های انصراف از text-and-data-mining (TDM) طبق ماده ۴ دستورالعمل حق مؤلف ۲۰۱۹/۷۹۰ احترام بگذارد، از جمله سیگنال‌های قابل خواندن توسط ماشین.

برای مدل‌های با ریسک سیستمیک (آستانه آموزش ۱۰^۲۵ FLOPs) آزمایش‌های adversarial و گزارش‌دهی اجباری در مورد حوادث اضافه می‌شود. مدل‌های موجود در بازار مهلت دارند - باید تا ۲ اوت ۲۰۲۷ به‌طور کامل با الزامات مطابقت پیدا کنند.

robots.txt «وزن» حق مؤلف را به دست می‌آورد

تغییر اصلی برای صنعت جمع‌آوری داده‌ها در واقع در الزام حق مؤلف نهفته است. قبلاً فایل robots.txt یک توافق‌نامه آقایانه بود: نادیده گرفتن آن قوانین سایت را نقض می‌کرد، اما خود به‌تنهایی به‌عنوان نقض قانون محسوب نمی‌شد. اکنون تحت پوشش ماده ۴ دستورالعمل ۲۰۱۹/۷۹۰، حق محفوظ قابل خواندن توسط ماشین - robots.txt، استاندارد جدید ai.txt، و نشانه‌های TDM - وزن حق مؤلف را به خود می‌گیرد. صاحب حق که انصراف خود را از data mining به‌صورت قابل خواندن توسط ماشین اعلام کرده، در واقع تحت حمایت حق مؤلف از استفاده از محتوای او برای آموزش محافظت می‌شود.

برای استانداردسازی این سیگنال‌ها، کمیسیون اروپا مشاوره‌ای در مورد پروتکل‌های محفوظ‌سازی حقوق راه‌اندازی کرده است: هدف این است که در مورد یک فرمت قابل خواندن توسط ماشین که به‌عنوان «وضعیت صنعت» شناخته می‌شود و به‌طور گسترده توسط صاحبان حق پذیرفته می‌شود، توافق شود. به عبارت دیگر، اتحادیه اروپا در حال ساخت یک زبان حقوقی معنادار برای انصراف از اسکرپینگ برای آموزش AI است.

زمینه: پلتفرم‌ها به‌طور فعال به جلو می‌روند

این مقررات بر روی بازاری که قبلاً هم داغ شده بود، اثر می‌گذارد. در ژوئیه ۲۰۲۵ Cloudflare، که حدود ۲۰٪ وب را محافظت می‌کند، اولین ارائه‌دهنده زیرساختی شد که به‌طور پیش‌فرض AI-crawlers را برای تمام دامنه‌های جدید مسدود می‌کند - اکنون صاحب سایت باید به‌طور واضح اجازه استفاده از ربات‌های خاص را بدهد. تا اوت ۲۰۲۵، بیش از ۲.۵ میلیون وب‌سایت به‌طور کامل استفاده از محتوای خود را برای آموزش AI ممنوع کردند؛ تنها GPTBot تقریباً ۱۹٪ از وب‌سایت‌ها را مسدود می‌کند. در میان ربات‌های مسدود شده، GPTBot، ClaudeBot، CCBot، Google-Extended و Bytespider قرار دارند.

در عین حال، شکاف بسیار بزرگ است: طبق داده‌های Cloudflare، ربات‌های AI به‌طور تقریبی به ۳۹٪ از ۱ میلیون وب‌سایت برتر مراجعه می‌کنند، اما تنها ۲.۹۸٪ از آن‌ها واقعاً این درخواست‌ها را مسدود می‌کنند یا به چالش می‌کشند. به‌طور همزمان، Cloudflare مدل Pay Per Crawl را راه‌اندازی کرده است - سایت به ربات‌ها پاسخ «۴۰۲ نیاز به پرداخت» می‌دهد و شرکت‌های AI برای دسترسی هزینه پرداخت می‌کنند. جمع‌آوری داده‌ها از «همه‌چیز مجاز» رایگان به یک بازار با قیمت تبدیل می‌شود.

جبهه حقوقی نیز عقب نمی‌ماند. Reddit علیه Perplexity AI و جمع‌آورندگان و ارائه‌دهندگان پروکسی مرتبط (SerpApi، Oxylabs، AWMProxy) شکایت‌هایی مطرح کرده است و وکیل اصلی آن به‌طور قاطع ماهیت این درگیری را بیان کرده است: «شرکت‌های AI در یک مسابقه تسلیحاتی برای محتوای انسانی با کیفیت گرفتار شده‌اند و این فشار اقتصادی به مقیاس صنعتی را ایجاد کرده است». همزمان Reddit قراردادهای مجوزی با OpenAI و Google منعقد کرده است - به این معنی که داده‌ها به کسانی که پرداخت می‌کنند فروخته می‌شود و کسانی که به‌طور رایگان می‌گیرند، تحت پیگرد قرار می‌گیرند. LinkedIn در یک شکایت جداگانه شرکت ProAPIs را به ایجاد حدود یک میلیون حساب جعلی برای اسکرپینگ و فروش مجدد پروفایل‌ها به قیمت تا ۱۵۰۰۰ دلار در ماه متهم کرده است.

این چه معنایی برای کسانی که داده‌ها را جمع‌آوری می‌کنند دارد

اولین و مهم‌ترین نکته - بدون وحشت. قانون AI اتحادیه اروپا جمع‌آوری داده‌ها از وب را به‌طور کلی ممنوع نمی‌کند و جمع‌آوری داده‌های عمومی را به یک جرم تبدیل نمی‌کند. این مقررات به‌طور خاص به ارائه‌دهندگان مدل‌های AI و سیستم‌های با ریسک بالا ضربه می‌زند. اگر شما قیمت‌های رقبا را نظارت می‌کنید، داده‌ها را برای تحلیل SEO جمع‌آوری می‌کنید، نتایج را بررسی می‌کنید یا نظرات عمومی را جمع‌آوری می‌کنید، شما «ارائه‌دهنده GPAI» نمی‌شوید و به الزامات جدید به‌طور مستقیم مشمول نمی‌شوید.

چه کسانی واقعاً تحت تأثیر قانون قرار می‌گیرند

آن‌هایی که مدل‌های بزرگ را بر اساس داده‌های جمع‌آوری شده آموزش می‌دهند یا دوباره آموزش می‌دهند و آن‌ها را در بازار اتحادیه اروپا قرار می‌دهند، تحت تأثیر قرار می‌گیرند. برای آن‌ها انتشار خلاصه داده‌های آموزشی و احترام به انصراف‌های TDM به یک الزام قانونی با جریمه‌های واقعی تبدیل می‌شود. اگر اسکرپینگ شما یک حلقه در زنجیره آموزش مدل باشد، منابع باید مستند شوند و ممنوعیت‌های قابل خواندن توسط ماشین باید رعایت شوند.

چگونه به‌طور صحیح داده‌ها را جمع‌آوری کنیم

اثر دوم - غیرمستقیم است، اما بر همه تأثیر می‌گذارد. هرچه وزن حقوقی انصراف‌های قابل خواندن توسط ماشین بیشتر شود و هرچه پلتفرم‌ها به‌طور تهاجمی ترافیک خودکار را مسدود کنند، سطح بالاتری برای هر نوع جمع‌آوری داده‌ها ایجاد می‌شود. نتایج عملی:

• robots.txt و نشانه‌های TDM را بخوانید و بر اساس آن تصمیم آگاهانه بگیرید. نادیده گرفتن انصراف قابل خواندن توسط ماشین اکنون نه تنها خطر مسدود شدن، بلکه یک داستان حق مؤلف بالقوه نیز است، به‌ویژه اگر داده‌ها برای آموزش مدل استفاده شوند.
• وظایف را تفکیک کنید. جمع‌آوری حقایق عمومی (قیمت‌ها، موجودی، رتبه‌بندی‌ها) و کپی کردن محتوای محافظت‌شده توسط حق مؤلف برای آموزش - این‌ها از نظر قانونی چیزهای متفاوتی هستند. فرآیندها را طوری طراحی کنید که آن‌ها را مخلوط نکنید.
• بار را به حداقل برسانید و در جایی که باعث گمراهی می‌شود، خود را به‌عنوان کاربر واقعی معرفی نکنید. داستان با یک میلیون حساب جعلی LinkedIn نمونه‌ای واضح از این است که چگونه روش‌های «خاکستری» به شکایت تبدیل می‌شوند.
• زیرساخت قانونی دسترسی را استفاده کنید. وقتی جمع‌آوری داده‌ها به‌طور توزیع‌شده و از IP‌های واقعی کاربران انجام می‌شود، بار کمتری بر روی یک گره خاص ایجاد می‌کند و به‌عنوان یک حمله از یک مرکز داده به نظر نمی‌رسد. پروکسی‌های مسکونی ترافیکی ارائه می‌دهند که از کاربر عادی غیرقابل تشخیص است، و برای وظایف با بار بالا، جایی که حداکثر «انسانیت» لازم نیست، پروکسی‌های مرکز داده‌ای سریع‌تر مناسب هستند.

همچنین باید به تصویر کلی ترافیک توجه کرد: ما قبلاً بررسی کرده‌ایم که ربات‌ها برای اولین بار از انسان‌ها در اینترنت پیشی گرفتند - دقیقاً این تغییر باعث می‌شود که پلتفرم‌ها بسته شوند. و برای کار عملی با پلتفرم‌های خاص، بررسی ما اسکرپینگ ایمن X (توئیتر) بدون مسدود شدن مفید است: همان اصول - احترام به محدودیت‌ها، توزیع درخواست‌ها، استفاده از IP‌های معتبر - در واقعیت جدید نظارتی نیز کار می‌کند.

نتیجه‌گیری

۲ اوت ۲۰۲۶ - این پایان اسکرپینگ نیست، بلکه نقطه‌ای است که پس از آن جمع‌آوری داده‌ها به‌طور کامل به دو مسیر تقسیم می‌شود. جمع‌آوری مستند، که به انصراف‌های قابل خواندن توسط ماشین احترام می‌گذارد و با داده‌های عمومی کار می‌کند - به یک هنجار و محافظت تبدیل می‌شود. جمع‌آوری پنهانی، که از ممنوعیت‌های واضح عبور می‌کند و خود را به‌عنوان کاربران برای آموزش مدل‌ها معرفی می‌کند - تحت خطر جریمه‌های تا ۱۵ میلیون یورو یا ۳٪ از گردش مالی و شکایت از پلتفرم‌ها قرار می‌گیرد. قانون AI اتحادیه اروپا درب را نمی‌بندد - بلکه جمع‌آوری داده‌ها را از «میدان وحشی» به حالتی منتقل می‌کند که قوانین بالاخره قیمت دارند. و کسانی که فرآیندها را از قبل بازسازی می‌کنند، نه یک هفته قبل از مهلت، برنده خواهند بود.