بازگشت به وبلاگ

گوگل در پرونده اسکرپینگ نتایج شکست خورد: پرونده SerpApi و تغییرات آن

در تاریخ 20 ژوئیه 2026، دادگاه فدرال کالیفرنیا شکایت گوگل علیه SerpApi را رد کرد: سیستم ضد ربات SearchGuard از حقوق نویسندگان محافظت نمی‌کند، زمانی که نتایج جستجوی معمولی — URL، اسنیپت‌ها و حقایق ایندکس در پشت آن قرار دارند. جزئیات این تصمیم را بررسی می‌کنیم، آنچه که خارج از چارچوب آن باقی مانده و چگونه بر روی شیوه جمع‌آوری داده‌های SERP تأثیر می‌گذارد.

📅۲ مرداد ۱۴۰۵
گوگل در پرونده اسکرپینگ نتایج شکست خورد: پرونده SerpApi و تغییرات آن

در تاریخ 20 ژوئیه 2026، دادگاه فدرال ناحیه شمال کالیفرنیا شکایت گوگل علیه SerpApi — شرکتی که دسترسی به نتایج جستجوی گوگل را از طریق API می‌فروشد — رد کرد. گوگل سعی داشت تا قوانین ضد دور زدن DMCA را به اسکرپینگ SERP اعمال کند — همان قوانینی که برای جلوگیری از هک کردن محافظت DVD نوشته شده بودند. دادگاه پاسخ داد: موانع فنی اطراف داده‌هایی که تحت حمایت حق نشر نیستند، توسط قانون حق نشر محافظت نمی‌شوند. در اینجا بررسی می‌کنیم که واقعاً چه چیزی توسط دادگاه تصمیم‌گیری شده است، چه چیزی تصمیم‌گیری نشده و این موضوع برای همه کسانی که داده‌ها را از نتایج جستجو جمع‌آوری می‌کنند چه معنایی دارد.

چه اتفاقی افتاد: زمان‌بندی پرونده

گوگل در تاریخ 19 دسامبر 2025 شکایت را ثبت کرد (پرونده 25-cv-10826-YGR، ناحیه شمال کالیفرنیا). متهم — SerpApi، سرویسی که نتایج جستجوی گوگل را به صورت ساختاریافته از طریق API ارائه می‌دهد. داده‌های آن به بخش قابل توجهی از صنعت SEO خدمت می‌کند: ردیاب‌های موقعیت، ابزارهای انتخاب کلمات کلیدی، داشبوردهای اطلاعات رقابتی.

حقایق کلیدی در مورد مواد پرونده:

  • SearchGuard — سیستم ضد اسکرپینگ که گوگل در ژانویه 2025 راه‌اندازی کرد. به درخواست‌های از منابع ناشناخته چالش‌های JavaScript ارسال می‌کند و نیاز دارد که تأیید شود که پشت مرورگر یک انسان وجود دارد. اتوماسیون معمولاً این نوع بررسی‌ها را نمی‌گذارد و رد می‌شود.
  • به ادعای گوگل، SerpApi «صدها میلیون درخواست جستجوی مصنوعی در روز» تولید می‌کرد و حجم درخواست‌ها تقریباً 25,000% در دو سال افزایش یافته است.
  • گوگل خسارت‌های قانونی را درخواست کرد — از 200 تا 2500 دلار برای هر عمل دور زدن. با میلیون‌ها درخواست، این مبلغ به مراتب بیشتر از درآمد سالانه SerpApi بود که به میلیون‌ها دلار اندازه‌گیری می‌شود. به عبارت دیگر، در صورت موفقیت، شکایت به سادگی شرکت را تعطیل می‌کرد.
  • SerpApi در فوریه 2026 درخواست رد شکایت کرد. قاضی اصلی ناحیه ایوان گونزالس راجرز در تاریخ 20 ژوئیه 2026 تصمیم گرفت.

چرا DMCA کار نکرد

بند 1201 DMCA دور زدن ابزارهای فنی که «به طور مؤثر دسترسی به یک اثر تحت حمایت قانون حق نشر را کنترل می‌کنند» ممنوع می‌کند. منطق گوگل: SearchGuard یک ابزار حفاظتی فنی است، SerpApi آن را دور می‌زند، بنابراین نقض واضح است.

دادگاه ساختار را به اجزا تقسیم کرد. نتایج معمولی — URL، اسنیپت‌ها، داده‌های واقعی ایندکس، موقعیت‌ها — حقایق عمومی هستند و نه «اثر تحت حمایت قانون حق نشر». بنابراین، در این بخش، نمی‌توان SearchGuard را «به طور مؤثر کنترل‌کننده دسترسی به اثر تحت حمایت» دانست. ادعاهایی که به نتایج غیر کپی رایت تکیه می‌کنند، با prejudice رد شدند — بدون حق تجدید نظر.

گوگل اشاره کرد که صفحه نتایج «ترکیبی» از محتوای تحت حمایت و غیر تحت حمایت است و به عنوان مثال تصاویر دارای مجوز در پنل اطلاعات اشاره کرد. در اینجا دادگاه موضع ملایم‌تری اتخاذ کرد: این ادعاها با حق اصلاح شکایت رد شدند. اما با شرط — گوگل باید حقایقی را نشان دهد که نشان دهد SearchGuard عناصر کپی رایت را با مجوز خود صاحبان حق نشر محافظت می‌کند. فقط قرار دادن تصویر دارای مجوز دیگران در صفحه خود و اعلام اینکه ضد ربات آن را محافظت می‌کند، کافی نیست. برای ارائه شکایت اصلاح شده، گوگل 21 روز زمان دارد.

بیانیه وبلاگ SerpApi در نهایت: دادگاه «تلاش‌های گوگل برای گسترش DMCA به کنترل دسترسی به صفحات عمومی را رد کرد». مدیرعامل شرکت، ژولین هالگی، این تصمیم را به عنوان «حفاظت از دسترسی آزاد به داده‌های عمومی» می‌نامد.

چرا این پرونده بزرگتر از نزاع دو شرکت است

زمینه سال و نیم گذشته توضیح می‌دهد که چرا گوگل اصلاً به دادگاه رفت. به لحاظ فنی، او قبلاً بر بازار داده‌های SERP فشار می‌آورد:

  • در سپتامبر 2025، گوگل پارامتر num=100 را حذف کرد که اجازه می‌داد صد نتیجه را با یک درخواست دریافت کند. هزینه کامل برداشت نتایج برای ابزارها تقریباً ده برابر افزایش یافته است.
  • زمانی که DataForSEO یک راه‌حل دور زدن را ارائه داد که هزینه‌ها را تقریباً 80% کاهش می‌داد، گوگل آن را در عرض پنج روز مسدود کرد.

بنابراین از نظر فنی، گوگل قبلاً برنده شده بود. شکایت تلاشی برای افزودن یک اهرم قانونی به این موضوع بود: تبدیل دور زدن ضد ربات به یک تخلف با جریمه‌های ثابت برای هر درخواست. این چیزی بود که دادگاه آن را نپذیرفت. اگر این موضوع پذیرفته می‌شد، هر CAPTCHA یا چالش JS در یک صفحه عمومی به طور خودکار «حفاظت فنی از اثر» می‌شد — و هر پارسر داده‌های عمومی به طور پیش‌فرض به نقض‌کننده DMCA تبدیل می‌شد.

اقتصاد موضوع: چرا برای داده‌های SERP جنگ وجود دارد

نتایج جستجو فقط «یک منبع داده دیگر» نیستند. یک صنعت کامل بر اساس آن‌ها ساخته شده است: ردیابی موقعیت‌ها، تحلیل رقبا، نظارت بر قیمت‌ها، مجموعه‌های آموزشی برای مدل‌های هوش مصنوعی. در عین حال، گوگل در موقعیت دوگانه‌ای قرار دارد: خود شرکت جستجو را بر اساس جمع‌آوری انبوه محتوای دیگران ساخته است، اما می‌خواهد به طور کامل بر دسترسی به نتیجه تجمیع شده کنترل داشته باشد.

یک لایه جداگانه — هوش مصنوعی. نتایج جستجو به یک روش سریع برای مدل‌های زبانی برای به دست آوردن تصویر تازه‌ای از اینترنت بدون خزنده خود تبدیل شده است. به همین دلیل است که در شکایت‌های سال گذشته، به طور فزاینده‌ای شرکت‌های هوش مصنوعی در کنار خدمات اسکرپینگ کلاسیک قرار دارند. استدلال «ما فقط صفحات عمومی را می‌خوانیم» هم در ابزار SEO و هم در دستیار هوش مصنوعی یکسان به نظر می‌رسد، و دادگاه‌ها تنها در حال شروع به بررسی این موضوع هستند که مرز بین آن‌ها کجاست. پرونده SerpApi حداقل به یک سوال پاسخ واضح می‌دهد: حق نشر به حقایق گسترش نمی‌یابد فقط به این دلیل که آن‌ها پشت CAPTCHA قرار دارند.

این تصمیم ادامه‌دهنده خطی است که در پرونده hiQ Labs علیه LinkedIn آشنا است: جمع‌آوری داده‌های عمومی به خودی خود به جرم تبدیل نمی‌شود فقط به این دلیل که صاحب پلتفرم از آن خوشش نمی‌آید. تفاوت این است که hiQ به CFAA (دسترسی غیرمجاز) مربوط می‌شد، در حالی که در اینجا یک راه دور زدن دیگر — حق نشر — بسته شده است.

چه چیزی این تصمیم لغو نمی‌کند

در اینجا مهم است که پیروزی در یک اپیزود را با بخشش اشتباه نکنیم. چه چیزی در جای خود باقی مانده است:

  1. مسدودسازی‌های فنی هیچ‌کجا نرفته‌اند. SearchGuard دقیقاً همانطور که در 19 ژوئیه کار می‌کرد، کار می‌کند. تصمیم دادگاه دسترسی را باز نمی‌کند — فقط نوع خاصی از مسئولیت قانونی را حذف می‌کند. پارس کردن نتایج همچنان از نظر فنی دشوار و پرهزینه است.
  2. ادعاهای قراردادی و ToS. نقض توافق‌نامه کاربری یک سطح حقوقی جداگانه است که تصمیم DMCA آن را تحت تأثیر قرار نمی‌دهد.
  3. حق نشر بر عناصر خاص. دقیقاً آن در را دادگاه نیمه باز گذاشت. نتایج واقعی — حقایق؛ تصاویر در پنل اطلاعات، محتوای دارای مجوز، عکس‌ها، نظرات کاربران — دیگر نه. جمع‌آوری «همه چیز از صفحه» و جمع‌آوری موقعیت‌ها و اسنیپت‌ها — اقدامات حقوقی متفاوتی هستند.
  4. فرآیندهای موازی. در اکتبر 2025، Reddit شکایتی را در ناحیه جنوبی نیویورک علیه Perplexity AI، SerpApi، Oxylabs و AWMProxy ثبت کرد و آن‌ها را به دور زدن حفاظت و جمع‌آوری داده‌ها برای هوش مصنوعی متهم کرد؛ شکایت اصلاح شده در 6 فوریه 2026 ثبت شد و پرونده در مرحله بررسی درخواست‌های رد است. به علاوه، SerpApi در حال دفاع از شکایت SearchApi در تگزاس است. چشم‌انداز حقوقی همچنان مورد بحث است.

و مهم‌تر از همه: این تصمیم دادگاه ناحیه اولیه است، نه یک پیش‌زمینه تجدید نظر. گوگل می‌تواند شکایت را در مورد محتوای دارای مجوز اصلاح کند و سپس تجدید نظر کند. زود است که بگوییم این موضوع برای همیشه بسته شده است.

چه چیزی به طور عملی از این نتیجه می‌شود

اگر شما داده‌ها را از نتایج جستجو جمع‌آوری می‌کنید یا قصد دارید این کار را انجام دهید، واکنش منطقی به تصمیم — نه «حالا می‌توان همه چیز را انجام داد»، بلکه روشن کردن قوانین کاری است.

  1. حقایق و محتوای تحت حمایت را در سطح پارسر جدا کنید. URL، عناوین، اسنیپت‌ها، موقعیت‌ها، وجود بلوک‌ها — این لایه واقعی است که حول آن موضع دادگاه قوی‌ترین است. تصاویر، مواد دارای مجوز جاسازی شده، متن کامل نظرات — منطقه خطر است. از نظر فنی، این به معنای لیست سفید فیلدها در استخراج‌کننده است، نه «ذخیره کردن تمام HTML به هر دلیلی».
  2. ریسک حقوقی را با ریسک عملی اشتباه نگیرید. مشکل اصلی شما در برداشت SERP — نه دادگاه، بلکه مسدودسازی‌ها، CAPTCHA و کیفیت IP است. بازار سخت‌تر شده است: پس از حذف num=100، همان حجم داده‌ها به مراتب گران‌تر است. جنبه عملی — اینکه کدام بلوک‌ها چگونه باید برداشت شوند و چرا جلسات قطع می‌شوند — در راهنمای اسکرپینگ Google SERP و AI Overviews بررسی شده است.
  3. بار مناسب را رعایت کنید. عدد «25,000% افزایش درخواست‌ها» در شکایت تصادفی نبود: حجم تهاجمی به خودی خود به عنوان یک استدلال علیه شما عمل می‌کند — هم در دادگاه و هم در چشم ضد ربات. فواصل منطقی، درخواست‌های اولویت‌دار به جای برداشت کامل و کش کردن نتایج هر دو نوع ریسک را به طور همزمان کاهش می‌دهد.
  4. جغرافیا و نوع IP را بر اساس وظیفه نگه دارید. نتایج بر اساس منطقه شخصی‌سازی می‌شوند و داده‌های برداشت شده «از هر جا» به سادگی نادرست هستند. برای جلسات جغرافیایی دقیق و پایدار، معمولاً پروکسی‌های مسکونی استفاده می‌شود؛ برای حجم‌های بزرگ درخواست‌های فنی مشابه، جایی که حساسیت به شناسایی کمتر است، پروکسی‌های دیتاسنتر ارزان‌تر هستند.
  5. ثبت کنید که چه چیزی و چرا جمع‌آوری می‌کنید. یک سند داخلی نیم‌صفحه‌ای — منابع، فیلدها، فراوانی، مدت زمان نگهداری — هزینه زیادی ندارد و در هر گونه بررسی، جمع‌آوری تحقیقاتی را از برداشت بی‌رویه متمایز می‌کند. جزئیات حقوقی مرتبط در مطلب مربوط به استفاده قانونی از پروکسی بررسی شده است.

نتیجه‌گیری

تصمیم 20 ژوئیه 2026 — نقطه‌ای قابل توجه در بحث درباره اینکه اسکرپینگ نتایج عمومی چیست. دادگاه از اینکه سیستم ضد ربات را «حفاظت از اثر» بداند، امتناع کرد، زمانی که پشت آن حقایق نه محتوای خلاقانه وجود دارد و این ادعا را به طور قطعی رد کرد. در عین حال، او به گوگل 21 روز زمان داد تا سعی کند از سمت عناصر دارای مجوز صفحه وارد شود.

معنای عملی برای بازار داده‌ها ساده است: فشار حقوقی بر جمع‌آوری حقایق از نتایج کاهش یافته است، اما فشار فنی نه و نخواهد بود. ابزارهای تحلیل SEO، اطلاعات رقابتی و نظارت بر قیمت‌ها همچنان در همان حالت قبلی کار می‌کنند: زیرساخت با کیفیت دسترسی، بار دقیق و درک واضح از اینکه کدام فیلدها را از صفحه برداشت می‌کنید.