گوگل در حال از دست دادن «درهای قانونی» به نتایج خود است. API جستجوی سفارشی JSON برای مشتریان جدید بسته شده و از ۱ ژانویه ۲۰۲۷ به طور کامل متوقف خواهد شد، و از ۱۳ سپتامبر ۲۰۲۶، سهم درخواست‌های مسدود شده در سرویس‌هایی که خودشان نتایج را جمع‌آوری می‌کنند به طور قابل توجهی افزایش یافته است. برای تیم‌های SEO، گردآورندگان، نظارت بر قیمت‌ها و عوامل هوش مصنوعی با جستجوی وب، این به معنای یک چیز است: تا پایان سال باید تصمیم بگیرید که از کجا نتایج گوگل را در سال ۲۰۲۷ خواهید گرفت.
چه اتفاقی افتاد: دو خبر در یک ماه
API رسمی در حال سپری کردن آخرین سه ماه خود است
گوگل در تاریخ ۲۰ ژانویه ۲۰۲۶ از بسته شدن API جستجوی سفارشی JSON خبر داد، اما برای اکثر تیم‌ها، مهلت تنها اکنون احساس می‌شود. در صفحه مستندات به وضوح ذکر شده است: API برای مشتریان جدید بسته است و مشتریان فعلی تا ۱ ژانویه ۲۰۲۷ فرصت دارند تا به گزینه‌ای دیگر منتقل شوند.
تا این تاریخ، شرایط قبلی برقرار است:
- ۱۰۰ درخواست رایگان در روز؛
- بعد از آن ۵ دلار برای ۱۰۰۰ درخواست؛
- حداکثر — ۱۰,۰۰۰ درخواست در روز.
این ارزان‌ترین و ساده‌ترین روش رسمی برای دریافت نتایج جستجو در JSON بود. توسعه‌دهندگان در فروم‌های گوگل از ماه ژوئیه به خطاهای ۴۰۳ هنگام فعال بودن API، فعال بودن صورت‌حساب و عدم اتمام سهمیه شکایت داشتند، بنابراین برخی از افراد API عملاً قبل از تاریخ رسمی کار نکرده است.
سکرپرهای نتایج به شدت محدودتر می‌شوند
در تاریخ ۱۸ سپتامبر، Search Engine Roundtable سیگنال‌هایی از اپراتورهای ابزارهای SEO جمع‌آوری کرد. درک پرکینز از Nozzle گزارش داد که از حدود ۱۳ سپتامبر، بیشتر تلاش‌ها برای جمع‌آوری داده‌ها از جستجوی گوگل مسدود می‌شود: حجم داده‌های جمع‌آوری شده تقریباً ۸۰٪ کاهش یافته است. به گفته او، تصویر مشابهی در داده‌های DataForSEO نیز وجود داشت. استیو پین از Sistrix نوشت که گوگل حدود یک سال است که به طور مداوم روش ارائه نتایج را تغییر می‌دهد و اکنون سرعت تغییرات بسیار بالا است و جمع‌آوری داده‌ها با سرعت کمتری انجام می‌شود.
گلن گِیب داده‌های ردیاب‌ها را با ترافیک واقعی سایت‌ها مقایسه کرد: Ahrefs بهترین بازگشت را داشت، Semrush با تأخیر آن را نشان داد و Sistrix به طور قابل توجهی عقب بود. هیچ نظری رسمی از گوگل وجود ندارد.
چرا این یک تصادف نیست، بلکه یک روند است
اگر رویدادها را به ترتیب بچینید، سیاستی پیوسته دیده می‌شود: ابتدا جمع‌آوری خودکار را گران‌تر کنید، سپس دسترسی رسمی ارزان را ببندید.
- ژانویه ۲۰۲۵. گوگل حفاظت از نتایج را تشدید کرد و در Semrush، SE Ranking و دیگر ردیاب‌ها داده‌ها دچار نوسان شد.
- سپتامبر ۲۰۲۵. پارامتر
&num=100که اجازه می‌داد ۱۰۰ نتیجه را در یک صفحه دریافت کنید، ناپدید شد. برای جمع‌آوری همان عمق، نیاز به درخواست‌های بیشتری است. - ژانویه ۲۰۲۶. بسته شدن API جستجوی سفارشی JSON اعلام شد.
- اوت ۲۰۲۶. لینک‌ها در نتایج برای مشتریان خودکار به ریدایرکت‌های رمزگذاری شده google.com/goto تغییر یافت. ما به تفصیل بررسی کردیم، چگونه لینک‌های goto گزارش‌های ردیاب‌ها را خراب می‌کنند و هزینه‌های رمزگشایی آن‌ها چقدر است.
- سپتامبر ۲۰۲۶. موج جدیدی از مسدودسازی جمع‌آورندگان از ۱۳ سپتامبر آغاز شد.
مایکروسافت این مسیر را زودتر طی کرد: در تاریخ ۱۱ اوت ۲۰۲۵، او به طور کامل خانواده Bing Search API (وب، تصاویر، اخبار، ویدیو، جستجوی سفارشی و دیگران) را خاموش کرد و به جای آن Grounding with Bing Search را در Azure AI Agents پیشنهاد داد. این دیگر نتایج در JSON نیست، بلکه زمینه‌ای برای پاسخ LLM است. دو موتور جستجوی بزرگ دیگر دیگر نتایج خام را به همه علاقه‌مندان نمی‌فروشند.
گوگل چه چیزی به جای آن پیشنهاد می‌دهد
سه گزینه رسمی وجود دارد و هیچ‌کدام جایگزین «یک به یک» نیستند.
- جستجوی Vertex AI. گوگل آن را برای جستجو در سایت‌ها در محدوده ۵۰ دامنه توصیه می‌کند. این یک محصول شرکتی برای جستجو در شاخص خودتان است و نتایج عمومی گوگل را برنمی‌گرداند.
- عنصر جستجو. ویجت جستجوی رایگان برای سایت، با همان محدودیت‌ها تا ۵۰ دامنه. برای جمع‌آوری برنامه‌نویسی نتایج مناسب نیست.
- API سرویس جستجوی وب. در تاریخ ۱۱ سپتامبر، Search Engine Journal مستندات API جدید «جستجوی کامل وب» را مشاهده کرد. این API نتایج را به صورت JSON از طریق REST یا gRPC برمی‌گرداند، تا ۲۰ نتیجه در هر درخواست، اما به پروژه Google Cloud، کلید API و شناسه مشتری نیاز دارد که به قرارداد شراکتی متصل است. در هر درخواست باید IP کاربر ارسال شود. چگونه شریک شوید، هزینه آن چقدر است و چه محدودیت‌هایی وجود دارد، در مستندات ذکر نشده است. به طور رسمی، گوگل تنها پیشنهاد می‌کند که فرم علاقه را پر کنید.
به طور خلاصه: برای پروژه‌های کوچک با جستجو در چند سایت، راه‌حلی وجود دارد. برای وظایف «بدانید که گوگل چه چیزی را برای درخواست X در کشور Y نشان می‌دهد» پس از ۱ ژانویه راه ارزان رسمی وجود نخواهد داشت.
چه کسانی بیشتر تحت تأثیر قرار خواهند گرفت
- اسکریپت‌های داخلی SEO. بسیاری از تیم‌ها موقعیت‌ها یا ایندکس‌گذاری را از طریق CSE بررسی می‌کردند: ۱۰,۰۰۰ درخواست در روز برای یک مجموعه کوچک از کلیدواژه‌ها کافی بود. از سال ۲۰۲۷، این کد شروع به دریافت خطا خواهد کرد.
- عوامل هوش مصنوعی و RAG-pipelines که در آن جستجوی وب از طریق جستجوی سفارشی به عنوان «گوگل رسمی» در دسترس بود.
- نظارت بر برند و محتوا: جستجوی اشاره‌ها، کپی‌های متون، دامنه‌های فیشینگ از طریق درخواست‌ها در گوگل.
- کاربران پلتفرم‌های SEO. جمع‌آورندگان مجبورند درخواست‌های بیشتری برای همان حجم داده‌ها انجام دهند و هزینه در نهایت به اشتراک منتقل می‌شود. در سپتامبر، بسیاری همچنین دچار مشکلاتی در نمودارهای موقعیت شدند.
چه کارهایی باید تا ۱ ژانویه انجام دهید: چهار راه
۱. بررسی کنید که آیا اصلاً به نتایج گوگل نیاز دارید
با یک ممیزی شروع کنید: کجا در کد customsearch/v1 فراخوانی می‌شود و چرا. اغلب CSE برای جستجو در سایت خود یا چند دامنه استفاده می‌شد و در این صورت جستجوی Vertex AI یا عنصر جستجو مشکل را حل می‌کند. اما اگر به موقعیت‌های دقیق در گوگل نیاز دارید، این مسیر مناسب نیست.
۲. API SERP شخص ثالث
سریع‌ترین گزینه برای مهاجرت: ارائه‌دهنده مسدودسازی‌ها، کپچاها و تجزیه HTML را بر عهده می‌گیرد و شما JSON را دریافت می‌کنید. قیمت‌ها در بازار به شدت متفاوت است. بر اساس مقایسه‌ای که خود ارائه‌دهنده SERP cloro منتشر کرده است (یعنی این یک بنچمارک مستقل نیست)، دامنه قیمت از حدود ۱ تا ۲ دلار تا ۱۲ دلار برای ۱۰۰۰ درخواست با ۱۰ نتیجه است. معایب — وابستگی به زیرساخت‌های دیگر: موج مسدودسازی سپتامبر نشان داد که ممکن است ارائه‌دهنده‌ای که داده‌ها را به دیگران می‌فروشد نیز دچار مشکل شود.
۳. جمع‌آورنده خودتان بر روی پروکسی
کنترل بر روی جغرافیا، فرکانس و فرمت داده‌ها را فراهم می‌کند، اما نیاز به کار مهندسی و رعایت قوانین دارد. گوگل در سیاست‌های خود درخواست‌های خودکار به جستجو را بدون اجازه ممنوع کرده است، بنابراین این راه‌حل با ریسک قانونی و عملی آگاهانه همراه است، نه «جایگزینی رایگان برای API». اگر به این مسیر می‌روید:
- برای درخواست‌ها به خود نتایج از IPهایی استفاده کنید که به عنوان کاربران عادی به نظر می‌رسند: پروکسی‌های مسکونی با انتخاب کشور و شهر یا موبایل برای سناریوهای حساس‌ترین. آدرس‌های دیتاسنتر گوگل را سریع‌تر شناسایی می‌کند؛
- IP جغرافیایی را به پارامترهای درخواست (
gl،hl، مکان) متصل کنید. نتایج بر اساس مکان شخصی‌سازی شده‌اند و عدم تطابق IP و پارامترها «نتیجه نادرست» می‌دهد؛ - درخواست‌ها را شبیه به درخواست‌های مرورگر نگه دارید: رندر واقعی یا TLS و هدرهای صحیح، وقفه‌ها، فرکانس معتدل برای هر IP؛
- برای ترافیک کمکی که به google.com نمی‌رود (دانلود صفحات پیدا شده، بررسی ریدایرکت‌ها)، پروکسی‌های دیتاسنتر ارزان‌تر کافی هستند. در جایی که حفاظت نیاز ندارد، ترافیک مسکونی را هدر ندهید؛
- نسبت پاسخ‌های موفق را بر اساس روزها اندازه‌گیری کنید. اگر به طور ناگهانی کاهش یابد، مانند ۱۳ سپتامبر، جمع‌آوری را متوقف کنید و بررسی کنید، نه اینکه فرکانس را افزایش دهید: این سریع‌ترین راه برای «سوزاندن» مجموعه است.
جنبه عملی جمع‌آوری — رندرینگ، تجزیه بلوک‌های AI Overviews، انتخاب جغرافیا — در راهنمای ما برای جمع‌آوری نتایج گوگل با AI Overviews توصیف شده است.
۴. تغییر منبع حقیقت برای موقعیت‌ها
برای سایت‌های خودتان، داده‌هایی دارید که به جمع‌آورندگان وابسته نیستند: کنسول جستجوی گوگل موقعیت‌های متوسط، نمایش‌ها و کلیک‌ها را بر اساس درخواست‌ها از طریق API رایگان ارائه می‌دهد. بررسی گلن گِیب به خوبی نشان می‌دهد که چرا این مهم است: ردیاب‌ها در سپتامبر با یکدیگر اختلاف داشتند، در حالی که ترافیک واقعی نقطه شروع باقی ماند. از کنسول جستجو به عنوان معیار استفاده کنید و ردیاب‌های خارجی را برای رقبای خود و آن درخواست‌هایی که هنوز نمایش ندارید، استفاده کنید.
چگونه بفهمید که افت در گزارش مشکل شما نیست
اگر پس از ۱۳ سپتامبر در ردیاب افت ناگهانی در موقعیت‌ها یا شکاف‌هایی در داده‌ها مشاهده کردید، قبل از تغییر سایت:
- تاریخ‌های افت را با کنسول جستجو مقایسه کنید: اگر نمایش‌ها و کلیک‌ها یکنواخت هستند، مشکل در جمع‌آوری است، نه در رتبه‌بندی؛
- ببینید آیا همه کلیدواژه‌ها به طور همزمان تحت تأثیر قرار گرفته‌اند. افت همزمان صدها درخواست معمولاً نشان‌دهنده اختلال در جمع‌آوری است؛
- وضعیت صفحه و وبلاگ ابزار SEO خود را بررسی کنید: اکثر ارائه‌دهندگان اطلاعیه‌هایی درباره مشکلات جمع‌آوری منتشر می‌کنند؛
- بر اساس یک ابزار نتیجه‌گیری نکنید — در سپتامبر Ahrefs، Semrush و Sistrix با سرعت‌های متفاوتی بهبود یافتند.
نتیجه‌گیری
گوگل به طور پیوسته دسترسی ارزان به نتایج را می‌بندد: ابتدا num=100، سپس ریدایرکت‌های goto، حالا پایان API جستجوی سفارشی و موج جدیدی از مسدودسازی. جایگزین رسمی برای جستجوی کامل وب وجود دارد، اما تنها برای شرکا و بدون قیمت‌های عمومی. تا ۱ ژانویه، باید در کد تمام فراخوانی‌های CSE را پیدا کنید، تصمیم بگیرید که آیا واقعاً به نتایج گوگل نیاز دارید و راهی را انتخاب کنید: API SERP، جمع‌آورنده خودتان بر روی پروکسی‌های باکیفیت یا کنسول جستجو به عنوان منبع حقیقت برای سایت‌های خود. به کسانی که مهاجرت را به دسامبر موکول می‌کنند، مجبور خواهند شد که آن را به سرعت انجام دهند، در حالی که ردیاب‌ها و ارائه‌دهندگان خود را به قوانین جدید سازگار می‌کنند.