گوگل URL را از نتایج جستجو پنهان کرد: ریدایرکت‌های goto و وضعیت جدید پارسینگ SERP

```html

26 اوت 2026 سال گوگل به طور رسمی تأیید کرد: لینک‌ها در نتایج جستجو دیگر به طور مستقیم به سایت هدایت نمی‌شوند. به جای آدرس صفحه در HTML، یک ریدایرکت به شکل google.com/goto?url=... با توکن رمزگذاری شده وجود دارد. بدترین قسمت این داستان این است که لینک‌های تغییر یافته به همه نمی‌رسند. یک فرد عادی در مرورگر URL‌های مستقیم را می‌بیند. این لینک‌ها به طور خاص از کسانی که گوگل آنها را به عنوان اتوماسیون شناسایی کرده است، پنهان می‌شوند.

چه اتفاقی افتاده است

اولین سیگنال‌های منفرد در 23 ژوئن 2026 ظاهر شدند — الکس گرینلند به آنها توجه کرد. در 2 ژوئیه، برودی کلارک این پدیده را به طور گسترده ثبت کرد. و در 26 اوت، درک پرکینز، مدیر عامل پلتفرم ردیابی موقعیت Nozzle، گزارش داد که تقریباً تمام تغییرات انجام شده است و گوگل به طور رسمی این تغییر را تأیید کرد.

بیانیه نماینده شرکت برای Search Engine Roundtable به وضوح عمومی بود: گوگل «تاریخ طولانی از به کارگیری اقدامات فنی علیه اشکال تکامل‌یافته سوءاستفاده» دارد و شرکت «به طور منظم اقداماتی برای حفاظت از خدمات و کاربران خود انجام می‌دهد». مشخص نکردند که دقیقاً چه کسانی را باید سوءاستفاده تلقی کرد.

مکانیسم ساده و به همین دلیل دردناک است. قبلاً در نشانه‌گذاری نتیجه، آدرس آماده‌ای وجود داشت — پارسر آن را به همراه عنوان و اسنیپت در یک درخواست دریافت می‌کرد. اکنون آنجا لینکی به ریدایرکت موقت گوگل وجود دارد و درون آن — توکن protobuf: یک رشته base64 با پیشوند CAES که پس از آن payload رمزگذاری شده قرار دارد. رمزگشایی آن در سمت شما غیرممکن است — کلید را ندارید. تنها راه برای دانستن اینکه لینک به کجا می‌رود، این است که به آن بروید.

سه جزئیاتی که قیمت موضوع را تعیین می‌کنند

• توکن یک‌بار مصرف است. یک لینک مشابه به همان صفحه با همان درخواست در هر نمایش یک توکن جدید دریافت می‌کند. نمی‌توانید دایرکتوری «توکن → URL» بسازید و از آن دوباره استفاده کنید.
• HEAD کمکی نمی‌کند. درخواست HEAD 200 را بدون هدر Location برمی‌گرداند — یعنی بدون آدرس مقصد. به یک GET کامل نیاز است که 302 را با تأخیر میانه حدود 59 میلی‌ثانیه برمی‌گرداند.
• تنها هسته ارگانیک تحت تأثیر نیست. آدرس‌های پنهان در نتایج عادی، ویدئوها، منابع AI Overviews، بخش «سوالات مشابه» و در تبلیغات (آدرس‌های aclk) وجود دارند. در تحقیق Growtika، 493 لینک را در هشت درخواست بررسی کردند — آدرس مقصد هر کدام پنهان شده بود.

محاسبات ناخوشایند است. به گفته پرکینز، برای حل تمام لینک‌ها برای پنج صفحه نتایج در یک درخواست، به 500 تا 1000 درخواست نیاز است. اندازه‌گیری مستقل scraping.club پس از حذف تکراری، اعداد 295–565 را ارائه می‌دهد — اما این هنوز هم دو مرتبه بیشتر از یک درخواست است که قبلاً استفاده می‌شد.

نقل قول کلیدی پرکینز بهتر از هر عددی ماهیت تغییر را توصیف می‌کند: محدودیت‌های پیوندی دیگر نه ظرفیت و نه ذخیره‌سازی، بلکه محدودیت‌های نرخ هستند.

چرا این یک ضربه به اتوماسیون است

اینجا و در اینجا جالب‌ترین نکته وجود دارد. بر اساس مشاهدات scraping.club، تغییر لینک‌ها جهانی نیست: کاربر عادی — چه وارد شده باشد یا در حالت ناشناس — هنوز هم URL‌های مستقیم را دریافت می‌کند. ریدایرکت‌ها به طور ثابت به مشتریان خودکار می‌رسند: اسکریپت‌ها، مرورگری را با پرچم‌هایی مانند --remote-debugging-port بالا می‌برند و استک‌های headless با اتوماسیون کامل.

نتیجه عملی که باید قبل از شروع به نوشتن پارسر درک کنید: ظهور لینک‌های goto در پاسخ شما یک سیگنال تشخیصی است. این به این معنی است که گوگل مشتری شما را به ربات‌ها نسبت داده است. شما با یک فرمت جدید نتایج مواجه نشده‌اید — شما دیدید که نتایج برای کسی که شناسایی شده چگونه به نظر می‌رسد. و باید ابتدا پارسر لینک‌ها را تعمیر نکنید، بلکه باید مشخص کنید که شما را از انسان متمایز می‌کند: پرچم‌های راه‌اندازی، ترتیب هدرها، اثر انگشت TLS، رفتار صفحه. ما روش این خودسنجی را در مقاله‌ای درباره چگونه اثر انگشت سایت را بر اساس اسکریپت‌های آن حذف کنیم بررسی کردیم.

جزئیات جالبی که نسخه را تأیید می‌کند: خود ریزش ریدایرکت گوگل تقریباً هیچ حفاظتی ندارد. بر اساس اندازه‌گیری‌های scraping.club، برای رفتن به لینک نیازی به پروکسی، هدرهای خاص یا شبیه‌سازی TLS نیست — یک کتابخانه عادی requests به خوبی از عهده آن برمی‌آید و در حجم‌های کم، 110+ درخواست در ثانیه بدون محدودیت‌های قابل مشاهده قابل دستیابی است. یعنی مانع نه رمزنگاری است و نه شبکه‌ای. این یک مالیات بر حجم است: شما مسدود نمی‌شوید، فقط هزینه‌ای در درخواست‌ها به شما تحمیل می‌شود.

ضربه دوم متوالی

این تغییر را نباید جدا از قبلی خواند. در 12–14 سپتامبر 2025، گوگل پارامتر &num=100 را که صد نتیجه را در یک صفحه ارائه می‌داد، غیرفعال کرد. پس از آن، برای همان عمق نتایج به حدود ده برابر بیشتر درخواست نیاز بود.

عواقب به وضوح فراتر از پارسینگ بود. بر اساس تجزیه و تحلیل 319 پروپرتی که توسط Search Engine Land بررسی شد، 87.7% سایت‌ها نمایش‌های خود را در Search Console از دست دادند و 77.6% بخشی از درخواست‌های منحصر به فرد رتبه‌بندی شده را از دست دادند. ترافیک واقعی در این میان تغییر نکرد — اندازه‌گیری خراب شد: بخش عمده‌ای از «نمایش‌ها» در موقعیت‌های دور توسط انسان‌ها تولید نمی‌شد، بلکه توسط ردیاب‌ها که صد نتیجه را می‌کشیدند، تولید می‌شد.

دو مرحله را جمع می‌کنیم: ابتدا نتایج ده برابر گران‌تر از نظر تعداد درخواست‌ها شد، اکنون به هر نتیجه یک درخواست جداگانه برای آدرس آن اضافه شده است. استراتژی به وضوح خوانده می‌شود — گوگل به طور سیستماتیک هزینه تولید صنعتی نتایج خود را افزایش می‌دهد.

زمینه قانونی نیز قابل توجه است. اقدامات فنی دقیقاً زمانی به کار گرفته شد که مسیر قضایی شکست خورد: شکایت گوگل از SerpApi بر اساس DMCA رد شد — دادگاه مرز بین حفاظت از آثار هنری و تنظیم دسترسی به حقایق عمومی را مشخص کرد و بیان کرد که حقایق و URL‌ها آثار نیستند. جزئیات این تصمیم و عواقب آن را در مقاله‌ای جداگانه درباره پرونده گوگل علیه SerpApi بررسی کردیم. نتوانستند ممنوع کنند — اما توانستند آن را گران کنند.

چه چیزی در گزارش‌ها در حال حاضر خراب می‌شود

پلتفرم DemandSphere خرابی‌های خاصی را که در صورت عدم اقدام به وجود می‌آید، فهرست کرده است:

1. دامنه مقصد به google.com کاهش می‌یابد. پارسر به طور صادقانه آنچه را که در نشانه‌گذاری می‌بیند ثبت می‌کند — و تمام نتایج به «ملک گوگل» تبدیل می‌شود.
2. مطابقت صفحات خودتان خراب می‌شود. سیستم دیگر URL‌های شما را شناسایی نمی‌کند و فکر می‌کند که شما از نتایج خارج شده‌اید.
3. سهم رأی و انتساب رقبای شما تغییر می‌کند — دیگر چیزی برای شمارش نیست، همه لینک‌ها در یک دامنه هستند.
4. سری تاریخی دقیقاً در تاریخ ریدایرکت قطع می‌شود. این خطرناک‌ترین قسمت است: نمودار یک سقوط را نشان می‌دهد که در واقع وجود نداشته است.

خبر خوب این است که داده‌های صرفاً موقعیتی کمتر آسیب می‌بینند. DataForSEO در 5 ژوئیه 2026 گزارش داد که 99.99% نتایج ارگانیک از طریق API خود با آدرس‌های مستقیم ارائه می‌شوند. مشکل در بلوک‌های نتایج متمرکز است — بر اساس ارزیابی Growtika، لینک‌های goto تقریباً در نیمی از AI Overviews و یک چهارم بلوک‌های محلی حفظ می‌شوند. یعنی دقیقاً همان چیزی آسیب می‌بیند که امروز مهم‌ترین است: منابع پاسخ‌های AI و نتایج محلی.

چگونه جمع‌آوری را بازسازی کنیم

نتیجه‌گیری مهندسی از تمام موارد ذکر شده — جمع‌آوری را به دو لایه با قیمت درخواست متفاوت تقسیم کنید.

1. ابتدا بررسی کنید که آیا شما شناسایی شده‌اید یا نه. یک نتیجه را با پارسر خود و به صورت دستی از مرورگر خالص دریافت کنید. لینک‌های مستقیم در اجرای دستی و goto در خودکار — این حکم اعدام برای پنهان‌سازی شماست، نه ویژگی گوگل.
2. جمع‌آوری نتایج و حل لینک‌ها را جدا کنید. لایه اول سنگین است: رندر، واقع‌گرایی رفتاری، IP‌های با کیفیت. لایه دوم — GET ابتدایی برای 302، بدون مرورگر و بدون شبیه‌سازی. ریزش حل از طریق همان استک گران‌قیمت — هدر دادن بودجه بیهوده است.
3. محدودیت‌ها را شمارش کنید، نه گیگابایت‌ها. نقطه تنگی به تعداد درخواست‌ها منتقل شده است. برنامه‌ریزی کنید که مجموعه آدرس‌ها را بر اساس RPS مورد نیاز، نه بر اساس حجم ترافیک، تعیین کنید.
4. تلاش نکنید توکن‌ها را کش کنید. آنها یک‌بار مصرف هستند. کش کردن نتیجه حل — پیوند «درخواست + موقعیت + دامنه»، نه خود توکن، منطقی است.
5. تاریخ قطع را در داده‌های تاریخی علامت‌گذاری کنید. 26 اوت 2026 باید در گزارش‌ها به عنوان یک نقطه عطف واضح باشد، در غیر این صورت خطای متدولوژیکی به عنوان کاهش دید خوانده خواهد شد.
6. بلوک‌ها را جداگانه بررسی کنید. ارگانیک ممکن است در حال حاضر در وضعیت خوبی باشد، اما AI Overviews و بلوک محلی ممکن است نباشند. آنها را به عنوان موجودیت‌های مستقل آزمایش کنید.

کدام پروکسی و کجا

از تقسیم به دو لایه، تقسیم زیرساخت نیز نتیجه می‌شود — و این به مراتب ارزان‌تر از این است که همه چیز را از یک مجموعه عبور دهید.

جمع‌آوری خود نتایج — حساس‌ترین بخش است. در اینجا مهم است که در پس‌زمینه کاربران عادی برجسته نشوید و دقیقاً این لایه تعیین می‌کند که آیا لینک‌های مستقیم یا goto را خواهید دید. برای این کار از پروکسی‌های مسکونی استفاده می‌شود و برای وظایف وابسته به جغرافیا مانند نتایج محلی — از موبایل‌ها که IP به طور کامل طبیعی برای منطقه خاص به نظر می‌رسد، استفاده می‌شود.

اما حل ریدایرکت‌ها، همانطور که اندازه‌گیری‌ها نشان داده‌اند، هیچ الزامات خاصی ندارد: یک GET عادی، بدون شبیه‌سازی، سرعت بالا. این یک وظیفه کلاسیک برای پروکسی‌های دیتاسنتر است — ارزان، سریع، با بسیاری از جریان‌های موازی. تفاوت هزینه بین دو رویکرد در 500–1000 درخواست اضافی برای هر درخواست نتایج، به یک مورد تعیین‌کننده در بودجه تبدیل می‌شود.

نتیجه‌گیری

گوگل دسترسی به نتایج را مسدود نکرد — بلکه آن را گران‌تر کرد و به طور همزمان فرمت پاسخ را به یک نشانگر شناسایی تبدیل کرد. برای بازار این به معنای ادامه مسیری است که با غیرفعال کردن &num=100 آغاز شده است: جمع‌آوری داده‌های جستجو به طور پیش‌فرض دیگر ارزان نیست و به یک وظیفه مهندسی با اقتصاد واضح تبدیل می‌شود.

نتیجه عملی به دو نکته خلاصه می‌شود. اگر لینک‌های goto را می‌بینید — از پنهان‌سازی شروع کنید، نه از پارسر: ممکن است لازم باشد چیزی را تعمیر کنید که به نظر نمی‌رسد. اگر پنهان‌سازی در وضعیت خوبی است، اما ریدایرکت‌ها هنوز وجود دارند — لایه‌های جمع‌آوری را جدا کنید و هزینه اضافی برای درخواست‌هایی که به آن نیاز ندارند، نپردازید.