Bir yıl önce Google sonuçlarını bir GET isteği ile num=100 parametresiyle almak mümkündü - yüz sonuç temiz HTML olarak geliyordu. 2026'da bu artık çalışmıyor: Google, JavaScript olmadan erişimi engelledi, sayfa başına yüz sonuç kısıtladı ve sonuçlara AI Overviews bloğunu ekledi, bu blok asenkron olarak render ediliyor ve her IP'den görünmüyor. Yeni koşullarda SERP'yi nasıl toplayacağımızı, gizli tuzakları nerede bulacağımızı ve proxy türü seçiminin neden parserin kendisinden daha önemli hale geldiğini inceleyelim.
Bu kılavuz kimler için
Arama sonuçlarını parselamak (SERP scraping) yalnızca SEO pozisyonlarıyla ilgili değildir. Bugün bunu kullananlar:
- SEO uzmanları ve ajansları - organik trafiği, öne çıkan snippet'ları, "İnsanlar ayrıca soruyor" bölümünü, yerel sonuçları ve sitenin AI Overviews'a girip girmediğini takip ederler.
- Pazar analistleri - Google'ın ticari sorgularla ilgili AI bloklarında kimi alıntıladığını izler ve rakiplerin ana sayfasının nasıl değiştiğini takip ederler.
- AI ve veri ekipleri - SERP'yi RAG sistemleri, model eğitimi ve doğrulama için veri kaynağı olarak toplar.
Herkesi bir sorun birleştiriyor: Google, 2026'da otomatik trafiği canlıdan aktif bir şekilde ayırt ediyor ve doğru bir altyapı olmadan veri toplama ilk birkaç sorguda kırılıyor.
Ne değişti: Google'dan scraper'lara üç darbe
Kılavuzun dürüst olması için, eski talimatların neden artık çalışmadığıyla başlayalım.
Ocak 2025 - SearchGuard. Google, JavaScript zorlukları sistemini devreye aldı: normal bir HTTP isteği requests veya httpx ile artık HTML değil, zorluk sayfası alıyor. JavaScript çalıştırılmadan sonuçları görmek mümkün değil - doğrudan "yüz yüze" parselama anında başarısız oluyor.
Eylül 2025 - num=100'ün sonu. Google, bir istekte 100 sonuç veren parametreyi kaldırdı. Artık ilk 100, on ayrı istek ile sayfalandırma gerektiriyor. Derin izleme için bu, çağrı sayısında on katlık bir artışa (ve dolayısıyla proxy ve bütçe üzerindeki yükün artmasına) neden oluyor.
Aralık 2025 - hukuki baskı. 19 Aralık 2025'te Google, SerpApi'ye karşı bir DMCA şikayeti sundu ve SearchGuard'ın "teknolojik koruma aracı" olduğunu, bunun aşılmasının ise anti-aşma kurallarına tabi olduğunu belirtti. Bu emsal henüz çözülmedi, ancak tonu belirliyor: Google'ın gri parselaması hem teknik hem de hukuki olarak daha pahalı hale geliyor.
Ayrıca belirtelim: Google'ın resmi Özel Arama API'si kapatılıyor - mevcut müşterilere 1 Ocak 2027'ye kadar geçiş tarihi verildi. Yani "yasal" alternatif de daralıyor.
Sonuçların en büyük yeniliği - AI Overviews
AI Overviews (eski adıyla SGE) - sonuçların üst kısmında kaynaklara bağlantılarla birlikte üretilen bir AI özetidir. Scraping için bu, 2026'nın en zor unsuru üç nedenle.
Çok sayıda. Ahrefs verilerine göre, AI Overviews yaklaşık %30'luk sorgularda ortaya çıkıyor; daha sonraki tahminler (Olostep) tüm sorguların %48'ine ve bilgi sorgularının %80'ine kadar çıkıyor. Bu bloğu göz ardı etmek, sonuçların açıkça eksik bir resmini toplamak demektir.
Asenkron olarak render ediliyorlar. Blok üç durumda var: HTML olarak hemen gelir (en nadir durum), ana sayfadan birkaç saniye sonra JavaScript ile yüklenir (en yaygın durum) veya hiç görünmez. Gecikmeli yüklemede, ham HTTP yanıtı boş bir konteyner içerir - içerik daha sonra çekilir ve parselamanın beklemesi gerekir (pratikte - tarayıcı otomasyonunda yaklaşık 8 saniye).
Her IP'den görünmüyorlar. İşte eski kılavuzların sessiz kaldığı ana nokta: Google, mobil kullanıcıları AI araması için öncelikli kitle olarak görüyor. Pratikte bu, veri merkezi IP'si ile AI Overview sıklıkla hiç verilmez, oysa aynı sorgu mobil operatör üzerinden tam bloğu döndürür. Hatta en iyi agregatörler bile eksikliği kabul ediyor: SerpApi, 2026'nın başında AI Overviews'un yaklaşık %68'inin başarılı bir şekilde tespit edildiğini belirtiyordu.
Adım adım inceleme: 2026'da SERP nasıl toplanır
- Hacmi belirleyin. Günde ~100 sorguya kadar kendi tarayıcı otomasyonunuzla yönetmek mümkündür. 100 ile 10.000 arasında - yönetilen bir parselama aracı veya SERP-API gereklidir. Günde 10.000'den fazla ise, batch'ler ve webhook'lar ile bir enterprise altyapısı olmadan geçiştiremezsiniz. Bu, tüm sonraki yığınları belirler.
- Doğru URL'yi toplayın. Temel uç nokta - /search, anahtar parametreler: q (sorgu, URL kodlaması), hl (arayüz dili), gl (sonuçların ülkesi), start (sayfalandırma: start=10 - ikinci sayfa, start=20 - üçüncü sayfa vb.). Unutmayın: num=100 artık geçerli değil, derinliği yalnızca sayfalandırma ile artırıyorsunuz.
- Tarayıcı render'ını kullanın. JavaScript olmadan sonuç yok, temel yığın - Playwright veya headless Chromium ile Selenium. Otomasyon işaretlerini (bayrak --disable-blink-features=AutomationControlled) mutlaka kaldırın, aksi takdirde anti-bot yönetilen tarayıcıyı navigator özelliklerinden tespit eder.
- AI Overview'u bekleyin. Sayfa yüklendikten sonra DOM'u hemen almayın: networkidle'in yerleşmesine izin verin ve bloğun yüklenmesini bekleyin (hedef - 8 saniyeye kadar). Bloğun varlığını, CSS sınıflarına göre değil, "AI Overview" başlığının metnine göre daha güvenilir bir şekilde belirleyin - Google'daki sınıflar dinamik ve değişiyor (şartlı Kevs9, Y3BBE bugün bir, yarın başka).
- Sınıflara göre değil, yapıya göre parselayın. Organik sonuçları başlık etiketlerine (h3) ve anlamına göre alın, kırılgan sınıf isimlerine göre değil. 2026'da sonuçlardan erişilebilir: organik sonuçlar, öne çıkan snippet'lar, "İnsanlar ayrıca soruyor", ilgili sorgular, bilgi grafiği, yerel paket, reklamlar ve AI Overview içindeki alıntılar.
- IP'leri döndürün ve yavaşlayın. Sorgular arasında gerçekçi duraklamalar koyun (4-12 saniye) ve her 5 dakikada bir IP değiştirin, şehir/operatör değiştirerek. Çok düzenli bir ritim ve tek bir IP - captcha'ya en hızlı yol.
Gizli tuzaklar
- "Boş" AI Overview. Sayfa yüklendikten hemen sonra DOM'u alıyorsanız, gecikmeli blok boş olacaktır - ve onun olmadığını düşüneceksiniz. Her zaman bekleme ve yeniden kontrol yapmayı planlayın.
- Yükleme için tek kullanımlık oturumlar. Bazı API'lerde gecikmeli AI Overview'u yüklemek için oturum anahtarı tek kullanımlık olup yaklaşık 60 saniye sürer - daha sonra yeniden kullanmayı beklemeyin.
- Veri merkezinde yanlış tasarruf. Ucuz veri merkezi IP'leri 5-10 sorguda captcha'yı yakalar ve ayrıca AI Overviews'u göstermez. Tasarruf, eksik verilere ve kaybolan zamana dönüşür.
- Kırılgan seçiciler. CSS sınıf isimlerine bağlı kaldıysanız - parselama, sonuçların en yakın yeniden tasarımında bozulur. Metin ve yapıya bağlı kalın.
- Düzenli sorgu izlenimi. Tüm akışlarda aynı User-Agent, zamanlamalar ve başlıklar botnet'i ortaya çıkarır. Parmak izini IP gibi çeşitlendirin.
Hangi tür proxy seçilmeli
2026'da tam sonuçları görüp görmeyeceğinizi belirleyen, parselayıcı değil, proxy'dir. Görevleri inceleyelim.
Mobil proxy'ler - AI Overviews ve en "ağır" sorgular için. Google, AI bloklarını öncelikle mobil kitleye sunduğundan, gerçek operatör IP'leri (T-Mobile, Verizon, Vodafone ve benzerleri) en stabil şekilde AI Overview'u tetikler ve gözle görülür şekilde daha fazla - gözlemlerimize göre, sürtünme olmadan 50-200 sorguya kadar dayanıyor, veri merkezi için ise 5-10. Ayrıca, mobil CGNAT-IP bir adresi yüzlerce canlı abone ile paylaştığı için, Google bunu yasaklamaktan çekiniyor. Göreviniz AI Overviews'u toplamak veya en korumalı SERP'yi izlemekse, mobil proxy'lerden başlayın.
İkamet proxy'leri - organik ve hacim için çalışma atı. Normal sonuçları, pozisyonları, öne çıkan snippet'ları ve yerel paketi toplamak için ikamet IP'leri (ev sağlayıcılarının adresleri) en iyi fiyat ve başarı oranını sunar. Gerçek bir kullanıcıdan ayırt edilmesi zordur ve döngü, tek bir adresten toplama yapmadan ölçeklendirmeye olanak tanır. AI Overview'un odak noktası olmadığı, hacim ve coğrafyanın önemli olduğu durumlarda, döngü ile ikamet proxy'leri en iyi seçenektir.
Veri merkezi - yalnızca taslak çalışmaları için. Hızlı ve ucuz, ancak 2026'da Google'a karşı sayılı sorgularla yaşar ve AI bloklarını göremez. Parselama mantığını debug etmek için uygundur, gerçek toplama için değil.
Belirli bir görev için ne alacağınızdan emin değilseniz, 2026'da ikamet edenler ile mobil proxy'leri karşılaştırarak başlayın: burada hangi türün parayı, hangisinin verileri tasarruf ettiğini detaylı olarak bulacaksınız.
Sonuç
2026'da Google'ı parselamak, "parselayıcı yazmak" görevinden çıkmıştır. SearchGuard, JavaScript'i render etmeye zorladı, num=100'ün iptali sorgu sayısını on katına çıkardı ve AI Overviews, esasen mobil IP'lerden görünen ve gecikmeli yüklenen bir blok ekledi. Teknik olarak her şey çözülebilir: tarayıcı otomasyonu, yapıya göre parselama, makul duraklamalar ve döngü. Ancak toplamanın tamlığı ve istikrarını sağlayan temel, doğru proxy'lerdir: AI Overviews ve korumalı sorgular için mobil, organik ve hacim için ikamet. Göreviniz için proxy türünden başlayın - ve parselayıcı captcha ile takılmayı bırakacaktır.
```