SEO uzmanı büyük bir sitenin teknik denetimini başlatıyor — ve 10 dakika sonra Screaming Frog sürekli 403 Yasaklı veya 429 Çok Fazla İstek hatası vermeye başlıyor. Koruma sunucusu tarayıcıyı saldırgan bir bot olarak algılayıp IP adresini engelliyor. Sonuç — denetimi yeniden başlatmak zorunda kalıyorsunuz ve müşteriye raporun neden geciktiğini açıklamak zorundasınız. Bu sorun, tarayıcı için proxy'nin doğru ayarlanmasıyla çözülebilir — tam olarak nasıl olduğunu inceleyelim.
Siteler neden Screaming Frog'u denetim sırasında engelliyor
Screaming Frog, Sitebulb, JetOctopus ve Netpeak Spider teknik olarak arama motoru botları gibi çalışır: hızlı bir şekilde ardışık olarak binlerce URL'yi dolaşır, HTML, CSS, JS ve görüntüleri indirir, yönlendirmeleri ve durum kodlarını kontrol eder. Site koruma açısından (Cloudflare, Qrator, DDoS-Guard, barındırma hizmetinin yerleşik WAF'ı) bu, şüpheli bir etkinlik olarak görünür — kısa bir süre içinde bir IP'den çok fazla istek.
Engellemeler özellikle denetim sırasında sıkça meydana gelir:
- Wildberries benzeri altyapıya sahip büyük e-ticaret siteleri, kendi tarama korumalarıyla;
- Cloudflare arkasındaki siteler, "Under Attack" modunun etkin olduğu veya yüksek güvenlik seviyesine sahip;
- Her isteğin sunucuya yük oluşturduğu dinamik içerikli portallar (arama, filtreler, ürün listeleme);
- Kendi alan adınızdan analiz ettiğiniz rakip siteler — onların sizin IP'nize güvenmeleri için bir neden yok.
Ek zorluk: eğer ajansın tek bir statik ofis IP'si varsa ve sitelerin denetimi düzenli olarak yapılıyorsa (günde birkaç müşteri), bu IP hızla koruma sistemlerinin kara listelerine girer. Sonrasında, sadece mevcut denetimler değil, aynı adresten gelecekteki denetimler de engellenir — daha önce sorun yaşamadan açılan siteler için bile.
Engellemeyi yanıt kodlarıyla nasıl tanımlarsınız
Proxy ayarlarını değiştirmeden önce, ne olduğunu anlamak önemlidir. Screaming Frog, yanıt kodunu Durum Kodu sütununda gösterir — bu, taramanın neden durduğunu kolayca belirlemenizi sağlar.
| Yanıt Kodu | Bu ne anlama geliyor | Ne yapmalı |
|---|---|---|
| 403 Yasaklı | IP, sitenin koruması tarafından engellendi | IP'yi değiştirin, tarama hızını azaltın |
| 429 Çok Fazla İstek | Zaman birimi başına istek limiti aşıldı | Akış sayısını azaltın, gecikme ekleyin |
| 503 Hizmet Kullanılamıyor | Sunucu aşırı yüklenmiş veya bot koruması etkin | User-Agent'ı değiştirin, yerleşik IP kullanın |
| Yanıt Yok / Zaman Aşımı | IP kara listede, istekler ulaşmıyor | Proxy havuzunun tamamen değiştirilmesi |
Eğer raporda binlerce URL'de aynı kod sürekli görünüyorsa — bu neredeyse her zaman IP engellemesi, gerçek bir site sorunu değildir. Hipotezi kontrol etmek basit: sorunlu URL'yi aynı IP'den normal bir tarayıcıda açın. Eğer sayfa normal açılıyorsa ve Screaming Frog 403 alıyorsa — sorun tarayıcıda, sitede değil.
SEO taraması için hangi proxy'ler uygundur
Proxy türünün seçimi, göreve bağlıdır: kendi sitenizin tek seferlik denetimi, rakiplerin düzenli takibi veya korumalı bir pazaryerinin taranması. Üç ana türü ve tarayıcılar için uygulanabilirliğini inceleyelim.
| Proxy Türü | Hız | Engellenme Riski | Ne zaman kullanılmalı |
|---|---|---|---|
| Veri merkezi proxy'leri | Yüksek | Korunan sitelerde orta-yüksek | Sıkı koruma olmayan kendi sitenizin denetimi |
| Yerleşik proxy'ler | Orta | Düşük | Rakiplerin denetimi, Cloudflare arkasındaki siteler, pazaryerleri |
| Mobil proxy'ler | Orta-düşük | Minimum | En agresif korumalar, nadir nokta denetimi |
Çoğu düzenli teknik denetim için en iyi dengeyi yerleşik proxy'ler sağlar — bunlar gerçek sağlayıcı IP adreslerini kullanır, bu nedenle site koruması tarayıcıdan gelen istekleri normal bir kullanıcı trafiği olarak algılar. Bu, kendi alan adınızı değil, rakip bir siteyi veya sert bir anti-bot sistemi olan bir pazaryerini analiz ediyorsanız özellikle önemlidir.
Veri merkezi proxy'leri, kendi sitenizi denetlerken ve IP aralığını WAF veya Cloudflare seviyesinde beyaz listeye ekleyebiliyorsanız iyi bir seçenek olmaya devam eder — bu durumda tarama hızı maksimum olur ve engellenme riski yoktur.
Screaming Frog'da proxy ayarlama adım adım
Screaming Frog, proxy'leri "kutudan çıkar çıkmaz" destekler, ayar yapmak birkaç dakika sürer:
- Programı açın ve Configuration → System → Proxy menüsüne gidin.
- Use Proxy Server for All Traffic seçeneğini işaretleyin.
- Sağlayıcıdan aldığınız proxy sunucusunun adresini ve portunu girin.
- Eğer proxy, kullanıcı adı ve şifre ile kimlik doğrulaması gerektiriyorsa — ilk istekte açılan pencerede bunları belirtin.
- OK butonuna tıklayın ve ayarların uygulanması için taramayı yeniden başlatın.
Önemli bir nokta: Screaming Frog, ücretsiz ve ücretli versiyonunda aynı anda yalnızca bir proxy sunucusuyla çalışabilir. Eğer anlık IP döngüsü gerekiyorsa (50.000 sayfadan fazla tarama yaparken geçerlidir), sağlayıcı tarafında otomatik IP değişimi yapan proxy'leri kullanın — bu, tarayıcıda değil, proxy hizmetinin kontrol panelinde ayarlanır ve IP değişim aralığı belirlenir (örneğin, her 10 dakikada bir veya her yeni istekte).
Bu düzen, bir adresteki yükü azaltır: tarayıcı bir portla çalışmaya devam ederken, arkasındaki IP otomatik olarak değişir ve site, belirli bir adresten gelen anormal yüksek istek sıklığını görmez.
Büyük siteler için hız ve akış ayarları
Çalışan bir proxy ile bile, çok agresif tarama hız ayarları engellemeye neden olabilir. Screaming Frog'da bununla ilgili bölüm Configuration → Speed'dir. 100.000 sayfadan fazla siteler için önerilen değerler:
- Max Threads: Korunan siteler için 2–5, sıkı koruma olmayan siteler için 10–15;
- Max URI/s: başlangıçta 2–3 istekle sınırlayın, yanıt kodlarını izleyerek yavaşça artırın;
- Custom User-Agent: Configuration → HTTP Header bölümünde, site tarayıcıları başlıkla engelliyorsa, standart "Screaming Frog SEO Spider" yerine gerçek bir tarayıcı User-Agent'ı kullanın;
- Respect robots.txt / crawl-delay: Crawl-delay direktifi belirtilmişse dikkate alın — göz ardı edilmesi genellikle sunucu düzeyinde engellemeye yol açar.
Bot koruması agresif olan siteler için, JavaScript Rendering modunu yalnızca gerçekten gerekli olduğunda (React/Vue üzerinde SPA siteleri) etkinleştirmek de faydalıdır — JS'nin render edilmesi sunucu üzerindeki yükü önemli ölçüde artırır ve bir IP üzerinden tarama sırasında engellenme olasılığını artırır.
100.000+ sayfa tararken IP döngüsü
Site büyüdükçe, yükü IP adresleri arasında düzgün bir şekilde dağıtmak daha önemli hale gelir. Bu ölçeklerdeki denetimler için iki düzen çalışır:
Zamanla döngü. IP, istek sayısından bağımsız olarak her 5–15 dakikada bir otomatik olarak değişir. Bu, taramanın birkaç saate yayıldığı dengeli uzun süreli tarama için uygundur.
İstek başına döngü. Her yeni HTTP isteği, havuzdan yeni bir IP ile gider. Bu mod, engellemelerden maksimum koruma sağlar, ancak cookie tabanlı kimlik doğrulama veya sitenin oturum parametreleri ile düzgün çalışmayı engelleyebilir — saf teknik denetim (durum kodları, yönlendirmeler, meta etiketler toplama) için bu kritik değildir.
Birden fazla müşteri sitesinin paralel denetimini yapan ajanslar için, projelere göre IP havuzlarını ayırmak mantıklıdır — bu, bir alan adındaki engellemenin "hata" sonucu başka bir site ile çalışırken IP'nin itibarına yayılmasını önler.
Pratikte bir öneri: Büyük bir denetimden önce, mevcut hız ve proxy ayarlarıyla 500–1000 URL üzerinde test taraması başlatın. Bu süre içinde 403/429 hatası görünmüyorsa, taramayı tüm siteye güvenle ölçeklendirebilirsiniz.
Denetim başlatmadan önce kontrol listesi
- ✅ Proxy bağlandı ve erişilebilirlik test edildi (curl veya ayrı bir tarayıcı ile kontrol);
- ✅ İlk geçiş için Max Threads ve Max URI/s değerleri temkinli bir şekilde ayarlandı;
- ✅ User-Agent doğru ayarlandı, WAF'da şüphe uyandırmıyor;
- ✅ Crawl-delay'i açıkça talep ediyorsa robots.txt dikkate alındı;
- ✅ JavaScript Rendering yalnızca gerçek ihtiyaç olduğunda etkinleştirildi;
- ✅ 20.000–30.000 sayfa büyüklüğündeki sitelerde IP döngüsü ayarlandı;
- ✅ Oturum kesintisi durumunda tarama ilerlemesini kaydetme (Configuration → Save Crawl) etkinleştirildi;
- ✅ Pazaryerleri ve korumalı portallar için veri merkezi yerine yerleşik veya mobil proxy'ler seçildi.
Proxy ile tarama sırasında sık yapılan hatalar
Başlangıçta çok yüksek hız. Uzmanlar genellikle denetimi hızlandırmak umuduyla hemen maksimum akış sayısını ayarlar. Sonuç olarak, site koruması anında tepki verir ve birkaç dakika içinde tüm proxy havuzu kara listeye alınır.
Tüm müşteri projeleri için tek bir statik IP. Eğer ajans, ayda onlarca denetim için aynı veri merkezi proxy'sini kullanıyorsa, bu IP'nin itibarı hızla düşer — farklı sitelerin koruma sistemleri, şüpheli adresler hakkında verileri ortak veritabanları üzerinden paylaşır (örneğin, Cloudflare IP Reputation).
Geo-hedeflemenin göz ardı edilmesi. Denetlenen site belirli bir bölgeye (örneğin, yurt dışı trafiğini engelleyen Rus e-ticaret sitesi) ayarlandıysa, başka bir ülkeden IP ile proxy kullanmak kendiliğinden erişim kısıtlamasına neden olur — hatta agresif bir tarama olmadan bile.
İşlem sırasında izleme eksikliği. Tarama birkaç saat sürdüğünde, uzmanlar genellikle ara yanıt kodlarını kontrol etmez. Sonuç olarak, sorunu yalnızca tamamlandıktan sonra, raporun yarısının engelleme hatalarından oluştuğunu fark ederler, gerçek site verileri değil.
Sonuç
Screaming Frog'daki teknik denetimlerdeki engellemeler genellikle üç faktörün kombinasyonu ile çözülür: doğru proxy türü, makul tarama hızı ve akıllıca IP döngüsü. Kendi siteleriniz için sıkı koruma olmayan veri merkezi proxy'leri yeterlidir, beyaz listeye eklenmesiyle. Rakiplerin, pazaryerlerinin ve Cloudflare arkasındaki sitelerin denetimi için, normal kullanıcı trafiği gibi görünen IP'lere ihtiyaç vardır.
Eğer düzenli olarak başkalarının alan adlarını veya korumalı platformları denetliyorsanız, yerleşik proxy'lerden başlamanızı öneririz — bunlar en agresif anti-bot sistemlerinde engellenme riskini azaltır. Maksimum koruma gerektiren en korumalı kaynaklar için mobil proxy'leri düşünmek, kendi altyapınız için büyük ölçekli denetimlerde veri merkezi proxy'leri iyi ve hızlı bir çözüm olmaya devam eder.