Bazı web siteleri neden proxy üzerinden açılmıyor: tam rehber

Proxy, web scraping, test etme, SMM otomasyonu ve coğrafi kısıtlamaları aşmak için vazgeçilmez bir araçtır. Ancak bazen içerik yerine 403 hatası, timeout veya boş sayfa görürsünüz. Bunun neden olduğunu ve nasıl düzeltileceğini öğrenelim.

1. Proxy algılanması ve engellenmesi

Bu en sık karşılaşılan nedendir. Modern web uygulamaları proxy trafiğini algılamak için özel hizmetler kullanır. Site şunları analiz eder:

• ASN (Otonom Sistem Numarası) — birçok proxy sağlayıcı kolayca engellenebilecek bilinen ASN aralıklarını kullanır
• Kullanıcı davranışı — IP'ler arasında imkansız hızlı geçişler, cookie eksikliği, garip tıklama desenleri
• TLS parmak izleri — tarayıcılar SSL sürümü, uzantılar, şifreleme sırası hakkında benzersiz veriler gönderir
• WebGL ve Canvas parmak izleri — hatta JavaScript bile proxy kullanımını ortaya çıkarabilir

Örnek: Site 10 saniyede IP'nizden 100 ürün sayfasının yüklendiğini görür. Bu açıkça insan değildir — engelleme kaçınılmazdır.

2. Coğrafi kısıtlamalar

Site IP coğrafi konumunu kontrol eder ve beklentilerle eşleşmezse erişimi reddeder:

• Bankalar ve finansal hizmetler belirli ülkelerden erişimi engeller
• Akış hizmetleri (Netflix, YouTube) içeriği bölgelere göre sınırlar
• Devlet siteleri dışarıdan erişilemeyebilir
• E-ticaret platformları IP'ye göre dili ve para birimini değiştirir

ABD'den bir veri merkezi proxy'si kullanıyorsanız ve site yalnızca Avrupa'dan erişim gerektiriyorsa — 403 hatası veya yönlendirme alırsınız.

3. IP adresi itibarı

Her IP'nin bir geçmişi vardır. Adres daha önce spam, scraping veya DDoS saldırıları için kullanıldıysa, siteler bunu engeller:

• Kara listeler — IP, Project Honey Pot, Spamhaus, AbuseIPDB veritabanlarına girer
• IPQualityScore gibi hizmetlerde düşük puan — siteler filtreleme için bu hizmetleri kullanır
• Önceki ihlaller — IP daha önce sitede engellenirse, uzun süre kara listede kalabilir

IP itibarını abuseipdb.com veya ipqualityscore.com adresinde kontrol edebilirsiniz.

4. Yanlış başlıklar ve yapılandırma

Genellikle siteler HTTP başlıklarının eksikliği veya yanlışlığı nedeniyle istekleri engeller:

Çözüm: Gerçek tarayıcı başlıklarını kullanın. Python'da örnek:

import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'en-US,en;q=0.5',
    'Accept-Encoding': 'gzip, deflate',
    'Connection': 'keep-alive',
    'Upgrade-Insecure-Requests': '1'
}

proxy = 'http://your-proxy:port'
response = requests.get('https://example.com', 
                       headers=headers, 
                       proxies={'http': proxy, 'https': proxy})

5. Protokol ve port sorunları

Bazı proxy'ler yalnızca HTTP'yi destekler, ancak siz HTTPS sitesine erişmeye çalışırsınız. Veya port ağ düzeyinde engellenir:

• HTTP vs HTTPS — proxy'nin her iki protokolü de desteklediğinden emin olun
• Portlar — standart 80 (HTTP) ve 443 (HTTPS), ancak bazı siteler standart dışı portlar kullanır
• SOCKS vs HTTP — farklı proxy türlerinin farklı sınırlamaları vardır

İpucu: Site HTTP proxy üzerinden açılmazsa SOCKS5'i deneyin. Daha düşük seviyede çalışır ve bazı kısıtlamaları daha iyi aşar.

6. Rate limiting ve DDoS koruması

Arka arkaya çok fazla istek yaparsanız, farklı IP'ler üzerinden bile site sizi engelleyebilir:

• 429 Çok Fazla İstek — istek limitini aştınız
• Geçici engelleme — genellikle 1-24 saat
• Kalıcı engelleme — sunucuya saldırmaya devam ederseniz
• Cloudflare, WAF — botları insanlardan ayıran özel koruma sistemleri

7. Pratik çözümler

✓ Veri merkezi proxy'leri yerine konut proxy'leri kullanın

Konut proxy'leri gerçek ev kullanıcılarının IP adresleridir. Gerçek trafik gibi göründükleri için algılanması çok daha zordur. Veri merkezleri genellikle ASN'leri bilindiği için engellenir.

✓ İstekler arasına gecikmeler ekleyin

import time
import random

for url in urls:
    response = requests.get(url, headers=headers, proxies=proxies)
    # 1 ile 5 saniye arasında rastgele gecikme
    time.sleep(random.uniform(1, 5))

✓ Proxy'leri döndürün

Tüm istekler için bir IP kullanmayın. Farklı adresler arasında geçiş yapın:

proxies_list = [
    'http://proxy1:port',
    'http://proxy2:port',
    'http://proxy3:port',
]

for i, url in enumerate(urls):
    proxy = proxies_list[i % len(proxies_list)]
    response = requests.get(url, proxies={'http': proxy, 'https': proxy})

✓ Kullanmadan önce IP'yi kontrol edin

IP'nin kara listede olmadığından emin olun:

import requests

def check_ip_reputation(ip):
    response = requests.get(f'https://ipqualityscore.com/api/json/ip/{ip}')
    data = response.json()
    return data.get('fraud_score', 0)

# Yalnızca düşük puana sahip IP'leri kullanın
if check_ip_reputation(proxy_ip) < 75:
    # IP güvenlidir
    pass

✓ Karmaşık siteler için tarayıcı otomasyonu kullanın

Site JavaScript ve karmaşık koruma kullanıyorsa, sıradan HTTP istekleri yardımcı olmaz. Selenium veya Puppeteer kullanın:

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument('--proxy-server=http://proxy:port')

driver = webdriver.Chrome(options=options)
driver.get('https://example.com')

✓ Mobil siteler için mobil proxy'leri kullanın

Mobil proxy'leri gerçek mobil ağlar (4G/5G) üzerinden çalışır. Mobil uygulamalar için daha güvenilirdir ve genellikle PC erişimini sınırlayan siteler tarafından engellenmez.

✓ Hataları doğru şekilde işleyin

try:
    response = requests.get(url, proxies=proxies, timeout=10)
    response.raise_for_status()
except requests.exceptions.ProxyError:
    print("Proxy hatası — IP engellenmiş olabilir")
except requests.exceptions.Timeout:
    print("Timeout — sunucu yanıt vermiyor")
except requests.exceptions.HTTPError as e:
    if response.status_code == 403:
        print("Erişim reddedildi — başka bir proxy deneyin")

Özet

Siteler farklı nedenlerden proxy'leri engeller: trafik desenlerinin algılanmasından IP'nin basit itibarına kadar. Evrensel bir çözüm yoktur, ancak iyi proxy'ler, doğru başlıklar, gecikmeler ve IP rotasyonunun kombinasyonu çoğu sorunu çözer.

Scraping ve otomasyon için gerçek ev kullanıcılarının trafiği gibi görünen kaliteli konut proxy'leri kullanılması önerilir. Veri merkezlerinden daha pahalıdırlar, ancak daha güvenilir çalışır ve nadiren engellenir.