Amazon Antibotunu Aşmanın Yolları ve Rakiplerin Gerçek Fiyatlarını Elde Etmenin Tam Rehberi

Amazon, dünyadaki en korumalı pazar yerlerinden biridir. Anti-bot sistemi, fiyatlar, stoklar ve ürünlerin pozisyonları hakkında otomatik veri toplama girişimlerinin %90'ını engeller. Satıcılar ve pazarlamacılar için bu kritik bir sorun: Güncel rakip verileri olmadan fiyatlandırma stratejisini düzeltmek ve karlı kalmak mümkün değildir.

Bu kılavuzda Amazon'un koruma mekanizmalarını inceleyecek, anti-botu aşmanın kanıtlanmış yöntemlerini gösterecek ve aylarca kesintisiz çalışan bir fiyat izleme sistemi kuracağız.

Amazon neden parsing'i engelliyor: koruma mekanizmaları

Amazon, parsing nedeniyle milyonlarca dolar kaybediyor: rakipler ürün verilerini, fiyatları, yorumları kopyalıyor ve kötü niyetli satıcılar otomasyonu kullanarak pozisyonları artırıyor. Bu nedenle, şirket birden fazla seviyede çalışan anti-bot sistemlerine büyük yatırımlar yapmaktadır.

Amazon'un koruma sisteminin ana bileşenleri:

• AWS WAF (Web Uygulama Güvenlik Duvarı) — gelen trafiği analiz eder ve ağ seviyesinde şüpheli IP adreslerini engeller. İstek sıklığını, coğrafyayı, IP'nin itibarını takip eder.
• Cloudfront CDN — bot filtreleme algoritmalarına sahip dağıtılmış bir içerik dağıtım ağıdır. İstek başlıklarını, çerezleri, TLS parmak izlerini kontrol eder.
• Bot Yönetimi sistemi — kullanıcı davranışını analiz etmek için makine öğrenimi kullanır. Fare hareketlerini, kaydırma hızını, tıklama kalıplarını takip eder.
• CAPTCHA ve zorluk sayfaları — şüpheli aktivitelerde gösterilir. Devam etmek için bir bulmacayı çözmeyi veya CAPTCHA girmeyi gerektirir.
• Rate limiting — bir IP'den gelen istek sayısına katı sınırlamalar: genellikle giriş yapmamış kullanıcılar için dakikada 10-20 istek.

Tüm bu sistemler birlikte çalışır ve veri alışverişinde bulunur. Eğer bunlardan biri botu şüpheli bulursa — IP, 24-48 saat boyunca kara listeye alınır ve bazen sonsuza kadar.

Amazon botları nasıl tespit ediyor: 7 ana sinyal

Amazon'un anti-bot sistemi, her isteğin onlarca parametresini analiz eder. İşte otomasyonu tanımlamak için kullandığı ana sinyaller:

1. IP adresinin itibarı

Amazon, veri merkezi IP adresleri, VPN hizmetleri, halka açık proxy'ler için bir veritabanı tutar. Bu tür adreslerden gelen istekler, artırılmış dikkat alır veya hemen engellenir. Sistem ayrıca aktivite geçmişini takip eder: Eğer bir IP'den ürün sayfalarına çok fazla istek geliyorsa — bu şüpheli bir durumdur.

Kontrol edilenler: bilinen veri merkezlerine (AWS, Google Cloud, DigitalOcean) ait olup olmadığı, halka açık proxy veritabanlarında bulunup bulunmadığı, son bir saatteki istek sayısı, coğrafya (beklenmedik ülkelerden gelen istekler).

2. User-Agent ve HTTP başlıkları

Birçok parser, standart User-Agent kütüphanelerini kullanır: python-requests/2.28.0 veya bu başlığı hiç göndermeyebilir. Amazon, bu tür istekleri anında tanır.

Şüpheli belirtiler: Accept-Language, Accept-Encoding başlıklarının olmaması; User-Agent ve diğer başlıkların (örneğin, Chrome User-Agent, ancak Firefox başlıkları) uyumsuzluğu; sayfalar arasında geçiş yaparken Referer'ın olmaması; eski tarayıcı sürümleri.

3. TLS/SSL parmak izleri (fingerprinting)

HTTPS bağlantısı kurulduğunda, tarayıcı bir dizi şifreleme parametresi (cipher suites, extensions, TLS sürümü) gönderir. Bu dizi, her tarayıcı için benzersizdir. requests veya curl gibi kütüphaneler, gerçek tarayıcılardan farklı parmak izlerine sahiptir — Amazon bunu görür.

4. JavaScript ve Canvas fingerprinting

Amazon, tarayıcı hakkında bilgi toplayan JavaScript kodu yükler: ekran çözünürlüğü, yüklü yazı tipleri, desteklenen WebGL işlevleri, Canvas parametreleri. Basit HTTP istemcileri JavaScript'i çalıştırmaz ve hemen kendilerini ele verir.

5. Çerezler ve oturumlar

Amazon, ilk ziyaret sırasında birçok çerez kurar: session-id, ubid-main, x-main ve diğerleri. Bu çerezlerin olmaması veya yanlış değerleri — bir botun belirtisidir. Ayrıca sistem, oturumun ömrünü takip eder: gerçek bir kullanıcı 30 saniyede 100 istek yapmaz.

6. Davranış kalıpları

Gerçek bir kişi ana sayfayı açar, ürün arar, kategoriler arasında geçiş yapar, açıklamaları okur, geri döner. Bot hemen belirli ürün URL'lerini mükemmel bir sırayla ve gecikme olmadan talep eder.

Şüpheli kalıplar: ana sayfayı ziyaret etmeden yalnızca ürün sayfalarına istekler; mükemmel URL sırası (product1, product2, product3...); statik içeriklere (resimler, CSS, JS) istek yok; istekler arasında aynı aralıklar.

7. İstek sıklığı

Gerçek bir tarayıcı emülasyonu ile bile, çok yüksek bir istek sıklığı botu ortaya çıkarır. Amazon, bir IP'den gelen istek sayısını dakikada, saatte, günde takip eder. Limitlerin aşılması (genellikle misafirler için dakikada 10-20 istek) engellemeye yol açar.

Anti-botu aşmak için proxy seçimi: konut vs veri merkezleri

Doğru proxy türünü seçmek, Amazon korumasını aşmanın %70'idir. Üç ana türü ve bunların pazar yerinde parsing için uygulanabilirliğini inceleyelim.

Konut proxy'leri — en iyi seçim

Amazon'da istikrarlı bir parsing için konut proxy'leri önerilir — bunlar, Amazon'un toplu olarak engelleyemeyeceği gerçek ev kullanıcılarının IP'lerini kullanır.

Amazon için konut proxy'lerinin avantajları:

• IP'ler internet servis sağlayıcılarına (Comcast, AT&T, Verizon ABD'de) aittir, veri merkezlerine değil
• Engelleme oranı düşüktür: doğru rotasyon ayarı ile %2'den az
• Coğrafya seçme imkanı: ABD, Birleşik Krallık, Almanya ve diğer ülkelerden yerel fiyatlar almak için
• Sticky oturum desteği: bir IP, gerçek bir kullanıcıyı taklit etmek için 10-30 dakika kullanılabilir

Konut proxy'leri seçerken önemli parametreler:

• IP havuzunun boyutu: etkili rotasyon için en az 1 milyon adres
• Coğrafya: Amazon'un çalıştığı ülkeyi seçin (ABD, Birleşik Krallık, Almanya, Japonya vb.)
• Rotasyon türü: 10-30 dakika ömrü olan sticky oturum desteği
• Protokol: farklı araçlarla uyumluluk için HTTP/HTTPS ve SOCKS5

Mobil proxy'leri ne zaman kullanmalı

Mobil proxy'ler, mobil operatörlerin IP'lerini (4G/5G) kullanır. Amazon, bu tür adresleri neredeyse hiç engellemez, çünkü bir IP'nin arkasında CGNAT teknolojisi nedeniyle binlerce gerçek kullanıcı olabilir.

Mobil proxy'leri seçmek için durumlar:

• Amazon satıcı hesapları (Seller Central) ile çalışma — IP'nin istikrarı kritik
• Konut IP'lerinin yasaklanmasından sonra sert engellemeleri aşmak
• Oturum açma gerektiren parsing (örneğin, Prime aboneleri için fiyatlar)
• Küçük veri hacimleri (günde 1000 ürüne kadar) — mobil proxy'ler daha pahalıdır

Mobil proxy'lerin dezavantajı — yüksek maliyet ve mobil ağların özellikleri nedeniyle daha düşük hız. Binlerce ürünün toplu parsing'i için etkili değildirler.

Neden veri merkezleri uygun değil

Veri merkezi proxy'leri, AWS, Google Cloud, DigitalOcean sunucularının IP'lerini kullanır. Amazon, bu tür adresleri anında tanır — bunlar veri merkezlerinin ASN (otonom sistem) veritabanlarında bulunur.

Veri merkezlerini kullanırken sorunlar: 5-10 istektan sonra engelleme; sürekli CAPTCHA; eski fiyatların veya boş sayfaların gösterilmesi; birkaç denemeden sonra IP'nin sonsuza kadar yasaklanması.

Veri merkezlerini kullanmanın tek durumu, konut proxy'leri üzerinde başlatmadan önce az sayıda ürün (10-20 adet) için parser'ı test etmektir.

IP adresleri için rotasyon stratejisi: sıklık ve coğrafya

Konut proxy'leri ile bile, yanlış IP rotasyonu engellemelere yol açar. Amazon, her adresin davranışını takip eder ve çok fazla istek yapan veya şüpheli davrananları yasaklar.

Optimal rotasyon sıklığı

İki rotasyon yaklaşımı vardır: her istektan sonra (rotating proxies) ve sabit bir ömürle (sticky sessions). Amazon için ikinci seçenek daha etkilidir.

Önerilen sticky sessions stratejisi:

• IP'nin ömrü: 10-15 dakika — gerçek bir kullanıcıyı taklit etme ve engellenme riski arasında optimal denge
• IP başına istek sayısı: oturum ömrü boyunca 15-20 isteği geçmemeli
• İstekler arasındaki gecikme: 3-7 saniye (rastgele, sabit değil!)
• Davranış taklidi: ilk istek — ana sayfa veya kategori, ardından — ürün sayfaları

Bir IP için senaryo örneği: Amazon.com ana sayfasını aç → 5 saniye bekle → Elektronik kategorisini aç → 4 saniye bekle → ürün 1'i aç → 6 saniye bekle → ürün 2'yi aç → ... → 15 istektan sonra IP'yi değiştir.

Coğrafi dağılım

Amazon, kullanıcının konumuna bağlı olarak farklı fiyatlar, ürün yelpazesi ve teslimat koşulları gösterir. Doğru izleme için, hedef pazar yeri ile aynı ülkeden proxy kullanmak gerekir.

Pazar yerleri ve proxy coğrafyası uyumu:

• Amazon.com (ABD): ABD'den proxy kullanın, çeşitlilik için farklı eyaletlerden tercih edin
• Amazon.co.uk (Birleşik Krallık): UK'den proxy
• Amazon.de (Almanya): Almanya'dan proxy
• Amazon.co.jp (Japonya): Japonya'dan proxy

Önemli: belirli bir pazar yerinde parsing için diğer ülkelerden proxy kullanmayın. Örneğin, Amazon.com'a Hindistan veya Rusya'dan gelen IP'lerle yapılan istekler şüpheli görünür ve sık sık CAPTCHA alır.

IP yeniden kullanmaktan kaçının

IP engellenmemiş olsa bile, onu 2-3 saat içinde yeniden kullanmayın. Amazon, her adresin aktivite geçmişini hatırlar. Eğer aynı IP, gün boyunca her 15 dakikada bir görünüyorsa — bu, otomasyonun açık bir işareti.

Rotasyon kuralı: istikrarlı bir çalışma için minimum havuz — 500-1000 benzersiz IP. Bu, her adresin günde 1-2 kez kullanılmasını sağlamak için yeterli çeşitliliği sağlar.

Gerçek tarayıcı emülasyonu: başlıklar ve parmak izleri

Konut proxy'leri ve doğru rotasyon ile bile, parser gerçek bir tarayıcıyı emüle etmezse engellenir. Amazon, HTTP isteklerinin ve JavaScript ortamının onlarca parametresini kontrol eder.

Doğru HTTP başlıkları

Basit HTTP istemcileri (requests, curl, wget) anında botu ortaya çıkaran minimum başlık setini gönderir. Gerçek bir tarayıcının başlıklarını kopyalamak gerekir.

Amazon için zorunlu başlıklar:

User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8
Accept-Language: en-US,en;q=0.9
Accept-Encoding: gzip, deflate, br
Connection: keep-alive
Upgrade-Insecure-Requests: 1
Sec-Fetch-Dest: document
Sec-Fetch-Mode: navigate
Sec-Fetch-Site: none
Sec-Fetch-User: ?1
Cache-Control: max-age=0

Kritik noktalar:

• User-Agent: güncel bir Chrome veya Firefox sürümü kullanın (her 2-3 ayda bir kontrol edin). Eski tarayıcı sürümleri şüpheli görünür.
• Accept-Language: proxy'nin coğrafyasına uygun olmalıdır (ABD için en-US, UK için en-GB, Almanya için de de-DE)
• Sec-Fetch-* başlıkları: modern tarayıcılarda bulunur, yokluğu eski bir istemcinin belirtisidir
• Referer: sayfalar arasında geçiş yaparken önceki sayfanın Referer'ını mutlaka gönderin

TLS fingerprinting ve aşma

Amazon, TLS bağlantısının parametrelerini analiz eder: protokol sürümü, şifre seti, uzantılar. Standart kütüphaneler (Python requests'te OpenSSL) tarayıcılardan farklı parmak izlerine sahiptir.

Çözüm: tarayıcı TLS'sini emüle eden araçlar kullanın:

• curl-impersonate: Chrome ve Firefox'un TLS parmak izlerini kopyalayan bir curl sürümü
• tls-client (Python): tarayıcı parmak izleme desteği olan bir kütüphane
• Playwright/Puppeteer: headless modda gerçek tarayıcılar — mükemmel emülasyon, ancak daha yavaş

JavaScript ve çerezler

Amazon, sayfa yüklendiğinde çerezleri kuran ve tarayıcı hakkında bilgi toplayan JavaScript kodunu çalıştırır. Bu kodu çalıştırmadan tam verileri alamaz ve hızlıca engellenirsiniz.

Zorunlu eylemler:

• JavaScript desteği olan araçlar kullanın: Selenium, Playwright, Puppeteer
• Bir oturum çerçevesinde tüm çerezleri istekler arasında saklayın
• Veri çıkarmadan önce sayfanın tamamen yüklenmesini bekleyin (DOMContentLoaded olayı)
• Kullanıcı eylemlerini taklit edin: kaydırma, rastgele duraklamalar

Amazon, kritik çerezler kurar: session-id, ubid-main, x-main. Bunlar olmadan CAPTCHA veya boş sayfa alırsınız.

İstek limitleri ve aralarındaki gecikmeler

Mükemmel bir tarayıcı emülasyonu bile, çok fazla istek yaparsanız engellemeden kurtaramaz. Amazon, bir IP'den gelen isteklerin sıklığını katı bir şekilde sınırlar.

Amazon'un belgelenmiş limitleri

Resmi limit verileri yoktur, ancak topluluk testlerine dayanarak yaklaşık değerler bilinmektedir:

Limitlerin aşılması, CAPTCHA, geçici engellemeler (1-24 saat) veya sistematik ihlaller durumunda IP'nin kalıcı olarak yasaklanmasına yol açar.

İstekler arasındaki optimal gecikmeler

Sabit aralıklar (örneğin, tam olarak 5 saniye) botu ortaya çıkarır. Gerçek bir kişi, ürün açıklamasını okurken, fiyatları karşılaştırırken, dikkati dağılırken farklı uzunluklarda duraklamalar yapar.

Önerilen gecikme stratejisi:

• Temel gecikme: 3-7 saniye (aralıktaki rastgele bir değer)
• Oturumdaki ilk istek: 5-10 saniye (ana sayfanın yüklenmesini taklit etme)
• Hata veya CAPTCHA'dan sonra: tekrar denemeden önce 30-60 saniye bekleyin
• IP değiştirirken: "yeniden bağlanma" için 2-3 saniye

Rastgele gecikme uygulaması örneği: sleep(random.uniform(3, 7)) — her duraklama benzersiz olacaktır.

Zamanla yük dağılımı

Binlerce ürünü aynı anda 00:00'da parsing yapmayın. Amazon, aktivite patlamalarını takip eder. Görevi birkaç saate veya tüm güne yayarak dağıtın.

Örnek: 5000 ürünü parsing yapmanız gerekiyor. 500 ürünlük 10 pakete bölün, her paketi 1-2 saat aralıklarla başlatın. Bu, farklı kullanıcıların organik bir aktivite gibi görünmesini sağlar.

Amazon için hazır araçlar

Sıfırdan bir parser yazmak zor ve zaman alıcıdır. Anti-botu aşma, proxy rotasyonu ve tarayıcı emülasyonu gerçekleştiren hazır çözümler mevcuttur.

1. Bright Data Web Scraper IDE

Amazon için hazır şablonlarla bulut tabanlı bir araç. Programlama gerektirmez — veri seçicilerini görsel arayüzle ayarlarsınız. Entegre proxy ve CAPTCHA aşma desteği.

Artıları: kutudan çıktığı gibi çalışır, otomatik IP rotasyonu, JavaScript desteği. Eksileri: pahalı ($500+ ayda), dış hizmete bağımlılık.

2. Octoparse

Görsel parser oluşturucu ile Windows için masaüstü uygulaması. 24/7 görevleri çalıştırmak için bulut sürümü vardır. Proxy ile entegrasyonu destekler.

Octoparse'da proxy ayarlama: Ayarlar → Proxy Ayarları → IP:PORT:USER:PASS formatında bir proxy listesi ekleyin → rotasyonu etkinleştirin.

Artıları: kod gerektirmez, kullanışlı arayüz, ücretsiz plan mevcut. Eksileri: ücretsiz sürümde sayfa sayısı sınırlamaları, CAPTCHA ile zorluklar.

3. ScrapingBee API

Koruma aşma ile otomatik parsing için API hizmeti. URL gönderirsiniz, HTML alırsınız. Entegre proxy rotasyonu ve JavaScript çalıştırma.

Kullanım örneği:

curl "https://app.scrapingbee.com/api/v1/?api_key=YOUR_KEY&url=https://www.amazon.com/dp/B08N5WRWNW&render_js=true&premium_proxy=true&country_code=us"

Artıları: basit entegrasyon, kendi proxy'lere ihtiyaç yok. Eksileri: ücretli (ayda $49'dan), istek sayısında limitler.

4. Playwright + kendi proxy'ler (geliştiriciler için)

Programlama biliyorsanız, en iyi seçenek Playwright (veya Puppeteer) ile konut proxy'leri kullanmaktır. Süreç üzerinde tam kontrol ve minimum maliyet.

Playwright'da proxy ayarlama örneği (Python):

from playwright.sync_api import sync_playwright
import random
import time

proxy_list = [
    {"server": "http://proxy1.example.com:8080", "username": "user", "password": "pass"},
    {"server": "http://proxy2.example.com:8080", "username": "user", "password": "pass"},
]

with sync_playwright() as p:
    proxy = random.choice(proxy_list)
    browser = p.chromium.launch(proxy=proxy, headless=True)
    context = browser.new_context(
        user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
        locale="en-US",
        timezone_id="America/New_York"
    )
    page = context.new_page()
    
    # İlk istek - ana sayfa
    page.goto("https://www.amazon.com")
    time.sleep(random.uniform(3, 5))
    
    # Ürün isteği
    page.goto("https://www.amazon.com/dp/B08N5WRWNW")
    page.wait_for_load_state("networkidle")
    
    # Veri çıkarma
    title = page.locator("#productTitle").inner_text()
    price = page.locator(".a-price-whole").first.inner_text()
    
    print(f"Başlık: {title}, Fiyat: ${price}")
    
    browser.close()

Artıları: tam kontrol, bulut hizmetlerinden daha ucuz, ölçeklenebilir. Eksileri: programlama becerileri gerektirir, CAPTCHA'ları kendiniz işlemeniz gerekir.

Araç seçimi için öneriler

Engelleme durumunda ne yapmalı: teşhis ve çözümler

Tüm kurallara uyulsa bile bazen engellemeler ortaya çıkabilir. Sebebi anlamak ve sorunu hızlıca düzeltmek önemlidir.

Engelleme türleri ve belirtileri

1. CAPTCHA (durum kodu 503 veya /errors/validateCaptcha'ya yönlendirme):

• Sebep: IP'den şüpheli aktivite, ancak tam bir engelleme değil
• Çözüm: IP'yi değiştirin, istekler arasındaki gecikmeleri artırın, kullanıcı eylemlerini taklit edin
• Otomasyon: CAPTCHA çözme hizmetlerini kullanın (2Captcha, Anti-Captcha) — ama bu parsing'i yavaşlatır

2. IP engellemesi (kod 403 veya boş sayfa):

• Sebep: IP, limitlerin aşılması veya veri merkezi kullanımı nedeniyle kara listeye alındı
• Çözüm: hemen IP'yi değiştirin, proxy türünü kontrol edin (belki konut yerine veri merkezleri kullanılıyor)
• Süre: genellikle 24-48 saat, bazen sonsuza kadar

3. "Amazon verilerine otomatik erişim hakkında konuşmak için lütfen api-services-support@amazon.com ile iletişime geçin":

• Sebep: Amazon otomasyonu açıkça tanımladı ve resmi API'yi kullanmayı öneriyor
• Çözüm: tarayıcı emülasyonunu geliştirin, TLS parmak izini kontrol edin, istek sıklığını 2 kat azaltın

Sorun teşhis kontrol listesi

Eğer engellemeler alıyorsanız, sırayla kontrol edin:

1. Proxy türü: konut kullandığınızdan emin olun, veri merkezleri değil. Bunu whoer.net'te kontrol edebilirsiniz
2. Coğrafya: IP, pazar yeri ile aynı ülkeden olmalıdır (USA için .com, UK için .co.uk)
3. User-Agent: güncel bir Chrome/Firefox sürümü (3-4 aydan eski olmamalı)
4. Çerezler: oturum çerçevesinde istekler arasında saklanıyor mu
5. JavaScript: çalışıyor mu (Playwright/Puppeteer kullanıyorsanız — çalışması gerekir)
6. İstek sıklığı: bir IP'den dakikada 10-15'ten fazla olmamalı
7. Gecikmeler: rastgele, sabit olmamalı
8. IP rotasyonu: her adres günde 1 defadan fazla kullanılmamalıdır

Toplu engellemelerde acil önlemler

Eğer çoğu isteğiniz engelleniyorsa (30%'dan fazla):

• Parsing'i 2-3 saat durdurun — Amazon'a aktivitenizi "unutması için" zaman tanıyın
• Proxy sağlayıcınızı değiştirin — havuz IP'si muhtemelen tehlikeye girmiştir
• Yükü 3-5 kat azaltın — saatte 100 istek yerine 20-30 yapın
• Mobil proxy'lere geçin — neredeyse hiç engellenmezler, ancak daha pahalıdırlar
• Daha fazla insan taklidi ekleyin: rastgele kategoriler arasında geçiş yapma, ürünleri doğrudan URL yerine arama çubuğuyla arama

Sonuç

Amazon'un anti-botunu aşmak, doğru proxy'lerin, tarayıcı emülasyonunun ve makul istek limitlerinin bir kombinasyonunu gerektiren karmaşık bir görevdir. Başarılı parsing için ana noktalar: pazar yeri ile aynı ülkeden konut proxy'leri kullanmak; IP'leri her 10-15 dakikada bir değiştirmek ve oturum başına 15-20 istek limiti koymak; doğru başlıklarla ve JavaScript çalıştırarak modern bir tarayıcıyı tam olarak emüle etmek; istekler arasında 3-7 saniye rastgele gecikmeler.

Bu kurallara uyulduğunda, başarılı istek oranı %95-98'e ulaşır ve engellemeler nadir hale gelir. En önemlisi — acele etmemek ve gerçek bir kullanıcının davranışını taklit etmek, binlerce ürünü dakikalar içinde çekmeye çalışmamak.

Amazon ile istikrarlı bir çalışma için konut proxy'leri kullanmanızı öneriyoruz.