Ürün Özelliklerini Parse Etmek İçin Proxy: Engellenmeden Pazar Yerlerinden Veri Toplama Yöntemleri

Pazar yerlerinden ürün özelliklerini parse etmek, satıcılar, analistler ve fiyat toplayıcılar için kritik bir görevdir. Wildberries, Ozon, Yandex.Market ve diğer platformlar, gelişmiş anti-bot sistemleri kullanarak otomatik veri toplamayı aktif olarak engellemektedir. Doğru ayarlanmış proxy olmadan, parser'ınız 50-100 istektan sonra engellenir. Bu yazıda, hangi proxy türlerinin parse etmek için uygun olduğunu, IP rotasyonunu nasıl ayarlayacağınızı ve en büyük pazar yerlerinin korumasını nasıl aşacağınızı inceleyeceğiz.

Pazar yerleri neden parse etmeyi engelliyor ve bu nasıl çalışıyor

Modern pazar yerleri, parse etme nedeniyle milyonlarca ruble kaybediyor: rakipler ürün açıklamalarını kopyalıyor, toplayıcılar trafiği ele geçiriyor ve sunucular üzerindeki yük artıyor. Bu nedenle Wildberries, Ozon, Yandex.Market ve diğer platformlar, otomatik veri toplama için çok katmanlı koruma sistemleri uygulamıştır.

Pazar yerleri parse etmeyi nasıl belirliyor:

• Bir IP'den gelen istek sıklığı — eğer bir adresten dakikada 100+ istek geliyorsa, bu belirgin bir bot işareti. Normal bir kullanıcı bu süre zarfında 5-10 ürün kartını görüntüler.
• JavaScript'in olmaması — requests veya curl gibi basit parser'lar, fiyatları ve özellikleri yükleyen JS kodunu çalıştırmaz. Site, içeriğin render olmadan istendiğini görür.
• User-Agent ve başlıklar — kütüphanelerin varsayılan başlıkları (örneğin, "python-requests/2.28.0") hemen botu ifşa eder. Accept-Language, Referer başlıklarının olmaması da şüpheli.
• Tarayıcı parmak izi — gelişmiş sistemler (Cloudflare, Kasada, DataDome) Canvas, WebGL, fontlar, tarayıcı uzantılarını analiz eder. Puppeteer gibi headless tarayıcılar, bazı parametrelerin eksikliği nedeniyle kolayca tespit edilir.
• Davranış kalıpları — bot, ürün kartlarını aynı aralıklarla açar (örneğin, tam olarak her 2 saniyede bir), sayfayı kaydırmaz, fareyi hareket ettirmez. Bu, onu gerçek bir insandan ayırır.

Engellemenin sonuçları: 1-24 saatlik geçici IP yasağı, her istekte CAPTCHA, veri merkezi IP aralığının tamamen engellenmesi. Bu, iş için veri toplamanın durması ve rekabet avantajının kaybı anlamına gelir.

Ürünleri parse etmek için proxy türlerinin karşılaştırılması

Ürün özelliklerini parse etmek için üç ana proxy türü kullanılır. Her biri veri hacmi, bütçe ve hız gereksinimlerine bağlı olarak avantajları ve sınırlamaları vardır.

Veri Merkezi Proxy'leri — veri merkezlerindeki (AWS, Hetzner, OVH) sunucuların IP adresleridir. Hızlı ve ucuzdur, ancak pazar yerleri bunları ASN veritabanları aracılığıyla kolayca tespit eder. Küçük katalogların (günde 10.000 ürüne kadar) veya ciddi koruma olmayan platformların parse edilmesi için uygundur. Maliyet: ayda IP başına 1-3$.

Konut Proxy'leri — uygulamalardaki SDK aracılığıyla yasal olarak elde edilen ev kullanıcılarının IP'leridir. Pazar yerleri bunları normal alıcılar olarak algılar. Wildberries, Ozon, Yandex.Market'te büyük hacimlerde parse etmek için idealdir. Maliyet: 1 GB trafik için 5-15$ (yaklaşık 10.000-30.000 istek).

Mobil Proxy'ler — mobil operatörlerin IP'leridir (MTS, Beeline, MegaFon). Koruma aşmak için en güvenilir türdür, ancak pahalı ve yavaştır. Sadece engellemenin kabul edilemez olduğu kritik görevler için kullanın. Maliyet: ayda IP başına 50-150$ ile rotasyonlu.

Konut mu yoksa veri merkezi: Görevleriniz için neyi seçmelisiniz

Proxy türü seçimi üç faktöre bağlıdır: parse hacmi, platformun koruma seviyesi ve bütçe. Belirli kullanım senaryolarını inceleyelim.

Veri Merkezi Proxy'leri ne zaman uygundur

Senaryo 1: Parser testi
Yeni bir parser geliştiriyorsunuz ve veri çıkarma mantığını test ediyorsunuz. Hata ayıklama için 100-500 ürünü parse etmeniz gerekiyor. Bu durumda konut proxy'leri gereksiz bir masraf olur. 5-10 veri merkezi IP'si alın ve her birinden saatte 50-100 istek yapın. Bu, engellemeler olmadan test etmek için yeterlidir.

Senaryo 2: Korumasız platformları parse etme
Küçük yerel pazar yerleri, Avito gibi ilan panoları (bazı kategorilerde), OpenCart'taki internet mağazaları genellikle ciddi bir anti-bot sistemine sahip değildir. Burada veri merkezleri, makul bir yük altında (IP başına saatte 200 isteğe kadar) istikrarlı çalışır.

Senaryo 3: Sınırlı bütçe ve küçük hacimler
Günde 5.000-10.000 ürünü parse etmeniz gerekiyorsa ve bütçeniz sınırlıysa, agresif rotasyonlu veri merkezlerini deneyin (her 50-100 istekte IP değişimi). Evet, daha fazla engelleme olacak, ancak doğru ayarlanmış bir yeniden deneme mantığı (yeni IP ile isteği tekrar etme) ile bu işe yarıyor.

Konut Proxy'leri ne zaman gereklidir

Senaryo 1: Wildberries ve Ozon'u parse etme
Bu platformlar Cloudflare, DataDome ve kendi anti-bot sistemlerini kullanıyor. Veri merkezlerinden 20-50 istektan sonra CAPTCHA veya yasak alırsınız. Her 5-10 dakikada bir rotasyonlu konut proxy'leri, yüz binlerce ürünü sorunsuz bir şekilde parse etmenizi sağlar. Bir müşteri, 1000 konut IP'si havuzunu kullanarak Wildberries'in tüm kataloğunu (20+ milyon ürün) bir haftada parse etti.

Senaryo 2: Yetkilendirme ile parse etme
Bazı ürün özellikleri (toplu fiyatlar, stok durumu) yalnızca yetkilendirilmiş kullanıcılara açıktır. Hesap üzerinden parse ediyorsanız, veri merkezlerini kullanmak hesap yasaklamasına yol açar. Konut proxy'leri, gerçek bir kullanıcının davranışlarını taklit ederek yasak riskini azaltır.

Senaryo 3: Coğrafi hedefleme
Wildberries, Ozon, Yandex.Market'teki ürünlerin fiyatları ve mevcudiyeti kullanıcının bölgesine bağlıdır. Moskova, St. Petersburg, Yekaterinburg verilerini aynı anda toplamak için şehir seçimi olan konut proxy'lerine ihtiyaç vardır. Veri merkezleri, coğrafi konumu tam olarak kontrol etmenizi sağlamaz.

IP rotasyonu ayarı: aralıklar ve stratejiler

IP rotasyonu, belirli bir istek sayısından veya zaman diliminden sonra proxy sunucusunun otomatik olarak değiştirilmesidir. Doğru rotasyon ayarı, engellemeler olmadan istikrarlı bir parse için anahtardır.

Proxy rotasyon türleri

1. Zaman bazlı rotasyon (Time-based rotation)
IP, sabit bir aralıkla değişir: 5 dakika, 10 dakika, 30 dakika. Bu en basit yöntemdir, ancak en etkili değildir. Eğer 5 dakikada 200 istek yapıyorsanız ve platformun limiti IP başına 100 isteksa, yine de yasak alırsınız.

Ne zaman kullanılmalı: Düşük yükte konut proxy'leri için (IP başına 50 isteğe kadar). Örneğin, Wildberries'i her istekte 3-5 saniye aralıklarla parse etmek — her 10 dakikada bir rotasyon en uygun olacaktır.

2. İstek sayısına göre rotasyon (Request-based rotation)
IP, N isteğinden sonra değişir: 50, 100, 200. Bu, zaman bazlı rotasyondan daha doğrudur, ancak parser kodunda istek sayacını takip etmeyi gerektirir.

Ne zaman kullanılmalı: Veri merkezleri ve agresif parse etme için. Örneğin, Ozon'un IP başına 80 istektan sonra yasakladığını biliyorsanız — 70 istekte bir rotasyon ayarlayın.

3. Her istekte rotasyon (Per-request rotation)
Her istek yeni bir IP üzerinden gider. Engellemelerden maksimum koruma sağlar, ancak konut proxy'leri için en pahalı stratejidir (yeni bağlantılar kurma nedeniyle trafik tüketimi artar).

Ne zaman kullanılmalı: En sert korumaları aşmak için (Cloudflare "Under Attack" modunda), hesap yasaklama riski yüksek olan parse etme, rakiplerin parse etmesini izlediği veri toplama için.

Popüler platformlar için önerilen rotasyon aralıkları

Önemli nokta: Bu rakamlar 2024 yılında yapılan testlerin sonucudur. Pazar yerleri sürekli olarak korumalarını güncellemektedir, bu nedenle konservatif ayarlarla (daha az istek, daha fazla gecikme) başlamanız ve engelleme oranını izleyerek yükü kademeli olarak artırmanız önerilir.

"Akıllı" rotasyon stratejisi

Sabit aralıklar yerine, sunucu yanıtlarına dayalı adaptif rotasyon kullanın:

• HTTP 429 (Too Many Requests) — hemen IP değişimi ve bu IP'yi 30-60 dakika boyunca kara listeye alma.
• HTTP 403 (Forbidden) veya CAPTCHA — IP değişimi ve istekler arası gecikmeyi %50 artırma.
• HTTP 503 (Service Unavailable) — sorun proxy'de değil, sitenin aşırı yüklenmesinde olabilir. IP değişimi olmadan 30-60 saniye bekleyin.
• Arka arkaya başarılı istekler > 100 — gecikmeyi biraz azaltabilir veya rotasyona kadar istek sayısını artırabilirsiniz.

Bu mantık, parser kodunda uygulanır ve gereksiz rotasyonları önleyerek proxy trafiğinden %30-40 tasarruf etmenizi sağlar.

Wildberries, Ozon ve Yandex.Market'in anti-bot sistemlerini aşma

Modern pazar yerleri çok katmanlı koruma kullanıyor: basit User-Agent kontrolünden gelişmiş tarayıcı parmak izine kadar. Sadece proxy yeterli değildir — kapsamlı bir aşma stratejisi gereklidir.

Seviye 1: Doğru HTTP başlıkları

Parser'ınızın göndermesi gereken minimum başlık seti:

User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
Accept-Language: tr-TR,tr;q=0.9,en;q=0.8
Accept-Encoding: gzip, deflate, br
Connection: keep-alive
Upgrade-Insecure-Requests: 1
Sec-Fetch-Dest: document
Sec-Fetch-Mode: navigate
Sec-Fetch-Site: none
Sec-Fetch-User: ?1
Cache-Control: max-age=0

Kritik noktalar:

• User-Agent, gerçek bir tarayıcıya uygun olmalıdır. Güncel Chrome 120+, Firefox 121+ sürümlerini kullanın. Eski sürümleri (Chrome 90) kullanmayın — bu bir kırmızı bayraktır.
• Accept-Language, Rus pazarları için "tr-TR" olmalıdır. Eğer "en-US" başlığı ile parse ediyorsanız, site uyumsuzluğu anlar (IP Rusya'dan, ancak dil İngilizce).
• Sec-Fetch-* başlıkları, Chrome 76+ sürümünde ortaya çıkmıştır ve modern siteler için zorunludur. Yokluğu eski bir parser'ı ifşa eder.

Seviye 2: JavaScript'in çalıştırılması

Wildberries ve Ozon, fiyatları, özellikleri, stok durumunu sayfa yüklendikten sonra JavaScript aracılığıyla yükler. Eğer parser'ınız requests/curl ile sadece HTML indiriyorsa, boş bir sayfa veya bir placeholder alır.

Çözüm: Headless tarayıcılar kullanın — Puppeteer (Node.js), Playwright (Python/Node.js), Selenium. Bunlar sayfayı tamamen render eder, JS'i çalıştırır ve son HTML'i alır.

Headless tarayıcıların sorunu: Siteler, navigator.webdriver === true parametreleri, eklentilerin olmaması, Canvas'ın özel boyutları gibi kriterlerle bunları kolayca tespit eder. Headless Chrome'un tespit oranı yaklaşık %80-90'dır.

Problemin çözümü: Gizlilik modu için kütüphaneler kullanın:

• puppeteer-extra-plugin-stealth (Node.js) — Puppeteer'ı normal bir Chrome gibi gizler, 30'dan fazla parmak izi parametresini yamanlar.
• undetected-chromedriver (Python) — çoğu anti-bot sistemi tarafından tespit edilmeyen, yamanmış Selenium ChromeDriver sürümü.
• playwright-stealth (Python) — Firefox ve WebKit desteği ile Playwright için benzeri.

Seviye 3: Cloudflare ve DataDome'u aşma

Wildberries, Cloudflare Bot Yönetimi kullanıyor, Ozon ise DataDome. Bu sistemler, sadece IP ve başlıkları değil, aynı zamanda davranışları da analiz eder: kaydırma hızı, fare hareketleri, sayfanın yüklenme süresi.

Cloudflare Challenge belirtileri: İçerik yerine "Tarayıcınızı kontrol ediyoruz..." sayfasını 5 saniyelik bir gecikme ile görüyorsunuz. Bu, tarayıcıyı kontrol eden JavaScript-challenge'dır.

Nasıl aşılır:

• FlareSolverr — Cloudflare Challenge'ı otomatik olarak çözen bir proxy hizmeti. URL'yi ona gönderiyorsunuz, o da aşmak için çerezleri geri döndürüyor. %70-80 oranında çalışır.
• Playwright ile bekleme — sayfayı headless tarayıcıda yüklüyorsunuz, 10-15 saniye bekliyorsunuz (JS çalışırken), çerezleri çıkarıyorsunuz ve bunları normal HTTP isteklerinde kullanıyorsunuz. Kaynakları tasarruf ettirir: tarayıcı sadece çerezleri almak için gereklidir, daha sonra requests ile parse edersiniz.
• Konut proxy'leri + gizlilik tarayıcısı — bu kombinasyon %95+ başarılı aşmalar sağlar. Cloudflare, kullanıcının gerçek IP'sini ve tarayıcının doğru parmak izini görür.

Seviye 4: Kullanıcı davranışını taklit etme

Gelişmiş anti-bot sistemleri, davranış kalıplarını izler. Gerçek bir kullanıcı sayfayı kaydırır, fareyi hareket ettirir, bazen geri döner. Bot, ürün kartlarını mükemmel bir 2.000 saniye aralığı ile açar.

Nasıl taklit edilir:

• Gecikmelerin rastgeleleştirilmesi — sabit 3 saniye yerine random.uniform(2.5, 5.0) kullanın. Kullanıcının dikkatinin dağılmasını taklit ederek nadir uzun duraklamalar (15-30 saniye) ekleyin.
• Sayfayı kaydırma — Puppeteer/Playwright'ta veri çıkarımından önce kaydırma ekleyin: await page.evaluate(() => window.scrollBy(0, 500)).
• Fare hareketleri — Puppeteer için ghost-cursor kütüphanesi, fare imlecinin gerçekçi hareket yollarını oluşturur.
• Arama üzerinden geçişler — ürün kartlarını doğrudan URL ile açmayın. Önce ana sayfaya gidin, arama yapın, sonuçlarda ürüne tıklayın. Bu doğal görünür.

Proxy desteği olan popüler parse araçları

Ürün özelliklerini parse etmek için sıfırdan kod yazmanız gerekmez. Proxy desteği ve otomatik koruma aşma ile görsel arayüze sahip hazır araçlar mevcuttur.

Octoparse — Kod Olmadan Parser

Açıklama: Windows/Mac için görsel parser oluşturucu ile masaüstü uygulaması. Sayfa üzerindeki öğelere (ürün adı, fiyat, özellikler) tıklıyorsunuz, program otomatik olarak çıkarım kurallarını oluşturuyor.

Proxy Desteği: Dahil. Ayarlarda proxy listesini belirtirsiniz, program otomatik olarak bunları rotasyona sokar. HTTP, HTTPS, SOCKS5 destekler. Bright Data, Smartproxy sağlayıcıları ile entegrasyon mevcuttur.

Artıları: Kod gerektirmez, JavaScript siteleri ile çalışır, yerleşik görev zamanlayıcı, Excel/CSV/JSON'a dışa aktarma.
Eksileri: Aylık 75$'dan başlayan ücretli abonelik, Python kodundan daha yavaş, ücretsiz sürümde sayfa sayısı sınırlamaları.

Ne zaman kullanılmalı: Küçük projeler için (50.000 ürüne kadar), programcı değilseniz veya hızlı bir prototipe ihtiyacınız varsa.

ParseHub — Bulut Tabanlı Parser

Açıklama: Octoparse'a benzer, ancak bulutta çalışır. Parser'ı masaüstü uygulamasında ayarlıyorsunuz, ancak ParseHub sunucularında çalıştırılıyor. Uzun görevler için (100.000+ ürün parse etme) uygundur.

Proxy Desteği: Sadece ücretli tarifelerde (149$/ay'dan itibaren). Kendi proxy listenizi yükleyebilir veya ParseHub'ın dahili konut IP'lerini kullanabilirsiniz.

Artıları: Bilgisayarınızı yormaz, otomatik sayfa numaralandırma, entegrasyon için API.
Eksileri: Pahalı, yavaş destek, karmaşık siteler için ayarlama zorlukları.

Scrapy (Python) — Programcılar için

Açıklama: Python'da parser oluşturmak için bir framework. En esnek ve hızlı seçenek — günde milyonlarca ürünü parse edebilirsiniz. Orta seviyede Python bilgisi gerektirir.

Proxy Desteği: Middleware aracılığıyla. Popüler çözümler: scrapy-rotating-proxies (listeden rotasyon), scrapy-proxy-pool (sağlayıcıların API'si ile entegrasyon). Ayarlama 10-15 dakika sürer.

Artıları: Ücretsiz, çok hızlı (asenkron istekler), mantık üzerinde tam kontrol, büyük bir topluluk.
Eksileri: Kod yazmanız gerekir, JavaScript siteleri ile zorluklar (Splash veya Playwright ile entegrasyon gerektirir).

Ne zaman kullanılmalı: Günde 100.000+ ürün hacmine sahip ciddi projeler için, ekibinizde programcı varsa.

Apify — Hazır Parser'ların Pazar Yeri

Açıklama: Popüler siteler için binlerce hazır parser (aktörler olarak adlandırılır) içeren bir platform. Amazon, eBay, AliExpress için hazır çözümler mevcuttur. Rus pazar yerleri için seçenekler daha azdır, ancak geliştirme siparişi verebilirsiniz.

Proxy Desteği: Tüm aktörlerde dahildir. Apify, kendi konut proxy'lerini sağlar (trafik başına ödeme) veya kendi proxy'lerinizi bağlayabilirsiniz.

Artıları: Hazır çözümler, bulut tabanlı yürütme, otomasyon için API, yerleşik proxy'ler.
Eksileri: Pahalı (49$/ay'dan başlayan + proxy ücreti), platforma bağımlılık, özelleştirme sınırlamaları.

Araçların Karşılaştırılması

Parser'da proxy ayarları için adım adım kılavuz

Popüler araçlar örneğinde proxy ayarlarını pratik olarak inceleyelim. Bu talimatlar, yalnızca Rus pazar yerleri değil, her türlü pazar yerini parse etmek için uygundur.

Octoparse'da ayarlama

Adım 1: Octoparse'ı açın ve yeni bir parse görevi oluşturun. Başlangıç sayfasının URL'sini girin (örneğin, Wildberries'deki ürün kategorisi).

Adım 2: "Ayarlar" → "Gelişmiş Ayarlar" → "Proxy" menüsüne gidin. "Özel proxy kullan" seçeneğini seçin.

Adım 3: Proxy'leri şu formatta ekleyin:

http://kullanici:parola@proxy-server.com:8080
socks5://kullanici:parola@proxy-server.com:1080

Adım 4: "Proxy'yi döndür" seçeneğini etkinleştirin ve rotasyon aralığını ayarlayın. Wildberries için "Her 50 istekte bir döndür" veya "Her 10 dakikada bir döndür" önerilir.

Adım 5: "Proxy'yi Test Et" butonuna tıklayın — Octoparse her proxy'nin erişilebilirliğini kontrol edecektir. Çalışmayanları listeden çıkarın.

Adım 6: "Hız" bölümünde istekler arası gecikmeyi ayarlayın: konut proxy'leri için 2-4 saniye, veri merkezleri için 3-5 saniye.

Scrapy'de (Python) ayarlama

Adım 1: Proxy rotasyonu için kütüphaneyi yükleyin:

pip install scrapy-rotating-proxies

Adım 2: Proxy listesini içeren proxies.txt adlı bir dosya oluşturun (her satıra bir tane):

http://kullanici:parola@1.2.3.4:8080
http://kullanici:parola@5.6.7.8:8080
socks5://kullanici:parola@9.10.11.12:1080

Adım 3: Scrapy projenizin settings.py dosyasında şunları ekleyin:

ROTATING_PROXY_LIST_PATH = 'proxies.txt'

DOWNLOADER_MIDDLEWARES = {
    'rotating_proxies.middlewares.RotatingProxyMiddleware': 610,
    'rotating_proxies.middlewares.BanDetectionMiddleware': 620,
}

# İstekler arası gecikme (saniye cinsinden)
DOWNLOAD_DELAY = 3

# Gecikmeyi rastgeleleştir
RANDOMIZE_DOWNLOAD_DELAY = True

# Paralel istekler (konut proxy'leri için en fazla 16)
CONCURRENT_REQUESTS = 8

Adım 4: Scrapy, her istekte proxy'leri otomatik olarak döndürecektir. Eğer proxy hata dönerse (HTTP 403, 429, zaman aşımı), "kötü" olarak işaretlenir ve geçici olarak rotasyondan çıkarılır.

Puppeteer'de (Node.js) ayarlama

Adım 1: Puppeteer ve gizlilik modu eklentisini yükleyin:

npm install puppeteer puppeteer-extra puppeteer-extra-plugin-stealth

Adım 2: Proxy desteği olan bir script oluşturun:

const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');
puppeteer.use(StealthPlugin());

const proxyList = [
  'http://kullanici:parola@proxy1.com:8080',
  'http://kullanici:parola@proxy2.com:8080'
];

let currentProxyIndex = 0;

async function scrapeWithProxy(url) {
  const proxy = proxyList[currentProxyIndex];
  currentProxyIndex = (currentProxyIndex + 1) % proxyList.length;

  const browser = await puppeteer.launch({
    headless: true,
    args: [`--proxy-server=${proxy}`]
  });

  const page = await browser.newPage();
  
  // Proxy yetkilendirmesi (gerekirse)
  await page.authenticate({
    username: 'kullanici',
    password: 'parola'
  });

  await page.goto(url, { waitUntil: 'networkidle2' });
  
  // Veri çıkarımı
  const data = await page.evaluate(() => {
    return {
      title: document.querySelector('.product-title')?.innerText,
      price: document.querySelector('.product-price')?.innerText,
      // Diğer verileri çıkarın
    };
  });

  await browser.close();
  return data;
}

Adım 3: Proxy listesini döngü içinde kullanarak verileri çıkarın.