Rakiplerin Dinamik Fiyatlandırmasını Proxy ile Engellenmeden Nasıl Takip Edilir?

Dinamik fiyatlandırma, pazar yerlerinde standart haline geldi — fiyatlar talep, stok ve rakiplerin eylemlerine bağlı olarak günde 10-20 kez değişiyor. Eğer Wildberries, Ozon veya Avito'da bir satıcıysanız, bilirsiniz: rakip fiyatının düştüğünü ilk öğrenen, arama sonuçlarında pozisyonunu korur. Ancak tüm pazar yerleri, tek bir IP'den yapılan toplu verileri sıkı bir şekilde engelliyor. Bu yazıda, hesabınızın veya IP adresinizin engellenme riski olmadan 24/7 veri toplamak için proxy aracılığıyla otomatik fiyat izleme ayarını nasıl yapacağınızı inceleyeceğiz.

Pazar yerleri neden fiyat verilerini engelliyor ve bu nasıl çalışıyor

Tüm büyük pazar yerleri, otomatik veri toplama için çok katmanlı bir koruma kullanıyor. Sebep basit: toplu veri toplama, sunucular üzerinde yük oluşturur ve verileri toplayabilenlere rekabet avantajı sağlar. Örneğin, Wildberries günde 300.000'e kadar fiyat değişikliği kaydediyor — ve bu verilerin rakiplere bedava ulaşmasını istemiyor.

İşte tipik bir veri toplama koruma sisteminin nasıl çalıştığı:

• Bir IP'den gelen isteklerin sıklığının izlenmesi — eğer dakikada 50'den fazla ürün kartı açıyorsanız, sistem bunun bir insan olmadığını anlar. Normal bir alıcı dakikada 3-5 ürün inceler, veri toplayıcı ise 100-500.
• User-Agent ve başlıkların analizi — doğru tarayıcı başlıkları olmadan yapılan istekler hemen kara listeye alınır. Birçok yeni başlayan, başlıkları ayarlamadan standart Python requests kütüphanelerini kullanır — bu, koruma sistemlerinin tespit ettiği ilk şeydir.
• JavaScript ve çerezlerin kontrolü — modern pazar yerleri, Cloudflare, DataDome ve kendi anti-bot sistemlerini kullanıyor. JavaScript'in çalışmasını, oturum çerezlerinin varlığını, fare hareketlerini ve kaydırma davranışını kontrol ediyorlar.
• IP'nin coğrafi konumu — eğer Rus Ozon'u Almanya veya ABD'den bir IP ile topluyorsanız, bu şüpheli görünür. Sistem size eski fiyatlar gösterebilir veya tamamen erişiminizi engelleyebilir.
• Veri merkezlerinin engellenmesi — çoğu pazar yeri, bulut sağlayıcılarının (AWS, Google Cloud, Hetzner) IP adresleri için veri tabanları tutar ve bunlardan gelen istekleri otomatik olarak kısıtlar.

Engellemenin sonucu farklı olabilir: geçici hız kısıtlamasından (rate limit) birkaç hafta boyunca IP'nin tamamen yasaklanmasına kadar. Eğer bir satıcı hesabı üzerinden veri topluyorsanız — kişisel hesabınızın engellenme riski vardır, bu da iş için kritik bir durumdur.

Fiyat izleme için hangi proxy türleri uygundur: karşılaştırma

Dinamik fiyatlandırmayı izlemek için üç tür proxy uygundur, her birinin kendi artıları ve eksileri vardır. Seçim, bütçeye, veri toplama hacmine ve coğrafi gereksinimlere bağlıdır.

Seçim için pratik öneri:

• Wildberries ve Ozon için — sadece ikametgah veya mobil proxy kullanın. Bu platformlar Cloudflare ve kendi anti-bot sistemlerini kullanıyor, veri merkezleri %90 oranında engelleniyor.
• Yandex.Market için — Rus coğrafyasına sahip ikametgah proxy'leri, sistem IP ve arama bölgesi uyumunu kontrol ediyor.
• Avito için — veri merkezlerini kullanabilirsiniz, ancak döngü ve istekler arasında gecikmelerle. Koruma, pazar yerlerinden daha zayıf.
• AliExpress ve uluslararası platformlar için — gerekli ülkenin ikametgah proxy'leri, birçok farklı bölgeler için farklı fiyatlar gösteriyor.

Eğer bütçeniz kısıtlıysa — 20-30 ikametgah proxy'den oluşan bir havuzla başlayın. Bu, 500-1000 ürünü günde izlemek için engellenmeden yeterli olacaktır.

Wildberries, Ozon, Yandex.Market ve Avito'nun koruma özellikleri

Her platform, kendi koruma mekanizmalarının bir kombinasyonunu kullanıyor. Bu özellikleri anlamak, veri toplayıcıyı doğru bir şekilde ayarlamanıza yardımcı olur.

Wildberries

Rus pazar yerleri arasında en sıkı koruma. "I'm Under Attack" modunu etkinleştirilmiş Cloudflare kullanıyor, bu da içeriğe erişmeden önce JavaScript zorluğunu kontrol ediyor. Ek olarak izliyorlar:

• Tarayıcı parmak izi — canvas, WebGL, fontlar, ekran çözünürlüğü
• TLS parmak izi — protokol versiyonu ve şifreleme seti
• Davranışsal faktörler — kaydırma hızı, fare hareketleri, sayfada geçirilen süre
• Oturum geçmişi — eğer hemen ürün kartlarını açmaya başlıyorsanız, ana sayfayı ve kategorileri incelemeden, bu şüpheli görünür

Ne işe yarar: İkametgah proxy'leri ile headless tarayıcılar (Puppeteer, Playwright), gerçek kullanıcı davranışını taklit etme, istekler arasında 5-15 saniye gecikmeler, her 20-30 istekte bir User-Agent ve proxy döngüsü.

Ozon

Kendi anti-bot sistemini ve DataDome'u kullanıyor. Özellik: fiyatlar, teslimat şehrine bağlı olarak farklılık gösterebilir — sistem IP üzerinden bölgeyi belirliyor ve lojistik dikkate alınarak uygun fiyatları gösteriyor.

Ozon, veri merkezlerinin bilinen IP aralıklarını aktif olarak engelliyor. Sıradan bir VPS üzerinden veri toplarken %80 oranında CAPTCHA veya 403 hatası alırsınız. Ayrıca çerezleri de izliyorlar — eğer istekler arasında oturumunuzu kaydetmeden istek yapıyorsanız, bu tespit edilir.

Ne işe yarar: Rus coğrafyasına sahip ikametgah proxy'leri, istekler arasında çerezlerin kaydedilmesi zorunludur, ürünleri favorilere ekleme taklidi (bu, kullanıcı "geçmişi" oluşturur), 3-10 saniye gecikmeler.

Yandex.Market

Orta düzeyde koruma. Ana özellik — bölgeye sıkı bağlılık. Eğer Moskova için fiyatları Vladivostok'tan bir IP ile topluyorsanız, sistem ya Vladivostok için fiyatları gösterir ya da tamamen erişiminizi engeller. Doğru izleme için, izlediğiniz bölgeden proxy'lere ihtiyaç vardır.

Yandex ayrıca, eylem sırasını analiz eden kendi anti-fraud sistemini kullanıyor. Şüpheli görünen: doğrudan bağlantılardan ürün kartlarını açmak, arama yapmadan, istekler arasında aynı aralıklar (örneğin, kesinlikle her 5 saniyede bir), statik verilere (resimler, stiller) istek yok.

Ne işe yarar: Gerekli bölgeden ikametgah proxy'leri, tam döngüyü taklit etme: arama → ürün listesi → ürün kartı, rastgele 4-12 saniye gecikmeler, periyodik proxy değişimi.

Avito

Listelenen platformlar arasında en hoşgörülü koruma. Ana koruma — bir IP'den ilan görüntüleme sayısına sınır (saate yaklaşık 100-150 ilan). Limit aşıldığında CAPTCHA veya 1-2 saatlik geçici engelleme gösterilir.

Avito ayrıca çerezlerin ve temel başlıkların varlığını kontrol eder, ancak karmaşık JavaScript zorlukları kullanmaz. Veri merkezleri çalışır, ancak sınırlamalarla — döngü ve makul istek sıklığı gereklidir.

Ne işe yarar: Hatta döngü ile veri merkezleri, ilanlar arasında 2-5 saniye gecikmeler, doğru tarayıcı başlıkları, çerezlerin kaydedilmesi. Büyük hacimler için — ikametgah proxy'leri.

24 saat boyunca veri toplama için proxy döngüsü ayarı

Doğru proxy döngüsü, engellenmeden kararlı bir veri toplama için anahtardır. Üç ana döngü stratejisi vardır, her biri farklı senaryolar için uygundur.

Strateji 1: İstek sayısına göre döngü

Öz: belirli bir istek sayısından sonra proxy değiştirirsiniz (örneğin, her 20-50 istekte bir). Bu, çoğu görev için en basit ve etkili yöntemdir.

Farklı platformlar için önerilen değerler:

• Wildberries: bir proxy için 15-25 istek, sonra değişim
• Ozon: 20-30 istek
• Yandex.Market: 30-50 istek
• Avito: 50-100 istek

Önemli bir nokta: rastgelelik ekleyin. Proxy'yi kesinlikle 20 istekte bir değiştirmeyin — bunu 18-23 istekte bir rastgele yapın. Bu, koruma sistemleri için kalıbı daha az tahmin edilebilir hale getirir.

Strateji 2: Zamanlı döngü

İstek sayısından bağımsız olarak her N dakikada bir proxy değiştirirsiniz. Beklenmedik yükler için uygundur — örneğin, fiyatların gerçek zamanlı izlenmesi, güncellemelerin sayısının aniden değişebileceği durumlarda.

Önerilen aralıklar: Sıkı platformlar için (Wildberries, Ozon) 5-15 dakika, daha hoşgörülü olanlar için (Avito, küçük mağazalar) 15-30 dakika.

Strateji 3: Sticky sessions (yapışkan oturumlar)

Bir "kullanıcı oturumu" çerçevesinde tüm istekler için aynı proxy'yi kullanırsınız. Örneğin: Ozon'a giren, "notebook" arayan, 5 ürün kartı açan, birini sepete ekleyen bir alıcıyı taklit ediyorsunuz. Tüm bu eylemler, çerezlerin kaydedilmesi ile bir proxy üzerinden geçiyor.

Oturum tamamlandıktan sonra (3-10 dakika içinde) — proxy'yi değiştirir ve yeni bir oturum başlatırsınız. Bu en "insan gibi" kalıp, ancak daha fazla proxy gerektirir ve uygulanması daha zordur.

Ne zaman kullanılır: Çok sıkı korumaya sahip platformlarda veri toplama, basit döngünün işe yaramadığı durumlarda. Ayrıca satıcıların kişisel hesapları üzerinden veri toplamak için de uygundur.

Proxy desteği ile fiyat izleme için hazır araçlar

Eğer sıfırdan bir veri toplayıcı yazmak istemiyorsanız, proxy desteği ile hazır çözümler mevcuttur. Rus ve uluslararası platformlarda fiyat izleme için en popüler araçları inceleyelim.

Rus pazar yerleri için

1. Mpstats (mpstats.io)
Wildberries ve Ozon için özel bir analiz hizmeti. Satışlar, stoklar, rakip fiyatları hakkında veri toplar. Kendi sistemleriyle entegrasyon için API mevcuttur. Hizmet, kendi proxy altyapısı üzerinden çalışır, ek bir ayar yapmanıza gerek yoktur.

Dezavantaj: yüksek maliyet (tam erişim için ayda 15.000 ruble'den başlayarak), kendi proxy'lerinizi kullanamazsınız. 1-2 milyon ruble/ay ciro yapan büyük satıcılar için uygundur.

2. Sellego
Fiyatlandırmayı otomatikleştirmeye odaklanan benzer bir hizmet. Rakip fiyatlarını izler ve belirli kurallara göre (örneğin, "rakipten %5 daha ucuz ol") otomatik olarak fiyatlarınızı ayarlar. Ayrıca kendi proxy'leri üzerinden çalışır.

3. Parsehub
Kod olmadan veri toplayıcılar için görsel bir oluşturucu. Toplamak istediğiniz sayfa öğelerine tıklıyorsunuz ve hizmet otomatik olarak bir veri toplayıcı oluşturuyor. Proxy desteği var — proje ayarlarında kendi listenizi ekleyebilirsiniz. Programlama bilmeyenler için uygundur.

Maliyet: ücretsiz plan — ayda 200 sayfa, ücretli planlar — ayda 149$'dan başlayan fiyatlarla 10.000 sayfa. 100-200 ürünü izlemek için ücretsiz plan yeterlidir.

Kendi geliştirme için

Eğer kendi veri toplayıcınızı ayarlamaya hazırsanız veya ekibinizde bir programcı varsa:

1. Scrapy (Python)
Proxy, döngü, hata işleme için yerleşik destek ile güçlü bir veri toplama çerçevesi. Liste üzerinden otomatik proxy değişimi için middleware mevcut. Python bilgisi gerektirir, ancak belgeleri mükemmeldir.

JavaScript olmayan basit sitelerin veri toplanması için uygundur. Wildberries ve Ozon için JavaScript işleme için Splash veya Selenium ile birleştirilmesi gerekir.

2. Puppeteer / Playwright (JavaScript)
Gerçek bir kullanıcıyı tamamen taklit eden headless tarayıcılar — JavaScript'i çalıştırır, çerezleri kaydeder, fare hareketlerini taklit edebilir. Sıkı korumaya sahip platformlar için idealdir.

Proxy ayarı basit — tarayıcıyı başlatırken tek bir parametre. Playwright daha modern ve kararlı kabul edilir, ancak Puppeteer daha fazla hazır örneğe ve kütüphaneye sahiptir.

3. Octoparse
Görsel bir veri toplayıcı oluşturucu ile Windows için masaüstü uygulaması. Programlama gerektirmez — yalnızca toplamak istediğiniz öğelere tıklarsınız. Yerleşik proxy desteği, zamanlayıcı, Excel/CSV'ye dışa aktarma.

Maliyet: sınırlamalarla ücretsiz sürüm (ayda 10.000 kayıt), ücretli planlar ayda 75$'dan başlıyor. Küçük ve orta ölçekli işletmeler için iyi bir seçenek.

15 dakikada proxy ile fiyat toplayıcı ayarı

Sıfırdan veri toplayıcı ayarlamak istemiyorsanız, Parsehub örneği üzerinden en basit yöntemi göstereceğim — bu yöntem, daha önce veri toplayıcılarla çalışmamış olsanız bile uygundur.

Adım 1: Kayıt ve kurulum

• parsehub.com adresinde kaydolun (ücretsiz plan mevcut)
• Windows veya Mac için masaüstü uygulamasını indirin ve kurun
• Uygulamayı başlatın ve hesabınıza giriş yapın

Adım 2: Proje oluşturma ve öğeleri seçme

• "Yeni Proje"ye tıklayın ve ürünlerin bulunduğu sayfanın URL'sini yapıştırın (örneğin, Ozon'daki bir kategori veya arama sonuçları)
• Parsehub, yerleşik tarayıcıda sayfayı yükleyecektir
• İlk ürünün adına tıklayın — Parsehub otomatik olarak sayfadaki benzer öğeleri seçecektir
• Ürün fiyatına tıklayın — bu, toplanacak veriler listesine eklenecektir
• Diğer gerekli alanları ekleyin: ürün bağlantısı, puan, yorum sayısı

Adım 3: Proxy ayarı

• Proje ayarlarını açın (dişli simgesi)
• "Proxy Ayarları" bölümünü bulun
• "Proxy kullan" seçeneğini seçin ve proxy verilerinizi şu formatta yapıştırın: IP:PORT:USERNAME:PASSWORD
• Eğer bir proxy listesine sahipseniz, "Proxy'leri döndür" seçeneğini etkinleştirin — Parsehub, istekler arasında otomatik olarak proxy'yi değiştirecektir

Adım 4: Programlama ayarı

• Proje ayarlarında "Programlama"yı bulun
• Başlatma sıklığını seçin: her saat, her 6 saatte bir, günde bir vb.
• Dinamik fiyatlandırma için en uygun — her 2-4 saatte bir

Adım 5: Verileri dışa aktarma

• İlk veri toplayıcı çalıştırıldığında veriler "Veri" sekmesinde görünecektir
• "Dışa Aktar" butonuna tıklayın ve formatı seçin: CSV, Excel, JSON
• Her çalıştırmadan sonra verileri Google Sheets veya e-posta ile otomatik olarak göndermeyi ayarlayabilirsiniz

Tüm ayar 10-15 dakika sürer. Bundan sonra, veri toplayıcı programlama ile otomatik olarak çalışır, rakip fiyatlarını toplar ve size verileri gönderir.

Veri toplarken engellemeye neden olan 5 hata

Doğru proxy'lerle bile tipik hatalar yaparsanız yasaklanabilirsiniz. İşte pratikten en sık karşılaşılan sorunlar.

Hata 1: Çok yüksek istek hızı

Birçok kişi verileri mümkün olan en hızlı şekilde toplamaya çalışır ve saniyede 10-20 istek yapar. Bu, koruma sistemleri tarafından anında tespit edilir. Gerçek bir insan fiziksel olarak saniyede 20 ürün kartı açamaz.

Çözüm: İstekler arasında gecikmeler ekleyin. Basit siteler için en az 2-3 saniye, korumalı pazar yerleri için 5-10 saniye. Gecikmeleri rastgele yapın — kesinlikle 5 saniye değil, 4 ile 8 saniye arasında rastgele.

Hata 2: Tüm istekler için tek bir proxy kullanımı

İkametgah proxy'si satın almış olsanız bile, günde yüzlerce istek için tek bir IP kullanmak engellemeye yol açar. Koruma sistemleri her IP'nin etkinliğini izler.

Çözüm: En az 10-20 proxy ile bir havuz oluşturun ve döngü yapın. Büyük hacimler için (günde 1000+ ürün) — 50-100 proxy.

Hata 3: İstek başlıklarının eksikliği veya yanlışlığı

User-Agent olmadan veya kütüphanenin varsayılan User-Agent'ı ile (örneğin, "Python-requests/2.28.1") yapılan istekler hemen bot olarak tespit edilir.

Çözüm: Her zaman gerçek bir tarayıcı User-Agent'ını belirtin. Ayrıca Accept, Accept-Language, Accept-Encoding başlıklarını ekleyin. Proxy değiştiğinde User-Agent'ı değiştirin.

Hata 4: Çerezler ve oturumların göz ardı edilmesi

Birçok platform, kullanıcı oturumunu izlemek için çerezler kullanır. Eğer her isteği "temiz bir sayfadan" çerez olmadan yapıyorsanız, bu şüpheli görünür.

Çözüm: Bir oturum çerçevesinde istekler arasında çerezleri kaydedin. Proxy değiştiğinde — çerezleri temizleyin ve yeni bir oturum başlatın. Çerezleri otomatik olarak yöneten kütüphaneler kullanın (Python'da requests.Session, JavaScript'te puppeteer).

Hata 5: Sadece ürün kartlarını toplamak, gezinmeyi taklit etmemek

Eğer hemen doğrudan ürün kartlarının bağlantılarını açıyorsanız, ana sayfayı, aramayı ve kategorileri atlayarak, bu gerçek bir kullanıcının davranışına benzemiyor.

Çözüm: Sıkı korumaya sahip platformlar için (Wildberries, Ozon) kullanıcı yolunu tam olarak taklit edin: ana sayfa → arama veya kategori → ürün listesi → ürün kartı. Bu, veri toplama süresini artırır, ancak yasaklanma riskini önemli ölçüde azaltır.

Sonuç

Dinamik fiyat izleme, pazar yerlerinde her satıcı için kritik bir görevdir. Rakiplerin fiyatları günde birkaç kez değişiyor ve değişikliklere ilk tepki veren, arama sonuçlarında pozisyonunu ve kârını korur. Ancak tüm büyük platformlar, veri toplama işlemlerini sıkı bir şekilde engelliyor, bu nedenle doğru ayarlanmış proxy olmadan veri toplamak imkansızdır.

Yazının ana çıkarımları: Wildberries ve Ozon için yalnızca ikametgah veya mobil proxy kullanın — veri merkezleri %90 oranında engelleniyor. Proxy döngüsünü mutlaka ayarlayın — her 20-30 istekte bir IP değiştirin. İstekler arasında gecikmeler ekleyin (5-10 saniye) ve bunları rastgele yapın. JavaScript korumasına sahip platformlar için headless tarayıcılar kullanın. Gerçek bir kullanıcının davranışını taklit edin — ürün kartlarını doğrudan açmayın, arama ve kategoriler üzerinden tam bir yol taklidi yapın.

Eğer teknik detaylarla uğraşmak istemiyorsanız, Parsehub veya Octoparse gibi hazır araçları kullanın — bunlar programlama gerektirmiyor ve proxy desteği ile geliyor. Büyük hacimler ve özel görevler için, Scrapy veya Puppeteer üzerinde kendi veri toplayıcınızı geliştirmeniz daha iyidir.

Eğer Rus pazar yerlerinde otomatik fiyat izleme ayarlamayı planlıyorsanız, ikametgah proxy'leri ile başlamanızı öneririz — bunlar Wildberries, Ozon ve diğer platformlara minimum engellenme riski ile kararlı erişim sağlar. Özellikle zor durumlar veya pazar yerlerinin mobil uygulamaları ile çalışmak için, mobil proxy'ler Rus operatörlerinin IP'leri ile uygundur.