Eğer pazaryerlerinde satış yapıyorsanız ve fiyatları haftada bir manuel olarak değiştiriyorsanız, fiyatlarını her saat güncelleyen rakipleriniz satışlarınızı alıyor. Kendi izleme sisteminiz bu sorunu çözer, ancak pazaryerleri ve rakip siteleri botları, IP adreslerini ve veri merkezi alt ağlarını aktif olarak yasaklıyor. Bu yazıda, doğru proxy seçimi, araçlar ve istek sıklığı ile birlikte yasaklamalar olmadan veri toplama için çalışan bir şemayı inceleyeceğiz.
Kendi rakip izleme sistemine neden ihtiyaç var
Hazır fiyat izleme servisleri (piyasada onlarca var) aylık birkaç bin rubleye mal oluyor ve genellikle ürün sayısını veya veri güncelleme sıklığını sınırlıyor. Eğer 500–5000 SKU'luk bir kataloğunuz varsa ve aynı anda Wildberries, Ozon ve Avito'da satış yapıyorsanız, üç farklı servise abone olmak kendi sisteminizden daha pahalı hale geliyor ve yine de esneklik yetersiz kalıyor: fiyat hesaplama için özel bir mantık ayarlamak veya rakiplerin standart dışı bir sitesini izlemek mümkün olmuyor.
Kendi sisteminiz üç somut avantaj sağlar. Birincisi, veri toplama sıklığını kontrol edersiniz — en iyi rakiplerin fiyatlarını her 15 dakikada bir kontrol edebilir, diğerlerini günde bir kez kontrol edebilirsiniz. İkincisi, yalnızca fiyatı değil, aynı zamanda stok, puan, yorum sayısı, arama sonuçlarındaki pozisyon gibi, işiniz için önemli olan tüm parametreleri toplarsınız. Üçüncüsü, veriler sizin olur: bunları iç analitik ile birleştirip fiyatı otomatik olarak yeniden hesaplayarak zarar etmeden yönetebilirsiniz.
Rakip izleme temelinde otomatik fiyat hesaplaması uygulayan satıcılar, ortalama olarak, fiyatın pazardaki değişikliklere daha hızlı tepki vermesi sayesinde, kategori içindeki en iyi 10'da yer alan ürünlerin satın alma oranını %15-25 artırıyor. Bu, özellikle yüksek rekabetin olduğu kategorilerde — giyim, elektronik, ev eşyaları — kritik bir öneme sahiptir.
Neden siteler ve pazaryerleri taramayı yasaklıyor
Wildberries, Ozon ve çoğu internet mağazası, isteklerin davranışını analiz eden anti-bot sistemleri kullanıyor. Eğer bir IP'den dakikada 200 istek geliyorsa, duraksama olmadan, tarayıcıya özgü başlıklar olmadan ve JavaScript çalıştırılmadan — bu hemen bot olarak işaretleniyor. Sonrasında sistem ya captcha sunuyor ya da kasıtlı olarak yanlış veriler (sahte fiyatlar) veriyor ya da IP'yi birkaç saat yasaklıyor.
Ayrı bir sorun — veri merkezi alt ağları. Amazon AWS, Google Cloud, DigitalOcean ve benzeri sağlayıcılara ait IP adresleri, ilk isteğinizi yapmadan önce çoğu anti-bot sisteminin kara listesine alınmıştır. Pazaryerleri, sağlayıcının ASN'sini (otonom sistem numarası) görür ve tüm aralığı tamamen yasaklar, tek bir isteği saatte bir gönderiyor olsanız bile.
Bu nedenle, pazaryerlerini izlemek için klasik sunucu proxy'leri iyi çalışmaz: hızlı ve ucuzdur, ancak IP itibarında yakalanır. Aşmayı gerektiren IP'ler, normal kullanıcılar gibi görünmelidir — bu, daha sonra inceleyeceğimiz şemanın ana fikridir.
Sistemin mimarisi: nelerden oluşur
Çalışan bir rakip izleme sistemi beş bloktan oluşur ve her biri derin programlama becerileri olmadan toplanabilir — hazır no-code ve low-code araçlarla.
- Hedef listesi — izlenmesi gereken rakip ürün kartlarına bağlantılar içeren bir tablo. Genellikle bu, URL, pazaryeri, sizin SKU'nuz, istenen kontrol sıklığı gibi sütunları olan Google Tablosu veya Excel'dir.
- Veri toplayıcı (scraper) — sayfayı açan ve fiyat, stok, puan toplayan bir program veya hizmet. Hazır no-code bir parser veya Python'da bir script olabilir.
- Proxy katmanı — tüm scraper isteklerinin geçtiği katman, böylece IP pazaryeri tarafından yasaklanmaz.
- Veri deposu — her geçişin zaman damgası ile birlikte sonuçlarının saklandığı bir veritabanı veya tablo.
- Tepki mantığı — sistemin sizi (Telegram'da, e-posta ile) bilgilendirdiği veya pazaryeri API'si aracılığıyla fiyatı otomatik olarak değiştirdiği kurallar.
Başlamak için yeterli olan bir kombinasyon: Google Tablosu + no-code parser (örneğin, Make/Zapier veya özel parsing hizmetleri üzerine) + proxy + bildirimler için Telegram botu. Bunu bir gün içinde kod yazmadan toplayabilirsiniz. Daha ciddi bir ölçek için (binlerce SKU) requests/BeautifulSoup veya Selenium kütüphaneleri ile bir Python scriptine ihtiyaç duyulacak, bu da sunucuda zamanlamaya göre çalıştırılacaktır.
İzleme için hangi proxy'leri seçmeli
Proxy seçimi, sistemin başarısının %70'idir. Üç türü ve her birinin ne zaman uygun olduğunu inceleyelim.
| Proxy Türü | Ne zaman kullanılmalı | Yasaklama riski |
|---|---|---|
| Veri merkezi proxy'leri | Anti-bot olmayan basit siteler, düşük frekanslı küçük internet mağazalarının izlenmesi | Pazaryerlerinde yüksek, normal sitelerde düşük |
| Konut proxy'leri | Wildberries, Ozon, Avito — pazaryerlerini izlemek için ana araç | Doğru döngü ile düşük |
| Mobil proxy'ler | Bot koruması yüksek olan kartların noktasal kontrolü, manuel kontrol sırasında captcha aşma | Minimum, ancak işletme maliyeti daha yüksek |
Wildberries ve Ozon'da binlerce kartı günlük izlemek için en uygun seçim — konut proxy'leri, çünkü IP'leri gerçek ev sağlayıcılarına aittir ve veri merkezi kara listelerinde yer almaz. Sunucu proxy'lerinden daha pahalıdır, ancak yasakları ve captcha'ları aşmak için zaman kazandırır, bu da sonunda sistemin sahip olma maliyetini düşürür.
Mobil proxy'leri, konut IP'sinin captcha aldığı durumlar için yedekte tutmakta fayda var — örneğin, yüksek koruma gerektiren belirli bir ürün kategorisini izlerken. Mobil ağ operatörünün sunucusu CGNAT (binlerce abone için ortak IP) kullanır, bu nedenle böyle bir IP'nin yasaklanması gerçek kullanıcıları etkiler ve platformlar bunu son derece dikkatli kullanır.
Veri toplama araçları
Eğer programcı değilseniz, kod olmadan bir sistem kurmanın birkaç yolu vardır. Öncelikle, no-code fiyat izleme ve parsing hizmetleri, ürün kartının URL'sini belirtmenizi ve fiyatın bulunduğu CSS seçicisini görsel arayüz üzerinden seçmenizi sağlar — sayfadaki gerekli bloğa fare ile tıklayarak. İkincisi, Google Tablosu + bir tarayıcı uzantısı kullanarak sayfaları zamanlama ile kontrol edip sonucu tabloya kaydedebilirsiniz.
Eğer ekipte temel teknik becerilere sahip bir kişi varsa, Python tabanlı bir sistem maksimum esneklik sağlar. Minimum script şöyle görünür:
import requests
from bs4 import BeautifulSoup
proxies = {
"http": "http://login:password@proxy_host:port",
"https": "http://login:password@proxy_host:port",
}
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}
url = "https://example-shop.ru/product/12345"
response = requests.get(url, proxies=proxies, headers=headers, timeout=15)
soup = BeautifulSoup(response.text, "html.parser")
price = soup.select_one(".product-price").get_text(strip=True)
print(f"Mevcut fiyat: {price}")
Fiyatı JavaScript aracılığıyla yükleyen sayfalar (bu, Wildberries ve Ozon için tipiktir) için, normal requests işe yaramaz — sayfayı tamamen render eden headless bir tarayıcıya (Selenium veya Playwright tabanlı) ihtiyaç vardır, bu da normal bir kullanıcının yaptığı gibi. Bu yaklaşım daha yavaştır, ancak dinamik içerikle bile doğru veriler sağlar.
Döngü ve istek sıklığı ayarları
Kaliteli proxy'lerle bile, sistem çok sık ve tekdüze istekler gönderirse yasaklanabilir. Pazaryerlerinin anti-bot algoritmaları yalnızca IP'yi değil, aynı zamanda davranış kalıplarını da analiz eder: istekler arasındaki aralıklar, sayfalara erişim sırası, başlıkların tekrarı.
Yasaklama riskini azaltan çalışma döngüsü kuralları:
- Her istekte veya her 5-10 istekte bir IP değiştirin — çoğu konut proxy sağlayıcısı, zamanlayıcıya veya isteğe göre otomatik döngü desteği sunar.
- İstekler arasında 3 ila 15 saniye arasında rastgele bir gecikme ekleyin, sabit bir aralık yerine.
- Gerçek tarayıcıların listesinden User-Agent'ı değiştirin — binlerce istek için aynı başlığı kullanmayın.
- Gün içinde yükü dağıtın: tüm kataloğu 00:00'da tek seferde kontrol etmeyin, kontrolleri birkaç saate yayarak gerçekleştirin.
- Coğrafi olarak ilgili IP'ler kullanın — eğer rakip Rusya'da satış yapıyorsa, proxy'nin Rus coğrafi konumuna sahip olması gerekir, aksi takdirde fiyatlar ve stoklar sizin bölgeniz için gerçeklerden farklı olabilir.
Günde 1000-3000 kartı izlemek için, 5-10 dakikada bir döngü ile birkaç düzine eşzamanlı IP havuzu yeterlidir. Daha büyük ölçekler (on binlerce kontrol) için, veri toplama scriptine IP değişimini entegre etmek için API üzerinden döngü desteği sunan büyük bir konut IP havuzuna sahip bir sağlayıcıya ihtiyaç vardır.
Wildberries, Ozon ve Avito izleme özellikleri
Her platformun kendine özgü koruma özellikleri vardır ve şemanın buna göre uyarlanması gerekir.
Wildberries, fiyat ve stok verilerini doğrudan çağrılabilen dahili bir API aracılığıyla sağlar, bu da HTML yapısını parselamadan JSON yanıtı almayı mümkün kılar. Bu, sayfayı bir tarayıcıda render etmekten daha hızlı ve daha stabildir, ancak bu API'nin bir IP'den gelen istek sıklığına dair sınırlamaları vardır, bu nedenle saatte 50-100'den fazla ürün izlerken proxy döngüsü zorunludur.
Ozon, JavaScript renderleme ve botlara karşı daha agresif koruma yöntemleri kullanıyor, bazı bölümlerde fare davranışı ve kaydırma hızı kontrolü de dahil. Ozon'u istikrarlı bir şekilde izlemek için genellikle gerçek kullanıcı eylemlerini taklit eden headless bir tarayıcıya ihtiyaç vardır, sadece HTTP isteği yeterli değildir.
Avito, öncelikle bir IP'den gelen isteklerin sıklığını ve ilan arama kalıplarını izler. Rakiplerin ilanlarını izlemek (örneğin, nişinizdeki yeni ilanları veya fiyat değişikliklerini takip etmek) için, istek sıklığını düşük tutmak kritik öneme sahiptir — her ilan için 10-15 dakikada bir istek yapmaktan daha sık olmamalıdır, aksi takdirde hesap veya IP, güncel olmayan veriler sunan bir gölge yasaklamaya girer.
Birçok SMM uzmanı ve arabulucular, benzer görevler için çoklu hesaplar için Dolphin Anty, AdsPower veya Multilogin gibi anti-detect tarayıcıları kullanıyor — bu araçlar, otomatik toplama şüpheli veriler gösterdiğinde rakip kartları manuel olarak kontrol etmek için de uygundur, ayrı bir profil üzerinden bağlı proxy ile kontrol edilmesi gerekir.
Veri depolama ve panolar
Toplanan veriler, analiz etmek için uygun bir yöntem olmadan işe yaramaz. Küçük kataloglar (500 SKU'ya kadar) için, fiyat geçmişini tarihlerle birlikte gösteren Google Tablosu yeterlidir ve rakip fiyat değişikliklerini kırmızı veya yeşil renkle vurgulayan koşullu biçimlendirme kullanılabilir. Daha büyük hacimler için bir veritabanına ihtiyaç vardır — PostgreSQL veya tek bir sunucuda çalışan bir sistem için SQLite uygun olabilir.
Toplanan veriler üzerinden, Google Data Studio (Looker Studio) veya Power BI'da basit panolar oluşturmak kolaydır; burada rakip fiyatlarının son 30 gündeki dinamiklerini, sizin pozisyonunuza göre fiyat farkını, her rakibin fiyat değişim sıklığını görebilirsiniz. Bu görselleştirme, örneğin, rakibin her pazartesi sabahı fiyat değiştirdiğini görmek ve stratejinizi bu döngüye göre ayarlamak için kalıpları görmenize yardımcı olur.
Sadece mevcut fiyatı değil, aynı zamanda zaman damgaları ile birlikte tüm değişim geçmişini saklamak önemlidir. Bu, mevsimselliği analiz etmeyi, indirim dönemlerinde fiyat düşürmeyi tespit etmeyi ve rakiplerin bir sonraki benzer dönemde (örneğin, 11.11 veya Kara Cuma öncesinde) nasıl davranacağını tahmin etmeyi sağlar.
Sistem kurarken sık yapılan hatalar
Pratikte, çoğu el yapımı izleme sistemi, önceden kolayca kaçınılabilecek birkaç tipik hata nedeniyle bozulur.
- İzleme için tek bir IP kullanmak. Kaliteli bir proxy bile, döngü olmadan binlerce istek gönderildiğinde bir yasaklamaya maruz kalır.
- Tarayıcı başlıklarını göz ardı etmek. User-Agent olmadan veya eski bir başlıkla yapılan istek, anti-bot sistemine anında bir bot sinyali gönderir.
- Çok yüksek kontrol sıklığı. Her dakika izleme, yalnızca 5-10 ana rakip için anlamlıdır, geri kalan katalog için birkaç saatte bir kontrol yeterlidir.
- Hata işleme eksikliği. Eğer site captcha dönerse veya geçici olarak erişilemezse, sistem bunu tanımalı ve daha sonra tekrar denemelidir, boş veya hatalı bir değeri geçerli fiyat olarak veritabanına kaydetmemelidir.
- Pazaryerleri için veri merkezi proxy'leri kullanmak. Proxy türünde tasarruf, sürekli yasaklamalar ve her gün IP değiştirmenin gerekliliği ile sonuçlanır — sonuçta sistem, olması gerekenin daha fazla manuel iş gücüne ihtiyaç duyar.
Sonuç
Kendi rakip izleme sisteminiz, pazaryerlerinde tek seferlik bir ayar değil, doğru mimari gerektiren bir çalışma aracıdır: hedef listesi, scraper, proxy katmanı, veri deposu ve değişikliklere tepki mantığı. Tüm şemanın istikrarını etkileyen ana bağlantı proxy'dir. Sunucu IP'leri, Wildberries ve Ozon'un anti-bot sistemleri tarafından hızlı bir şekilde yasaklandığı için, pazaryerlerini düzenli olarak izlemek için kaliteli IP'leri döngü ile bütçenize dahil etmelisiniz.
Eğer Wildberries, Ozon veya Avito'da rakip fiyatlarını izlemeyi planlıyorsanız, konut proxy'leri ile başlayın — bunlar, doğru döngü ile minimum yasaklama riski ve yüksek veri doğruluğu sağlar. En korumalı kartların noktasal kontrolleri için mobil proxy'leri yedekte tutun, daha az korumalı sitelerdeki yardımcı görevler için ise daha bütçe dostu veri merkezi proxy'leri de uygundur.