Pazar yerlerinde proxy kullanarak trend ürün verilerini nasıl toplayabilirsiniz?

Pazar yerlerinde başarı, trendlere hızlı tepki verme yeteneğine doğrudan bağlıdır. Siz Wildberries ve Ozon kataloglarını manuel olarak incelerken, rakipleriniz zaten proxy kullanarak veri toplamayı otomatikleştirmiş ve satış hitleri hakkında gerçek zamanlı bilgi alıyor. Ancak pazar yerleri, parsing işlemlerini aktif olarak engelliyor — doğru proxy ayarları olmadan, platforma erişiminizi kaybetme veya eksik veriler alma riskiyle karşı karşıyasınız.

Bu rehberde, trend ürünler hakkında veri toplamak için otomatik bir sistem nasıl kurulur, farklı pazar yerleri için hangi proxy türünün seçileceği ve engellerden kaçınmak için yaygın hataların nasıl önleneceği konularını ele alacağız.

Pazar yerleri neden parsing işlemlerini engelliyor ve proxy bu sorunu nasıl çözüyor

Pazar yerleri, otomatik veri toplama işlemlerine karşı milyonlarca harcıyor. Sebep basit: parsing, sunucular üzerinde yük oluşturuyor ve rakiplerin ticari bilgilere erişmesini sağlıyor. Wildberries, Ozon ve diğer platformlar, şüpheli etkinliği izleyen çok katmanlı bir koruma sistemi kullanıyor.

Anti-parsing sistemi, birden fazla parametreyi aynı anda analiz ediyor. Eğer bir IP adresinden dakikada 100 istek gelirse — bu, botun açık bir işareti. Normal bir alıcı bu süre zarfında 5-10 ürün kartını inceler. Ayrıca, tarayıcı User-Agent'ı, tıklama sıklığı, fare hareketleri ve sayfada geçirilen süre de izleniyor.

Proxy, anahtar bir sorunu çözüyor — istekleri farklı IP adresleri arasında dağıtıyor. Gerçek IP'nizden 1000 istek göndermek yerine, sistem her birinden 50-100 farklı adresten 10-20 istek gönderiyor. Pazar yeri için bu, farklı şehirlerden gelen normal kullanıcıların etkinliği gibi görünüyor.

Ürün verileri toplamak için hangi proxy türünü seçmeli

Pazar yerleri için üç tür proxy uygundur, her birinin kendine özgü avantajları ve sınırlamaları vardır. Seçim, veri hacmine, bütçeye ve bilgi toplama hızına olan gereksinimlere bağlıdır.

Veri merkezi proxy'leri: hızın anonimlikten daha önemli olduğu durumlar

Daha az korumalı platformlardan (örneğin, AliExpress veya Yandex.Market) hızlı bir şekilde büyük veri toplamanız gerekiyorsa, veri merkezi proxy'leri en iyi seçimdir. Hosting sağlayıcılarının sunucularında çalıştıkları için yüksek sayfa yükleme hızı sağlarlar.

Ana dezavantajı, pazar yerlerinin veri merkezi IP'lerini kolayca tespit etmesi ve şüpheli etkinlik durumunda bunları engelleyebilmesidir. Çözüm, büyük bir IP havuzu (50-100 adres) kullanmak ve hızlı bir rotasyon ayarlamak: her 10-15 istekte bir IP'yi değiştirmek.

Konut proxy'leri: çoğu görev için altın ortalama

Konut proxy'leri, gerçek internet sağlayıcılarından alınan IP adreslerini kullanır ve bunlar sıradan kullanıcılara tahsis edilir. Wildberries veya Ozon için bu tür trafik tamamen meşru görünür — sanki Moskova, St. Petersburg veya Kazan'dan bir alıcı ürünleri inceliyor gibi.

Bu tür proxy'ler, verileri günlük veya günde birkaç kez topladığınızda trendleri düzenli olarak izlemek için uygundur. Maliyet, trafik üzerinden hesaplanır — 10.000 ürün kartını parsing yapmak için yaklaşık 5-10 GB gereklidir, bu da resimlerin ve açıklamaların hacmine bağlıdır.

Mobil proxy'ler: kritik görevler için maksimum koruma

Mobil proxy'ler, mobil operatörlerin (MTS, Beeline, MegaFon) IP adreslerini kullanır. Pazar yerleri, bu tür adresleri çok nadir engeller, çünkü bir IP'nin arkasında binlerce gerçek kullanıcı olabilir — operatörler CGNAT teknolojisini (birçok abone için ortak IP) kullanır.

Mobil proxy'ler, pazar yerlerinin özellikle korunan bölümlerini parsing yapmak için veya diğer proxy türlerini kullanırken engeller aldıysanız kullanmak için mantıklıdır. Ayrıca, Wildberries ve Ozon'un mobil uygulamalarından veri toplamak için de vazgeçilmezdir, burada koruma daha da sıkıdır.

Farklı pazar yerlerinde parsing özellikleri: Wildberries, Ozon, AliExpress

Her pazar yeri, parsing işlemlerine karşı kendi koruma sistemini kullanır. Bu özellikleri anlamak, proxy'leri en verimli şekilde ayarlamanıza ve engellerden kaçınmanıza yardımcı olacaktır.

Wildberries: sıkı koruma ve coğrafi bağlantı

Wildberries, Rus pazar yerleri arasında en gelişmiş koruma sistemlerinden birine sahiptir. Platform, yalnızca istek sıklığını değil, aynı zamanda davranışsal faktörleri de analiz eder: sayfada geçirilen süre, kaydırma, öğelere tıklama. Başarılı bir parsing için gerçek bir kullanıcının eylemlerini taklit etmek gereklidir.

Önemli bir özellik, fiyatların ve ürünlerin mevcut olmasının coğrafi bağlantısıdır. Wildberries, Moskova, bölgeler ve uzak alanlar için farklı bir ürün yelpazesi gösterir. Eğer tüm Rusya'da satış yapmak için trend verileri topluyorsanız, farklı bölgelerden proxy'ler kullanmalısınız: Moskova, St. Petersburg, Yekaterinburg, Novosibirsk, Krasnodar.

Ozon: Ortaklar için API ve halka açık katalog koruması

Ozon, satıcılar için resmi bir API sunar, ancak bu, rakiplerin verilerine erişim sağlamaz. Trendleri analiz etmek için yine de halka açık katalogu parsing yapmak gerekir. Ozon'un koruması, Wildberries kadar agresif değildir, ancak platform, şüpheli etkinlik durumunda CAPTCHA kullanır.

Ozon'un bir özelliği, içeriğin JavaScript üzerinden dinamik olarak yüklenmesidir. Basit HTTP istekleri işe yaramaz, JavaScript desteği olan bir parser (Selenium, Puppeteer) veya headless tarayıcı gereklidir. Bu, proxy üzerindeki yükü artırır, bu nedenle daha fazla trafik tüketimi beklemelisiniz — 10.000 ürün kartı için 15-20 GB'a kadar.

AliExpress: bölge sınırlamaları ile toplu parsing

AliExpress, kullanıcı ülkesine bağlı olarak farklı fiyatlar ve teslimat koşulları gösterir. Rus satıcılar için, Rus IP'leri ile proxy kullanmak kritik öneme sahiptir — aksi takdirde, başka bir bölge için veriler alırsınız, bu da trend analizinizi çarpıtır.

AliExpress'in koruması, parsing'e karşı oldukça hoşgörülüdür — platform, trafiği teşvik etmektedir. Orta düzeyde rotasyonla veri merkezi proxy'leri kullanabilirsiniz (her 100-200 istekte bir). Anahtar olan, bir IP'den saniyede 5-10 isteği aşmamaktır.

Trend verilerini toplamak için araçlar

Pazar yerlerini parsing yapmanın iki yaklaşımı vardır: hazır hizmetler ve kendi parser'ınızı ayarlamak. Hazır çözümler daha pahalıdır, ancak zaman kazandırır. Kendi parser'ınız teknik bilgi gerektirir, ancak sürecin tam kontrolünü sağlar.

Pazar yerleri için hazır hizmetler

Teknik detaylarla uğraşmak istemeyenler için hazır platformlar mevcuttur. Bu platformlar, belirli pazar yerleri için zaten ayarlanmıştır ve yerleşik bir proxy sistemi ile otomatik IP rotasyonu içerir.

• Mpstats — Wildberries ve Ozon üzerinde uzmanlaşmış, satış, stok ve sıralama verilerini toplar. Aylık maliyeti 3000 ruble'den başlar.
• SellerFox — Wildberries için trend ve niş takibi yapan analiz aracı. Artan talebe sahip ürünleri bulmak için uygundur.
• Moneyplace — Ozon ve Wildberries'de rakip izleme, fiyat ve sıralama değişikliklerini takip eder.
• ParseHub — Herhangi bir site için evrensel bir parser, pazar yerleri dahil. Ayar gerektirir, ancak her platformla çalışır.

Hazır hizmetlerin ana dezavantajı, yalnızca veriler için değil, aynı zamanda proxy altyapısı için de ödeme yapmanızdır. Büyük hacimlerde parsing yapıldığında, bu aylık on binlerce rubleye mal olabilir.

Kendi parser'ınızı ayarlamak: araçlar ve kütüphaneler

Temel teknik becerilere sahipseniz (veya ekibinizde bir geliştirici varsa), kendi parsing sisteminizi ayarlayabilirsiniz. Bu, ölçeklendirme sırasında daha ucuzdur ve sürecin tam kontrolünü sağlar.

Parsing için popüler araçlar:

• Selenium (Python) — tarayıcı otomasyonu, JavaScript desteği, proxy entegrasyonu kolay. Wildberries ve Ozon için uygundur.
• Puppeteer (Node.js) — Chrome tabanlı headless tarayıcı, Selenium'dan daha hızlı, daha az bellek tüketimi.
• Scrapy (Python) — parsing için framework, JavaScript olmayan basit siteler için uygundur. Hızlıdır, ancak dinamik içerikle çalışmaz.
• Playwright (Python/Node.js) — Selenium'a modern bir alternatif, tüm tarayıcıları destekler, proxy ile entegre çalışma.

Pazar yerlerini parsing yapmak için Selenium veya Playwright'ı öneriyoruz — bunlar JavaScript'i doğru bir şekilde işler ve gerçek bir kullanıcının eylemlerini (kaydırma, tıklama, gecikmeler) taklit etmeye olanak tanır.

Ürün parser'ı için proxy ayarları adım adım

Proxy ayarlarının doğru yapılması, başarı için anahtar bir faktördür. En iyi konut proxy'leri bile, rotasyonun yanlış ayarlanması veya istek limitlerinin aşılması durumunda engellenmenizi önleyemez. Ayar sürecini popüler araçlar üzerinden inceleyeceğiz.

Adım 1: Proxy verilerini alma ve çalışabilirliği kontrol etme

Proxy satın aldıktan sonra, IP:PORT:LOGIN:PASSWORD formatında bir liste alırsınız. Parser'ı ayarlamadan önce, her proxy'nin çalışabilirliğini kontrol edin.

En basit kontrol yöntemi, tarayıcıyı açmak, ağ ayarlarında proxy'yi ayarlamak ve IP kontrol sitesi (örneğin, 2ip.ru veya whoer.net) üzerinden giriş yapmaktır. Proxy'nin IP'sinin, gerçek adresiniz değil, proxy IP'si olarak göründüğünden emin olun. Ayrıca, yükleme hızını kontrol edin — eğer sayfalar 5 saniyeden uzun sürede açılıyorsa, proxy kalitesizdir.

Adım 2: Parser'da proxy ayarlama (Selenium örneği)

Eğer parsing için Selenium kullanıyorsanız, proxy ayarı şu şekilde görünür. Proxy listesini ayrı bir dosyada oluşturursunuz, ardından parser her oturum için listeden rastgele bir proxy seçer.

Temel çalışma mantığı: parser, ayarlanmış proxy ile tarayıcıyı başlatır, 50-100 istek gerçekleştirir (ürün kartlarını görüntüler), ardından oturumu kapatır ve başka bir proxy ile yeni bir oturum başlatır. Bu, farklı kullanıcıların davranışını taklit eder ve engellenme riskini azaltır.

Adım 3: IP adreslerinin rotasyonunu ayarlama

Proxy rotasyonu, belirli aralıklarla IP adresinin otomatik olarak değiştirilmesidir. İki yaklaşım vardır: zamanla rotasyon (her 5-10 dakikada bir) ve istek sayısına göre rotasyon (her 50-100 istekte bir).

Pazar yerlerini parsing yapmak için istek sayısına göre rotasyonu öneriyoruz — bu daha öngörülebilirdir. Eğer Wildberries'i parsing yapıyorsanız, her 50 istekte bir IP değiştirin. Daha az korumalı platformlar için (AliExpress) bu sayıyı 200-300 isteğe kadar artırabilirsiniz.

Adım 4: İstekler arasındaki gecikmeleri ayarlama

Proxy rotasyonu olsa bile, istekleri kesintisiz bir akış halinde göndermek mümkün değildir. Gerçek bir kullanıcı, ürün kartını incelemek, yorumları okumak, fiyatları karşılaştırmak için zaman harcar. Parser'ınız bu davranışı taklit etmelidir.

Farklı pazar yerleri için optimal gecikmeler:

• Wildberries: İstekler arasında 2-5 saniye, ±1 saniye rastgele varyasyon
• Ozon: 3-7 saniye (hızlı isteklerde CAPTCHA nedeniyle)
• AliExpress: 1-3 saniye (daha hoşgörülü koruma)

Sabit gecikmeler yerine rastgele gecikmeler kullanın. Eğer her istek tam olarak 3 saniye arayla gidiyorsa — bu da bir botun işareti. Rastgelelik ekleyin: 2 ile 5 saniye arasında eşit dağılım ile.

IP rotasyonu ve istek limitleri: yasaklanmamak için nasıl hareket etmeli

Doğru proxy ayarlarıyla bile, anti-parsing sistemlerinin çalışma özelliklerini dikkate almazsanız, engellenme riskiyle karşılaşabilirsiniz. Pazar yerleri, yalnızca istek sıklığını değil, aynı zamanda davranış kalıplarını da analiz eder.

Farklı proxy türleri için istek limitleri

Her proxy türünün kendi güvenli kullanım limitleri vardır. Bu limitlerin aşılması, engellenme olasılığını önemli ölçüde artırır.

Bu rakamlar, tahmini değerlerdir. Gerçek limitler, belirli bir pazar yerine ve günün saatine bağlıdır. Yoğun saatlerde (akşam, hafta sonları) etkinliği artırabilirsiniz, çünkü platformda daha fazla gerçek kullanıcı vardır.

Farklı parsing hacimleri için rotasyon stratejileri

Rotasyon stratejisi, ne kadar veri toplamanız gerektiğine bağlıdır. Kategorideki en iyi 100 ürünü izlemek için basit bir şema yeterlidir. Tüm kataloğu (on binlerce pozisyon) parsing yapmak için daha karmaşık bir sisteme ihtiyacınız vardır.

Küçük hacim (günde 1000 ürüne kadar): 5-10 konut proxy'si kullanın, her 100 istekte bir rotasyon yapın. Bu, 2-3 kategoride trendleri izlemek için yeterlidir.

Orta hacim (günde 1000-10000 ürün): 20-50 konut proxy havuzu, her 50 istekte bir rotasyon. Parsing oturumları arasında 1-2 saat rastgele duraklamalar ekleyin.

Büyük hacim (günde 10000+ ürün): Kritik istekler için konut proxy'leri ve toplu veri toplama için veri merkezi proxy'lerinin kombinasyonu. 100+ proxy kullanın, agresif rotasyon ve zamanla yük dağılımı yapın.

Trend analizi için hangi verileri toplamalı

Parsing yapmak için parsing yapmak mantıklı değildir. Önemli olan, rekabet dolmadan önce trend ürünleri belirlemenize yardımcı olacak doğru metrikleri toplamaktır.

Trendleri belirlemek için anahtar metrikler

Her ürün kartı için aşağıdaki verileri toplayın:

• Ürün adı ve numarası — tanımlama ve dinamik izleme için
• Fiyat (mevcut ve indirimli) — trendler genellikle fiyatların ani düşüşü ile başlar
• Yorum sayısı — haftalık yorum artışı, satışların arttığını gösterir
• Ortalama puan — 4.5+ puana sahip ürünler daha hızlı trend haline gelir
• Sipariş sayısı (varsa) — talebin doğrudan göstergesi
• Stok durumu — stokta ani azalma = talep artışı
• Anahtar kelimelerdeki sıralama — ilk 10'daki ürünler %80 tıklama alır
• Ürünün çıkış tarihi — hızlı satış artışı olan yeni ürünler = potansiyel trend

Bu verileri günlük olarak toplayın ve veritabanına (PostgreSQL, MySQL) veya basit projeler için Google Sheets'e kaydedin. 7-14 günlük dinamik analizi, artan talebe sahip ürünleri gösterecektir.

Trendleri erken aşamada nasıl belirlemeli

Başarılı satıcılar, trendleri rakiplerinden önce yakaladıkları için para kazanıyorlar. Trend hakkında Telegram kanallarında yazıldığında, ondan para kazanmak için geç kalmış olursunuz — marj, rekabet nedeniyle düşer.

Gelişmekte olan bir trendin işaretleri:

• Yorum sayısında %50-100 artış, az bir bazda (10-50 yorum)
• Son 2 haftada nişte 5-10 yeni satıcının ortaya çıkması
• Kategori liderlerinin stoklarında ani azalma (1000+ 'dan 100-200 adete)
• Sıralamada artış: ürün, 50. sıradan 10. sıraya yükseldi
• Sosyal medyada (TikTok, Instagram) ürünün bahsedilmesi — dolaylı bir gösterge

Bu tür sinyalleri tespit ettiğinizde otomatik bildirimler ayarlayın (Telegram botu, e-posta). Bu, ana rakiplerinizden 1-2 hafta önce avantaj sağlar.

Parsing sırasında yaygın hatalar ve bunlardan nasıl kaçınmalı

Parsing sırasında çoğu engelleme, aynı hatalardan kaynaklanır. En yaygın sorunları ve bunların çözümlerini inceleyelim.

Hata 1: Tüm istekler için tek bir IP kullanmak

Yeni başlayanlar genellikle 1-2 proxy satın alır ve tüm kataloğu bunlarla parsing yapmaya çalışır. Sonuç tahmin edilebilir — bir saat içinde engellenme. Pazar yerleri, bir IP'den gelen anormal etkinliği kolayca tespit eder.

Çözüm: Küçük projeler için bile en az 10-20 proxy kullanın. Yükü eşit şekilde dağıtın — bir IP'den saatte 100-200 isteği aşmayın.

Hata 2: Gece saatlerinde parsing yapmak

Birçok kişi, sabaha kadar yeni veriler almak için parser'ları gece başlatır. Sorun, gece (Moskova saatiyle 2-6 arası) pazar yerlerinde minimum trafiğin olmasıdır. Sizin etkinliğiniz, düşük genel yük karşısında daha belirgin hale gelir.

Çözüm: Parsing işlemini yoğun saatlerde başlatın — 18:00 ile 23:00 arasında, platformda maksimum gerçek kullanıcı olduğunda. İstekleriniz, genel trafik akışında kaybolacaktır.

Hata 3: User-Agent ve diğer başlıkları göz ardı etmek

Parser'lar varsayılan olarak "Python-requests/2.28" veya "Selenium WebDriver" gibi User-Agent'lar ile istek gönderir. Bu, bir botun açık bir işaretidir. Pazar yerleri, bu tür istekleri otomatik olarak engeller.

Çözüm: Modern tarayıcıların gerçekçi User-Agent'larını kullanın. Her proxy rotasyonunda User-Agent'ı değiştirin. Ayrıca, gerçek tarayıcılar için karakteristik olan Accept-Language, Referer ve diğer başlıkları ekleyin.

Hata 4: Sıralamanın yalnızca ilk sayfasını parsing yapmak

Birçok kişi, kategorideki en iyi 50 ürün hakkında veri toplamakla yetinir. Bu bir hatadır — trendler genellikle 3-5. sayfada başlar, burada rekabet daha düşüktür ve ürünler yeni popülarite kazanmaya başlar.

Çözüm: En az ilk 5-10 sayfayı (200-500 ürün) parsing yapın. 5. sayfadan 1-2. sayfaya hızlıca yükselen ürünleri takip edin — bunlar gelişmekte olan trendlerdir.

Hata 5: CAPTCHA ve engellemeleri işleme eksikliği

Doğru proxy ayarlarıyla bile, bazen CAPTCHA veya geçici bir engelleme ortaya çıkabilir. Eğer parser bu tür durumları işleyemiyorsa, hata ile düşer ve verilerinizi kaybedersiniz.

Çözüm: Parser'a hata işleme ekleyin. CAPTCHA alındığında — başka bir proxy'ye geçin ve isteği 5-10 dakika sonra tekrar edin. Ara sonuçları kaydedin, böylece bir hata durumunda verilerinizi kaybetmezsiniz.

Sonuç

Proxy kullanarak trend ürünler hakkında veri toplamak, yalnızca teknik bir süreç değil, aynı zamanda pazar yerleri için satıcılar için bir rekabet avantajıdır. Diğerleri rakiplerini manuel olarak izlerken, siz her gün on binlerce ürün hakkında yapılandırılmış veriler alıyor ve trendleri erken aşamada tespit ediyorsunuz.

Unutulmaması gereken anahtar noktalar: pazar yerinin koruma düzeyine bağlı olarak proxy türünü seçin (Wildberries ve Ozon için konut, daha az korumalı platformlar için veri merkezi proxy'leri), istek limitlerini göz önünde bulundurarak doğru IP rotasyonunu ayarlayın, istekler arasında rastgele gecikmeler ekleyin ve gerçek bir kullanıcının davranışını taklit edin, verileri yoğun saatlerde toplayın, böylece etkinliğiniz genel trafik akışında daha az belirgin olur.

Küçükten başlayın — 10-20 proxy kullanarak 1-2 ürün kategorisini parsing ayarlayın. Süreci geliştirin, engelleme olmadığından emin olun ve sistemi yavaş yavaş ölçeklendirin. Veri toplama otomasyonu, trend nişlerine daha hızlı erişim sayesinde ilk ayda geri dönüş sağlar.

Eğer Wildberries, Ozon veya diğer korumalı pazar yerlerinden düzenli olarak veri toplamayı planlıyorsanız, konut proxy'lerini kullanmanızı öneririz — bunlar platformlar tarafından yüksek güvenilirlik sağlar ve engellenme riskini en aza indirir. Daha az korumalı siteler için toplu parsing için doğru rotasyon ayarı ile veri merkezi proxy'leri uygundur.