Wildberries ve Ozon'da Veri Çekme Trafik Limiti: Aylık Proxy Paketini Bir Gece İçinde Nasıl Kaybetmemek Gerekir

Satıcı, rakiplerin fiyatlarını ayıklamak için bir ayıklayıcıyı gece çalıştırıyor ve sabah bir bildirim alıyor: trafik bitmiş, paket %90 tükenmiş. Tanıdık bir durum mu? Çoğu zaman sorun, ayıklayıcıda değil, proxy ve script düzeyinde limitlerin olmamasıdır. Bu yazıda, trafiğin nasıl "sızdığına" ve ayıklama için yerleşik veya mobil proxy paketinin hesaplama süresinin sonuna kadar yeterli olmasını sağlamak için nasıl koruma koyulacağına bakalım.

Neden trafik bir gecede bitiyor

Wildberries, Ozon veya Avito'da ayıklama yapmak basit bir görev gibi görünüyor: bir istek gönderdiniz - fiyatla birlikte JSON aldınız. Ancak pratikte, trafik sadece yararlı verilere harcanmaz. Aşırı harcamanın başlıca kaynakları:

• Görüntü ve medya yüklemesi. Ayıklayıcı, ürüne ait sayfayı tamamen tarayıcı üzerinden açıyorsa (API'ye doğrudan istek yapmıyorsa), otomatik olarak resimleri, videoları, bannerları yükler - bu, bir kart için on megabayta kadar çıkabilir.
• Captcha ve engellemeler nedeniyle tekrar eden istekler. Pazar yeri botu tanır, captcha verir veya IP'yi geçici olarak yasaklar, script tekrar eden bir istek yapar - trafik boşa harcanır ve veriler gelmez.
• İsteklerin önbelleğe alınmaması. "Bu saat içinde zaten ayıklanmış - tekrar etme" mantığı olmadan, script aynı kartları birkaç kez sorgulayabilir.
• Sınırlama olmadan paralel akışlar. Aynı anda 50-100 akış başlatmak, işin hızlandığı izlenimini verebilir, ancak bu durumda trafik planlanandan çok daha hızlı harcanır ve bazı istekler engellenir.
• Proxy türünün yanlış seçimi. Yerleşik ve mobil proxyler genellikle trafik hacmine (GB) göre fiyatlandırılır, veri merkezi proxylerinden farklı olarak, burada genellikle IP sayısı veya kiralama süresi için ödeme yapılır. Eğer ayıklayıcı, kontrol olmadan yerleşik havuza ayarlanmışsa - limit hızla tükenir.

Bu faktörlerin kombinasyonu, bir ay boyunca çalışması planlanan bir scriptin, 10-20 bin ürün kartı ayıklama işlemi için bir gecelik oturumda trafik paketini harcamasına yol açar.

Farklı proxy türlerinde trafik nasıl hesaplanır

Limitler koymadan önce, ne için ödeme yaptığınızı anlamak önemlidir. Farklı proxy türleri, harcamayı farklı şekillerde hesaplar ve bu doğrudan tasarruf stratejisini etkiler.

Proxy Türü	Fiyatlandırma	Aşırı harcama riski	Ne zaman uygulanmalı
Yerleşik proxyler	Trafik hacmine (GB) göre	Limitsiz olduğunda yüksek	Pazar yerlerinin anti-bot korumasını aşarak ayıklama
Mobil proxyler	Trafik hacmine veya zamana göre	Yüksek, trafik daha pahalı	Mobil versiyonların ayıklanması, katı engellerin aşılması
Veri merkezi proxyleri	IP sayısına / kiralama süresine göre	Düşük, trafik genellikle sınırsızdır	Sıkı anti-bot koruması olmadan toplu ayıklama

Eğer Wildberries veya Ozon'da ayıklama yapıyorsanız, burada bot koruması aktif olduğu için yerleşik veya mobil IP'ler neredeyse her zaman gereklidir - veri merkezi adresleri hızlı bir şekilde engellenir. Ancak burada trafik faturası nedeniyle limitleri önceden koymak özellikle önemlidir.

Ayıklama için gerçekten ne kadar trafik gerekiyor

Uygun bir limit koymak için, gerçek rakamlara dayanmak gerekir, hislere değil. Pratikteki tahmini harcamalar:

• Ürün kartı için API isteği (JSON, resimsiz): Kart başına 5-30 KB. 10.000 kart için - yaklaşık 50-300 MB.
• Resimlerle birlikte headless tarayıcı üzerinden ürün sayfasının yüklenmesi: Kart başına 1-3 MB. Aynı 10.000 kart için - 10-30 GB.
• Her saat 1000 SKU için fiyat takibi: hafif isteklerle - günde yaklaşık 1-5 GB, sayfaların tamamen yüklenmesi durumunda - günde 50-100 GB.

"Hafif" ve "ağır" ayıklama arasındaki fark on kat olabilir. Bu nedenle, trafik tasarrufunun ilk adımı, mümkün olduğunda resimlerin, videoların ve üçüncü taraf scriptlerin yüklenmesini devre dışı bırakmak ve doğrudan pazar yerinin API'si veya masaüstü sürümünden daha hafif olan mobil sürümü ile çalışmaktır.

Anti-detect tarayıcılar ve proxy yöneticilerindeki limitler

Anti-detect tarayıcı (örneğin, Dolphin Anty, AdsPower, Multilogin, GoLogin, Octo Browser) veya kendi proxy yöneticiniz aracılığıyla ayıklama yapanlar için, harcamayı sınırlamanın en basit yolu, proxy sağlayıcısının profil ve hesap düzeyinde limitler ayarlamaktır.

1. Proxy sağlayıcısının kullanıcı paneline giriş yapın ve alt kullanıcılar/portlar için trafik veya limit yönetim bölümünü bulun.
2. Ayıklama için ayrı bir alt hesap veya port oluşturun - Instagram veya TikTok hesapları için kullanılan proxy havuzunu kullanmayın. Görevler arasında ayrım yapmak, trafiğin nereye gittiğini hemen gösterir.
3. Bu alt hesapta günlük veya saatlik trafik limiti belirleyin - örneğin, tüm aylık paketi bir oturumda harcamak yerine günde 5 GB.
4. Anti-detect tarayıcıda, yalnızca veri toplama için kullanılan profiller için resimlerin otomatik yüklemesini devre dışı bırakın, sayfaların görsel olarak görüntülenmesi için değil.
5. Profillerin başlatma zamanlamasını ayarlayın böylece ayıklama tek bir uzun oturumda değil, kısa aralıklarla ve duraklamalarla gerçekleşir - bu, engellenme riskini azaltır ve başlatmalar arasındaki trafik tüketimini izlemek için zaman tanır.

Bu yaklaşım, aynı anda birkaç pazar yerinde ayıklama yapan ajanslar ve serbest çalışanlar için özellikle önemlidir: alt hesaplar arasında ayrım yapmadan, hangi projenin trafiği "yediğini" anlamak zordur.

Script ve API düzeyinde trafik kısıtlaması

Eğer ayıklayıcı Python veya Node.js ile kendiniz yazdıysanız, limitleri doğrudan koda entegre etmek mümkündür ve bu, proxy sağlayıcısının arayüz ayarlarından daha kesin bir kontrol sağlar.

requests kullanarak Python'da basit bir trafik sayacı örneği:

import requests

MAX_BYTES_PER_DAY = 5 * 1024 * 1024 * 1024  # günlük limit 5 GB
used_bytes = 0

proxies = {
    "http": "http://user:pass@proxy_host:port",
    "https": "http://user:pass@proxy_host:port",
}

def safe_get(url):
    global used_bytes
    if used_bytes >= MAX_BYTES_PER_DAY:
        raise RuntimeError("Günlük trafik limiti aşıldı, ayıklama durduruldu")

    response = requests.get(url, proxies=proxies, timeout=10)
    used_bytes += len(response.content)
    return response

# çağrı örneği
resp = safe_get("https://card.wb.ru/cards/detail?nm=123456")
print("Kullanılan trafik:", round(used_bytes / 1024 / 1024, 2), "MB")

Mantık basit: script, her yanıtın hacmini byte cinsinden hesaplar ve belirlenen limite ulaşıldığında durur. Bu, bir döngüdeki hata veya sonsuz tekrar nedeniyle scriptin "aylık trafik paketini" birkaç saat içinde harcamasını engeller.

Ek olarak eklemek gerekir:

• Hatalarda üssel gecikme (backoff ile tekrar) - captcha veya yasak durumunda isteği anında tekrar etmek yerine, script artan bir süre bekler (5 sn, 15 sn, 60 sn), bu da gereksiz istek sayısını azaltır.
• Paralel akışların sayısını sınırlama - örneğin, engellemeleri tetiklememek ve trafiği boşa harcamamak için proxy havuzu üzerinden 10-20 eşzamanlı bağlantıdan fazlası olmamalıdır.
• Headless tarayıcıda kaynakların yüklenmesini devre dışı bırakma - eğer ayıklama Selenium veya Puppeteer üzerinden yapılıyorsa, tarayıcı ayarlarında resimlerin, fontların ve CSS'nin yüklenmesini engelleyerek yalnızca HTML/JSON yanıtlarını bırakabilirsiniz.

Gerçek zamanlı tüketim izleme

Limit, izleme olmadan daha kötü çalışır çünkü sorunu yalnızca script durduktan sonra öğrenirsiniz. Harcamayı anlık olarak kontrol etmek için:

• Proxy sağlayıcısının kullanıcı panelinde, aylık trafik paketinin %50, %80 ve %100'e ulaşması durumunda bildirimleri etkinleştirin - çoğu hizmet, bu tür uyarıları e-posta veya Telegram üzerinden destekler.
• Script içinde basit bir günlük tutun: her saat başına trafik hacmini dosyaya veya veritabanına kaydedin, böylece harcama zirvelerini görebilir ve sorunun kaynağını hızlıca bulabilirsiniz.
• Trafiği görevler arasında ayrı alt hesaplar veya etiketler ile ayırın - Wildberries için ayrı, Ozon için ayrı, Avito için ayrı. Bu, hangi projenin en çok harcadığını analiz etmeyi kolaylaştırır.
• Harcamayı beklenen veri hacmi ile karşılaştırın: eğer 10.000 kart için 20 GB harcandıysa, hesaplanan 300 MB yerine, demek ki bir yerde gereksiz kaynaklar yükleniyor veya tekrar eden istekler var.

Trafik bütçesi kontrol listesi

Yeni başlayanların sık yaptığı hatalar

Pratikte, çoğu "tükenen" trafik paketinin birkaç tipik hata ile açıklandığı görülmektedir:

• Limit olmadan "gözaltında gece ayıklama" başlatmak. Script 8-10 saat durmaksızın çalışır ve eğer bir yerde tekrar eden istek döngüsü oluşursa, trafik sabaha kadar kesintisiz harcanır.
• Tüm görevler için tek bir proxy havuzu kullanmak. Instagram hesaplarının oluşturulması, Facebook Ads'de reklam testleri ve Ozon ayıklaması aynı trafiği kullanır - neyin harcandığını anlamak imkansızdır.
• Captcha'yı görmezden gelmek. Captcha'nın ilk belirtilerinde istek sıklığını azaltmak yerine, script aynı yoğunlukta siteye saldırmaya devam eder, bu da hatalı yanıtlar için trafiği harcar.
• Yerleşik proxyleri, veri merkezi proxylerinin yeterli olduğu yerlerde seçmek. Eğer pazar yeri veri merkezi IP'lerini sert bir şekilde engellemiyorsa, yerleşik havuz için fazla ödeme gereksizdir - daha az korumalı hedefler için veri merkezi proxyleri uygun olacaktır.
• Test sürüşü yapmamak. Binlerce kart için tam ayıklama başlatmadan önce, scripti 50-100 kartta çalıştırmak ve gerçek trafik tüketimini ölçmek, tüm hacme genellemek için önemlidir.

Sonuç

Ayıklama için trafik "yanmaz", veri hacminin fazlalığından değil, kontrol eksikliğinden kaynaklanır: gereksiz resimler, engellemelerde tekrar eden istekler, sınırlama olmadan paralel akışlar ve tüm görevler için ortak bir proxy havuzu. Çözüm, trafiği projelere ayırmak, proxy hesabında günlük limitler koymak, tüketim sayacını scriptin içine entegre etmek ve paket gerçekten bitmeden bildirimlerle izleme ayarlamaktır.

Eğer Wildberries veya Ozon gibi aktif bot koruması olan pazar yerlerinde ayıklama yapıyorsanız, yerleşik proxyler kullanmanızı öneririz, engellemeleri aşmak için ve en hassas anti-bot koruma senaryoları için mobil IP'ler ek olarak kullanın - ancak her iki durumda da, aylık paketin bir gecelik oturumda harcanmaması için trafik limitlerini önceden koymayı unutmayın.