Eğer düzenli olarak Wildberries'i tarıyorsanız, Ozon'daki rakip fiyatlarını izliyorsanız veya veri toplama işlemlerini otomatikleştiriyorsanız — proxy masraflarının bütçenizi ciddi şekilde etkileyebileceğini biliyorsunuzdur. Aynı sayfalara yapılan istekler, statik verilerin yeniden yüklenmesi, değişmeyen bilgilerin güncellenmesi — bunların hepsi trafiği ve parayı tüketiyor. Çözüm basit: doğru ayarlanmış veri önbelleklemesi, bilgilerin güncelliğinden ödün vermeden proxy yükünü %50-70 oranında azaltabilir.
Bu kılavuzda, pazar yerlerinden rakip izlemeye kadar farklı görevler için pratik önbellekleme yöntemlerini inceleyeceğiz. Hangi verilerin güvenli bir şekilde önbelleğe alınabileceğini, saklama süresinin nasıl ayarlanacağını ve programlama becerisi olmadan hangi araçların kullanılacağını öğreneceksiniz.
Neden önbellekleme proxy ile çalışmak için kritik öneme sahiptir
Bir durumu hayal edin: Wildberries'de her saat 500 ürünün fiyatını izliyorsunuz. Önbellekleme olmadan, tarayıcınız her saat proxy üzerinden 500 istek yapıyor — bu günde 12.000 isteğe denk geliyor. Ortalama konut proxy'lerinin maliyeti ile bu ciddi masraflara yol açıyor, özellikle de verilerin büyük bir kısmı hiç değişmiyorsa.
İstatistikler, pazar yerlerini tararken yapılan isteklerin %60-70'inin aynı verileri döndürdüğünü gösteriyor: ürün açıklamaları değişmiyor, özellikler aynı kalıyor, görseller statik. Sadece fiyatlar, stoklar ve sıralamalar değişiyor. Statik verileri önbelleğe almak ve yalnızca dinamik olanları güncellemek, trafik tasarrufunu %50-70'e kadar çıkarıyor.
Gerçek bir örnek: Bir e-ticaret sitesi, Ozon'daki rakiplerinin 1200 ürününün fiyatını önbellekleme olmadan izledi — günlük 28.800 istek. Statik verilerin (açıklamalar, özellikler) 7 günde bir güncellenmesi ve fiyatların 1 saatlik önbelleğe alınması uygulandıktan sonra, istek sayısı 9.600'e düştü. Proxy trafiği tasarrufu %67 oldu.
Önbellekleme, üç ana sorunu çözer:
- Proxy trafik masraflarını azaltma — daha az istek = daha az gigabayt için ödeme
- Engellenme riskini azaltma — hedef siteye daha az istek = engellenme olasılığı daha düşük
- Tarayıcı hızını artırma — önbellekten alınan veriler anında, ağ istekleri için gecikme olmadan teslim edilir
Tarama sırasında hangi veriler önbelleğe alınabilir
Tüm veriler önbelleğe alınmak için uygun değildir. Bilgileri statik (nadiren değişen) ve dinamik (sık sık güncellenen) olarak ayırmak önemlidir. Yanlış bir önbellekleme stratejisi, ya eski verilere ya da tasarrufun olmamasına yol açar.
| Veri Türü | Güncelleme Sıklığı | Önbellek Süresi | Trafik Tasarrufu |
|---|---|---|---|
| Ürün Açıklamaları | Aylık | 7-14 gün | %80'e kadar |
| Özellikler ve Parametreler | Aylık | 7-14 gün | %75'e kadar |
| Ürün Görselleri | 2-4 haftada bir | 14-30 gün | %90'a kadar |
| Müşteri Yorumları | Günlük | 12-24 saat | %50'ye kadar |
| Ürün Fiyatları | Günde birkaç kez | 1-3 saat | %40'a kadar |
| Stok Miktarları | Her saat | 30-60 dakika | %30'a kadar |
| Sıralama Pozisyonları | Sürekli | Önbelleğe alınmaz | %0 |
Altın kural: Veriler ne kadar nadir değişirse, önbellekte o kadar uzun süre saklanabilir. Wildberries veya Ozon'daki ürün açıklamaları çok nadir güncellenir — bunları bir veya iki hafta boyunca güvenle önbelleğe alabilirsiniz. Fiyatlar daha sık değişir, ancak burada bile 1-3 saatlik önbellek, gerçek zamanlı izleme gerekmiyorsa önemli bir tasarruf sağlayacaktır.
Farklı görevler için önbellekleme stratejileri
Etkili önbellekleme, sadece "verileri bir günlüğüne kaydetmek" değildir. Her görev için, veri güncelliği ile trafik tasarrufu arasında dengeyi göz önünde bulunduran bir strateji gereklidir. Tipik senaryolar için kanıtlanmış yaklaşımları inceleyelim.
Çok Katmanlı Önbellekleme
En etkili strateji, verileri farklı saklama sürelerine sahip birkaç katmana ayırmaktır. Bu, kritik verilerin güncelliğini korurken proxy üzerindeki yükü en aza indirmeyi sağlar.
Wildberries için çok katmanlı önbellek örneği:
- Seviye 1 (30 gün): Ürün görselleri, markalar, kategoriler
- Seviye 2 (7 gün): Açıklamalar, özellikler, içerikler
- Seviye 3 (24 saat): Derecelendirmeler, yorum sayısı
- Seviye 4 (2 saat): Fiyatlar, indirimler, kampanyalar
- Önbelleksiz: Stok miktarları, sıralama pozisyonları
Bu strateji ile 1000 ürün için her 2 saatte 1000 istek yerine yaklaşık 300-350 istek yapıyorsunuz: verilerin büyük bir kısmı önbellekten alınıyor, proxy üzerinden sadece taze fiyatlar ve stok miktarları için istek yapılıyor.
Değişiklik Kontrolü ile Önbellekleme
Daha gelişmiş bir yaklaşım, koşullu istekler kullanmaktır. Sayfanın tamamını yüklemek yerine, verilerin son kontrolünüzden bu yana değişip değişmediğini kontrol etmek için hafif bir istek gönderirsiniz. Eğer değişmemişse — önbelleği kullanırsınız, eğer değişmişse — güncellemeyi yüklersiniz.
Birçok site, koşullu istekler için HTTP başlıklarını destekler: If-Modified-Since veya ETag. Eğer sayfa değişmemişse, sunucu 304 (Not Modified) kodunu yanıt gövdesi olmadan döndürür — bu istekte %95 trafik tasarrufu sağlarsınız.
Akıllı Önbellek Güncellemesi
Tüm verileri belirli bir zaman diliminde güncellemek yerine, yüksek olasılıkla değişmiş olanları güncelleyin. Örneğin, bir ürün bir kampanyaya katılıyorsa — fiyatı her saat kontrol edin. Eğer normal bir ürün son 2 haftadır değişmiyorsa — günde bir kez kontrol edin.
İpucu: Değişiklik geçmişini takip edin. Eğer bir ürünün fiyatı her gün değişiyorsa — önbellek süresini 1 saate indirin. Eğer fiyat bir ay boyunca stabilse — 6-12 saate çıkarın. Adaptif önbellekleme, ek %20-30 tasarruf sağlayabilir.
Programlama olmadan önbellekleme araçları
Önbellekleme ayarlamak için programcı olmanıza gerek yok. Modern tarama ve otomasyon araçları, grafik arayüz üzerinden ayarlanabilen yerleşik önbellek işlevlerine sahiptir.
Octoparse — Görsel Yapılandırıcı ile Tarayıcı
Octoparse — kod olmadan web sitelerini taramak için popüler bir araçtır. Görev ayarlarında "Gelişmiş Ayarlar" → "Önbellek Yönetimi" bölümünde şunları belirtebilirsiniz:
- Hangi sayfa öğelerinin önbelleğe alınacağı (görseller, metin blokları, tablolar)
- Önbellek saklama süresi (1 saatten 30 güne kadar)
- Güncelleme koşulları (programlı veya belirli alanların değişmesi durumunda)
Ozon için tarama ayarı örneği: ürün açıklama bloğunu 7 gün, fiyat bloğunu ise 2 saat önbelleğe alıyoruz. Octoparse, açıklamalar önbellekte olduğunda istekleri otomatik olarak atlayacak ve sadece fiyatları proxy üzerinden güncelleyecektir.
ParseHub — Karmaşık Siteler için Önbellekleme
ParseHub, dinamik içerikli web sitelerini (JavaScript, AJAX) tarama konusunda uzmanlaşmıştır. "Proje Ayarları" bölümünde "Veri Önbellekleme" seçeneği bulunmaktadır:
- Akıllı Önbellek — statik öğeleri otomatik olarak belirler ve önbelleğe alır
- Özel Önbellek Kuralları — önbellek için CSS seçicilerini manuel olarak belirleyebilirsiniz
- Önbellek Süresi — önbelleğin ömrü 30 dakikadan 90 güne kadar
ParseHub, çok sayıda JavaScript içeren pazar yerleriyle iyi çalışır: Wildberries, AliExpress, Yandex.Market. Araç, dinamik olarak yüklenen verileri otomatik olarak belirler ve tekrarlanan istekleri önbelleğe alır.
Screaming Frog — SEO Uzmanları için
Eğer rakip web sitelerini analiz etmek veya pozisyonları izlemek için Screaming Frog kullanıyorsanız, yerleşik önbellekleme büyük miktarda trafik tasarrufu sağlar. "Ayarlar" → "Örümcek" → "Gelişmiş" bölümünde şunları etkinleştirin:
- Sayfaları Önbelleğe Al — HTML sayfalarını yerel olarak saklayın
- Görseller ve CSS'yi Önbelleğe Al — statik kaynakları yeniden yüklemeyin
- Önbelleğe Alınan Verileri Kullanın — tekrar tarama sırasında saklanan verileri kullanın
Özellikle aynı web sitelerini düzenli olarak izlerken faydalıdır: ilk tarama her şeyi proxy üzerinden yükler, sonraki taramalar sadece değişen sayfaları yükler.
Pazar Yerlerinde Tarama Sırasında Önbellekleme
Pazar yerleri, e-ticaret işinde en popüler tarama görevidir. Wildberries, Ozon, Yandex.Market benzer veri yapısına sahip olduğundan, evrensel bir önbellekleme stratejisi uygulanabilir.
Wildberries'de Minimum Trafik Tüketimi ile Tarama
Tipik bir görev: 500 rakip ürünün fiyatını izlemek. Önbellekleme olmadan — her 2 saatte 500 istek = günde 6000 istek. Doğru bir önbellekleme ile — günde 1500-2000 isteğe kadar.
Wildberries için önbellek ayarının adım adım yapılması:
- Ürünle ilgili ilk istek: tam kartı (açıklama, özellikler, görseller) yerel veritabanına veya JSON dosyasına kaydediyoruz
- Ürün numarasını çıkarıp ayrı olarak kaydediyoruz — bu benzersiz bir kimliktir
- Bir sonraki istekte: ürün numarasının önbellekte olup olmadığını ve saklama süresinin dolup dolmadığını kontrol ediyoruz
- Eğer önbellek güncel ise: açıklama ve özellikleri önbellekten alıyoruz, proxy üzerinden sadece fiyat ve stok miktarını talep ediyoruz (bu Wildberries'de ayrı bir API uç noktasıdır)
- Önbelleğe alınan verileri taze fiyatla birleştiriyoruz — tam güncel bilgiyi elde ediyoruz
Wildberries, fiyat ve stok miktarlarını ayrı bir hafif API isteği ile verir (yaklaşık 2-5 KB, tam sayfanın 200-500 KB'sine karşı). Eğer ağır kısmı önbelleğe alırsanız ve sadece fiyatları talep ederseniz — trafik tasarrufu %90-95'e kadar çıkar.
Ozon Tarama Optimizasyonu
Ozon, taramaya karşı daha agresif bir koruma sağlar, bu nedenle her gereksiz istek engellenme riskini artırır. Burada önbellekleme sadece para tasarrufu sağlamakla kalmaz, aynı zamanda yasaklanma olasılığını da azaltır.
Ozon'un özelliği: ürün kartları genellikle aynı blokları içerir (marka açıklaması, kategori için standart özellikler). Eğer 100 ürünün bir markasını tarıyorsanız — marka açıklaması aynı olacaktır. Bu tür tekrarlayan blokları ayrı olarak önbelleğe alın:
- Marka Açıklaması → 30 gün önbellek
- Standart Kategori Özellikleri (örneğin, "İçerik" giysi için) → 14 gün önbellek
- Belirli bir ürün için benzersiz açıklama → 7 gün önbellek
- Fiyat ve stok durumu → her 2-4 saatte bir istek
Avito: İlanların Önbelleğe Alınması
Avito'yu tararken (rakip izleme, yeni ilanları takip etme) ilanların sık sık yayından kaldırıldığını göz önünde bulundurmak önemlidir. Kaldırılan bir ilanın verilerini önbellekte tutmak anlamsızdır.
Strateji: yalnızca aktif ilanları önbelleğe alın ve durumlarını düzenli olarak hafif bir istekle kontrol edin. Eğer ilan kaldırılmışsa — önbelleği temizleyin. Bu, veritabanının dağılmasını önleyecek ve tarayıcının çalışma hızını artıracaktır.
Rakip Fiyat İzleme Optimizasyonu
Fiyat izleme, önbelleklemenin en fazla etki sağladığı görevdir. Fiyatlar her dakika değişmez, ancak bunları düzenli olarak kontrol etmek gerekir. Doğru önbellek ayarı, gereksiz istekler olmadan değişiklikleri takip etmenizi sağlar.
Adaptif Kontrol Sıklığı
Tüm ürünler aynı izleme sıklığını gerektirmez. Dinamik fiyatlara sahip ürünler (elektronik, indirimli ürünler) daha sık kontrol edilmelidir. Stabil fiyatlara sahip ürünler (inşaat malzemeleri, mobilya) daha az sıklıkla kontrol edilmelidir.
Adaptif fiyat önbellekleme örneği:
- Son 7 günde fiyatı değişen ürün → her 2 saatte bir kontrol, 2 saat önbellek
- 7-30 gündür değişmeyen ürün → her 6 saatte bir kontrol, 6 saat önbellek
- 30 günden fazla değişmeyen ürün → günde bir kez kontrol, 24 saat önbellek
Bu yaklaşım, sabit kontrol sıklığına göre istek sayısını %40-60 oranında azaltır. 1000 ürünü izlerken, günde 12.000 isteği (her 2 saatte bir) 5000-7000 isteğe düşürürsünüz.
Değişiklik Bildirimleri ile Önbellekleme
Tüm fiyatları sürekli güncellemek yerine, bir sistem ayarlayın: fiyatları programlı olarak kontrol edin, ancak önbelleği yalnızca değişiklik olduğunda güncelleyin. Eğer fiyat değişmemişse — mevcut önbelleğin süresini uzatın, yeni bir istek yapmadan.
Birçok tarayıcı (Octoparse, ParseHub) "Değiştiğinde yalnızca güncelle" modunu destekler. Araç, bir istek yapar, yeni verileri önbellekle karşılaştırır ve eğer fark yoksa — önbelleği yeniden yazmaz, sadece son kontrol zamanını günceller.
Önbellek Ayarlarken Yapılan Yaygın Hatalar
Yanlış önbellekleme, eski verilere, önemli bilgilerin kaybına veya tam tersine tasarrufun olmamasına yol açabilir. Sık yapılan hataları ve bunlardan nasıl kaçınılacağını inceleyelim.
Hata 1: Dinamik Veriler için Çok Uzun Önbellek Süresi
Rakipleri izlerken fiyatları 24 saat önbelleğe almak — kötü bir fikirdir. Bir günde fiyat 3-5 kez değişebilir, özellikle yüksek rekabetli nişlerde. Trafik tasarrufu sağlarsınız, ancak veri güncelliğini kaybedersiniz.
Çözüm: Verilerin gerçek değişim sıklığını belirleyin. Bir test yapın: her saat 50-100 ürünü bir hafta boyunca izleyin ve fiyatların ne sıklıkla değiştiğine bakın. Buna dayanarak, en uygun önbellek süresini seçin.
Hata 2: Versiyonlama Olmadan Önbellekleme
Her güncellemede önbelleği sadece yeniden yazıyorsanız, değişiklik geçmişini kaybedersiniz. Bu, fiyat dinamiklerini analiz etmek için kritik öneme sahiptir: eski veriler silinirse, bir ay boyunca fiyat değişim grafiği oluşturmak imkansızdır.
Çözüm: Zaman damgaları ile önbellek versiyonlarını saklayın. Örneğin, product_12345.json yerine product_12345_2024-01-15.json oluşturun. Bu, geçmişi analiz etmenizi ve gerektiğinde önceki veri sürümüne geri dönmenizi sağlar.
Hata 3: Önbellek Boyutunu Görmezden Gelme
Binlerce ürünün tam HTML sayfaları ile önbelleğe alınması diski hızla doldurur. 10.000 ürün için önbellek, görseller ve scriptlerle birlikte tam sayfaları saklarsanız 5-10 GB yer kaplayabilir.
Çözüm: Sadece gerekli verileri önbelleğe alın. Tüm HTML sayfasını saklamak yerine, belirli alanları (isim, fiyat, açıklama) çıkarın ve yapılandırılmış formatta (JSON, CSV) saklayın. Bu, önbellek boyutunu 10-20 kat azaltacaktır.
İpucu: Eski önbelleği otomatik olarak temizleyecek şekilde ayarlayın. 30-90 günden daha eski veriler genellikle mevcut çalışma için gerekli değildir — bunları ayrı olarak arşivleyin veya silin. Bu, tarayıcının çalışma hızını artıracak ve disk alanını boşaltacaktır.
Hata 4: Önbellek Hatalarının İşlenmemesi
Eğer önbellek bozulursa (yazma hatası, disk hatası), tarayıcı hatalı verileri kullanabilir veya tamamen çökebilir. Bu, otomatik izleme sırasında özellikle kritik öneme sahiptir: birkaç gün boyunca eski verileri alabilirsiniz, bunun farkında olmadan.
Çözüm: Önbelleğin bütünlüğünü kontrol edin. Önbellekle birlikte verilerin kontrol toplamını (hash) saklayın. Okuma sırasında kontrol edin: eğer hash uyuşmuyorsa — önbellek bozulmuş, taze bir istek gerekiyor.
Sonuç
Doğru ayarlanmış önbellekleme, veri kalitesinden ödün vermeden proxy masraflarını %50-70 oranında azaltmanın basit bir yoludur. Anahtar ilkeler: verileri statik ve dinamik olarak ayırın, farklı saklama sürelerine sahip çok katmanlı önbellekleme kullanın, güncelleme sıklığını gerçek değişim dinamiğine göre uyarlayın.
Çoğu pazar yeri tarama ve fiyat izleme görevi için karmaşık teknik çözümler gerekmiyor — Octoparse veya ParseHub gibi modern araçlar, grafik arayüz üzerinden 10-15 dakikada ayarlanabilen yerleşik önbellek işlevlerine sahiptir.
Basit bir başlangıç yapın: ürün açıklamalarını bir hafta boyunca önbelleğe alın, fiyatları ise 2-3 saat boyunca. Bir hafta boyunca sonuçları takip edin ve gerçek değişim istatistiklerine dayanarak ayarları düzeltin. Hatta temel önbellekleme bile %30-40 trafik tasarrufu sağlar, optimize edilmiş önbellekleme ise %70'e kadar çıkabilir.
Eğer pazar yerlerini tarıyor veya rakip fiyatlarını izliyorsanız, konut proxy'lerini önbellekleme ile birlikte kullanmanızı öneririz — bu, engellenmeler olmadan istikrarlı bir çalışma ve minimum trafik masrafları sağlar. Hızın kritik olduğu ve büyük veri hacimlerinin gerektiği görevler için veri merkezi proxy'leri uygundur — doğru rotasyon ve önbellek ayarı ile daha hızlı ve daha ucuzdur.