Wildberries, Ozon, Amazon veya Google Maps'te veri çekmek için Apify'da aktörler çalıştırıyorsanız, bir noktada şu soru ortaya çıkar: yerleşik Apify Proxy için mi ödeme yapmalısınız yoksa kendi IP havuzunuzu mu bağlamalısınız. Büyük hacimlerde maliyet farkı aylık on binlerce rubleye kadar çıkabilir. Bu yazıda, Apify'deki trafik fiyatının nasıl hesaplandığını, kendi proxy'nizin ne zaman daha karlı olduğunu ve onu aktöre teknik olarak nasıl bağlayacağınızı — kod örnekleriyle inceleyeceğiz.
Apify aktörleri nedir ve neden proxy'ye ihtiyaç duyarlar
Apify, kendi altyapınızı kurmadan hazır scraper'ları (aktörleri) çalıştırmak için bir platformdur. Apify Store'da Amazon, Google Maps Scraper, Instagram Scraper, Wildberries ve Ozon'dan ürün kartları toplamak için aktörler gibi yüzlerce hazır aktör bulunmaktadır. Bunların çoğu proxy gerektirir, çünkü hedef siteler, Apify veri merkezlerinin IP adreslerini toplu taleplerle hızlı bir şekilde yasaklar.
Aktördeki proxy, üç görevi yerine getirir: coğrafi kısıtlamaları aşar (örneğin, Wildberries'te "Moskova" bölgesine özel fiyatları toplamak gerektiğinde), captcha ve geçici yasakların sıklığını azaltır ve ayrıca yükü birçok IP arasında dağıtarak, normal kullanıcıların davranışını taklit eder, bot değil. Proxy olmadan, pazaryerlerinde veri çekme için çoğu aktör ya hiç çalışmaz ya da birkaç dakikalık çalışmadan sonra hatalı veriler toplar.
Apify'nin yerleşik bir çözümü vardır — Apify Proxy, bu bir satır kodla bağlanır. Bu başlangıç için kullanışlıdır, ancak bir nüansı vardır: ödeme GB başına trafik üzerinden yapılır ve düzenli veya büyük hacimli veri çekimlerinde fatura hızla artar. Bu nedenle, platformun deneyimli kullanıcıları giderek daha fazla yerleşik proxy yerine kendi proxy'lerini aktörlere bağlamaktadır.
Yerleşik Apify Proxy nasıl çalışır ve tarifesi
Apify Proxy, veri merkezi, konut (partner havuzları aracılığıyla) ve arama sonuçlarını çekmek için
Google SERP proxy'leri gibi üç tür IP sunar. Bağlantı son derece basittir — aktör konfigürasyonunda
useApifyProxy: true
parametresini belirtmek yeterlidir ve platform her talep veya oturum için IP'yi kendisi döndürecektir.
Ödeme modelindeki sorun: Apify içindeki konut proxy'lerinin trafiği gigabayt başına ücretlendirilir ve yerleşik çözümde GB başına fiyat genellikle doğrudan proxy tedarikçilerinden daha yüksektir, çünkü Apify, entegrasyon ve havuz yönetimi için kendi marjını ekler. Küçük test çalışmaları için (ayda birkaç bin talep) bu kritik değildir. Ancak aktör izleme modunda çalışıyorsa — örneğin, her saat 5000 SKU için Wildberries'teki fiyatları çekiyorsa — trafik tüketimi üstel olarak artar ve yerleşik proxy, projenin bütçesindeki en pahalı kalem haline gelir, hatta Apify planının maliyetini bile geçer.
Ek bir nüans: yerleşik Apify havuzu, platformun tüm müşterileri için ortaktır. Bu, IP adreslerinin diğer kullanıcılar tarafından aynı siteleri taramak için "açık" olabileceği anlamına gelir. Bu, Ozon ve Avito gibi sert anti-bot korumasına sahip pazaryerlerinde captcha ve yasaklama riskini artırır.
Kendi proxy havuzunuz ne zaman daha ucuz: sayılarla hesaplama
Kendi proxy'nize geçişin ne zaman mantıklı olduğunu anlamak için iki değişkeni karşılaştırmak gerekir: Apify Proxy'deki trafik maliyeti ve doğrudan proxy tedarikçisindeki benzer hacmin maliyeti, artı kendi havuzunuzu entegre etme ve destekleme süresi.
Pratikte üç senaryo ortaya çıkmaktadır:
- Tek seferlik veri çekme (ayda 1 GB'a kadar trafik) — yerleşik Apify Proxy daha avantajlıdır: küçük bir veri toplama için kendi havuzunuzu ayarlamak için zaman harcamanın bir anlamı yoktur.
- Düzenli izleme (ayda 5-50 GB) — kırılma noktası. Burada hesaplama yapmak gerekir: eğer aktör her gün çalışıyorsa ve Wildberries veya Ozon'dan ürün kartları topluyorsa, yerleşik proxy ile trafik tüketimi, sabit bir IP maliyeti veya sınırsız tarifeye sahip kendi havuzuna göre daha hızlı artar.
- Endüstriyel veri çekme (ayda 50 GB ve üzeri, onlarca aktör, birkaç kaynak) — kendi havuzunuz neredeyse her zaman daha ucuzdur, çünkü trafik veya IP sayısı için doğrudan bir fiyat üzerinde anlaşma yapma imkanı vardır, aracı platformun ek maliyeti olmadan.
Basit bir hesaplama örneği: eğer aktör her gün 10.000 ürün kartı işliyorsa ve her sayfa ortalama 300 KB ağırlığında ise (görüntüler ve scriptler dahil, kaynakların yüklenmesi optimize edilmeden), ayda yaklaşık 90 GB trafik birikir. Apify Proxy'deki konut trafiği tarifesi ile toplam tutar genellikle benzer hacim için dış tedarikçideki maliyetin 1.5-2 katını aşar. Eğer aktör, görüntülerin ve dış scriptlerin yüklenmesini engellemeye ayarlanmışsa (bu, Puppeteer/Playwright konfigürasyonu aracılığıyla kolayca yapılabilir), gerçek trafik ağırlığı kat kat azalır ve kendi proxy'ye geçişten elde edilen tasarruf daha belirgin hale gelir.
Aktörlere hangi tür proxy bağlanmalı
Proxy türünün seçimi, aktörün hangi siteyi taradığına ve sitenin bot trafiğine ne kadar duyarlı olduğuna doğrudan bağlıdır.
| Proxy Türü | Apify'de ne zaman kullanılmalı | Engellenme Riski |
|---|---|---|
| Veri Merkezi Proxy'leri | Sert anti-bot koruması olmayan siteler, API benzeri kaynaklar, statik kataloglar | Pazaryerlerinde yüksek |
| Konut Proxy'leri | Wildberries, Ozon, Amazon, Google Maps Scraper — veri merkezi IP'lerini tespit eden siteler | Doğru döngü ile düşük |
| Mobil Proxy'ler | Apify aktörleri aracılığıyla sosyal medya (Instagram, TikTok) taraması, maksimum "temizlik" IP gerektirir | Minimum |
Wildberries ve Ozon gibi pazaryerlerinde veri çekmek için en uygun seçim — konut proxy'leri, çünkü bunlar gerçek ev sağlayıcılarının IP'lerini kullanır ve sert anti-bot filtrelerine nadiren takılır. Daha az korumalı kaynaklar (RSS, açık kataloglar, kurumsal siteler) için veri merkezi IP'leri yeterlidir — bunlar daha ucuz ve daha hızlıdır.
Kendi proxy'nizi aktöre nasıl bağlayabilirsiniz: kod ve ayarlar
Apify'daki çoğu aktör, Crawlee (eski Apify SDK) üzerine inşa edilmiştir ve kendi proxy listesini
proxyConfiguration
parametresi aracılığıyla iletme desteği vardır. Yerleşik havuz yerine, kendi proxy adreslerinizin
dizisini belirtirsiniz.
import { Actor } from 'apify';
import { CheerioCrawler, ProxyConfiguration } from 'crawlee';
await Actor.init();
// useApifyProxy yerine kendi proxy listemizi iletiyoruz
const proxyConfiguration = new ProxyConfiguration({
proxyUrls: [
'http://user:[email protected]:12345',
'http://user:[email protected]:12345',
'http://user:[email protected]:12345',
],
});
const crawler = new CheerioCrawler({
proxyConfiguration,
maxRequestsPerCrawl: 5000,
async requestHandler({ request, $, log }) {
const title = $('title').text();
log.info(`Toplanan sayfa: ${title}`);
await Actor.pushData({ url: request.url, title });
},
});
await crawler.run(['https://www.wildberries.ru/catalog/...']);
await Actor.exit();Eğer proxy havuzunuz, sağlayıcı tarafında döngüyü destekliyorsa (çoğu konut hizmeti, oturum veya talep başına döngü ile çalışır), URL'deki oturum parametreleri ile bir endpoint belirtmek yeterlidir — böylece IP döngüsü otomatik olarak gerçekleşir ve yüzlerce adresi manuel olarak listelemeye gerek kalmaz.
Python'daki aktörler için (örneğin, Apify SDK'yı Python üzerinden özel bir script çalıştırıyorsanız) bağlantı benzer şekilde görünür:
import requests
proxies = {
"http": "http://user:[email protected]:12345",
"https": "http://user:[email protected]:12345",
}
response = requests.get(
"https://www.ozon.ru/category/...",
proxies=proxies,
headers={"User-Agent": "Mozilla/5.0"},
timeout=15
)
print(response.status_code)
print(response.text[:500])Önemli bir nokta: kendi proxy'nize geçiş yaparken mutlaka oturum döngülerini ve talepler arasındaki gecikmeleri manuel olarak ayarlayın — yerleşik Apify Proxy bunu otomatik olarak yapıyordu, ancak dış havuz bağlandığında bu mantığı aktör kodunda veya crawler konfigürasyonunda belirtmek gerekir.
Karşılaştırma tablosu: yerleşik vs kendi proxy
| Kriter | Apify Proxy (yerleşik) | Kendi proxy havuzunuz |
|---|---|---|
| Bağlantı Hızı | Bir satır kod, ayar yok | Entegrasyon için 15-30 dakika gerektirir |
| Küçük Hacimlerde Maliyet | Daha avantajlı | Nadir çalıştırmalar için aşırı |
| 10-50 GB/ay Maliyeti | Trafikle orantılı olarak artar | Daha avantajlı, genellikle sabit model |
| IP Havuzunun "Temizliği" | Ortak havuz, diğer müşterilerle kesişme olabilir | Sizin ihtiyaçlarınıza göre ayrılmış veya döngüsel havuz |
| Coğrafi Hedefleme Esnekliği | Sınırlı ülke/bölge seti | Pazaryeri için belirli bir şehir/bölge seçimi |
| Döngü Kontrolü | Otomatik, ayar yok | Gerekli kalıba göre manuel olarak ayarlanır |
Kullanım senaryoları: pazaryerlerinde veri çekme pratikte
Wildberries'te fiyat izleme. Rakiplerin fiyatlarını günde birkaç kez 3000-10000 SKU üzerinden izleyen satıcılar genellikle yerleşik Apify Proxy ile başlar, ancak ilk ayın ardından yüksek bir trafik faturası ile karşılaştıklarında konut proxy'lerine geçiş yaparlar. Bu, sadece maliyetleri düşürmekle kalmaz, aynı zamanda belirli bir şehirden bir alıcının gördüğü gibi fiyatları görmelerini sağlar — bu kritik bir durumdur, çünkü Wildberries depoya ve teslimat bölgesine bağlı olarak farklı fiyatlar gösterir.
Ozon'da ürün kartları toplama. Ozon, davranışsal analiz kullanır ve tekdüze talep kalıplarında IP'leri hızlı bir şekilde yasaklar. Yerleşik Apify Proxy aracılığıyla çalışan bir aktör, aynı IP'lerin platformun diğer kullanıcıları tarafından benzer görevler için eşzamanlı olarak kullanılması nedeniyle captcha ile daha sık karşılaşır. Kendi döngü mantığı ve talepler arasında rastgele gecikmeler ile ayrılmış konut proxy havuzuna geçiş, captcha sıklığını birkaç kat azaltır.
Google Maps ve yorumları çekme. Coğrafi spesifikasyon gerektirmeyen görevler için (örneğin, ülke genelinde şirketlerin iletişim bilgilerini toplamak) genellikle yeterli olan veri merkezi proxy'leri — bunlar, hedef site agresif bir anti-bot koruması uygulamıyorsa, konut proxy'lerinden daha hızlıdır ve büyük hacimlerde önemli ölçüde daha ucuzdur.
Apify projesi için proxy seçimi kontrol listesi
- Aktörün ayda gerçek trafik hacmini hesaplayın (istekler × sayfa ortalama ağırlığı)
- Bu hacmi yerleşik Apify Proxy tarifesi ile karşılaştırın — eğer düzenli olarak 5-10 GB'dan fazla çıkıyorsa, alternatifleri değerlendirin
- Hedef sitenin botlara ne kadar duyarlı olduğunu belirleyin — Ozon gibi pazaryerleri konut IP'leri gerektirir
- Belirli bir bölgeye coğrafi bağlılık gerekip gerekmediğini kontrol edin (Wildberries ve Ozon için geçerlidir)
- Dış havuza geçiş yaparken oturum döngülerini ve talepler arasındaki gecikmeleri manuel olarak ayarlayın
- Aktörde gereksiz kaynakların (görüntüler, fontlar, izleyiciler) yüklenmesini devre dışı bırakın — bu, proxy türünden bağımsız olarak trafik tüketimini azaltır
- Tüm aktörleri yeni konfigürasyona geçirmeden önce havuzu küçük bir hacimde test edin
Sonuç
Yerleşik Apify Proxy, tek seferlik görevler ve küçük test çalışmaları için kullanışlı bir başlangıçtır, ancak düzenli veya endüstriyel pazaryeri veri çekimlerinde maliyeti hızla kendi proxy havuzunuzun maliyetini aşar. Geçiş, başlangıçta biraz daha fazla ayar gerektirir — döngü, oturumlar ve proxy konfigürasyonunu aktör koduna yazmak — ancak 10-50 GB trafik hacimlerinde ilk ayda geri dönüş sağlar.
Eğer aktörleriniz Wildberries, Ozon veya Amazon'dan veri topluyorsa, konut proxy'lerine göz atın — bunlar düşük yasaklama riski sağlar ve fiyatların doğru bir şekilde görüntülenmesi için gerekli bölgeyi ayarlamanıza olanak tanır. Daha az korumalı kaynaklar için sert anti-bot olmayan veri merkezi proxy'leri daha bütçe dostudur, mobil uygulamalar ve sosyal medya üzerinden Apify aktörleri ile veri çekmek için mobil proxy'leri değerlendirmek faydalı olacaktır — bunlar, minimum tespit riski ile maksimum "temizlik" IP sağlar.