AliExpress, otomatik veri toplama ile aktif bir şekilde mücadele ediyor — veri çekme araçları captcha, IP için geçici yasaklar ve kimlik doğrulama talepleri alıyor. Eğer rakip fiyatlarını izliyorsanız, dropshipping için trend ürünler arıyorsanız veya bir pazar yeri için veri tabanı topluyorsanız, doğru ayarlanmış proxy olmadan çalışma sürekli bir engel mücadelesine dönüşüyor.
Bu rehberde, AliExpress için proxy nasıl seçilir, IP adreslerinin döngüsü nasıl ayarlanır, anti-bot sistemleri nasıl aşılır ve ürünler, fiyatlar ve yorumlar hakkında veri toplama işlemi nasıl otomatikleştirilir, bunun risk olmadan yapılmasını ele alacağız.
Neden AliExpress veri çekimini engelliyor ve bu nasıl çalışıyor
AliExpress, otomatik veri toplama için çok katmanlı bir koruma sistemi kullanıyor. Platform, rakiplerin katalogları topluca kopyalaması nedeniyle para kaybediyor ve sunucular botlar tarafından aşırı yükleniyor. Bu nedenle, koruma sürekli olarak geliştiriliyor ve daha agresif hale geliyor.
Veri çekme araçlarını tespit etmenin temel yöntemleri:
- Bir IP'den gelen isteklerin sıklığı — eğer bir dakikada 50'den fazla istek gelirse, sistem otomatik olarak captcha gösterir veya IP'yi 30-60 dakika boyunca geçici olarak engeller
- Davranış analizi — botlar sayfaları çok hızlı açar (0.5-1 saniye), fareyi hareket ettirmez, kaydırma yapmaz, arayüz öğelerine tıklamaz
- Çerezlerin olmaması — normal kullanıcılar siteyi ziyaret ederken çerez toplar, veri çekme araçları genellikle temiz bir oturumla çalışır
- Şüpheli User-Agent — eski tarayıcı sürümleri, sunucu kütüphaneleri (Python-requests, curl), istatistiklerde mobil cihazların olmaması
- Tarayıcı fingerprint'i — AliExpress, ekran çözünürlüğü, saat dilimi, yüklü fontlar, WebGL, Canvas gibi bilgileri toplar. Farklı IP'lerden gelen aynı fingerprint, bir botun işareti olarak kabul edilir
Sistem şüpheli bir aktivite tespit ettiğinde, engelleme derecelendirmesi uygular: önce captcha gösterir, ardından IP'ye 1-2 saatlik geçici yasak uygular, tekrar eden ihlallerde — 1 gün veya kalıcı yasak.
Önemli: AliExpress, Cloudflare ve kendi anti-bot sistemini kullanıyor. Sadece IP'yi değil, aynı zamanda TLS-fingerprint'i (protokol sürümü, şifreleme sırası) de analiz ediyor — eski HTTP istemcileri kullanıyorsanız, proxy ile bile yasaklanabilirsiniz.
AliExpress için hangi proxy türleri uygundur
Proxy türünün seçimi, veri çekme hacmine, bütçeye ve veri kalitesi gereksinimlerine bağlıdır. Her bir türü gerçek kullanım senaryolarıyla inceleyelim.
| Proxy Türü | Hız | Engellenme Riski | Ne Zaman Kullanılmalı |
|---|---|---|---|
| Veri Merkezi Proxy'leri | Yüksek (50-150 ms) | Yüksek | Hızlı veri çekme, sık IP döngüsü ile kamu verileri |
| Konut Proxy'leri | Orta (200-500 ms) | Düşük | Uzun süreli veri çekme, kimlik doğrulama ile veri toplama |
| Mobil Proxy'ler | Orta (300-700 ms) | Çok düşük | Mobil versiyondan veri çekme, sert engelleri aşma |
Hızlı veri çekme için veri merkezi proxy'leri
Büyük veri hacimlerini hızlı bir şekilde toplamak gerektiğinde uygundur: 10000'den fazla ürünün fiyatları, kategori özellikleri, satıcı listesi. 50-150 ms yanıt süresi, bir IP'den saniyede 5-10 istek yapmayı mümkün kılar.
Kullanım senaryosu: Shopify'da bir dropshipping mağazanız var, AliExpress'ten 5000 ürünün fiyatlarını her gün güncellemeniz gerekiyor. 50-100 veri merkezi IP'si alıyorsunuz ve her 10-15 istekte bir döngü yapıyorsunuz. 2-3 saat içinde tüm verileri topluyorsunuz, proxy maliyetiniz — ayda 50-100$.
Eksileri: AliExpress, veri merkezi IP'lerinin aralıklarını biliyor ve bunlara şüpheyle yaklaşıyor. Agresif bir döngüye ihtiyaç var (her 5-10 istekte bir IP değiştirmek) ve davranış taklidi (istekler arasında rastgele 2-5 saniye gecikme).
Konut proxy'leri için stabil veri çekme
Konut proxy'leri, gerçek ev kullanıcılarının IP'lerine sahiptir — sağlayıcılar bunları fiziksel kişilere verir. AliExpress, böyle bir proxy üzerinden yapılan isteği normal bir alıcının isteğinden ayırt edemez. Bu, veri merkezi proxy'lerine göre engellenme riskini 5-10 kat azaltır.
Kullanım senaryosu: Ozon'daki mağazanız için rakip fiyatlarını izliyorsunuz. Her gün 200-300 ürünü kontrol etmeniz, AliExpress ve Rus tedarikçilerle fiyatları karşılaştırmanız gerekiyor. 10-20 konut IP'si kullanıyorsunuz ve her 50-100 istekte bir döngü yapıyorsunuz. Veri çekme işlemi 30-40 dakika sürüyor, aylarca engel yok.
Artıları: Bir IP üzerinden daha uzun süre çalışabilirsiniz (100-200 istek yerine 10-20), daha az captcha, kimlik doğrulama ve satıcı paneli ile çalışma imkanı.
Mobil proxy'ler için sert engelleri aşma
Mobil IP'ler (3G/4G/5G operatörleri) maksimum güvenilirliğe sahiptir — AliExpress, mobil operatörlerin tüm alt ağlarını engelleyemez, bu milyonlarca gerçek alıcıyı engeller. Bir mobil IP, yüzlerce cihaz tarafından kullanılabilir (NAT), bu nedenle agresif veri çekme bile farklı kullanıcıların aktivitesi gibi görünür.
Kullanım senaryosu: Belirli bir bölgede konut IP'leri ile yasaklandınız, müşteriye rapor için acilen veri toplamanız gerekiyor. 2-3 mobil proxy alıyorsunuz, mobil versiyon üzerinden veri çekiyorsunuz (m.aliexpress.com). Agresif veri çekme (saniyede 1 istek) ile bile engel yok.
Eksileri: Konut proxy'lerine göre 2-3 kat daha pahalı, daha düşük hız (300-700 ms gecikme), IP, operatör yeniden bağlandığında değişebilir.
IP döngüsü ayarları: değişim sıklığı ve zaman aşımı
Doğru IP döngüsü, engel olmadan uzun süreli veri çekmenin anahtarıdır. Çok sık değişim şüpheli görünür ve proxy'leri tüketir, çok seyrek değişim ise yasaklara yol açar.
Proxy türlerine göre önerilen döngü sıklığı
| Proxy Türü | 1 IP için İstek Sayısı | İstekler Arası Gecikme | Oturum Süresi |
|---|---|---|---|
| Veri Merkezleri | 5-15 istek | 2-5 saniye | 1-3 dakika |
| Konut | 50-150 istek | 3-8 saniye | 10-30 dakika |
| Mobil | 100-300 istek | 1-3 saniye | 30-60 dakika |
Farklı görevler için döngü stratejileri
1. Katalogdan hızlı veri çekme (saatte 10000+ ürün)
- 100-200 veri merkezi IP'si kullanın
- Her 5-10 istekte bir döngü yapın
- Paralel akışlar: farklı IP'lerden 10-20 eşzamanlı istek
- İstekler arasında gecikme: 1-2 saniye (hızlı bir kullanıcı taklidi)
- IP'de captcha aldıysanız — onu 2-3 saat boyunca havuzdan çıkarın
2. Günlük fiyat izleme (500-1000 ürün)
- 10-20 konut IP'si kullanın
- Her 50-100 istekte bir döngü yapın
- 3-5 saniye gecikme ile ardışık istekler
- Aynı IP'den istekler arasında çerezleri saklayın
- Davranışı taklit edin: bazen ana sayfayı, kategorileri açın
3. Kimlik doğrulama ile veri çekme (satıcı paneli)
- Her hesap için bir konut veya mobil IP
- Oturum boyunca döngü yok (30-60 dakika)
- İstekler arasında 5-10 saniye gecikme
- Çerezleri, localStorage'ı, fingerprint'i saklayarak tam tarayıcı taklidi yapın
Tavsiye: Gecikmelere rastgelelik ekleyin. Sabit 3 saniye yerine 2-5 saniye aralığı kullanın. Bu, isteklerin desenini anti-bot sistemleri için daha az tahmin edilebilir hale getirir.
Anti-bot sistemlerini aşma: User-Agent, çerezler ve fingerprint
IP değişimi, sorunun sadece bir kısmını çözer. AliExpress, botları insanlardan ayırt etmek için isteklerin ve davranışların onlarca parametresini analiz eder. Proxy dışında neyin ayarlanması gerektiğini inceleyelim.
User-Agent ve HTTP başlıkları
User-Agent, sunucuya hangi tarayıcı ve işletim sisteminin istekte bulunduğunu bildirir. Veri çekme araçları genellikle kütüphanelerin varsayılan değerlerini (Python-requests/2.28.0) kullanır, bu da anında tespit edilir.
Doğru User-Agent ayarı:
- Güncel popüler tarayıcı sürümlerini kullanın: Chrome 120+, Firefox 121+, Safari 17+
- IP döngüsü sırasında User-Agent'ı değiştirin — bir IP farklı tarayıcılar göstermemelidir
- Mobil User-Agent'ları %40-50 oranında ekleyin (AliExpress trafiğinin yarısı mobil cihazlardır)
- Gerçek bir tarayıcıdan tüm başlık setini kopyalayın: Accept, Accept-Language, Accept-Encoding, Connection, Upgrade-Insecure-Requests
Desktop için doğru başlık örneği:
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
Accept-Language: en-US,en;q=0.9
Accept-Encoding: gzip, deflate, br
Connection: keep-alive
Upgrade-Insecure-Requests: 1
Sec-Fetch-Dest: document
Sec-Fetch-Mode: navigate
Sec-Fetch-Site: none
Sec-Fetch-User: ?1
Mobil cihaz için örnek:
User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 17_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.2 Mobile/15E148 Safari/604.1
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-US,en;q=0.9
Accept-Encoding: gzip, deflate, br
Çerezler ve oturumlarla çalışma
AliExpress, ilk ziyaret sırasında çerezler kurar: oturum kimliği, dil ve para birimi ayarları, izleme için tokenler. Çerez olmadan veri çekme araçları şüpheli görünür — normal bir kullanıcı siteyi gezdikçe çerez toplar.
Çerezlerle doğru çalışma:
- Veri çekmeden önce ana sayfayı açın ve tüm çerezleri saklayın
- Aynı IP'den sonraki tüm istekler için bu çerezleri kullanın
- IP değiştiğinde — yeni çerezlerle yeni bir oturum başlatın
- Veri çekme işlemleri arasında çerezleri saklayın — bu, geri dönen bir kullanıcı taklidi yapar
- Her 1-2 saatte bir çerezleri güncelleyin (ana sayfayı yeniden açın)
Tarayıcı fingerprint'i ve TLS-fingerprint
Modern anti-bot sistemleri, tarayıcının dijital fingerprint'ini toplar — cihazı benzersiz bir şekilde tanımlayan onlarca parametrenin kombinasyonu. Farklı IP'lerden bile aynı fingerprint, bir botu gösterir.
Tarayıcı fingerprint'ine neler dahildir:
- Ekran çözünürlüğü ve renk derinliği
- Saat dilimi ve sistem dili
- Yüklü fontların listesi
- WebGL ve Canvas fingerprint (grafik işleme için benzersiz yöntem)
- Ses bağlamı (AudioContext fingerprint)
- Tarayıcı eklentilerinin listesi
- WebRTC, Battery API ve diğer modern API'lerin desteği
Basit HTTP kütüphaneleri (requests, axios, curl) bu parametreleri içermez — protokol düzeyinde çalışırlar, render alma işlemi yapmazlar. Ciddi veri çekme işlemleri için tam bir tarayıcı ile çalışan araçlar gereklidir.
Tarayıcı taklidi için çözümler:
- Selenium + undetected-chromedriver — tespit aşmayı sağlamak için modifikasyonlarla gerçek Chrome'u başlatır
- Puppeteer + puppeteer-extra-plugin-stealth — otomasyonu maskelemek için eklentilerle birlikte Node.js kütüphanesi
- Playwright — Selenium'a modern bir alternatif, daha iyi performans
- Anti-tespit tarayıcıları — Dolphin Anty, AdsPower, Multilogin (arayüz üzerinden çalışma için)
Önemli: TLS-fingerprint (SSL bağlantısının fingerprint'i) de analiz edilmektedir. Eski Python ve Node.js sürümleri, bir botu gösteren eski şifreleme setlerini kullanır. Modern tarayıcıları taklit etmek için güncel kütüphane sürümlerini veya curl_cffi kullanın.
AliExpress için hazır veri çekme araçları
Sıfırdan bir veri çekme aracı yazmak, yalnızca spesifik görevler için mantıklıdır. Standart veri toplama (ürünler, fiyatlar, yorumlar) için, geliştirme haftalarını tasarruf ettiren hazır çözümler mevcuttur.
Ticari API hizmetleri
1. ScraperAPI (scrape.do, scrapingbee.com)
Proxy ve koruma aşma işlemlerinin tümünü üstlenen bulut hizmetleri. AliExpress ürün URL'sini onlara gönderiyorsunuz, HTML veya JSON formatında veriler geri alıyorsunuz.
- Artıları: kendi proxy'lere ihtiyaç yok, captcha otomatik olarak aşılır, popüler siteler için hazır veri çekme araçları
- Eksileri: büyük hacimlerde pahalı (100K istek için 50$'dan başlar), üçüncü taraf hizmetine bağımlılık
- Ne zaman kullanılmalı: tek seferlik görevler, prototipleme, küçük hacimler (ayda 10K ürüne kadar)
2. Bright Data (luminati.io)
Veri çekme için kendi araçları ile birlikte en büyük proxy sağlayıcısı. Sadece proxy sağlamakla kalmaz, aynı zamanda AliExpress'ten güncellenen ürün veri setleri de sunar.
- Artıları: devasa IP havuzu (72+ milyon konut), kurumsal müşteriler için altyapı
- Eksileri: çok pahalı (ayda 500$'dan başlar), karmaşık fiyatlandırma
- Ne zaman kullanılmalı: büyük bütçeye sahip büyük işletmeler, sürekli büyük hacimlerde veri çekme
Açık kaynak çözümleri
1. Scrapy + scrapy-rotating-proxies
Python'da veri çekmek için popüler bir çerçeve. Asenkron istekleri, otomatik proxy döngüsünü, CSV/JSON/veritabanına dışa aktarmayı destekler.
Scrapy'de proxy ayarları örneği:
# settings.py
ROTATING_PROXY_LIST = [
'http://user:pass@proxy1.example.com:8000',
'http://user:pass@proxy2.example.com:8000',
'http://user:pass@proxy3.example.com:8000',
]
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.retry.RetryMiddleware': 90,
'scrapy_rotating_proxies.middlewares.RotatingProxyMiddleware': 610,
'scrapy_rotating_proxies.middlewares.BanDetectionMiddleware': 620,
}
# Ban aşma ayarları
ROTATING_PROXY_PAGE_RETRY_TIMES = 5
ROTATING_PROXY_BACKOFF_BASE = 300 # proxy'nin yasak süresi (saniye)
2. Puppeteer + puppeteer-extra-plugin-stealth
Agresif koruma sistemine sahip siteler (AliExpress gibi) için tam bir tarayıcı gereklidir. Puppeteer, Chrome'u DevTools Protokolü aracılığıyla yönetir, stealth eklentisi otomasyon izlerini maskelemektedir.
// parser.js
const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');
puppeteer.use(StealthPlugin());
(async () => {
const browser = await puppeteer.launch({
args: [
'--proxy-server=http://proxy.example.com:8000',
'--no-sandbox',
'--disable-setuid-sandbox'
]
});
const page = await browser.newPage();
// Proxy kimlik doğrulaması
await page.authenticate({
username: 'user',
password: 'pass'
});
// Gerçekçi bir viewport ayarlama
await page.setViewport({
width: 1920,
height: 1080,
deviceScaleFactor: 1
});
// Ürün verisini çekme
await page.goto('https://www.aliexpress.com/item/1234567890.html', {
waitUntil: 'networkidle2'
});
const productData = await page.evaluate(() => {
return {
title: document.querySelector('.product-title-text')?.innerText,
price: document.querySelector('.product-price-value')?.innerText,
rating: document.querySelector('.overview-rating-average')?.innerText
};
});
console.log(productData);
await browser.close();
})();
Teknik olmayan kullanıcılar için masaüstü uygulamaları
1. Octoparse
Kod yazmadan görsel bir veri çekme aracı — sayfa öğelerine tıklıyorsunuz, program yapıyı hatırlıyor ve verileri topluyor. Entegre proxy desteği ve görev zamanlayıcısı mevcut.
- Artıları: programlama gerektirmiyor, dinamik içerik ile çalışıyor, arka planda çalışmak için bulut sürümü mevcut
- Eksileri: ücretsiz sürümde kısıtlamalar (ayda 10K satır), bazen karmaşık korumalarla başa çıkamıyor
- Fiyat: Standard plan için ayda 75$'dan başlıyor
2. ParseHub
Popüler siteler için entegre şablonlara sahip daha basit bir arayüze sahip Octoparse benzeri bir araç. AliExpress ile iyi çalışıyor.
- Artıları: 200 sayfa için ücretsiz plan, proxy ayarları kolay
- Eksileri: ücretsiz sürümde yavaş çalışma, gelişmiş özellikler yok (API, webhooks)
Coğrafi hedefleme: farklı ülkeler için fiyatları nasıl çekmelisiniz
AliExpress, kullanıcının ülkesine bağlı olarak farklı fiyatlar, ürün yelpazesi ve teslimat koşulları gösterir. Eğer uluslararası dropshipping ile çalışıyorsanız veya farklı pazarlar için fiyatları karşılaştırıyorsanız, belirli bölgelerden proxy'ler kullanmanız gerekir.
AliExpress, kullanıcının ülkesini nasıl belirliyor
Platform, birkaç veri kaynağı kullanır:
- IP adresi — ana yöntem, IP'nin coğrafi konumuna göre ülkeyi belirler
- Çerezler — seçilen ülkeyi aep_usuc_f içinde saklar (değiştirilebilir)
- Accept-Language başlığı — tarayıcı dili, ancak belirleyici bir faktör değildir
- URL'deki para birimi — ?currency=USD veya alt alan adları (ru.aliexpress.com) gibi parametreler
Belirli bir ülkenin fiyatlarını güvenilir bir şekilde çekmek için, o bölgeden proxy kullanmalısınız. Sadece çerezleri değiştirmek her zaman işe yaramaz — AliExpress, IP coğrafi konumunu önceliklendirir.
Veri çekme için popüler bölgeler ve özellikleri
| Ülke | Fiyat Özellikleri | Neden veri çekilmeli |
|---|---|---|
| ABD | Fiyatlar USD cinsinden, genellikle Avrupa'dan daha düşük | ABD'de dropshipping, Amazon ile karşılaştırma |
| Rusya | Fiyatlar RUB cinsinden, gümrük ve KDV dikkate alınır | Wildberries, Ozon ile karşılaştırma |
| Almanya | Fiyatlar EUR cinsinden, AB depolarından hızlı teslimat | Avrupa'da dropshipping, eBay.de |
| Brezilya | Gümrük nedeniyle yüksek fiyatlar, ancak büyük talep | Yerel e-ticaret (Mercado Livre) |
Proxy üzerinden coğrafi hedefleme ayarları
Çoğu konut ve mobil proxy sağlayıcısı, bağlantı parametreleri veya API aracılığıyla ülke (ve hatta şehir) seçmenize izin verir.
Proxy üzerinden ülke seçimi örneği:
# Format: username-country-ülke_kodu
proxy_us = "http://username-country-us:password@gate.example.com:8000"
proxy_de = "http://username-country-de:password@gate.example.com:8000"
proxy_br = "http://username-country-br:password@gate.example.com:8000"
# ABD için fiyat çekme
response_us = requests.get(
"https://www.aliexpress.com/item/1234567890.html",
proxies={"http": proxy_us, "https": proxy_us}
)
# Almanya için fiyat çekme
response_de = requests.get(
"https://www.aliexpress.com/item/1234567890.html",
proxies={"http": proxy_de, "https": proxy_de}
)
Bölgeye göre başlıkları ek olarak ayarlayın:
- Accept-Language: en-US ABD için, de-DE Almanya için, pt-BR Brezilya için
- İlgili alt alan adını kullanın: ru.aliexpress.com Rusya için, de.aliexpress.com Almanya için
- Cevapta para birimini kontrol edin — eğer yanlış para birimini görüyorsanız, coğrafi hedefleme çalışmamış demektir
Veri çekme sırasında yaygın hatalar ve bunlardan nasıl kaçınılır
Doğru proxy ve ayarlarla bile, veri çekme mantığında hatalar nedeniyle yasaklar alabilirsiniz. Sık karşılaşılan sorunları ve çözümlerini inceleyelim.
Hata 1: Aşırı agresif veri çekme
Sorun: Veri çekme aracı, verileri daha hızlı toplamak için bir IP'den dakikada 100 istek yapıyor. AliExpress bunu DDoS saldırısı olarak tespit ediyor ve IP'yi engelliyor.
Çözüm: Gecikmeler ve istek sayısı sınırlaması ekleyin. Konut proxy'leri için güvenli hız — bir IP'den dakikada 10-20 istek (3-6 saniyede 1 istek). Proxy kaybetmektense daha uzun süre veri çekmek daha iyidir.
Hata 2: Captcha ve hataları göz ardı etme
Sorun: Veri çekme aracı, captcha ile bir sayfa alıyor ama onu normal içerik gibi çekmeye devam ediyor. Sonuç olarak, veritabanında binlerce boş kayıt oluşuyor.
Çözüm: Veri çekmeden önce sunucu yanıtını kontrol edin. Eğer HTML'de "captcha", "Access Denied" kelimeleri veya 403/429 yanıt kodu varsa — bu IP'yi 1-2 saat boyunca kullanmayı bırakın.
def is_blocked(html):
blocked_keywords = ['captcha', 'access denied', 'too many requests']
return any(keyword in html.lower() for keyword in blocked_keywords)
response = requests.get(url, proxies=proxy)
if is_blocked(response.text):
print(f"Proxy {proxy} engellendi, değiştiriliyor...")
# Proxy'yi 2 saat boyunca havuzdan çıkar
blocked_proxies[proxy] = time.time() + 7200
continue
Hata 3: Eski verileri çekme
Sorun: AliExpress, sayfaları CDN (Cloudflare) üzerinden önbelleğe alıyor. Veri çekme aracı, güncel fiyatlar yerine 2-3 saat önceki verileri alıyor.
Çözüm: Önbelleği aşmak için URL'ye rastgele bir parametre ekleyin veya Cache-Control: no-cache başlığını kullanın.
import random
import time
# Önbelleği aşmak için URL'ye zaman damgası ekleyin
url = f"https://www.aliexpress.com/item/1234567890.html?_t={int(time.time())}"
# Ya da başlık kullanın
headers = {
'Cache-Control': 'no-cache',
'Pragma': 'no-cache'
}
Hata 4: Dinamik içeriği yanlış işleme
Sorun: AliExpress'teki ürünlerin fiyatları ve özellikleri, sayfa yüklendikten sonra JavaScript ile yükleniyor. Basit bir HTTP isteği, verisiz boş bir HTML şablonu alıyor.
Çözüm: JavaScript'i çalıştıran ve içeriğin tamamen yüklenmesini bekleyen headless tarayıcı (Selenium, Puppeteer, Playwright) kullanın. Ya da JSON formatında veri döndüren bir API uç noktasını bulun — genellikle bu, DevTools'da Network sekmesinde mevcuttur.
Hata 5: Günlükleme ve izleme eksikliği
Sorun: Veri çekme aracı bir hafta çalışıyor, verileri topluyor ama kimse kalitesini kontrol etmiyor. Sonuç olarak, kayıtların %30'u site yapısındaki değişiklikler nedeniyle boş çıkıyor.
Çözüm: Tüm önemli olayları — başarılı istekler, hatalar, proxy engellemeleri, veri yapısındaki değişiklikler — günlüğe kaydedin. Hataların sayısı %10'un üzerine çıktığında uyarılar ayarlayın.
Veri çekme aracını başlatmadan önce kontrol listesi:
✅ İstekler arasında gecikmeler ayarlandı (konut proxy'leri için 3-8 saniye)
✅ IP döngüsü çalışıyor (bir IP için 50-100 istekten fazla değil)
✅ User-Agent güncel ve IP ile birlikte değişiyor
✅ Çerezler saklanıyor ve yeniden kullanılıyor
✅ Captcha ve engellemeler için kontrol var
✅ Günlükleme ve izleme ayarlandı
✅ 100 ürün üzerinde test çalışması başarılı oldu
Sonuç
AliExpress'ten veri çekme, kapsamlı bir yaklaşım gerektirir: doğru proxy'ler sadece çözümün bir parçasıdır. Akıllı bir IP döngüsü, gerçek bir tarayıcı taklidi, çerezlerle ve fingerprint ile çalışma, ayrıca veri kalitesinin sürekli izlenmesi gereklidir. Aşırı agresif veri çekme, pahalı proxy'lerle bile engellere yol açacaktır, doğru ayarlar ise aylarca sorunsuz veri toplamanızı sağlar.
Çoğu görev için (rakip fiyat izleme, dropshipping için katalog toplama, trend analizi) en iyi seçim, konut proxy'leri ile her 50-100 istekte bir döngü yapmaktır. Bu, çalışma hızı ile AliExpress'in güven düzeyi arasında bir denge sağlar. Bütçeniz kısıtlıysa ve yüksek hız gerekiyorsa, veri merkezi proxy'leri ile başlayın, ancak daha sık engellemelerle karşılaşmaya ve agresif döngü yapmaya hazır olun.
Unutmayın: proxy kalitesi, miktarından daha önemlidir. Doğru ayarlarla 10 kaliteli konut IP'si, % yüksek engelleme oranına sahip 100 ucuz veri merkezi proxy'sinden daha iyi sonuç verir. Tarayıcı taklidi, günlükleme ve izleme ayarlarına zaman ayırın — bu, sürekli captcha ve yasaklarla ilgili sorunlardan uzak, stabil bir veri çekme aracı çalıştırmanızı sağlayacaktır.