Proxy untuk Pengambilan Data AliExpress: Cara Mengumpulkan Informasi Produk Tanpa Pemblokiran

AliExpress secara aktif melawan pengumpulan data otomatis — parser mendapatkan captcha, pemblokiran sementara berdasarkan IP, dan permintaan otorisasi. Jika Anda memantau harga pesaing, mencari produk tren untuk dropshipping, atau mengumpulkan basis data untuk marketplace, tanpa proksi yang diatur dengan benar, pekerjaan Anda akan menjadi perjuangan terus-menerus melawan pemblokiran.

Dalam panduan ini, kita akan membahas cara memilih proksi untuk parsing AliExpress, mengatur rotasi alamat IP, menghindari sistem anti-bot, dan mengotomatiskan pengumpulan data tentang produk, harga, dan ulasan tanpa risiko terkena pemblokiran.

Mengapa AliExpress memblokir parsing dan bagaimana cara kerjanya

AliExpress menggunakan sistem perlindungan multi-level terhadap pengumpulan data otomatis. Platform kehilangan uang ketika pesaing secara massal menyalin katalog, dan server menjadi terbebani oleh bot. Oleh karena itu, perlindungan terus-menerus disempurnakan dan menjadi lebih agresif.

Metode utama untuk mendeteksi parser:

• Frekuensi permintaan dari satu IP — jika dalam satu menit ada 50+ permintaan dari satu alamat, sistem secara otomatis menampilkan captcha atau memblokir IP sementara selama 30-60 menit
• Analisis perilaku — bot membuka halaman terlalu cepat (0.5-1 detik), tidak menggerakkan mouse, tidak menggulir, tidak mengklik elemen antarmuka
• Ketidakadaan cookies — pengguna normal mengumpulkan cookies saat mengunjungi situs, parser sering bekerja dengan sesi bersih
• User-Agent yang mencurigakan — versi lama browser, pustaka server (Python-requests, curl), tidak adanya perangkat mobile dalam statistik
• Fingerprint browser — AliExpress mengumpulkan fingerprint: resolusi layar, zona waktu, font yang terpasang, WebGL, Canvas. Fingerprint yang sama dari berbagai IP — tanda bot

Ketika sistem mendeteksi aktivitas mencurigakan, ia menerapkan gradasi pemblokiran: pertama menampilkan captcha, kemudian pemblokiran sementara IP selama 1-2 jam, jika pelanggaran berulang — pemblokiran selama sehari atau permanen.

Jenis proksi apa yang cocok untuk parsing AliExpress

Pemilihan jenis proksi tergantung pada volume parsing, anggaran, dan persyaratan kualitas data. Mari kita bahas setiap jenis dengan skenario penggunaan yang nyata.

Proksi pusat data untuk parsing cepat

Cocok ketika Anda perlu mengumpulkan sejumlah besar data dengan cepat: harga untuk 10000+ produk, spesifikasi kategori, daftar penjual. Kecepatan respons 50-150 ms memungkinkan melakukan 5-10 permintaan per detik dari satu IP.

Skenario penggunaan: Anda memiliki toko dropshipping di Shopify, perlu memperbarui harga untuk 5000 produk dari AliExpress setiap hari. Membeli kumpulan 50-100 IP pusat data dengan rotasi setiap 10-15 permintaan. Dalam 2-3 jam, Anda mengumpulkan semua data, biaya untuk proksi — 50-100$ per bulan.

Kekurangan: AliExpress mengetahui rentang IP pusat data dan memperlakukannya dengan curiga. Diperlukan rotasi agresif (mengganti IP setiap 5-10 permintaan) dan emulasi perilaku (penundaan acak 2-5 detik antara permintaan).

Proksi residensial untuk parsing yang stabil

Proksi residensial memiliki IP dari pengguna rumah nyata — penyedia memberikan kepada individu. AliExpress tidak dapat membedakan permintaan melalui proksi ini dari permintaan pembeli biasa. Ini mengurangi risiko pemblokiran 5-10 kali dibandingkan dengan pusat data.

Skenario penggunaan: Anda memantau harga pesaing untuk toko Anda di Ozon. Perlu memeriksa 200-300 produk setiap hari, membandingkan harga di AliExpress dan dengan pemasok Rusia. Menggunakan 10-20 IP residensial dengan rotasi setiap 50-100 permintaan. Parsing memakan waktu 30-40 menit, tidak ada pemblokiran selama berbulan-bulan.

Kelebihan: Anda dapat bekerja dari satu IP lebih lama (100-200 permintaan dibandingkan 10-20), lebih sedikit captcha, kemungkinan otorisasi dan bekerja dengan akun pribadi penjual.

Proksi mobile untuk menghindari pemblokiran yang ketat

IP mobile (operator 3G/4G/5G) memiliki kepercayaan maksimum — AliExpress tidak dapat memblokir seluruh subnet operator mobile, ini akan memblokir jutaan pembeli nyata. Satu IP mobile dapat digunakan oleh ratusan perangkat (NAT), sehingga bahkan parsing agresif terlihat seperti aktivitas pengguna yang berbeda.

Skenario penggunaan: Anda sudah terkena pemblokiran dengan IP residensial di wilayah tertentu, perlu segera mengumpulkan data untuk laporan kepada klien. Mengambil 2-3 proksi mobile, parsing melalui versi mobile situs (m.aliexpress.com). Bahkan dengan parsing agresif (1 permintaan per detik) tidak ada pemblokiran.

Kekurangan: Lebih mahal dibandingkan residensial 2-3 kali, kecepatan lebih rendah (300-700 ms penundaan), IP dapat berubah saat operator terputus.

Pengaturan rotasi IP: frekuensi perubahan dan timeout

Rotasi IP yang benar adalah kunci untuk parsing jangka panjang tanpa pemblokiran. Terlalu sering mengganti terlihat mencurigakan dan menghabiskan proksi, terlalu jarang — mengarah pada pemblokiran.

Frekuensi rotasi yang disarankan berdasarkan jenis proksi

Strategi rotasi untuk berbagai tugas

1. Parsing cepat katalog (10000+ produk dalam satu jam)

• Gunakan kumpulan 100-200 IP pusat data
• Rotasi setiap 5-10 permintaan
• Aliran paralel: 10-20 permintaan simultan dari IP yang berbeda
• Penundaan antara permintaan: 1-2 detik (meniru pengguna cepat)
• Jika mendapatkan captcha pada IP — kecualikan dari kumpulan selama 2-3 jam

2. Pemantauan harga harian (500-1000 produk)

• Gunakan 10-20 IP residensial
• Rotasi setiap 50-100 permintaan
• Permintaan berurutan dengan penundaan 3-5 detik
• Simpan cookies antara permintaan dari satu IP
• Meniru perilaku: kadang-kadang buka halaman utama, kategori

3. Parsing dengan otorisasi (akun pribadi penjual)

• Satu IP residensial atau mobile per akun
• Tanpa rotasi selama sesi (30-60 menit)
• Penundaan 5-10 detik antara permintaan
• Emulasi browser lengkap: menyimpan cookies, localStorage, fingerprint

Menghindari sistem anti-bot: User-Agent, cookies, dan fingerprint

Mengganti IP hanya menyelesaikan sebagian masalah. AliExpress menganalisis puluhan parameter permintaan dan perilaku untuk membedakan bot dari manusia. Mari kita bahas apa yang perlu diatur selain proksi.

User-Agent dan header HTTP

User-Agent memberi tahu server tentang browser dan sistem operasi yang membuat permintaan. Parser sering menggunakan nilai default dari pustaka (Python-requests/2.28.0), yang dapat dihitung dengan cepat.

Pengaturan User-Agent yang benar:

• Gunakan versi terkini dari browser populer: Chrome 120+, Firefox 121+, Safari 17+
• Ganti User-Agent saat rotasi IP — satu IP tidak boleh menunjukkan browser yang berbeda
• Tambahkan User-Agent mobile dalam proporsi 40-50% (setengah lalu lintas AliExpress adalah perangkat mobile)
• Salin set lengkap header dari browser nyata: Accept, Accept-Language, Accept-Encoding, Connection, Upgrade-Insecure-Requests

Contoh header yang benar untuk desktop:

User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
Accept-Language: en-US,en;q=0.9
Accept-Encoding: gzip, deflate, br
Connection: keep-alive
Upgrade-Insecure-Requests: 1
Sec-Fetch-Dest: document
Sec-Fetch-Mode: navigate
Sec-Fetch-Site: none
Sec-Fetch-User: ?1

Contoh untuk perangkat mobile:

User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 17_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.2 Mobile/15E148 Safari/604.1
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-US,en;q=0.9
Accept-Encoding: gzip, deflate, br

Bekerja dengan cookies dan sesi

AliExpress menetapkan cookies saat kunjungan pertama: ID sesi, pengaturan bahasa dan mata uang, token untuk pelacakan. Parser tanpa cookies terlihat mencurigakan — pengguna normal mengumpulkan cookies saat menjelajahi situs.

Pengelolaan cookies yang benar:

• Sebelum parsing, buka halaman utama dan simpan semua cookies
• Gunakan cookies ini untuk semua permintaan berikutnya dari IP yang sama
• Ketika mengganti IP — mulai sesi baru dengan cookies baru
• Simpan cookies antara peluncuran parser — ini meniru pengguna yang kembali
• Perbarui cookies setiap 1-2 jam (buka halaman utama lagi)

Fingerprint browser dan TLS-fingerprint

Sistem anti-bot modern mengumpulkan fingerprint digital browser — kombinasi puluhan parameter yang secara unik mengidentifikasi perangkat. Bahkan dari IP yang berbeda, fingerprint yang sama menunjukkan bot.

Apa yang termasuk dalam fingerprint browser:

• Resolusi layar dan kedalaman warna
• Zona waktu dan bahasa sistem
• Daftar font yang terpasang
• Fingerprint WebGL dan Canvas (metode unik untuk merender grafik)
• Konteks audio (Fingerprint AudioContext)
• Daftar plugin browser
• Dukungan WebRTC, Battery API, dan API modern lainnya

Pustaka HTTP sederhana (requests, axios, curl) tidak memiliki parameter ini — mereka bekerja di tingkat protokol tanpa rendering. Untuk parsing yang serius, diperlukan alat dengan browser penuh.

Solusi untuk emulasi browser:

• Selenium + undetected-chromedriver — menjalankan Chrome nyata dengan modifikasi untuk menghindari deteksi
• Puppeteer + puppeteer-extra-plugin-stealth — pustaka Node.js dengan plugin untuk menyembunyikan otomatisasi
• Playwright — alternatif modern untuk Selenium dengan kinerja lebih baik
• Browser antidetect — Dolphin Anty, AdsPower, Multilogin (untuk bekerja melalui antarmuka)

Alat siap pakai untuk parsing AliExpress

Menulis parser dari nol hanya masuk akal untuk tugas spesifik. Untuk pengumpulan data standar (produk, harga, ulasan) ada solusi siap pakai yang menghemat minggu pengembangan.

Layanan komersial dengan API

1. ScraperAPI (scrape.do, scrapingbee.com)

Layanan cloud yang menangani semua pekerjaan dengan proksi dan menghindari perlindungan. Anda mengirimkan URL produk AliExpress kepada mereka, mereka mengembalikan HTML atau JSON dengan data.

• Kelebihan: tidak perlu proksi sendiri, otomatis menghindari captcha, parser siap pakai untuk situs populer
• Kekurangan: mahal untuk volume besar (dari 50$ untuk 100K permintaan), ketergantungan pada layanan pihak ketiga
• Kapan digunakan: tugas sekali, prototyping, volume kecil (hingga 10K produk per bulan)

2. Bright Data (luminati.io)

Penyedia proksi terbesar dengan alat parsing mereka sendiri. Menyediakan tidak hanya proksi, tetapi juga dataset siap pakai dari AliExpress (basis data produk yang diperbarui).

• Kelebihan: kumpulan IP yang sangat besar (72+ juta residensial), infrastruktur untuk klien Enterprise
• Kekurangan: sangat mahal (dari 500$ per bulan), penetapan tarif yang rumit
• Kapan digunakan: bisnis besar dengan anggaran, parsing terus-menerus dalam volume besar

Solusi open-source

1. Scrapy + scrapy-rotating-proxies

Kerangka kerja populer untuk parsing di Python. Mendukung permintaan asinkron, rotasi proksi otomatis, ekspor ke CSV/JSON/basis data.

Contoh pengaturan proksi di Scrapy:

# settings.py
ROTATING_PROXY_LIST = [
    'http://user:pass@proxy1.example.com:8000',
    'http://user:pass@proxy2.example.com:8000',
    'http://user:pass@proxy3.example.com:8000',
]

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': 90,
    'scrapy_rotating_proxies.middlewares.RotatingProxyMiddleware': 610,
    'scrapy_rotating_proxies.middlewares.BanDetectionMiddleware': 620,
}

# Pengaturan untuk menghindari pemblokiran
ROTATING_PROXY_PAGE_RETRY_TIMES = 5
ROTATING_PROXY_BACKOFF_BASE = 300  # waktu pemblokiran proksi dalam detik

2. Puppeteer + puppeteer-extra-plugin-stealth

Untuk situs dengan perlindungan agresif (seperti AliExpress) diperlukan browser penuh. Puppeteer mengontrol Chrome melalui Protokol DevTools, plugin stealth menyembunyikan tanda-tanda otomatisasi.

// parser.js
const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');

puppeteer.use(StealthPlugin());

(async () => {
  const browser = await puppeteer.launch({
    args: [
      '--proxy-server=http://proxy.example.com:8000',
      '--no-sandbox',
      '--disable-setuid-sandbox'
    ]
  });

  const page = await browser.newPage();
  
  // Otorisasi proksi
  await page.authenticate({
    username: 'user',
    password: 'pass'
  });

  // Mengatur viewport yang realistis
  await page.setViewport({
    width: 1920,
    height: 1080,
    deviceScaleFactor: 1
  });

  // Parsing produk
  await page.goto('https://www.aliexpress.com/item/1234567890.html', {
    waitUntil: 'networkidle2'
  });

  const productData = await page.evaluate(() => {
    return {
      title: document.querySelector('.product-title-text')?.innerText,
      price: document.querySelector('.product-price-value')?.innerText,
      rating: document.querySelector('.overview-rating-average')?.innerText
    };
  });

  console.log(productData);
  await browser.close();
})();

Aplikasi desktop untuk pengguna non-teknis

1. Octoparse

Parser visual tanpa kode — Anda mengklik elemen halaman, program mengingat struktur dan mengumpulkan data. Dukungan proksi bawaan dan penjadwal tugas.

• Kelebihan: tidak perlu pemrograman, bekerja dengan konten dinamis, versi cloud untuk pekerjaan latar belakang
• Kekurangan: batasan dalam versi gratis (10K baris per bulan), kadang-kadang tidak dapat menangani perlindungan yang rumit
• Harga: dari 75$ per bulan untuk rencana Standard

2. ParseHub

Setara Octoparse dengan antarmuka yang lebih sederhana. Bekerja dengan baik dengan AliExpress berkat template bawaan untuk situs populer.

• Kelebihan: tarif gratis untuk 200 halaman, pengaturan proksi yang sederhana
• Kekurangan: pekerjaan lambat dalam versi gratis, tidak ada fitur canggih (API, webhooks)

Geo-targeting: cara parsing harga untuk berbagai negara

AliExpress menunjukkan harga, pilihan, dan kondisi pengiriman yang berbeda tergantung pada negara pengguna. Jika Anda bekerja dengan dropshipping internasional atau membandingkan harga untuk berbagai pasar, Anda memerlukan proksi dari wilayah tertentu.

Bagaimana AliExpress menentukan negara pengguna

Platform menggunakan beberapa sumber data:

• Alamat IP — cara utama, menentukan negara berdasarkan geolokasi IP
• Cookies — menyimpan negara yang dipilih dalam aep_usuc_f (dapat diganti)
• Header Accept-Language — bahasa browser, tetapi bukan faktor penentu
• Mata uang dalam URL — parameter ?currency=USD atau subdomain (ru.aliexpress.com)

Untuk parsing harga yang dapat diandalkan dari negara tertentu, Anda perlu menggunakan proksi dari wilayah tersebut. Mengganti hanya cookies tidak selalu berhasil — AliExpress memprioritaskan geolokasi IP.

Wilayah populer untuk parsing dan fitur mereka

Pengaturan geo-targeting melalui proksi

Sebagian besar penyedia proksi residensial dan mobile memungkinkan Anda memilih negara (dan bahkan kota) melalui parameter koneksi atau API.

Contoh pemilihan negara melalui username proksi:

# Format: username-country-kode_negara
proxy_us = "http://username-country-us:password@gate.example.com:8000"
proxy_de = "http://username-country-de:password@gate.example.com:8000"
proxy_br = "http://username-country-br:password@gate.example.com:8000"

# Parsing harga untuk AS
response_us = requests.get(
    "https://www.aliexpress.com/item/1234567890.html",
    proxies={"http": proxy_us, "https": proxy_us}
)

# Parsing harga untuk Jerman
response_de = requests.get(
    "https://www.aliexpress.com/item/1234567890.html",
    proxies={"http": proxy_de, "https": proxy_de}
)

Sesuaikan header untuk wilayah:

• Accept-Language: en-US untuk AS, de-DE untuk Jerman, pt-BR untuk Brasil
• Gunakan subdomain yang sesuai: ru.aliexpress.com untuk Rusia, de.aliexpress.com untuk Jerman
• Periksa mata uang dalam respons — jika Anda melihat mata uang yang salah, berarti geo-targeting tidak berhasil

Kesalahan umum saat parsing dan cara menghindarinya

Bahkan dengan proksi dan pengaturan yang benar, Anda bisa mendapatkan pemblokiran karena kesalahan dalam logika parsing. Mari kita bahas masalah umum dan solusinya.

Kesalahan 1: Parsing yang terlalu agresif

Masalah: Parser melakukan 100 permintaan per menit dari satu IP, mencoba mengumpulkan data lebih cepat. AliExpress mendeteksi ini sebagai serangan DDoS dan memblokir IP.

Solusi: Tambahkan penundaan dan batasan pada jumlah permintaan. Untuk proksi residensial, kecepatan aman adalah 10-20 permintaan per menit dari satu IP (1 permintaan setiap 3-6 detik). Lebih baik parsing lebih lama daripada kehilangan proksi.

Kesalahan 2: Mengabaikan captcha dan kesalahan

Masalah: Parser mendapatkan halaman dengan captcha, tetapi terus memparsingnya seperti konten biasa. Akibatnya — ribuan entri kosong dalam basis data.

Solusi: Periksa respons server sebelum parsing. Jika dalam HTML ada kata "captcha", "Access Denied" atau kode respons 403/429 — berhenti menggunakan IP ini selama 1-2 jam.

def is_blocked(html):
    blocked_keywords = ['captcha', 'access denied', 'too many requests']
    return any(keyword in html.lower() for keyword in blocked_keywords)

response = requests.get(url, proxies=proxy)
if is_blocked(response.text):
    print(f"Proksi {proxy} diblokir, beralih...")
    # Kecualikan proksi dari kumpulan selama 2 jam
    blocked_proxies[proxy] = time.time() + 7200
    continue

Kesalahan 3: Parsing data yang usang

Masalah: AliExpress menyimpan halaman melalui CDN (Cloudflare). Parser mendapatkan data yang sudah 2-3 jam yang lalu daripada harga yang aktual.

Solusi: Tambahkan parameter acak dalam URL untuk menghindari cache, atau gunakan header Cache-Control: no-cache.

import random
import time

# Tambahkan timestamp dalam URL untuk menghindari cache
url = f"https://www.aliexpress.com/item/1234567890.html?_t={int(time.time())}"

# Atau gunakan header
headers = {
    'Cache-Control': 'no-cache',
    'Pragma': 'no-cache'
}

Kesalahan 4: Penanganan konten dinamis yang salah

Masalah: Harga dan spesifikasi produk di AliExpress dimuat melalui JavaScript setelah halaman dimuat. Permintaan HTTP sederhana mendapatkan template HTML kosong tanpa data.

Solusi: Gunakan browser headless (Selenium, Puppeteer, Playwright) yang menjalankan JavaScript dan menunggu pemuatan konten yang lengkap. Atau cari endpoint API yang mengembalikan data dalam JSON — sering kali tersedia melalui DevTools di Network.

Kesalahan 5: Tidak adanya logging dan monitoring

Masalah: Parser berjalan selama seminggu, mengumpulkan data, tetapi tidak ada yang memeriksa kualitas. Ternyata 30% entri adalah kosong karena perubahan dalam struktur situs.

Solusi: Log semua peristiwa penting — permintaan yang berhasil, kesalahan, pemblokiran proksi, perubahan struktur data. Atur peringatan saat jumlah kesalahan meningkat di atas 10%.

Kesimpulan

Parsing AliExpress memerlukan pendekatan komprehensif: proksi yang benar hanya bagian dari solusi. Diperlukan rotasi IP yang cerdas, emulasi browser nyata, bekerja dengan cookies dan fingerprint, serta pemantauan kualitas data yang konstan. Parsing yang terlalu agresif akan menyebabkan pemblokiran bahkan dengan proksi yang mahal, sementara pengaturan yang benar memungkinkan pengumpulan data selama berbulan-bulan tanpa masalah.

Untuk sebagian besar tugas (memantau harga pesaing, mengumpulkan katalog untuk dropshipping, menganalisis tren) pilihan optimal adalah proksi residensial dengan rotasi setiap 50-100 permintaan. Mereka memberikan keseimbangan antara kecepatan kerja dan tingkat kepercayaan dari AliExpress. Jika anggaran terbatas dan membutuhkan kecepatan tinggi — mulailah dengan proksi pusat data, tetapi bersiaplah untuk pemblokiran yang lebih sering dan kebutuhan rotasi yang agresif.

Ingatlah: kualitas proksi lebih penting daripada jumlahnya. 10 IP residensial berkualitas dengan pengaturan yang benar akan memberikan hasil yang lebih baik daripada 100 proksi pusat data murah dengan persentase pemblokiran yang tinggi. Investasikan waktu dalam pengaturan emulasi browser, logging, dan monitoring — ini akan terbayar dengan kinerja parser yang stabil tanpa masalah konstan dengan captcha dan pemblokiran.