Cara Mengumpulkan Data Produk Tren di Marketplace Melalui Proxy Tanpa Pemblokiran

Keberhasilan di marketplace sangat bergantung pada kecepatan respons terhadap tren. Sementara Anda secara manual menggulir katalog Wildberries dan Ozon, pesaing sudah mengotomatiskan pengumpulan data melalui proxy dan mendapatkan informasi tentang produk terlaris secara real-time. Namun, marketplace aktif memblokir pengambilan data — tanpa pengaturan proxy yang benar, Anda berisiko kehilangan akses ke platform atau mendapatkan data yang tidak lengkap.

Dalam panduan ini, kita akan membahas cara mengatur sistem pengumpulan data otomatis tentang produk tren, jenis proxy mana yang dipilih untuk berbagai marketplace, dan bagaimana menghindari kesalahan umum yang dapat menyebabkan pemblokiran.

Mengapa marketplace memblokir pengambilan data dan bagaimana proxy menyelesaikan masalah

Marketplace menghabiskan jutaan untuk melindungi diri dari pengumpulan data otomatis. Alasannya sederhana: pengambilan data menciptakan beban pada server dan memungkinkan pesaing mendapatkan informasi komersial. Wildberries, Ozon, dan platform lainnya menggunakan sistem perlindungan berlapis yang melacak aktivitas mencurigakan.

Sistem anti-pengambilan data menganalisis beberapa parameter secara bersamaan. Jika dari satu alamat IP datang 100 permintaan dalam satu menit — itu adalah tanda jelas bot. Pembeli biasa hanya melihat 5-10 halaman produk dalam waktu tersebut. Juga dilacak User-Agent browser, frekuensi klik, gerakan mouse, dan bahkan waktu yang dihabiskan di halaman.

Proxy menyelesaikan masalah kunci — mendistribusikan permintaan di antara berbagai alamat IP. Alih-alih mengirim 1000 permintaan dari IP nyata Anda, sistem membuat 10-20 permintaan dari masing-masing 50-100 alamat yang berbeda. Bagi marketplace, ini terlihat seperti aktivitas pengguna biasa dari berbagai kota.

Jenis proxy mana yang dipilih untuk pengumpulan data produk

Untuk pengambilan data di marketplace, ada tiga jenis proxy yang cocok, masing-masing dengan kelebihan dan batasan tersendiri. Pemilihan tergantung pada volume data, anggaran, dan kebutuhan kecepatan pengumpulan informasi.

Proxy Data Center: ketika kecepatan lebih penting daripada anonimitas

Jika Anda perlu mengumpulkan data dalam jumlah besar dengan cepat dari platform yang kurang dilindungi (seperti AliExpress atau Yandex.Market), proxy data center adalah pilihan yang optimal. Mereka beroperasi di server penyedia hosting, sehingga memberikan kecepatan pemuatan halaman yang tinggi.

Kekurangan utama — marketplace dengan mudah dapat menentukan IP data center dan dapat memblokirnya jika ada aktivitas mencurigakan. Solusinya — gunakan kumpulan IP yang besar (dari 50-100 alamat) dan atur rotasi cepat: ganti IP setelah setiap 10-15 permintaan.

Proxy Residensial: jalan tengah untuk sebagian besar tugas

Proxy residensial menggunakan alamat IP dari penyedia internet nyata yang diberikan kepada pengguna biasa. Untuk Wildberries atau Ozon, lalu lintas ini terlihat sepenuhnya sah — seolah-olah produk sedang dilihat oleh pembeli dari Moskow, St. Petersburg, atau Kazan.

Jenis proxy ini cocok untuk pemantauan tren secara rutin, ketika Anda mengumpulkan data setiap hari atau beberapa kali sehari. Biaya dihitung berdasarkan lalu lintas — untuk pengambilan 10.000 kartu produk, Anda akan membutuhkan sekitar 5-10 GB tergantung pada volume gambar dan deskripsi.

Proxy Seluler: perlindungan maksimal untuk tugas kritis

Proxy seluler menggunakan alamat IP dari operator seluler (MTS, Beeline, MegaFon). Marketplace sangat jarang memblokir alamat semacam itu, karena satu IP dapat melayani ribuan pengguna nyata — operator menggunakan teknologi CGNAT (IP umum untuk banyak pelanggan).

Proxy seluler masuk akal digunakan untuk pengambilan data di bagian marketplace yang sangat dilindungi atau ketika Anda sudah mengalami pemblokiran saat menggunakan jenis proxy lainnya. Mereka juga sangat diperlukan untuk mengumpulkan data dari aplikasi seluler Wildberries dan Ozon, di mana perlindungannya bahkan lebih ketat.

Fitur pengambilan data di berbagai marketplace: Wildberries, Ozon, AliExpress

Setiap marketplace menggunakan sistem perlindungan mereka sendiri terhadap pengambilan data. Memahami fitur-fitur ini akan membantu Anda mengatur proxy secara maksimal dan menghindari pemblokiran.

Wildberries: perlindungan ketat dan keterikatan geografis

Wildberries menggunakan salah satu sistem perlindungan paling canggih di antara marketplace Rusia. Platform ini menganalisis tidak hanya frekuensi permintaan, tetapi juga faktor perilaku: waktu di halaman, gulir, klik pada elemen. Untuk pengambilan data yang sukses, perlu meniru tindakan pengguna nyata.

Fitur penting — keterikatan geografis harga dan ketersediaan produk. Wildberries menunjukkan variasi produk yang berbeda untuk Moskow, daerah, dan wilayah terpencil. Jika Anda mengumpulkan data tentang tren untuk dijual di seluruh Rusia, gunakan proxy dari berbagai daerah: Moskow, St. Petersburg, Yekaterinburg, Novosibirsk, Krasnodar.

Ozon: API untuk mitra dan perlindungan katalog publik

Ozon menyediakan API resmi untuk penjual, tetapi tidak memberikan akses ke data pesaing. Untuk analisis tren, Anda tetap harus mengumpulkan data dari katalog publik. Perlindungan Ozon kurang agresif dibandingkan Wildberries, tetapi platform ini aktif menggunakan captcha saat ada aktivitas mencurigakan.

Fitur Ozon — pemuatan konten dinamis melalui JavaScript. Permintaan HTTP sederhana tidak akan berhasil, Anda memerlukan parser yang mendukung JavaScript (Selenium, Puppeteer) atau browser headless. Ini meningkatkan beban pada proxy, jadi siapkan untuk pengeluaran trafik yang lebih besar — hingga 15-20 GB untuk 10.000 kartu.

AliExpress: pengambilan massal dengan batasan regional

AliExpress menunjukkan harga dan syarat pengiriman yang berbeda tergantung pada negara pengguna. Bagi penjual Rusia, sangat penting untuk menggunakan proxy dengan IP Rusia — jika tidak, Anda akan mendapatkan data untuk wilayah lain, yang akan mengganggu analisis tren.

Perlindungan AliExpress relatif ramah terhadap pengambilan data — platform ini tertarik pada trafik. Anda dapat menggunakan proxy data center dengan rotasi moderat (setiap 100-200 permintaan). Yang terpenting — jangan melebihi kecepatan 5-10 permintaan per detik dari satu IP.

Alat untuk otomatisasi pengumpulan data tentang tren

Ada dua pendekatan untuk pengambilan data di marketplace: layanan siap pakai dan pengaturan parser secara mandiri. Solusi siap pakai lebih mahal, tetapi menghemat waktu. Parser sendiri membutuhkan pengetahuan teknis, tetapi memberikan kontrol penuh atas proses.

Layanan siap pakai untuk pengambilan data di marketplace

Bagi mereka yang tidak ingin terlibat dalam detail teknis, ada platform siap pakai. Mereka sudah diatur untuk marketplace tertentu, memiliki sistem proxy bawaan dan rotasi IP otomatis.

• Mpstats — berspesialisasi dalam Wildberries dan Ozon, mengumpulkan data tentang penjualan, stok, posisi dalam hasil pencarian. Biaya mulai dari 3000 rubel per bulan.
• SellerFox — analitik untuk Wildberries dengan pelacakan tren dan ceruk. Cocok untuk mencari produk dengan permintaan yang meningkat.
• Moneyplace — pemantauan pesaing di Ozon dan Wildberries, pelacakan perubahan harga dan peringkat.
• ParseHub — parser universal untuk semua situs, termasuk marketplace. Membutuhkan pengaturan, tetapi bekerja dengan semua platform.

Kekurangan utama dari layanan siap pakai — Anda membayar tidak hanya untuk data, tetapi juga untuk infrastruktur proxy mereka. Untuk volume pengambilan data yang besar, ini bisa menghabiskan puluhan ribu rubel setiap bulan.

Pengaturan parser secara mandiri: alat dan pustaka

Jika Anda memiliki keterampilan teknis dasar (atau ada pengembang di tim), Anda dapat mengatur sistem pengambilan data sendiri. Ini lebih murah saat skala dan memberikan kontrol penuh atas proses.

Alat populer untuk pengambilan data:

• Selenium (Python) — otomatisasi browser, dukungan JavaScript, integrasi proxy yang mudah. Cocok untuk Wildberries dan Ozon.
• Puppeteer (Node.js) — browser headless berbasis Chrome, lebih cepat dari Selenium, konsumsi memori lebih sedikit.
• Scrapy (Python) — framework untuk pengambilan data, cocok untuk situs sederhana tanpa JavaScript. Cepat, tetapi tidak bekerja dengan konten dinamis.
• Playwright (Python/Node.js) — alternatif modern untuk Selenium, mendukung semua browser, bekerja dengan proxy secara terintegrasi.

Untuk pengambilan data di marketplace, kami merekomendasikan Selenium atau Playwright — mereka menangani JavaScript dengan benar dan memungkinkan meniru tindakan pengguna nyata (gulir, klik, jeda).

Pengaturan langkah demi langkah proxy untuk parser produk

Pengaturan proxy yang benar adalah faktor kunci keberhasilan. Bahkan proxy residensial terbaik tidak akan menyelamatkan Anda dari pemblokiran jika rotasi tidak diatur dengan benar atau jika batas permintaan terlampaui. Mari kita bahas proses pengaturan dengan contoh alat yang populer.

Langkah 1: Mendapatkan data proxy dan memeriksa fungsionalitas

Setelah membeli proxy, Anda akan mendapatkan daftar dalam format: IP:PORT:LOGIN:PASSWORD. Sebelum mengatur parser, pastikan untuk memeriksa fungsionalitas setiap proxy.

Cara paling sederhana untuk memeriksa adalah membuka browser, mengatur proxy di pengaturan jaringan, dan mengunjungi situs pemeriksaan IP (misalnya, 2ip.ru atau whoer.net). Pastikan bahwa IP proxy ditampilkan, bukan alamat nyata Anda. Juga periksa kecepatan pemuatan — jika halaman terbuka lebih dari 5 detik, proxy tersebut tidak berkualitas.

Langkah 2: Mengatur proxy di parser (contoh dengan Selenium)

Jika Anda menggunakan Selenium untuk pengambilan data, pengaturan proxy terlihat seperti berikut. Anda membuat daftar proxy dalam file terpisah, kemudian parser secara acak memilih proxy dari daftar untuk setiap sesi.

Logika dasar kerja: parser meluncurkan browser dengan proxy yang diatur, melakukan 50-100 permintaan (melihat kartu produk), kemudian menutup sesi dan meluncurkan yang baru dengan proxy yang berbeda. Ini meniru perilaku pengguna yang berbeda dan mengurangi risiko pemblokiran.

Langkah 3: Mengatur rotasi alamat IP

Rotasi proxy adalah perubahan otomatis alamat IP setelah interval tertentu. Ada dua pendekatan: rotasi berdasarkan waktu (setiap 5-10 menit) dan rotasi berdasarkan jumlah permintaan (setiap 50-100 permintaan).

Untuk pengambilan data di marketplace, kami merekomendasikan rotasi berdasarkan permintaan — ini lebih dapat diprediksi. Jika Anda mengumpulkan data dari Wildberries, ganti IP setiap 50 permintaan. Untuk platform yang kurang dilindungi (AliExpress), Anda dapat meningkatkan hingga 200-300 permintaan per IP.

Langkah 4: Mengatur jeda antara permintaan

Bahkan dengan rotasi proxy, Anda tidak boleh mengirim permintaan dalam aliran yang terus menerus. Pengguna nyata menghabiskan waktu untuk melihat kartu produk, membaca ulasan, dan membandingkan harga. Parser Anda harus meniru perilaku ini.

Jeda optimal untuk berbagai marketplace:

• Wildberries: 2-5 detik antara permintaan, variasi acak ±1 detik
• Ozon: 3-7 detik (karena captcha pada permintaan cepat)
• AliExpress: 1-3 detik (perlindungan yang lebih ramah)

Gunakan jeda acak, bukan yang tetap. Jika setiap permintaan dilakukan tepat setelah 3 detik — itu juga tanda bot. Tambahkan elemen acak: dari 2 hingga 5 detik dengan distribusi yang merata.

Rotasi IP dan batasan permintaan: cara menghindari pemblokiran

Bahkan dengan pengaturan proxy yang benar, Anda masih bisa mendapatkan pemblokiran jika tidak mempertimbangkan fitur kerja sistem anti-pengambilan data. Marketplace menganalisis tidak hanya frekuensi permintaan, tetapi juga pola perilaku.

Batasan permintaan untuk berbagai jenis proxy

Setiap jenis proxy memiliki batasan penggunaan yang aman. Melampaui batasan ini secara drastis meningkatkan kemungkinan pemblokiran.

Angka-angka ini bersifat perkiraan. Batasan nyata tergantung pada marketplace tertentu dan waktu dalam sehari. Pada jam sibuk (malam, akhir pekan), Anda dapat meningkatkan aktivitas, karena ada lebih banyak pengguna nyata di platform.

Strategi rotasi untuk berbagai volume pengambilan data

Strategi rotasi tergantung pada seberapa banyak data yang perlu Anda kumpulkan. Untuk memantau 100 produk teratas dalam kategori, skema sederhana sudah cukup. Untuk pengambilan seluruh katalog (puluhan ribu posisi), diperlukan sistem yang lebih kompleks.

Volume kecil (hingga 1000 produk per hari): Gunakan 5-10 proxy residensial dengan rotasi setiap 100 permintaan. Ini cukup untuk memantau tren di 2-3 kategori.

Volume sedang (1000-10000 produk per hari): Kumpulan 20-50 proxy residensial, rotasi setiap 50 permintaan. Tambahkan jeda acak 1-2 jam antara sesi pengambilan data.

Volume besar (10000+ produk per hari): Kombinasi proxy residensial (untuk permintaan kritis) dan proxy data center (untuk pengumpulan massal). Gunakan 100+ proxy dengan rotasi agresif dan distribusi beban berdasarkan waktu.

Data apa yang harus dikumpulkan untuk analisis tren

Pengambilan data tanpa tujuan tidak ada gunanya. Penting untuk mengumpulkan metrik yang tepat yang akan membantu mengidentifikasi produk tren sebelum ceruk pasar menjadi penuh dengan pesaing.

Metrik kunci untuk menentukan tren

Untuk setiap kartu produk, kumpulkan data berikut:

• Nama dan artikel produk — untuk identifikasi dan pelacakan dinamika
• Harga (saat ini dan diskon) — tren sering dimulai dengan penurunan harga yang tajam
• Jumlah ulasan — peningkatan ulasan dalam seminggu menunjukkan peningkatan penjualan
• Rating rata-rata — produk dengan rating 4.5+ menjadi tren lebih cepat
• Jumlah pesanan (jika tersedia) — indikator langsung permintaan
• Stok di gudang — penurunan stok yang tajam = peningkatan permintaan
• Posisi dalam hasil pencarian untuk kata kunci utama — produk di top-10 mendapatkan 80% klik
• Tanggal munculnya produk — produk baru dengan pertumbuhan penjualan cepat = potensi tren

Kumpulkan data ini setiap hari dan simpan dalam basis data (PostgreSQL, MySQL) atau Google Sheets untuk proyek sederhana. Analisis dinamika selama 7-14 hari akan menunjukkan produk dengan permintaan yang meningkat.

Cara mengidentifikasi tren pada tahap awal

Penjual yang sukses menghasilkan uang dari tren karena mereka memasuki ceruk lebih awal daripada pesaing. Ketika tren sudah dibahas di saluran Telegram, sudah terlambat untuk menghasilkan uang dari tren tersebut — margin turun karena persaingan.

Tanda-tanda tren yang sedang berkembang:

• Peningkatan jumlah ulasan sebesar 50-100% dalam seminggu dengan basis kecil (10-50 ulasan)
• Munculnya 5-10 penjual baru dalam ceruk dalam dua minggu terakhir
• Penurunan stok yang tajam di pemimpin kategori (dari 1000+ menjadi 100-200 unit)
• Peningkatan posisi dalam hasil pencarian: produk naik dari posisi 50 ke posisi 10 dalam seminggu
• Sebutkan produk di media sosial (TikTok, Instagram) — tanda tidak langsung

Atur pemberitahuan otomatis (bot Telegram, email) saat mendeteksi sinyal-sinyal tersebut. Ini akan memberi Anda keuntungan 1-2 minggu sebelum sebagian besar pesaing.

Kesalahan umum saat pengambilan data dan cara menghindarinya

Sebagian besar pemblokiran saat pengambilan data terjadi karena kesalahan yang sama. Mari kita bahas masalah yang paling umum dan cara penyelesaiannya.

Kesalahan 1: Menggunakan satu IP untuk semua permintaan

Pemula sering membeli 1-2 proxy dan mencoba mengumpulkan data dari seluruh katalog. Hasilnya dapat diprediksi — pemblokiran dalam waktu satu jam. Marketplace dengan mudah mendeteksi bot berdasarkan aktivitas yang tidak normal dari satu IP.

Solusi: Gunakan setidaknya 10-20 proxy bahkan untuk proyek kecil. Sebarkan beban secara merata — tidak lebih dari 100-200 permintaan per IP per jam.

Kesalahan 2: Pengambilan data di malam hari

Banyak yang menjalankan parser di malam hari, berharap mendapatkan data segar di pagi hari. Masalahnya adalah bahwa di malam hari (dari pukul 2 hingga 6 pagi waktu Moskow) trafik di marketplace sangat rendah. Aktivitas Anda menjadi lebih terlihat di tengah beban keseluruhan yang rendah.

Solusi: Jalankan pengambilan data pada jam sibuk — dari pukul 18:00 hingga 23:00, ketika ada maksimum pengguna nyata di platform. Permintaan Anda akan larut dalam aliran trafik umum.

Kesalahan 3: Mengabaikan User-Agent dan header lainnya

Parser secara default mengirim permintaan dengan User-Agent seperti "Python-requests/2.28" atau "Selenium WebDriver". Ini adalah indikasi langsung bahwa itu adalah bot. Marketplace secara otomatis memblokir permintaan semacam itu.

Solusi: Gunakan User-Agent yang realistis dari browser modern. Ubah User-Agent pada setiap rotasi proxy. Juga tambahkan header Accept-Language, Referer, dan lainnya yang khas untuk browser nyata.

Kesalahan 4: Pengambilan data hanya dari halaman pertama hasil pencarian

Banyak yang hanya mengumpulkan data tentang 50 produk teratas dalam kategori. Ini adalah kesalahan — tren sering kali dimulai di halaman 3-5 hasil pencarian, di mana persaingan lebih rendah dan produk baru mulai mendapatkan popularitas.

Solusi: Ambil data dari setidaknya 5-10 halaman hasil pencarian (200-500 produk dalam kategori). Pantau produk yang cepat naik dari halaman 5 ke halaman 1-2 — ini adalah tren yang sedang berkembang.

Kesalahan 5: Tidak menangani captcha dan pemblokiran

Bahkan dengan pengaturan proxy yang benar, captcha atau pemblokiran sementara kadang-kadang muncul. Jika parser tidak dapat menangani situasi semacam itu, ia akan gagal dengan kesalahan, dan Anda akan kehilangan data.

Solusi: Tambahkan penanganan kesalahan ke parser. Saat mendapatkan captcha — beralih ke proxy lain dan ulangi permintaan setelah 5-10 menit. Simpan hasil sementara agar tidak kehilangan data saat terjadi kesalahan.

Kesimpulan

Pengumpulan data tentang produk tren melalui proxy bukan hanya proses teknis, tetapi juga keuntungan kompetitif bagi penjual di marketplace. Sementara yang lain memantau pesaing secara manual, Anda mendapatkan data terstruktur tentang puluhan ribu produk setiap hari dan mengidentifikasi tren pada tahap awal.

Poin kunci yang perlu diingat: pilih jenis proxy tergantung pada perlindungan marketplace (residensial untuk Wildberries dan Ozon, proxy data center untuk platform yang kurang dilindungi), atur rotasi IP yang benar dengan mempertimbangkan batasan permintaan, tambahkan jeda acak antara permintaan, dan tiru perilaku pengguna nyata, kumpulkan data pada jam sibuk, ketika aktivitas Anda kurang terlihat di tengah trafik umum.

Mulailah dari yang kecil — atur pengambilan data untuk 1-2 kategori produk dengan menggunakan 10-20 proxy. Latih prosesnya, pastikan tidak ada pemblokiran, dan secara bertahap tingkatkan sistem. Otomatisasi pengumpulan data akan terbayar dalam bulan pertama berkat keluar lebih cepat ke ceruk pasar yang tren.

Jika Anda berencana untuk secara teratur mengumpulkan data dari Wildberries, Ozon, atau marketplace terlindungi lainnya, kami merekomendasikan untuk menggunakan proxy residensial — mereka memberikan tingkat kepercayaan yang tinggi dari platform dan risiko pemblokiran yang minimal. Untuk pengambilan massal di situs yang kurang dilindungi, proxy data center dengan pengaturan rotasi yang benar akan cocok.