Cara Mengatur Pemantauan Ketersediaan Produk di Marketplace Melalui Proxy: Panduan untuk Penjual

Pemantauan otomatis ketersediaan produk (stock availability) adalah tugas yang sangat penting bagi seller dan retailer. Melacak stok kompetitor di Wildberries, Ozon, Amazon memungkinkan Anda untuk menyesuaikan harga dan pembelian secara operasional. Namun marketplace memblokir permintaan massal dari satu IP dengan ketat — tanpa proxy, parser Anda akan diblokir setelah 10-50 permintaan.

Dalam panduan ini, kami akan membahas cara mengatur pemantauan stock availability yang stabil melalui proxy: jenis proxy mana yang harus dipilih, cara mengatur rotasi IP, parameter permintaan apa yang harus digunakan dan cara menghindari pemblokiran di marketplace populer.

Mengapa marketplace memblokir pemantauan ketersediaan produk

Marketplace melindungi infrastruktur mereka dari parsing dengan beberapa tingkat perlindungan. Ketika Anda menjalankan pemantauan otomatis ketersediaan produk, skrip Anda membuat ratusan atau ribuan permintaan ke API atau halaman web marketplace. Bagi platform, ini terlihat seperti serangan atau pengumpulan data yang tidak sah.

Metode utama mendeteksi parser:

• Frekuensi permintaan dari satu IP — jika dari satu alamat datang 100+ permintaan per menit, ini adalah tanda jelas bot. Pengguna biasa secara fisik tidak dapat membuka 2-3 kartu produk per detik.
• Tidak adanya cookies dan riwayat sesi — parser sering membuat permintaan tanpa terlebih dahulu mengunjungi halaman utama, yang mengungkapkan otomasi.
• User-Agent yang sama — jika semua permintaan datang dengan header browser yang sama, ini mencurigakan.
• Pola perilaku — pencarian produk berurutan berdasarkan ID, tidak ada jeda acak, keteraturan permintaan yang sempurna.

Pemblokiran terjadi pada tingkat alamat IP. Pertama, marketplace mungkin menampilkan captcha, kemudian membatasi akses sementara (rate limiting), dan pada pelanggaran sistematis — memblokir IP sepenuhnya selama beberapa jam atau hari.

Jenis proxy mana yang harus dipilih untuk parsing stock availability

Pemilihan jenis proxy secara langsung mempengaruhi stabilitas pemantauan dan kemungkinan pemblokiran. Marketplace yang berbeda bereaksi berbeda terhadap berbagai jenis alamat IP. Mari kita pertimbangkan tiga opsi utama dan penerapannya untuk parsing ketersediaan produk.

Proxy residential — pilihan optimal untuk sebagian besar tugas pemantauan stock availability. Mereka menggunakan alamat IP pengguna rumah yang sebenarnya, sehingga marketplace menganggap permintaan sebagai sah. Untuk Wildberries dan Ozon, ini adalah persyaratan yang hampir wajib — platform ini secara agresif memblokir datacenter.

Proxy datacenter cocok untuk platform yang kurang terlindungi atau ketika kecepatan parsing maksimum diperlukan. Misalnya, untuk memantau marketplace regional atau toko online kecil. Keuntungan utama — kecepatan tinggi dan stabilitas koneksi. Tetapi di platform besar mereka lebih sering diblokir.

Proxy mobile — opsi paling andal, tetapi juga paling mahal. Gunakan untuk produk yang sangat penting atau ketika proxy residential mulai diblokir. IP mobile hampir tidak mungkin diblokir, karena di belakang satu alamat bisa ada ribuan pengguna nyata operator seluler.

Pengaturan rotasi IP: seberapa sering mengganti alamat

Rotasi IP — parameter kunci untuk mencegah pemblokiran. Pengaturan yang tepat dari frekuensi penggantian alamat memungkinkan Anda mendistribusikan beban sehingga dari setiap IP datang jumlah permintaan minimum, meniru perilaku pengguna biasa.

Dua pendekatan utama untuk rotasi:

1. Rotasi berdasarkan waktu (Time-based rotation)
Alamat IP berubah setelah interval waktu yang ditentukan, terlepas dari jumlah permintaan. Ini adalah metode sederhana dan dapat diprediksi, yang cocok untuk pemantauan reguler dengan frekuensi pemeriksaan konstan.

• Setiap 5-10 menit — untuk pemantauan sering produk yang sangat penting (posisi teratas, produk dengan persaingan tinggi)
• Setiap 15-30 menit — mode standar untuk sebagian besar tugas pemantauan stock availability
• Setiap jam — untuk pemantauan latar belakang dari berbagai produk, ketika frekuensi pembaruan tinggi tidak diperlukan

2. Rotasi berdasarkan permintaan (Request-based rotation)
IP berubah setelah sejumlah permintaan yang dilakukan. Metode ini memberikan kontrol yang lebih tepat atas beban pada setiap alamat.

• Setiap 10-20 permintaan — untuk Wildberries dan Ozon (perlindungan ketat)
• Setiap 50-100 permintaan — untuk Amazon, eBay (perlindungan moderat)
• Setiap 200-500 permintaan — untuk platform yang kurang terlindungi

Pendekatan gabungan (direkomendasikan):
Tetapkan rotasi berdasarkan waktu sebagai metode utama, tetapi tambahkan batas permintaan sebagai perlindungan tambahan. Misalnya: IP berubah setiap 10 menit ATAU setelah 50 permintaan — mana yang terjadi lebih dulu. Ini melindungi dari lonjakan aktivitas yang tidak terduga.

Fitur pemantauan di berbagai marketplace

Setiap marketplace memiliki fitur perlindungan dari parsing sendiri dan memerlukan pendekatan individual untuk mengatur pemantauan stock availability. Mari kita pertimbangkan spesifikasi bekerja dengan platform Rusia dan internasional yang populer.

Wildberries

Wildberries memiliki salah satu sistem perlindungan paling agresif dari parsing di antara marketplace Rusia. Platform menggunakan pemeriksaan permintaan multi-level, termasuk analisis header, cookies, frekuensi akses dan pola perilaku.

Fitur utama:

• Wajib menggunakan proxy residential — datacenter diblokir hampir seketika
• Perlu mengirimkan set lengkap header browser, termasuk Referer dan Accept-Language
• API Wildberries memerlukan token khusus untuk beberapa permintaan
• Penggantian IP yang sering (setiap 5-10 menit) sangat penting
• Tambahkan jeda acak antara permintaan: 2-5 detik

Untuk memantau ketersediaan produk di Wildberries, gunakan API publik atau parsing kartu produk. API lebih stabil, tetapi memiliki batas ketat. Saat parsing HTML, pastikan untuk meniru perilaku browser nyata: muat gambar, jalankan JavaScript, simpan cookies antara permintaan.

Ozon

Ozon menggunakan perlindungan yang kurang agresif dibandingkan dengan Wildberries, tetapi juga memerlukan pendekatan yang hati-hati. Platform secara aktif menggunakan Cloudflare untuk perlindungan dari bot, yang menambahkan tingkat kompleksitas tambahan.

• Proxy residential direkomendasikan, tetapi datacenter berkualitas dapat bekerja dengan frekuensi permintaan rendah
• Cloudflare challenge memerlukan eksekusi JavaScript — gunakan headless browser atau library khusus
• Rotasi IP setiap 10-15 menit biasanya cukup
• Jeda antara permintaan: 3-7 detik
• Pastikan untuk menyimpan cookies setelah melewati Cloudflare

Amazon

Amazon memiliki sistem perlindungan yang kompleks, yang menganalisis banyak parameter permintaan. Platform sangat sensitif terhadap frekuensi akses dan lokasi geografis alamat IP.

• Gunakan proxy residential dari negara yang sama dengan marketplace target (amazon.com — AS, amazon.de — Jerman)
• Amazon sering menampilkan captcha pada aktivitas mencurigakan — siapkan sistem untuk menyelesaikannya
• Rotasi IP setiap 15-20 menit atau setiap 50-100 permintaan
• Jeda antara permintaan: 5-10 detik (Amazon sangat sensitif terhadap kecepatan)
• Pastikan untuk menggunakan User-Agent terbaru dari browser populer

Avito

Avito memiliki fitur khusus — pengikatan geografis iklan. Untuk pemantauan yang benar dari ketersediaan produk di kota tertentu, Anda memerlukan proxy dari wilayah tersebut.

• Gunakan proxy residential dengan geolokasi di kota yang diperlukan
• Avito menampilkan hasil yang berbeda untuk wilayah yang berbeda — satu IP hanya dapat melihat sebagian iklan
• Rotasi setiap 10-15 menit sudah cukup
• Jeda antara permintaan: 3-5 detik
• Platform menggunakan cookies untuk melacak sesi — pastikan untuk menyimpannya

Batas permintaan dan jeda antara pemeriksaan

Pengaturan yang tepat dari frekuensi permintaan — keseimbangan antara kebaruan data dan risiko pemblokiran. Pemeriksaan yang terlalu sering akan menyebabkan ban, terlalu jarang — kehilangan keunggulan kompetitif. Mari kita bahas cara menemukan frekuensi optimal untuk berbagai skenario.

Jeda yang direkomendasikan antara permintaan ke satu produk:

Jeda antara permintaan berurutan (saat parsing beberapa produk berturut-turut):

• Jeda minimum: 2-3 detik — minimum absolut untuk meniru perilaku manusia. Pengguna nyata tidak dapat membuka kartu produk lebih cepat.
• Jeda optimal: 4-7 detik — direkomendasikan untuk sebagian besar tugas. Tambahkan keacakan: random(4000, 7000) milidetik.
• Jeda aman: 8-15 detik — gunakan untuk platform yang sangat terlindungi atau setelah menerima peringatan tentang melebihi batas.

Prinsip penting — keacakan: Jangan pernah gunakan interval tetap. Alih-alih jeda tepat 5 detik, buat acak dari 4 hingga 6 detik. Ini sangat penting untuk meniru perilaku manusia. Pengguna nyata tidak mengklik dengan keteraturan yang sempurna.

Distribusi beban berdasarkan waktu dalam sehari:
Marketplace memiliki jam puncak beban (biasanya malam 18:00-22:00), ketika sistem perlindungan sangat sensitif. Disarankan untuk mengurangi frekuensi permintaan pada periode ini atau bahkan membuat jeda dalam pemantauan, jika data tidak kritis.

Alat siap pakai untuk pemantauan melalui proxy

Untuk memantau stock availability, tidak perlu menulis parser dari awal. Ada banyak solusi siap pakai yang mendukung bekerja melalui proxy dan memiliki mekanisme perlindungan bawaan dari pemblokiran. Mari kita pertimbangkan alat populer untuk berbagai tingkat persiapan teknis.

Layanan SaaS siap pakai (tanpa pemrograman)

1. Keepa (untuk Amazon)
Layanan khusus untuk memantau Amazon. Melacak harga, ketersediaan produk, peringkat. Memiliki sistem proxy bawaan, tidak memerlukan pengetahuan teknis. Minus — hanya bekerja dengan Amazon.

2. Parsehub
Parser visual yang memungkinkan Anda mengatur pengumpulan data melalui antarmuka grafis. Mendukung pengaturan proxy, rotasi IP, jeda antara permintaan. Cocok untuk pengguna tanpa keterampilan pemrograman.

3. Octoparse
Analog Parsehub dengan kemampuan otomasi yang lebih canggih. Memiliki template bawaan untuk marketplace populer, termasuk Amazon, eBay. Mendukung eksekusi tugas cloud dan rotasi proxy otomatis.

Solusi perangkat lunak (memerlukan pengaturan)

1. Scrapy (Python)
Framework parsing yang kuat di Python. Memiliki dukungan proxy bawaan, middleware untuk rotasi, penanganan kesalahan. Memerlukan keterampilan pemrograman, tetapi memberikan fleksibilitas pengaturan maksimum.

Contoh pengaturan proxy di Scrapy ada di file settings.py — tambahkan middleware untuk rotasi dan daftar server proxy. Framework secara otomatis mendistribusikan permintaan di antara IP yang tersedia.

2. Puppeteer / Playwright (JavaScript)
Headless browser untuk otomasi Chrome/Firefox. Sangat cocok untuk parsing situs dengan JavaScript dan perlindungan kompleks. Mendukung pengaturan proxy pada tingkat browser, emulasi perilaku pengguna nyata.

3. Selenium
Alat otomasi browser klasik. Bekerja lebih lambat dari Puppeteer, tetapi memiliki lebih banyak solusi siap pakai dan contoh. Cocok untuk pengembang pemula.

Solusi khusus untuk marketplace

1. MoySklad (integrasi dengan Wildberries, Ozon)
Sistem akuntansi dengan integrasi bawaan dengan marketplace Rusia. Secara otomatis menyinkronkan stok, tetapi hanya bekerja melalui API resmi — tidak cocok untuk memantau kompetitor.

2. Mpstats
Layanan analitik untuk Wildberries dan Ozon. Mengumpulkan data tentang produk, harga, ketersediaan. Memiliki infrastruktur proxy sendiri, tidak memerlukan pengaturan tambahan. Berbayar, tetapi stabil.

3. SellerFox
Solusi komprehensif untuk seller di marketplace Rusia. Termasuk pemantauan kompetitor, analitik, otomasi harga. Bekerja melalui proxy sendiri.

Panduan langkah demi langkah mengatur proxy untuk parser

Mari kita bahas pengaturan praktis proxy untuk memantau stock availability dengan contoh skenario tipikal: memantau 100 produk di Wildberries dengan pemeriksaan setiap 30 menit. Instruksi ini cocok untuk sebagian besar parser siap pakai dan solusi buatan sendiri.

Langkah 1: Memilih dan membeli proxy

Untuk Wildberries, Anda memerlukan proxy residential. Mari kita hitung jumlah yang diperlukan:
- 100 produk × 2 pemeriksaan per jam = 200 permintaan/jam
- Batas aman untuk Wildberries: 20 permintaan per IP
- Diperlukan: 200 ÷ 20 = 10 alamat IP minimum

Disarankan untuk mengambil dengan cadangan: 15-20 IP untuk pekerjaan yang stabil. Saat membeli proxy, pastikan penyedia mendukung rotasi berdasarkan waktu atau berdasarkan permintaan.

Langkah 2: Mendapatkan data untuk koneksi

Setelah pembelian, Anda akan menerima data dalam format:

Host: proxy.example.com
Port: 8080
Login: user123
Password: pass456
Tipe: HTTP/HTTPS atau SOCKS5

Beberapa penyedia menyediakan URL untuk rotasi otomatis:

http://user123:[email protected]:8080

URL ini dapat digunakan langsung di sebagian besar parser — server proxy sendiri akan mengubah IP sesuai pengaturan.

Langkah 3: Pengaturan di alat siap pakai (Octoparse)

1. Buka pengaturan tugas parsing
Di Octoparse, buka bagian "Advanced Options" → "Proxy Settings"

2. Masukkan data proxy:

• Proxy Type: pilih HTTP atau SOCKS5 (tergantung pada proxy Anda)
• Server: proxy.example.com
• Port: 8080
• Username: user123
• Password: pass456

3. Atur rotasi:
Jika penyedia Anda mendukung rotasi otomatis — cukup aktifkan opsi "Use rotating proxy". Jika tidak — tambahkan daftar IP secara manual dan aktifkan "Rotate IP addresses" dengan interval 10 menit.

4. Atur jeda:
Di bagian "Speed Settings", atur jeda antara permintaan: 4-7 detik (Random delay between 4000 and 7000 ms).

Langkah 4: Menguji pengaturan

Sebelum meluncurkan pemantauan penuh, pastikan untuk menguji pengaturan:

• Periksa koneksi ke proxy — sebagian besar alat memiliki tombol "Test connection"
• Jalankan parsing 5-10 produk — pastikan data dikumpulkan dengan benar
• Periksa log untuk kesalahan — kode 403, 429, 503 menunjukkan masalah dengan proxy atau frekuensi terlalu tinggi
• Pastikan IP berubah — dalam log harus muncul alamat yang berbeda sesuai pengaturan rotasi

Langkah 5: Pemantauan dan optimasi

Setelah peluncuran, periksa secara teratur:

• Success rate — persentase permintaan yang berhasil harus di atas 95%
• Kode respons — jika 429 atau 503 muncul lebih dari 5% — kurangi beban
• Kecepatan kerja proxy — jika jeda melebihi 2-3 detik, mungkin perlu mengganti penyedia
• Kebaruan data — bandingkan data yang diperoleh dengan yang sebenarnya di situs marketplace

Secara bertahap optimalkan pengaturan: jika semuanya bekerja stabil selama seminggu, Anda dapat sedikit meningkatkan frekuensi pemeriksaan atau mengurangi jeda. Tetapi lakukan ini secara bertahap, langkah demi langkah.

Kesalahan umum dan cara menghindarinya

Bahkan dengan pengaturan proxy yang benar, pemula sering membuat kesalahan yang menyebabkan pemblokiran atau pekerjaan parser yang tidak stabil. Mari kita bahas masalah paling umum dan cara menyelesaikannya.

Kesalahan 1: Menggunakan satu User-Agent untuk semua permintaan

Masalah: Parser mengirim semua permintaan dengan header User-Agent yang sama, bahkan saat mengganti IP. Ini terlihat mencurigakan — "browser" yang sama muncul dari alamat yang berbeda.

Solusi: Rotasi User-Agent bersama dengan alamat IP. Buat daftar browser populer (Chrome, Firefox, Safari versi berbeda) dan pilih secara acak dari itu saat setiap penggantian proxy. Sebagian besar library untuk parsing memiliki dukungan rotasi User-Agent bawaan.

Kesalahan 2: Rotasi IP terlalu sering

Masalah: Beberapa mengatur penggantian IP setelah setiap permintaan, berpikir bahwa ini paling aman. Sebenarnya ini terlihat tidak alami — pengguna nyata tidak mengubah IP setiap detik.

Solusi: Gunakan interval rotasi yang masuk akal: 5-15 menit atau 20-100 permintaan per IP. Ini meniru perilaku pengguna nyata, yang duduk dari satu perangkat untuk beberapa waktu, kemudian beralih.

Kesalahan 3: Mengabaikan cookies

Masalah: Parser membuat permintaan tanpa menyimpan cookies di antara mereka. Marketplace menggunakan cookies untuk melacak sesi — jika Anda tidak menyimpannya, setiap permintaan terlihat seperti sesi baru.

Solusi: Selalu simpan cookies setelah permintaan pertama dan kirimkan dalam permintaan berikutnya. Saat mengganti IP, buat sesi baru dengan cookies baru — ini meniru pengguna baru.

Kesalahan 4: Jeda tetap antara permintaan

Masalah: Jeda tepat 5 detik diatur antara semua permintaan. Ini menciptakan pola sempurna, yang mudah dideteksi oleh sistem anti-bot.

Solusi: Gunakan jeda acak dalam rentang. Alih-alih 5 detik, buat random(4, 7) detik. Tambahkan kadang-kadang jeda lebih panjang (10-20 detik), meniru gangguan pengguna.

Kesalahan 5: Menggunakan proxy publik murah

Masalah: Mencoba menghemat pada proxy, menggunakan daftar publik gratis atau sangat murah. IP ini sudah diblokir di sebagian besar marketplace, karena digunakan oleh ribuan parser lain.

Solusi: Investasikan dalam proxy residential berkualitas dari penyedia terpercaya. Ini adalah dasar pekerjaan yang stabil. Penghematan pada proxy akan menyebabkan kehilangan waktu untuk melawan pemblokiran dan potensi kehilangan data.

Kesalahan 6: Tidak ada penanganan kesalahan

Masalah: Parser tidak menangani kesalahan dan terus membombardir server dengan permintaan bahkan setelah menerima 429 (Too Many Requests) atau 503 (Service Unavailable).

Solusi: Implementasikan penanganan kesalahan yang cerdas:

• Saat menerima 429 — tingkatkan jeda 2 kali lipat dan ganti IP
• Saat menerima 503 — buat jeda 5-10 menit
• Saat menerima 403 — segera ganti IP dan periksa pengaturan
• Gunakan exponential backoff: pada kesalahan berulang, tingkatkan jeda secara eksponensial

Kesimpulan

Pemantauan ketersediaan produk melalui proxy adalah tugas teknis yang memerlukan pendekatan yang komprehensif. Keberhasilan tergantung pada kombinasi beberapa faktor: pemilihan jenis proxy yang tepat, pengaturan rotasi IP yang benar, peniruan perilaku pengguna nyata, dan pemantauan konstan hasil.

Poin-poin kunci untuk diingat:

• Untuk marketplace besar (Wildberries, Ozon, Amazon) gunakan hanya proxy residential atau mobile
• Atur rotasi IP setiap 5-15 menit atau setiap 20-100 permintaan
• Selalu tambahkan jeda acak antara permintaan (4-7 detik)
• Rotasi User-Agent bersama dengan IP
• Simpan cookies dan session storage
• Implementasikan penanganan kesalahan yang cerdas
• Mulai dengan pengaturan konservatif, optimalkan secara bertahap

Investasi dalam proxy berkualitas dan pengaturan yang tepat akan terbayar dengan data yang stabil dan andal tentang ketersediaan produk kompetitor. Ini memberikan keunggulan kompetitif yang signifikan dalam e-commerce, memungkinkan Anda bereaksi cepat terhadap perubahan pasar dan mengoptimalkan strategi penetapan harga Anda.

Ingat bahwa teknologi perlindungan marketplace terus berkembang. Yang bekerja hari ini mungkin memerlukan penyesuaian besok. Pantau log parser Anda, analisis kesalahan, dan sesuaikan pengaturan sesuai kebutuhan. Pendekatan proaktif untuk pemantauan dan optimasi adalah kunci kesuksesan jangka panjang dalam parsing stock availability.