Proxy untuk memantau harga dinamis pesaing 2024

```html

Penetapan harga dinamis telah menjadi standar di marketplace — harga berubah 10-20 kali sehari tergantung pada permintaan, stok, dan tindakan pesaing. Jika Anda adalah penjual di Wildberries, Ozon, atau Avito, Anda tahu: siapa yang pertama kali mengetahui tentang penurunan harga pesaing — dia yang mempertahankan posisinya di hasil pencarian. Namun, semua marketplace secara ketat memblokir parsing massal dari satu IP. Dalam artikel ini, kita akan membahas cara mengatur pemantauan harga otomatis melalui proxy, untuk mengumpulkan data 24/7 tanpa risiko pemblokiran akun atau alamat IP.

Mengapa marketplace memblokir parsing harga dan bagaimana cara kerjanya

Semua marketplace besar menggunakan perlindungan multi-level terhadap pengumpulan data otomatis. Alasannya sederhana: parsing massal menciptakan beban pada server dan memberikan keuntungan kompetitif bagi mereka yang dapat mengumpulkan data. Wildberries, misalnya, mencatat hingga 300.000 perubahan harga dalam sehari — dan tidak ingin data ini diakses oleh pesaing secara gratis.

Inilah cara kerja sistem perlindungan parsing yang khas:

Pelacakan frekuensi permintaan dari satu IP — jika Anda membuka lebih dari 50 kartu produk dalam satu menit, sistem memahami bahwa ini bukan manusia. Pembeli biasa melihat 3-5 produk per menit, parser — 100-500.
Analisis User-Agent dan header — permintaan tanpa header browser yang benar langsung masuk ke daftar hitam. Banyak pemula menggunakan pustaka standar Python requests tanpa pengaturan header — ini adalah yang pertama kali dideteksi oleh sistem perlindungan.
Pemeriksaan JavaScript dan cookies — marketplace modern menggunakan Cloudflare, DataDome, dan sistem anti-bot mereka sendiri. Mereka memeriksa eksekusi JavaScript, keberadaan cookies sesi, perilaku mouse, dan scroll.
Pemantauan geografis IP — jika Anda melakukan parsing Ozon Rusia dengan IP dari Jerman atau AS, itu terlihat mencurigakan. Sistem dapat menunjukkan harga yang sudah usang atau bahkan memblokir akses sepenuhnya.
Blokir pusat data — sebagian besar marketplace memiliki basis data alamat IP penyedia cloud (AWS, Google Cloud, Hetzner) dan secara otomatis membatasi permintaan dari mereka.

Hasil pemblokiran bisa bervariasi: dari pembatasan kecepatan sementara (rate limit) hingga pemblokiran IP sepenuhnya selama beberapa minggu. Jika Anda melakukan parsing melalui akun penjual — Anda berisiko mendapatkan pemblokiran pada akun pribadi, yang sangat kritis untuk bisnis.

Kasus nyata: Seorang penjual di Wildberries mengatur parsing harga pesaing melalui server VPS biasa. Dalam 2 jam, ia mengumpulkan data untuk 500 produk. Setelah sehari, ia menemukan bahwa IP-nya sepenuhnya diblokir — bahkan mengakses situs sebagai pembeli biasa menjadi tidak mungkin. Ia harus menunggu 2 minggu sampai pemblokiran dihapus secara otomatis.

Jenis proxy apa yang cocok untuk memantau harga: perbandingan

Untuk memantau penetapan harga dinamis, ada tiga jenis proxy, masing-masing dengan kelebihan dan kekurangan. Pilihan tergantung pada anggaran, volume parsing, dan persyaratan geografis.

Jenis Proxy	Keuntungan	Kekurangan	Untuk Tugas Apa
Proxy Residensial	IP nyata dari pengguna rumah, risiko pemblokiran minimal, dukungan untuk semua geografi, dapat melewati Cloudflare	Lebih mahal dibandingkan jenis lain, kecepatan dapat bervariasi	Parsing Wildberries, Ozon, situs dengan perlindungan ketat. Memantau harga regional.
Proxy Seluler	IP dari operator seluler, satu IP digunakan oleh ribuan pengguna — hampir tidak mungkin untuk diblokir, skor kepercayaan tinggi	Paling mahal, geografi terbatas, pergantian IP secara berkala oleh operator	Parsing melalui aplikasi seluler marketplace, melewati perlindungan yang paling ketat
Proxy Pusat Data	Kecepatan tinggi, harga rendah, koneksi stabil, lalu lintas tidak terbatas	Mudah terdeteksi, banyak marketplace memblokir pusat data secara preventif	Parsing situs tanpa perlindungan serius, Avito, toko online kecil

Rekomendasi praktis untuk pemilihan:

Untuk Wildberries dan Ozon — hanya proxy residensial atau seluler. Platform ini menggunakan Cloudflare dan sistem anti-bot mereka sendiri, pusat data diblokir dalam 90% kasus.
Untuk Yandex.Market — proxy residensial dengan geografi Rusia, sistem memeriksa kecocokan IP dan wilayah pencarian.
Untuk Avito — Anda dapat menggunakan pusat data, tetapi dengan rotasi dan jeda antara permintaan. Perlindungannya lebih lemah dibandingkan marketplace.
Untuk AliExpress dan platform internasional — proxy residensial dari negara yang diperlukan, banyak yang menunjukkan harga berbeda untuk wilayah yang berbeda.

Jika anggaran terbatas — mulailah dengan kumpulan 20-30 proxy residensial dengan rotasi. Ini cukup untuk memantau 500-1000 produk per hari tanpa pemblokiran.

Fitur perlindungan Wildberries, Ozon, Yandex.Market, dan Avito

Setiap platform menggunakan kombinasi mekanisme perlindungan mereka sendiri. Memahami fitur-fitur ini membantu mengatur parser dengan benar sejak awal.

Wildberries

Perlindungan paling ketat di antara marketplace Rusia. Menggunakan Cloudflare dengan mode "I'm Under Attack" yang diaktifkan, yang memeriksa tantangan JavaScript sebelum mengakses konten. Selain itu, mereka melacak:

Fingerprint browser — canvas, WebGL, fonts, resolusi layar
TLS fingerprint — versi protokol dan kumpulan cipher suites
Faktor perilaku — kecepatan scroll, gerakan mouse, waktu di halaman
Riwayat sesi — jika Anda langsung mulai membuka kartu produk tanpa melihat halaman utama dan kategori, itu mencurigakan

Apa yang berhasil: Browser headless (Puppeteer, Playwright) dengan proxy residensial, emulasi perilaku pengguna yang nyata, jeda 5-15 detik antara permintaan, rotasi User-Agent dan proxy setelah setiap 20-30 permintaan.

Ozon

Menggunakan sistem anti-bot mereka sendiri ditambah DataDome. Fitur khusus: harga dapat berbeda tergantung pada kota pengiriman — sistem menentukan wilayah berdasarkan IP dan menunjukkan harga yang sesuai dengan mempertimbangkan logistik.

Ozon secara aktif memblokir rentang IP pusat data yang dikenal. Saat melakukan parsing melalui VPS biasa, dalam 80% kasus Anda akan mendapatkan captcha atau kesalahan 403. Mereka juga melacak cookies — jika Anda melakukan permintaan tanpa menyimpan sesi antara permintaan, itu terdeteksi.

Apa yang berhasil: Proxy residensial dengan geografi Rusia, penyimpanan cookies yang wajib antara permintaan, emulasi penambahan produk ke favorit (ini menciptakan "riwayat" pengguna), jeda 3-10 detik.

Yandex.Market

Tingkat perlindungan sedang. Fitur utama — keterikatan ketat pada wilayah. Jika Anda melakukan parsing harga untuk Moskow dengan IP dari Vladivostok, sistem akan menunjukkan harga untuk Vladivostok atau bahkan memblokir akses sepenuhnya. Untuk pemantauan yang tepat, diperlukan proxy dari wilayah yang Anda pantau.

Yandex juga menggunakan sistem anti-fraud mereka sendiri, yang menganalisis urutan tindakan. Terlihat mencurigakan: membuka kartu produk melalui tautan langsung tanpa pencarian, interval yang sama antara permintaan (misalnya, tepat setiap 5 detik), tidak ada permintaan ke statis (gambar, gaya).

Apa yang berhasil: Proxy residensial dari wilayah yang diperlukan, emulasi siklus penuh: pencarian → daftar produk → kartu produk, jeda acak 4-12 detik, rotasi proxy secara berkala.

Avito

Perlindungan paling lunak di antara platform yang disebutkan. Perlindungan utama — batasan jumlah tampilan iklan dari satu IP (sekitar 100-150 iklan per jam). Setelah melebihi batas, captcha muncul atau pemblokiran sementara selama 1-2 jam.

Avito juga memeriksa keberadaan cookies dan header dasar, tetapi tidak menggunakan tantangan JavaScript yang rumit. Pusat data berfungsi, tetapi dengan batasan — diperlukan rotasi dan frekuensi permintaan yang moderat.

Apa yang berhasil: Bahkan pusat data dengan rotasi, jeda 2-5 detik antara iklan, header browser yang benar, penyimpanan cookies. Untuk volume besar — proxy residensial.

Pengaturan rotasi proxy untuk parsing 24 jam

Rotasi proxy yang benar adalah faktor kunci untuk parsing yang stabil tanpa pemblokiran. Ada tiga strategi rotasi utama, masing-masing cocok untuk skenario yang berbeda.

Strategi 1: Rotasi berdasarkan jumlah permintaan

Intinya: Anda mengganti proxy setelah jumlah permintaan tertentu (misalnya, setelah setiap 20-50 permintaan). Ini adalah metode paling sederhana dan efektif untuk sebagian besar tugas.

Nilai yang direkomendasikan untuk berbagai platform:

Wildberries: 15-25 permintaan per proxy, kemudian ganti
Ozon: 20-30 permintaan
Yandex.Market: 30-50 permintaan
Avito: 50-100 permintaan

Nuansa penting: tambahkan randomisasi. Jangan ganti proxy secara ketat setelah 20 permintaan — lakukan ini setelah 18-23 permintaan secara acak. Ini membuat pola menjadi kurang dapat diprediksi bagi sistem perlindungan.

Strategi 2: Rotasi berdasarkan waktu

Ganti proxy setiap N menit terlepas dari jumlah permintaan. Cocok untuk tugas dengan beban yang tidak terduga — misalnya, pemantauan harga secara real-time, ketika jumlah pembaruan dapat berubah secara drastis.

Interval yang direkomendasikan: 5-15 menit untuk platform yang ketat (Wildberries, Ozon), 15-30 menit untuk yang lebih lunak (Avito, toko kecil).

Strategi 3: Sticky sessions (sesi lengket)

Gunakan proxy yang sama untuk semua permintaan dalam satu "sesi pengguna". Misalnya: Anda mensimulasikan pembeli yang masuk ke Ozon, mencari "laptop", membuka 5 kartu produk, menambahkan satu ke keranjang. Semua tindakan ini dilakukan melalui satu proxy dengan penyimpanan cookies.

Setelah sesi selesai (setelah 3-10 menit) — ganti proxy dan mulai sesi baru. Ini adalah pola yang paling "manusiawi", tetapi membutuhkan lebih banyak proxy dan lebih sulit untuk diimplementasikan.

Kapan digunakan: Parsing platform dengan perlindungan yang sangat ketat, ketika rotasi sederhana tidak berhasil. Juga cocok untuk mengumpulkan data melalui akun pribadi penjual.

Saran praktis:

Kombinasikan strategi. Misalnya: gunakan sesi lengket untuk 20-30 permintaan, dan setelah sesi selesai, ganti proxy. Tambahkan batas waktu — jika sesi berlangsung lebih dari 10 menit, ganti proxy secara paksa. Pendekatan hibrida seperti ini memberikan perlindungan maksimal dari deteksi.

Alat siap pakai untuk memantau harga dengan dukungan proxy

Jika Anda tidak ingin menulis parser dari awal, ada solusi siap pakai dengan dukungan proxy terintegrasi. Mari kita lihat alat paling populer untuk memantau harga di marketplace Rusia dan internasional.

Untuk marketplace Rusia

1. Mpstats (mpstats.io)
Layanan khusus untuk analitik Wildberries dan Ozon. Mengumpulkan data tentang penjualan, stok, harga pesaing. Terdapat API untuk integrasi dengan sistem Anda sendiri. Layanan ini bekerja melalui infrastruktur proxy mereka sendiri, Anda tidak perlu mengatur apa pun tambahan.

Kekurangan: biaya tinggi (dari 15.000 rubel/bulan untuk akses penuh), tidak bisa menggunakan proxy Anda sendiri. Cocok untuk penjual besar dengan omset dari 1-2 juta rubel/bulan.

2. Sellego
Layanan serupa dengan fokus pada otomatisasi penetapan harga. Memantau harga pesaing dan secara otomatis menyesuaikan harga Anda sesuai aturan yang ditentukan (misalnya, "lebih murah 5% dari pesaing"). Juga bekerja melalui proxy mereka sendiri.

3. Parsehub
Pembuat parser visual tanpa kode. Anda mengklik elemen halaman yang perlu dikumpulkan, dan layanan secara otomatis membuat parser. Mendukung proxy — Anda dapat menambahkan daftar Anda sendiri di pengaturan proyek. Cocok untuk mereka yang tidak bisa pemrograman sama sekali.

Biaya: tarif gratis — 200 halaman per bulan, tarif berbayar — dari $149/bulan untuk 10.000 halaman. Untuk memantau 100-200 produk, tarif gratis sudah cukup.

Untuk pengembangan mandiri

Jika Anda siap mengatur parser sendiri atau memiliki programmer di tim:

1. Scrapy (Python)
Kerangka kerja yang kuat untuk parsing dengan dukungan proxy terintegrasi, rotasi, dan penanganan kesalahan. Terdapat middleware untuk secara otomatis mengganti proxy dari daftar. Membutuhkan pengetahuan tentang Python, tetapi dokumentasinya sangat baik.

Cocok untuk parsing situs sederhana tanpa JavaScript. Untuk Wildberries dan Ozon, perlu dikombinasikan dengan Splash atau Selenium untuk memproses JavaScript.

2. Puppeteer / Playwright (JavaScript)
Browser headless yang sepenuhnya mensimulasikan pengguna nyata — menjalankan JavaScript, menyimpan cookies, dapat mensimulasikan gerakan mouse. Ideal untuk platform dengan perlindungan ketat.

Pengaturan proxy sederhana — satu parameter saat menjalankan browser. Playwright dianggap lebih modern dan stabil, tetapi Puppeteer memiliki lebih banyak contoh dan pustaka yang siap pakai.

3. Octoparse
Aplikasi desktop untuk Windows dengan pembuat parser visual. Tidak memerlukan pemrograman — Anda hanya mengklik elemen yang perlu dikumpulkan. Dukungan proxy terintegrasi, penjadwalan peluncuran, ekspor ke Excel/CSV.

Biaya: versi gratis dengan batasan (10.000 catatan per bulan), tarif berbayar dari $75/bulan. Pilihan yang baik untuk bisnis kecil dan menengah.

Pengaturan langkah demi langkah parser harga dengan proxy dalam 15 menit

Saya akan menunjukkan cara paling sederhana untuk mengatur pemantauan harga menggunakan Parsehub — alat tanpa kode. Metode ini cocok bahkan jika Anda belum pernah bekerja dengan parser sebelumnya.

Langkah 1: Pendaftaran dan Instalasi

Daftar di parsehub.com (ada tarif gratis)
Unduh dan instal aplikasi desktop untuk Windows atau Mac
Jalankan aplikasi dan masuk ke akun

Langkah 2: Membuat Proyek dan Memilih Elemen

Klik "Proyek Baru" dan masukkan URL halaman dengan produk (misalnya, kategori di Ozon atau hasil pencarian)
Parsehub akan memuat halaman di browser terintegrasi
Klik pada nama produk pertama — Parsehub secara otomatis akan menyoroti semua elemen serupa di halaman
Klik pada harga produk — itu akan ditambahkan ke daftar data yang dikumpulkan
Tambahkan bidang lain yang diperlukan: tautan produk, peringkat, jumlah ulasan

Langkah 3: Pengaturan Proxy

Buka pengaturan proyek (ikon roda gigi)
Temukan bagian "Pengaturan Proxy"
Pilih "Gunakan proxy" dan masukkan data proxy Anda dalam format: IP:PORT:USERNAME:PASSWORD
Jika Anda memiliki daftar proxy, aktifkan opsi "Rotasi proxy" — Parsehub akan secara otomatis mengganti proxy antara permintaan

Langkah 4: Pengaturan Jadwal

Di pengaturan proyek, temukan "Jadwal"
Pilih frekuensi peluncuran: setiap jam, setiap 6 jam, sekali sehari, dll.
Untuk penetapan harga dinamis, optimal — setiap 2-4 jam

Langkah 5: Ekspor Data

Setelah peluncuran pertama parser, data akan muncul di tab "Data"
Klik "Ekspor" dan pilih format: CSV, Excel, JSON
Anda dapat mengatur pengiriman data otomatis ke Google Sheets atau melalui email setelah setiap peluncuran

Seluruh pengaturan memakan waktu 10-15 menit. Setelah itu, parser akan bekerja secara otomatis sesuai jadwal, mengumpulkan harga pesaing dan mengirimkan data kepada Anda.

Penting: Untuk parsing Wildberries dan Ozon melalui Parsehub, pastikan untuk menggunakan proxy residensial. Pusat data akan diblokir, bahkan dengan rotasi. Cukup dengan kumpulan 10-20 proxy untuk memantau 200-500 produk.

5 kesalahan yang menyebabkan pemblokiran saat parsing

Bahkan dengan proxy yang benar, Anda bisa mendapatkan pemblokiran jika melakukan kesalahan umum. Berikut adalah masalah paling umum dari praktik.

Kesalahan 1: Kecepatan permintaan terlalu tinggi

Banyak yang berusaha mengumpulkan data secepat mungkin dan melakukan 10-20 permintaan per detik. Ini segera terdeteksi oleh sistem perlindungan. Manusia nyata secara fisik tidak dapat membuka 20 kartu produk dalam satu detik.

Solusi: Tambahkan jeda antara permintaan. Minimal 2-3 detik untuk situs sederhana, 5-10 detik untuk marketplace dengan perlindungan. Buat jeda acak — tidak tepat 5 detik, tetapi antara 4 hingga 8 detik secara acak.

Kesalahan 2: Menggunakan satu proxy untuk semua permintaan

Bahkan jika Anda membeli proxy residensial, menggunakan satu IP untuk ratusan permintaan dalam sehari akan mengarah pada pemblokiran. Sistem perlindungan melacak aktivitas setiap IP.

Solusi: Minimal 10-20 proxy dalam kumpulan dengan rotasi. Untuk volume besar (1000+ produk per hari) — 50-100 proxy.

Kesalahan 3: Tidak adanya atau header permintaan yang salah

Permintaan tanpa User-Agent atau dengan User-Agent default pustaka (misalnya, "Python-requests/2.28.1") segera terdeteksi sebagai bot.

Solusi: Selalu sertakan User-Agent dari browser nyata. Tambahkan juga header Accept, Accept-Language, Accept-Encoding. Ganti User-Agent saat mengganti proxy.

Kesalahan 4: Mengabaikan cookies dan sesi

Banyak platform menggunakan cookies untuk melacak sesi pengguna. Jika Anda melakukan setiap permintaan "dari awal" tanpa cookies, itu terlihat mencurigakan.

Solusi: Simpan cookies antara permintaan dalam satu sesi. Saat mengganti proxy — bersihkan cookies dan mulai sesi baru. Gunakan pustaka dengan manajemen cookies otomatis (requests.Session di Python, puppeteer di JavaScript).

Kesalahan 5: Parsing hanya kartu produk tanpa mensimulasikan navigasi

Jika Anda langsung membuka tautan langsung ke kartu produk, melewati halaman utama, pencarian, dan kategori, itu tidak terlihat seperti perilaku pengguna nyata.

Solusi: Untuk platform dengan perlindungan ketat (Wildberries, Ozon), simulasikan jalur lengkap pengguna: halaman utama → pencarian atau kategori → daftar produk → kartu produk. Ini meningkatkan waktu parsing, tetapi secara signifikan mengurangi risiko pemblokiran.

Kesimpulan

Memantau penetapan harga dinamis adalah tugas yang sangat penting bagi setiap penjual di marketplace. Harga pesaing berubah beberapa kali dalam sehari, dan siapa yang pertama kali bereaksi terhadap perubahan — dia yang mempertahankan posisi di hasil pencarian dan keuntungan. Namun, semua platform besar secara ketat memblokir parsing, sehingga tanpa proxy yang diatur dengan benar, mengumpulkan data tidak mungkin dilakukan.

Kesimpulan kunci dari artikel ini: untuk Wildberries dan Ozon, gunakan hanya proxy residensial atau seluler — pusat data diblokir dalam 90% kasus. Pastikan untuk mengatur rotasi proxy — ganti IP setelah setiap 20-30 permintaan. Tambahkan jeda antara permintaan (5-10 detik) dan acakannya. Gunakan browser headless untuk platform dengan perlindungan JavaScript. Simulasikan perilaku pengguna nyata — jangan buka kartu produk secara langsung, tetapi emulasikan jalur lengkap melalui pencarian dan kategori.

Jika Anda tidak ingin berurusan dengan detail teknis, gunakan alat siap pakai seperti Parsehub atau Octoparse — mereka tidak memerlukan pemrograman dan memiliki dukungan proxy terintegrasi. Untuk volume besar dan tugas spesifik, lebih baik mengembangkan parser sendiri menggunakan Scrapy atau Puppeteer.

Jika Anda berencana untuk mengatur pemantauan harga otomatis di marketplace Rusia, kami merekomendasikan untuk memulai dengan proxy residensial — mereka memberikan akses stabil ke Wildberries, Ozon, dan platform lainnya dengan risiko pemblokiran minimal. Untuk kasus yang sangat rumit atau bekerja dengan aplikasi seluler marketplace, proxy seluler dengan IP dari operator Rusia akan sangat membantu.

```

Cara Melacak Penetapan Harga Dinamis Pesaing Melalui Proxy Tanpa Pemblokiran