Pemantauan Harga Otomatis untuk Kompetitor di Wildberries, Ozon, dan Situs Lain Tanpa Pemblokiran: Panduan Lengkap Proxy

Jika Anda menjual di marketplace atau mengelola toko online, Anda tahu: harga kompetitor berubah beberapa kali dalam sehari. Pemantauan manual adalah waktu yang terbuang dan keuntungan yang hilang. Pengumpulan data otomatis menyelesaikan masalah ini, tetapi situs dan marketplace aktif memblokir parser. Dalam artikel ini, kita akan membahas cara mengatur pemantauan harga sehingga permintaan Anda tidak pernah terdeteksi dan diblokir.

Mengapa situs memblokir pemantauan harga dan bagaimana mereka mendeteksi Anda

Sebelum mengatur pemantauan, penting untuk memahami logika perlindungan dari situs. Marketplace dan toko online sangat menyadari bahwa kompetitor ingin memantau harga mereka — dan mereka aktif melawan hal ini. Perlindungan bekerja pada beberapa tingkat sekaligus.

Analisis frekuensi permintaan

Pembeli biasa mengunjungi halaman produk setiap beberapa menit atau jam. Parser membuat ratusan permintaan per menit dari satu alamat IP. Sistem anti-bot (Cloudflare, Imperva, DataDome) segera mencatat anomali tersebut dan memblokir IP. Itulah sebabnya bekerja dengan satu alamat saat pengumpulan data otomatis hampir tidak mungkin.

Pemeriksaan kepemilikan alamat IP

Setiap alamat IP memiliki sejarah dan kepemilikan tersendiri. Alamat pusat data (AWS, Google Cloud, Hetzner) mudah diidentifikasi melalui basis data — situs tahu bahwa dari alamat tersebut bekerja bot dan parser, dan memblokirnya dari awal. IP residensial — yang dimiliki oleh pengguna rumah nyata — jauh lebih sedikit menimbulkan kecurigaan.

Analisis perilaku

Sistem perlindungan modern menganalisis tidak hanya IP, tetapi juga perilaku: kecepatan scrolling, gerakan mouse, jeda antara tindakan, urutan pemuatan sumber daya halaman. Jika permintaan dilakukan sesuai jadwal tanpa jeda acak — ini adalah sinyal untuk pemblokiran.

Pembatasan geolokasi

Beberapa platform menunjukkan harga yang berbeda tergantung pada wilayah. Wildberries, misalnya, dapat menampilkan harga yang berbeda untuk Moskow dan Novosibirsk. Jika Anda memantau harga untuk wilayah tertentu, proksi Anda harus memiliki IP dari wilayah tersebut — jika tidak, Anda akan mendapatkan data yang tidak relevan.

Proksi mana yang cocok untuk pemantauan harga: perbandingan jenis

Tidak semua proksi sama bermanfaatnya untuk pemantauan harga. Pilihan tergantung pada situs mana yang Anda pantau, seberapa sering pembaruan data diperlukan, dan anggaran yang siap Anda alokasikan. Mari kita bahas setiap jenis secara rinci.

Proksi Residensial — Pilihan Optimal untuk Sebagian Besar Tugas

Proksi residensial menggunakan alamat IP dari pengguna rumah nyata di internet. Dari sudut pandang situs, permintaan datang dari pembeli biasa dari apartemen atau kantor — tidak ada kecurigaan. Ini membuat mereka ideal untuk pemantauan di Wildberries, Ozon, Avito, dan sebagian besar platform lainnya. Keuntungan utama — kemampuan untuk memilih geolokasi: Anda dapat mendapatkan IP dari kota atau wilayah tertentu di Rusia, yang sangat penting untuk pemantauan harga regional yang akurat.

Proksi residensial rotasi secara otomatis mengganti alamat IP pada setiap permintaan atau melalui interval yang ditentukan. Ini berarti bahwa bahkan jika satu alamat terkena pembatasan sementara, permintaan berikutnya akan dikirim dari IP yang berbeda — pemantauan tidak terputus.

Proksi Mobile — untuk Platform yang Paling Dilindungi

IP mobile adalah alamat dari operator seluler (MTS, Beeline, MegaFon). Mereka memiliki satu sifat unik: satu IP mobile dapat digunakan oleh ribuan pengguna nyata (melalui NAT operator). Oleh karena itu, situs sangat jarang memblokir alamat mobile — risiko mengenai pembeli nyata terlalu tinggi. Jika Anda memantau platform dengan perlindungan anti-bot yang agresif dan proksi residensial terkadang diblokir — beralihlah ke mobile.

Proksi Data Center — Hanya untuk Tugas Sederhana

Proksi data center bekerja cepat dan murah, tetapi mudah dikenali. Sebagian besar marketplace serius akan memblokirnya dalam beberapa menit kerja intensif. Mereka cocok untuk pemantauan toko online kecil tanpa perlindungan serius atau untuk pengujian awal skema pemrograman.

Fitur Pengumpulan Data di Wildberries, Ozon, Avito, dan Platform Lainnya

Setiap platform besar memiliki fitur perlindungan tersendiri. Memahami fitur-fitur ini memungkinkan Anda untuk mengatur pemantauan dengan benar dan tidak membuang sumber daya dengan sia-sia.

Wildberries

Wildberries adalah salah satu marketplace yang paling sulit untuk diparsing di Rusia. Platform ini secara aktif menggunakan pemuatan konten dinamis melalui JavaScript, yang berarti: permintaan HTTP sederhana tidak akan memberikan harga — halaman harus sepenuhnya dirender oleh browser. Selain itu, WB secara aktif mengubah struktur halaman dan endpoint API, yang merusak parser.

Untuk Wildberries, proksi residensial rotasi dengan IP Rusia adalah yang paling optimal. Frekuensi permintaan — tidak lebih dari satu permintaan setiap 3–5 detik per IP. Penting juga untuk meniru perilaku pengguna nyata: jeda acak, header browser yang benar (User-Agent, Accept-Language).

Ozon

Ozon menggunakan sistem perlindungan berbasis Cloudflare dan solusi anti-botnya sendiri. Platform ini menganalisis TLS-fingerprint (sidik jari digital koneksi) — ini berarti bahwa bahkan dengan proksi yang baik, permintaan dapat diblokir jika tidak terlihat seperti permintaan dari browser nyata. Untuk Ozon, disarankan untuk menggunakan alat yang sepenuhnya meniru browser (headless Chrome, Playwright), bukan klien HTTP sederhana.

Avito

Avito memiliki perlindungan sedang, tetapi aktif memblokir IP dari data center. Proksi residensial dengan alamat Rusia bekerja dengan stabil. Fitur Avito — regionalitas: harga dan iklan sangat bervariasi antar kota. Jika Anda memantau kompetitor di wilayah tertentu, pastikan untuk menggunakan proksi dengan IP dari wilayah tersebut, jika tidak, data akan menjadi tidak relevan.

Yandex.Market dan Agregator Lainnya

Yandex.Market menggunakan sistem deteksi bot yang canggih — tidak mengherankan, mengingat sumber daya perusahaan. Platform ini menganalisis perilaku, frekuensi permintaan, dan karakteristik koneksi. Untuk pemantauan yang stabil, diperlukan proksi residensial rotasi dengan jeda antara permintaan tidak kurang dari 5–10 detik.

Alat Siap Pakai untuk Pemantauan Harga Tanpa Kode

Kabar baik bagi mereka yang tidak menulis kode: ada layanan dan alat siap pakai yang memungkinkan Anda mengatur pemantauan harga kompetitor dalam hitungan jam. Anda hanya perlu menghubungkan proksi dan menunjukkan apa yang ingin dipantau.

Layanan Pemantauan Harga Khusus

Platform seperti Priceva, Competera, dan layanan Rusia serupa menyediakan solusi siap pakai: Anda menambahkan URL halaman kompetitor, mengatur jadwal pemeriksaan, dan menerima laporan dalam format yang nyaman. Banyak dari mereka mendukung penghubungan proksi sendiri — ini penting jika Anda ingin mengontrol geolokasi dan kualitas alamat IP.

Parser Tanpa Kode: Octoparse, ParseHub, Apify

Octoparse dan ParseHub adalah parser visual dengan antarmuka drag-and-drop. Anda secara harfiah "mengklik" elemen halaman (harga, nama produk, ketersediaan), dan alat tersebut akan mengerti bagaimana mengekstraknya. Keduanya mendukung penghubungan proksi melalui format standar host:port:login:password. Apify adalah platform yang lebih kuat dengan "aktor" (template) siap pakai untuk mem-parsing situs populer, termasuk marketplace.

Google Sheets + IMPORTXML/IMPORTHTML

Untuk tugas sederhana — memantau 10–20 halaman tanpa perlindungan serius — Anda dapat menggunakan fungsi bawaan Google Sheets. IMPORTXML dan IMPORTHTML memungkinkan Anda menarik data dari halaman web langsung ke dalam spreadsheet. Kekurangan: tidak mendukung proksi dan hanya bekerja dengan halaman statis sederhana. Metode ini tidak cocok untuk marketplace.

Browser Anti-Deteksi untuk Pemantauan Manual

Jika Anda perlu memeriksa harga secara manual dari berbagai wilayah — misalnya, melihat bagaimana produk Anda terlihat bagi pembeli dari Yekaterinburg — browser anti-detect seperti Dolphin Anty, AdsPower, atau GoLogin akan menjadi alat yang nyaman. Anda membuat profil browser terpisah dengan geolokasi yang diperlukan, menghubungkan proksi dengan IP dari kota yang diinginkan, dan membuka halaman kompetitor. Setiap profil terlihat seperti pengguna unik yang terpisah.

Cara Mengatur Proksi untuk Pemantauan: Instruksi Langkah demi Langkah

Mari kita bahas pengaturan praktis dengan contoh menghubungkan proksi ke alat pemantauan yang populer. Prinsipnya sama untuk sebagian besar solusi tanpa kode.

Langkah 1: Dapatkan Data Proksi

Setelah membeli proksi, Anda akan menerima data untuk koneksi dalam format: host (IP atau domain), port, login, dan password. Untuk proksi residensial rotasi biasanya diberikan satu endpoint — alamat gateway, melalui mana perubahan IP otomatis terjadi pada setiap permintaan. Catat data ini — Anda akan membutuhkannya pada langkah berikutnya.

Langkah 2: Pilih Protokol — HTTP atau SOCKS5

Sebagian besar alat untuk mem-parsing mendukung kedua protokol. Proksi HTTP — opsi universal, bekerja dengan alat apa pun. SOCKS5 — protokol yang lebih fleksibel, mendukung semua jenis lalu lintas dan lebih baik menyembunyikan fakta penggunaan proksi. Untuk pemantauan harga, kami merekomendasikan SOCKS5 jika alat Anda mendukungnya.

Langkah 3: Pengaturan di Octoparse (contoh)

Di Octoparse, pergi ke menu Settings → Proxy Settings. Pilih mode Custom Proxy. Masukkan data proksi Anda: host, port, login, password. Klik Test Connection — alat akan memeriksa apakah proksi berfungsi dan menunjukkan alamat IP baru Anda. Jika tes berhasil — proksi terhubung. Sekarang semua permintaan parser akan melalui proksi tersebut.

Langkah 4: Atur Rotasi dan Jeda

Ini adalah langkah yang sangat penting yang sering dilewatkan. Bahkan dengan proksi yang baik, pemrograman yang agresif akan terdeteksi. Atur parameter berikut:

• Jeda antara permintaan: minimal 3–5 detik untuk Wildberries dan Ozon, 1–2 detik untuk situs yang kurang dilindungi
• Rotasi IP: ganti IP setiap 10–20 permintaan atau setiap 5–10 menit
• Jeda acak: alih-alih jeda tetap, gunakan interval acak (misalnya, dari 3 hingga 8 detik)
• User-Agent: gunakan string User-Agent terbaru dari browser nyata (Chrome, Firefox)

Langkah 5: Pengujian Sebelum Peluncuran

Sebelum meluncurkan pemantauan penuh, lakukan tes: jalankan pemrograman pada 10–20 halaman dan periksa apakah semua data dikumpulkan dengan benar dan tidak ada pemblokiran. Jika sebagian permintaan mengembalikan kesalahan 403 (akses ditolak) atau CAPTCHA — tingkatkan jeda dan periksa pengaturan rotasi.

Kesalahan Umum Saat Mem-Parsing Harga dan Cara Menghindarinya

Sebagian besar masalah dengan pemantauan harga muncul karena kesalahan yang sama. Mari kita bahas yang paling umum.

Kesalahan 1: Menggunakan Satu IP untuk Semua Permintaan

Bahkan jika Anda memiliki IP residensial yang baik — jangan gunakan untuk ratusan permintaan berturut-turut. Setiap IP yang membuat terlalu banyak permintaan dalam waktu singkat akan diblokir. Gunakan proksi rotasi atau kumpulan beberapa alamat IP, mendistribusikan beban di antara mereka.

Kesalahan 2: Mengabaikan Geolokasi

Jika Anda memantau harga kompetitor di Moskow, menggunakan proksi dengan IP dari Novosibirsk atau bahkan dari Jerman — Anda akan mendapatkan data yang salah. Di Wildberries, Ozon, dan Avito, harga dan syarat pengiriman tergantung pada wilayah. Selalu pilih proksi dengan geolokasi yang sesuai dengan tugas Anda.

Kesalahan 3: Frekuensi Permintaan Terlalu Tinggi

Keinginan untuk mendapatkan data secepat mungkin menyebabkan parser melakukan permintaan setiap 0,1–0,5 detik. Aktivitas semacam itu segera terdeteksi. Harga tidak berubah setiap detik — biasanya cukup untuk memeriksanya setiap jam atau bahkan setiap beberapa jam. Kurangi frekuensi — dan stabilitas pemantauan akan meningkat secara drastis.

Kesalahan 4: Proksi Data Center Murah untuk Platform yang Rumit

Banyak yang mulai dengan proksi data center termurah dan terkejut mengapa Wildberries memblokirnya dalam 5 menit. Untuk marketplace yang serius, diperlukan proksi residensial atau mobile. Menghemat biaya pada proksi berujung pada kehilangan waktu dalam menghadapi pemblokiran.

Kesalahan 5: Tidak Memantau Kinerja Proksi

Proksi dapat tidak berfungsi sementara, memiliki latensi tinggi, atau mengembalikan kesalahan. Jika Anda tidak mengontrol ini, pemantauan dapat "rusak" secara diam-diam — data tidak akan diperbarui, dan Anda hanya akan mengetahuinya setelah beberapa hari. Atur peringatan untuk kesalahan di alat Anda atau periksa secara berkala keakuratan data secara manual.

Skema Kerja Pemantauan untuk Berbagai Tugas

Agar tidak menciptakan roda, mari kita bahas skema konkret untuk tugas tipikal penjual dan pemasar.

Skema 1: Pemantauan Harga Kompetitor di Wildberries — untuk Penjual

Tugas: Memantau harga 50–100 produk kompetitor di Wildberries, pembaruan setiap 2–4 jam.

Alat: Layanan khusus (Priceva atau sejenisnya) atau Apify dengan aktor siap pakai untuk WB.

Proksi: Proksi residensial rotasi dengan IP Rusia. Kumpulan dari 50 alamat untuk mendistribusikan beban.

Pengaturan: Jeda 5–8 detik antara permintaan, interval acak, rotasi IP setiap 15 permintaan.

Hasil: Data harga kompetitor yang akurat setiap 2–4 jam, peringatan otomatis saat perubahan harga lebih dari 5%.

Skema 2: Pemantauan Harga Regional di Avito — untuk Bisnis Lokal

Tugas: Memantau harga kompetitor di Avito di kota tertentu (misalnya, Krasnodar), pembaruan setiap hari.

Alat: Octoparse atau ParseHub dengan template yang disesuaikan untuk Avito.

Proksi: Proksi residensial dengan IP dari kota atau wilayah tertentu. Penting: IP harus sesuai dengan kota yang diperlukan untuk mendapatkan harga lokal.

Pengaturan: Jalankan sekali sehari, jeda 3–5 detik, IP statis (tidak perlu rotasi agresif pada frekuensi rendah).

Hasil: Laporan harian tentang harga kompetitor di wilayah Anda, ekspor ke Excel atau Google Sheets.

Skema 3: Pemantauan Penawaran Iklan Kompetitor — untuk Pemasar

Tugas: Memantau promosi, diskon, dan penawaran khusus dari kompetitor di situs mereka dan dalam iklan.

Alat: Kombinasi parser (Apify) untuk situs + alat pemantauan iklan untuk melacak iklan.

Proksi: Proksi residensial dengan geolokasi pasar target. Jika Anda memantau iklan untuk berbagai wilayah — diperlukan proksi dari beberapa wilayah secara bersamaan.

Pengaturan: Pemeriksaan 2–3 kali sehari, rotasi IP pada setiap sesi baru.

Hasil: Informasi terkini tentang aktivitas pemasaran kompetitor, kemampuan untuk merespons cepat terhadap promosi mereka.

Skema 4: Pemantauan Harga di Marketplace Asing — untuk Importir

Tugas: Memantau harga pemasok dan kompetitor di AliExpress, Amazon, eBay.

Alat: Apify dengan aktor siap pakai untuk Amazon dan AliExpress, atau layanan pemantauan khusus.

Proksi: Proksi residensial dengan IP dari negara marketplace target (AS untuk Amazon, Cina atau AS untuk AliExpress). Ini penting, karena harga dapat berbeda tergantung pada negara pengunjung.

Pengaturan: Pembaruan setiap 6–12 jam, jeda 5–10 detik, rotasi IP setiap 20 permintaan.

Kesimpulan

Pemantauan harga kompetitor secara otomatis bukan hanya kenyamanan, tetapi juga keunggulan kompetitif. Dengan mengetahui bagaimana harga berubah di Wildberries, Ozon, Avito, dan platform lainnya, Anda dapat merespons dengan cepat: menurunkan harga saat kompetitor melakukan penurunan harga, meningkatkannya di periode permintaan tinggi, meluncurkan promosi pada waktu yang tepat. Semua ini berdampak langsung pada penjualan dan margin.

Kunci untuk pemantauan yang stabil adalah proksi yang dipilih dengan benar dan pengaturan alat yang baik. Untuk sebagian besar marketplace Rusia, pilihan optimal adalah proksi residensial rotasi dengan IP Rusia: mereka terlihat seperti pengguna nyata, mendukung pemilihan geolokasi, dan tidak diblokir oleh sistem anti-bot yang agresif.

Jika Anda bekerja dengan platform yang sangat ketat memblokir parser, atau Anda memerlukan stabilitas maksimum — pertimbangkan proksi mobile: mereka sangat jarang diblokir, karena satu IP mobile dapat digunakan oleh ribuan pengguna nyata.

Mulailah dari yang kecil: atur pemantauan untuk 20–30 posisi kunci dari kompetitor, uji skema, pastikan data stabil — dan kemudian skalakan. Pemantauan harga yang diatur dengan benar akan terbayar dalam bulan pertama kerja.