Jika Anda menjual di marketplace dan mengubah harga secara manual sekali seminggu, pesaing yang menghitung harga setiap jam akan mengambil penjualan Anda. Sistem pemantauan sendiri menyelesaikan masalah ini, tetapi marketplace dan situs pesaing secara aktif memblokir bot, alamat IP, dan seluruh subnet pusat data. Dalam artikel ini, kita akan membahas skema kerja pengumpulan data tanpa pemblokiran — dengan pemilihan proxy, alat, dan frekuensi permintaan yang tepat.
Mengapa perlu sistem pemantauan pesaing sendiri
Layanan pemantauan harga yang sudah jadi (ada puluhan di pasar) mulai dari beberapa ribu rubel per bulan dan biasanya membatasi jumlah produk atau frekuensi pembaruan data. Jika Anda memiliki katalog dengan 500–5000 SKU dan menjual secara bersamaan di Wildberries, Ozon, dan Avito, berlangganan tiga layanan berbeda menjadi lebih mahal daripada sistem Anda sendiri, dan fleksibilitas tetap kurang: Anda tidak dapat mengatur logika khusus untuk menghitung harga atau menambahkan pemantauan situs pesaing yang tidak standar.
Sistem sendiri memberikan tiga keuntungan konkret. Pertama, Anda mengontrol frekuensi pengumpulan — Anda dapat memeriksa harga pesaing teratas setiap 15 menit, dan yang lainnya sekali sehari. Kedua, Anda mengumpulkan tidak hanya harga, tetapi juga stok, peringkat, jumlah ulasan, posisi dalam hasil pencarian — parameter apa pun yang penting untuk bisnis Anda. Ketiga, data tetap milik Anda: Anda dapat menggabungkannya dengan analitik internal tentang margin dan secara otomatis menghitung ulang harga agar tidak merugi.
Penjual yang menerapkan perhitungan harga otomatis berdasarkan pemantauan pesaing, rata-rata meningkatkan tingkat pembelian posisi di 10 besar kategori sebesar 15-25% karena harga bereaksi terhadap perubahan pasar lebih cepat daripada secara manual. Ini sangat kritis di kategori dengan persaingan tinggi — pakaian, elektronik, barang rumah tangga.
Mengapa situs dan marketplace memblokir pengambilan data
Wildberries, Ozon, dan sebagian besar toko online menggunakan sistem anti-bot yang menganalisis perilaku permintaan. Jika dari satu IP datang 200 permintaan per menit tanpa jeda, tanpa header browser yang khas, dan tanpa menjalankan JavaScript — ini segera ditandai sebagai bot. Selanjutnya, sistem akan memberikan captcha, atau menyajikan data yang salah (harga palsu), atau memblokir IP selama beberapa jam.
Masalah terpisah adalah subnet pusat data. Alamat IP yang dimiliki Amazon AWS, Google Cloud, DigitalOcean, dan penyedia serupa telah masuk dalam daftar hitam sebagian besar sistem anti-bot bahkan sebelum Anda melakukan permintaan pertama. Marketplace melihat ASN (nomor sistem otonom) penyedia dan memblokir seluruh rentang secara keseluruhan, bahkan jika Anda mengirim satu permintaan per jam.
Itulah mengapa proxy server klasik untuk pemantauan marketplace bekerja dengan buruk: ia cepat dan murah, tetapi terdeteksi pada tingkat reputasi IP. Untuk menghindarinya, dibutuhkan IP yang terlihat seperti pengguna biasa — ini adalah ide kunci dari skema yang akan kita bahas selanjutnya.
Arsitektur sistem: apa saja yang dibutuhkan
Sistem pemantauan pesaing yang berfungsi terdiri dari lima blok, dan masing-masing dapat dibangun tanpa keterampilan pemrograman yang mendalam — menggunakan alat no-code dan low-code yang sudah ada.
- Daftar tujuan — tabel dengan tautan ke kartu produk pesaing yang perlu dipantau. Biasanya ini adalah Google Sheets atau Excel dengan kolom: URL, marketplace, SKU Anda, frekuensi pemeriksaan yang diinginkan.
- Pengumpul data (scraper) — program atau layanan yang membuka halaman dan mengambil harga, stok, peringkat. Bisa berupa parser no-code yang sudah ada atau skrip Python.
- Lapisan proxy — lapisan yang dilalui semua permintaan scraper, agar IP tidak diblokir oleh marketplace.
- Penyimpanan data — basis data atau tabel tempat hasil setiap pengambilan disimpan dengan cap waktu.
- Logika reaksi — aturan di mana sistem memberi tahu Anda (di Telegram, melalui email) atau secara otomatis mengubah harga melalui API marketplace.
Untuk memulai, cukup dengan kombinasi: Google Sheets + parser no-code (misalnya, berbasis Make/Zapier atau layanan parsing khusus) + proxy + bot Telegram untuk pemberitahuan. Ini dapat dibangun dalam satu hari tanpa menulis kode. Untuk skala yang lebih serius (ribuan SKU), diperlukan skrip Python dengan pustaka requests/BeautifulSoup atau Selenium, yang dijadwalkan untuk berjalan di server.
Proxy mana yang dipilih untuk pemantauan
Pemilihan proxy adalah 70% dari keberhasilan seluruh sistem. Mari kita bahas tiga jenis dan kapan masing-masing tepat digunakan.
| Jenis Proxy | Kapan digunakan | Risiko pemblokiran |
|---|---|---|
| Proxy pusat data | Situs sederhana tanpa anti-bot, pemantauan frekuensi rendah untuk toko online kecil | Tinggi di marketplace, rendah di situs biasa |
| Proxy residensial | Wildberries, Ozon, Avito — alat utama untuk pemantauan marketplace | Rendah dengan rotasi yang tepat |
| Proxy seluler | Pemeriksaan titik pada kartu dengan perlindungan ketat terhadap bot, menghindari captcha saat pemeriksaan manual | Minimal, tetapi lebih mahal dalam penggunaan |
Untuk pemantauan harian ribuan kartu di Wildberries dan Ozon, pilihan optimal adalah proxy residensial, karena IP mereka dimiliki oleh penyedia rumah nyata dan tidak terdaftar dalam daftar hitam pusat data. Mereka lebih mahal daripada server, tetapi menghemat waktu dalam menghindari pemblokiran dan captcha, yang pada akhirnya mengurangi biaya kepemilikan sistem.
Proxy seluler sebaiknya disimpan sebagai cadangan untuk situasi ketika bahkan IP residensial mendapatkan captcha — misalnya, saat memantau kategori produk tertentu yang sulit dengan perlindungan yang ditingkatkan. Server operator seluler menggunakan CGNAT (IP umum untuk ribuan pelanggan), sehingga pemblokiran IP semacam itu mempengaruhi pengguna nyata dan platform sangat berhati-hati dalam menerapkannya.
Alat pengumpulan data
Jika Anda bukan seorang programmer, ada beberapa cara untuk mengumpulkan sistem tanpa kode. Pertama, layanan no-code untuk parsing dan pemantauan harga memungkinkan Anda untuk menunjukkan URL kartu dan memilih pemilih CSS untuk elemen harga melalui antarmuka visual — cukup dengan mengklik blok yang diinginkan di halaman. Kedua, Anda dapat menggunakan kombinasi Google Sheets + ekstensi untuk browser yang memeriksa halaman sesuai jadwal dan mencatat hasilnya di tabel.
Jika ada orang dalam tim dengan keterampilan teknis dasar, sistem Python memberikan fleksibilitas maksimum. Skrip minimal terlihat seperti ini:
import requests
from bs4 import BeautifulSoup
proxies = {
"http": "http://login:password@proxy_host:port",
"https": "http://login:password@proxy_host:port",
}
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}
url = "https://example-shop.ru/product/12345"
response = requests.get(url, proxies=proxies, headers=headers, timeout=15)
soup = BeautifulSoup(response.text, "html.parser")
price = soup.select_one(".product-price").get_text(strip=True)
print(f"Harga saat ini: {price}")
Untuk halaman yang memuat harga melalui JavaScript (ini khas untuk Wildberries dan Ozon), permintaan biasa tidak akan berhasil — dibutuhkan browser headless berbasis Selenium atau Playwright, yang merender halaman sepenuhnya, seperti yang dilakukan pengguna biasa. Pendekatan ini lebih lambat, tetapi memberikan data yang akurat bahkan dengan konten dinamis.
Pengaturan rotasi dan frekuensi permintaan
Bahkan dengan proxy berkualitas, sistem dapat terjebak dalam pemblokiran jika permintaan datang terlalu sering dan monoton. Algoritma anti-bot marketplace menganalisis tidak hanya IP, tetapi juga pola perilaku: interval antara permintaan, urutan akses ke halaman, pengulangan header.
Aturan rotasi yang efektif yang mengurangi risiko pemblokiran:
- Ganti IP untuk setiap permintaan atau setiap 5-10 permintaan — sebagian besar penyedia proxy residensial mendukung rotasi otomatis berdasarkan timer atau permintaan.
- Tambahkan jeda acak antara permintaan dari 3 hingga 15 detik alih-alih interval tetap.
- Selang-seling User-Agent dari daftar browser nyata — jangan gunakan satu header yang sama untuk ribuan permintaan berturut-turut.
- Sebarkan beban sepanjang waktu: jangan periksa seluruh katalog dalam satu waktu pada pukul 00:00, sebar pemeriksaan selama beberapa jam.
- Gunakan IP yang relevan secara geografis — jika pesaing menjual di Rusia, proxy harus memiliki geolokasi Rusia, jika tidak, harga dan ketersediaan dapat berbeda dari yang sebenarnya untuk wilayah Anda.
Untuk memantau 1000-3000 kartu per hari, cukup dengan kumpulan beberapa puluh IP simultan dengan rotasi setiap 5-10 menit. Untuk skala yang lebih besar (puluhan ribu pemeriksaan), diperlukan penyedia dengan kumpulan IP residensial yang lebih besar dan dukungan rotasi melalui API, untuk mengintegrasikan perubahan IP langsung ke dalam skrip pengumpulan data.
Fitur pemantauan Wildberries, Ozon, dan Avito
Setiap platform memiliki spesifikasi perlindungan sendiri, dan skema perlu disesuaikan untuk itu.
Wildberries memberikan data tentang harga dan stok melalui API internal, yang dapat dipanggil langsung, mendapatkan respons JSON tanpa perlu mem-parsing HTML. Ini lebih cepat dan lebih stabil daripada merender halaman dengan browser, tetapi API ini memiliki batasan frekuensi permintaan dari satu IP, jadi rotasi proxy di sini wajib saat memantau lebih dari 50-100 produk per jam.
Ozon secara aktif menggunakan rendering JavaScript dan perlindungan yang lebih agresif terhadap bot, termasuk pemeriksaan perilaku mouse dan kecepatan scroll di beberapa bagian. Untuk pemantauan yang stabil di Ozon biasanya diperlukan browser headless dengan emulasi tindakan nyata pengguna, bukan hanya permintaan HTTP.
Avito terutama memantau frekuensi permintaan dari satu IP dan pola pencarian iklan. Untuk memantau iklan pesaing (misalnya, melacak iklan baru di niche Anda atau perubahan harga) sangat penting untuk menjaga frekuensi permintaan yang rendah — tidak lebih dari satu permintaan per iklan setiap 10-15 menit dari satu IP, jika tidak, akun atau IP akan masuk ke dalam shadow ban, di mana data yang tidak akurat diberikan tanpa kesalahan yang jelas.
Banyak spesialis SMM dan arbitrase untuk tugas serupa menggunakan browser anti-deteksi seperti Dolphin Anty, AdsPower, atau Multilogin — alat ini juga cocok untuk pemeriksaan manual titik pada kartu pesaing, jika pengumpulan otomatis menunjukkan data yang mencurigakan dan perlu diverifikasi secara manual melalui profil terpisah dengan proxy yang terhubung.
Penyimpanan data dan dasbor
Data yang dikumpulkan tidak berguna tanpa cara yang nyaman untuk menganalisisnya. Untuk katalog kecil (hingga 500 SKU), cukup dengan Google Sheets dengan riwayat harga berdasarkan tanggal dan pemformatan bersyarat yang menyoroti perubahan harga pesaing dengan warna merah atau hijau. Untuk volume yang lebih besar, diperlukan basis data — PostgreSQL atau bahkan SQLite cocok, jika sistem berjalan di satu server.
Berdasarkan data yang dikumpulkan, mudah untuk membangun dasbor sederhana di Google Data Studio (Looker Studio) atau Power BI, di mana terlihat: dinamika harga pesaing selama 30 hari terakhir, perbedaan harga relatif terhadap posisi Anda, frekuensi perubahan harga di setiap pesaing. Visualisasi ini membantu melihat pola — misalnya, pesaing mengubah harga setiap Senin pagi, dan Anda dapat menyesuaikan strategi Anda dengan siklus ini.
Penting untuk menyimpan tidak hanya harga saat ini, tetapi juga seluruh riwayat perubahan dengan cap waktu. Ini memungkinkan analisis musiman di kemudian hari, mengidentifikasi dumping sebelum penjualan, dan memprediksi perilaku pesaing di periode serupa berikutnya (misalnya, sebelum 11.11 atau Black Friday).
Kesalahan umum dalam membangun sistem
Dalam praktiknya, sebagian besar sistem pemantauan buatan sendiri gagal karena beberapa kesalahan umum yang mudah dihindari sebelumnya.
- Satu IP untuk seluruh pemantauan. Bahkan proxy yang berkualitas cepat atau lambat akan terjebak dalam pemblokiran jika ribuan permintaan dilakukan tanpa rotasi.
- Mengabaikan header browser. Permintaan tanpa User-Agent atau dengan header yang usang — ini adalah sinyal instan untuk sistem anti-bot.
- Frekuensi pemeriksaan terlalu tinggi. Pemantauan setiap menit hanya masuk akal untuk 5-10 pesaing kunci, untuk katalog lainnya cukup memeriksa setiap beberapa jam.
- Kurangnya penanganan kesalahan. Jika situs mengembalikan captcha atau sementara tidak tersedia, sistem harus mengenali ini dan mencoba lagi nanti, bukan mencatat nilai kosong atau salah sebagai harga yang aktual.
- Proxy pusat data untuk marketplace. Menghemat biaya pada jenis proxy berujung pada pemblokiran konstan dan kebutuhan untuk mengganti IP secara manual setiap hari — pada akhirnya, sistem memerlukan lebih banyak kerja manual daripada yang seharusnya.
Kesimpulan
Sistem pemantauan pesaing sendiri di marketplace bukanlah pengaturan sekali saja, tetapi alat kerja yang memerlukan arsitektur yang tepat: daftar tujuan, scraper, lapisan proxy, penyimpanan data, dan logika reaksi terhadap perubahan. Elemen kunci yang menentukan stabilitas seluruh skema adalah proxy. IP server cepat diblokir oleh sistem anti-bot Wildberries dan Ozon, jadi untuk pemantauan reguler di marketplace, penting untuk menganggarkan IP berkualitas dengan rotasi.
Jika Anda berencana untuk memantau harga pesaing di Wildberries, Ozon, atau Avito, mulailah dengan proxy residensial — mereka memberikan keandalan tinggi pada data yang dikumpulkan dan risiko pemblokiran minimal dengan rotasi yang tepat. Untuk pemeriksaan titik pada kartu yang paling terlindungi, simpan proxy seluler sebagai cadangan, dan untuk tugas tambahan di situs yang kurang terlindungi, proxy pusat data yang lebih terjangkau juga dapat digunakan.