Cara Mengumpulkan Data Penjual di Wildberries dan Ozon: Metode Parsing dan Mengatasi Perlindungan

Memantau pesaing di marketplace adalah tugas kunci bagi setiap penjual online. Mengetahui jajaran produk, harga, ulasan, dan strategi penjual lain memungkinkan pengambilan keputusan yang bijaksana dan mengungguli pesaing. Dalam panduan ini, kita akan membahas metode praktis untuk mengumpulkan data tentang penjual di Wildberries, Ozon, Yandex.Market, dan platform lainnya, serta cara menghindari perlindungan anti-bot.

Mengapa mengumpulkan data tentang penjual di marketplace

Pengumpulan informasi tentang pesaing bukan hanya sekadar rasa ingin tahu, tetapi merupakan kebutuhan untuk menjalankan bisnis yang sukses di marketplace. Berikut adalah alasan utama mengapa penjual secara rutin memantau peserta lain di platform:

Analisis kebijakan harga pesaing. Dengan mengetahui harga yang ditawarkan oleh penjual lain untuk produk serupa, Anda dapat menyesuaikan harga Anda untuk meningkatkan daya saing. Banyak penjual sukses menggunakan penetapan harga dinamis — secara otomatis mengubah harga berdasarkan tindakan pesaing.

Studi jajaran produk dan tren. Memantau produk apa yang muncul di pesaing membantu mengidentifikasi ceruk baru dan permintaan yang meningkat. Jika beberapa penjual secara bersamaan menambahkan kategori produk tertentu, ini bisa menjadi sinyal arah yang menjanjikan.

Memantau ulasan dan reputasi. Analisis ulasan pada produk pesaing memungkinkan Anda memahami apa yang disukai pelanggan dan apa yang menyebabkan ketidakpuasan. Informasi ini dapat digunakan untuk meningkatkan produk dan deskripsi Anda sendiri.

Evaluasi strategi promosi. Mempelajari bagaimana pesaing menggunakan foto, deskripsi, kata kunci, dan promosi memberikan ide untuk aktivitas pemasaran Anda sendiri. Sangat berguna untuk menganalisis penjual sukses di ceruk Anda.

Mencari pemasok dan produsen. Terkadang, data tentang penjual dapat mengarah pada pemasok umum atau memahami dari mana pesaing mendapatkan produk. Ini membantu mengoptimalkan rantai pasokan Anda sendiri.

Data apa yang bisa dikumpulkan tentang penjual

Marketplace menyediakan berbagai informasi publik tentang penjual. Berikut adalah tipe data utama yang dapat dikumpulkan untuk analisis pesaing:

Berbagai marketplace menyediakan tingkat akses yang berbeda terhadap informasi. Misalnya, di Wildberries, Anda dapat melihat jumlah pesanan dalam waktu terbaru, sedangkan di Ozon, informasi ini tersembunyi. Di Avito, tersedia riwayat aktivitas penjual, sedangkan di Yandex.Market — karakteristik pengiriman yang mendetail.

Metode parsing marketplace: manual vs otomatis

Ada beberapa pendekatan untuk mengumpulkan data tentang penjual di marketplace. Pemilihan metode tergantung pada volume data, frekuensi pembaruan, dan keterampilan teknis.

Pengumpulan data manual

Cara paling sederhana adalah dengan secara manual melihat halaman penjual dan mencatat informasi yang diperlukan dalam tabel Excel atau Google Sheets. Metode ini cocok untuk penelitian sekali waktu atau analisis sejumlah kecil pesaing (5-10 penjual).

Kelebihan pengumpulan manual: tidak memerlukan keterampilan teknis, tidak memerlukan alat tambahan, risiko pemblokiran rendah, dapat mengumpulkan informasi berkualitas dengan mempertimbangkan konteks.

Kekurangan: sangat lambat, memakan banyak waktu, tidak mungkin melacak perubahan secara real-time, kemungkinan kesalahan tinggi saat memasukkan data secara manual, tidak dapat diskalakan.

Layanan siap pakai untuk parsing

Di pasar, terdapat layanan khusus untuk memantau marketplace yang menyediakan solusi siap pakai untuk pengumpulan data. Contoh: MpStats, SellerFox, Moneyplace, DataOx, Price Tracker, dan lainnya.

Kelebihan layanan siap pakai: bekerja "langsung", tidak memerlukan pengaturan, menyediakan analitik dan visualisasi data, secara otomatis menghindari perlindungan marketplace, diperbarui secara berkala saat struktur situs berubah.

Kekurangan: langganan bulanan (dari 2000 hingga 15000 rubel), batasan jumlah permintaan, hanya mengumpulkan set data standar, ketergantungan pada stabilitas layanan.

Parsing otomatis dengan parser

Bagi mereka yang ingin memiliki kontrol penuh atas proses pengumpulan data, ada program parser khusus. Mereka secara otomatis mengunduh halaman marketplace, mengekstrak informasi yang diperlukan, dan menyimpannya dalam format yang nyaman.

Alat populer untuk parsing: Octoparse, ParseHub, WebHarvy, Scrapy (untuk programmer), Selenium (untuk otomatisasi browser). Alat ini memungkinkan Anda mengatur pengumpulan data yang tepat sesuai kebutuhan Anda, tanpa batasan dari layanan siap pakai.

Kelebihan parser: pengaturan fleksibel untuk berbagai tugas, dapat mengumpulkan data unik, tidak ada batasan jumlah permintaan, pembelian satu kali atau solusi gratis, kontrol penuh atas proses.

Kekurangan: memerlukan waktu untuk pengaturan, memerlukan keterampilan teknis dasar, perlu mengatur penghindaran perlindungan sendiri, jika struktur situs berubah, pengaturan perlu disesuaikan.

Bagaimana marketplace melindungi diri dari parsing

Marketplace secara aktif melawan pengumpulan data otomatis, karena parsing massal menciptakan beban tambahan pada server dan dapat digunakan oleh pesaing. Berikut adalah metode perlindungan utama yang akan Anda hadapi:

Pembatasan berdasarkan alamat IP. Perlindungan yang paling umum adalah pemblokiran alamat IP yang mengirimkan terlalu banyak permintaan dalam waktu singkat. Wildberries dan Ozon memantau frekuensi permintaan dan sementara memblokir IP yang mencurigakan selama beberapa jam atau hari.

Captcha dan pemeriksaan bot. Ketika aktivitas mencurigakan terdeteksi, marketplace dapat menampilkan captcha atau halaman pemeriksaan "Apakah Anda robot?". Ini menghentikan parsing otomatis sampai captcha diselesaikan secara manual.

Analisis User-Agent dan header. Situs memeriksa dari mana permintaan berasal — dari browser atau dari program. Permintaan tanpa header yang benar (User-Agent, Referer, Accept-Language) sering kali diblokir secara otomatis.

Perlindungan JavaScript dan pemuatan dinamis. Banyak marketplace memuat data melalui JavaScript setelah halaman dibuka. Parser sederhana yang hanya mengunduh HTML tidak melihat data ini dan mendapatkan halaman kosong.

Perangkap Honeypot. Di halaman dapat terdapat tautan tersembunyi yang tidak terlihat oleh pengguna biasa, tetapi dapat diakses oleh parser. Mengklik tautan tersebut mengidentifikasi bot dan mengarah pada pemblokiran.

Perubahan struktur HTML. Marketplace secara berkala mengubah nama kelas CSS dan struktur halaman untuk merusak parser yang telah diatur. Ini memerlukan pembaruan pengaturan pengumpulan data secara teratur.

Pemilihan proxy untuk parsing data penjual

Penggunaan proxy adalah syarat wajib untuk parsing marketplace yang sukses. Proxy memungkinkan Anda menghindari pembatasan berdasarkan alamat IP dan melakukan permintaan atas nama pengguna yang berbeda. Pemilihan jenis proxy tergantung pada tugas dan anggaran.

Perbandingan jenis proxy untuk parsing

Proxy pusat data untuk parsing

Ini adalah opsi tercepat dan termurah untuk parsing volume data besar. Proxy pusat data terletak di server penyedia hosting dan menyediakan kecepatan pengunduhan halaman yang tinggi.

Kapan cocok: untuk mengumpulkan data publik yang tidak memerlukan otorisasi; saat menggunakan kumpulan 50-100+ IP dengan rotasi otomatis; untuk parsing marketplace kecil dengan perlindungan lemah.

Limitasi: IP pusat data mudah dikenali oleh marketplace dan sering diblokir; Wildberries dan Ozon secara aktif menyaring IP semacam itu; memerlukan kumpulan alamat yang besar dan kecepatan permintaan yang lambat.

Proxy residensial untuk parsing

Proxy residensial menggunakan alamat IP dari penyedia internet rumah nyata. Untuk marketplace, permintaan semacam itu terlihat seperti tindakan pembeli biasa, yang secara signifikan mengurangi risiko pemblokiran.

Kapan cocok: untuk pemantauan pesaing secara reguler di Wildberries dan Ozon; saat parsing data yang memerlukan otorisasi; untuk proyek jangka panjang dengan pengumpulan data harian; ketika stabilitas dan risiko pemblokiran rendah penting.

Fitur penggunaan: dapat melakukan permintaan lebih lambat, meniru perilaku pengguna nyata; cocok untuk parsing melalui otomatisasi browser (Selenium, Puppeteer); memberikan akses ke versi regional dari marketplace.

Proxy seluler untuk kasus rumit

Proxy seluler menggunakan alamat IP dari operator seluler. Ini adalah jenis proxy yang paling andal untuk menghindari perlindungan, karena marketplace sangat hati-hati dalam memblokir IP seluler — satu alamat dapat memiliki ribuan pengguna nyata.

Kapan cocok: saat parsing marketplace dengan perlindungan yang sangat ketat; ketika jenis proxy lain sudah diblokir; untuk pengumpulan data melalui aplikasi seluler marketplace; saat memerlukan keandalan maksimal.

Limitasi: biaya lebih tinggi dibandingkan dengan proxy residensial; biasanya satu IP memiliki beberapa pengguna (shared IP); kecepatan mungkin lebih rendah dibandingkan dengan proxy kabel.

Layanan dan alat siap pakai untuk pengumpulan data

Bagi mereka yang tidak ingin mengatur parsing sendiri, ada solusi siap pakai. Mari kita lihat layanan populer untuk memantau berbagai marketplace.

Layanan untuk Wildberries

MpStats — salah satu layanan paling populer untuk analisis Wildberries. Memungkinkan Anda memantau penjualan pesaing, memantau harga, menganalisis ulasan, dan menemukan ceruk yang menjanjikan. Biaya mulai dari 3990 rubel per bulan. Menyediakan laporan dan grafik siap pakai, tidak memerlukan keterampilan teknis.

SellerFox — layanan yang fokus pada analitik penjual. Menunjukkan dinamika penjualan, stok di gudang, riwayat harga. Ada fungsi untuk memantau penjual tertentu dan pemberitahuan tentang perubahan. Harga mulai dari 2500 rubel per bulan.

Moneyplace — platform komprehensif untuk analisis marketplace dengan fokus pada pencarian produk untuk dijual. Termasuk pemantauan pesaing, analisis ceruk, pelacakan tren. Langganan mulai dari 5000 rubel per bulan.

Layanan untuk Ozon

Ozon Seller — kabinet resmi penjual Ozon menyediakan analitik dasar pesaing. Anda dapat melihat harga rata-rata di kategori dan posisi produk Anda dibandingkan dengan penjual lain. Gratis untuk penjual Ozon.

DataOx — layanan khusus untuk parsing Ozon dan marketplace lainnya. Mengumpulkan data tentang produk, harga, penjual. Bekerja melalui API, cocok untuk integrasi dengan sistem Anda sendiri. Harga tergantung pada volume permintaan.

Price Tracker — layanan untuk memantau perubahan harga di Ozon. Anda dapat menambahkan produk pesaing dan menerima pemberitahuan tentang penurunan atau kenaikan harga. Ada tarif gratis dengan batasan.

Parser universal

Octoparse — parser visual tanpa perlu pemrograman. Memungkinkan Anda mengatur pengumpulan data dari situs mana pun, termasuk marketplace. Ada template siap pakai untuk platform populer. Versi gratis dengan batasan, versi berbayar mulai dari $75 per bulan.

ParseHub — analog Octoparse dengan antarmuka yang lebih sederhana. Cocok untuk pemula. Mampu bekerja dengan situs JavaScript dan otorisasi. Versi gratis memungkinkan Anda membuat hingga 5 proyek, versi berbayar mulai dari $149 per bulan.

WebHarvy — program desktop untuk parsing. Bekerja di komputer Anda, tidak memerlukan layanan cloud. Cocok untuk tugas sekali waktu. Pembelian satu kali sekitar $139, versi percobaan gratis selama 15 hari.

Instruksi langkah demi langkah: pengaturan parsing dengan proxy

Mari kita lihat contoh praktis pengaturan parsing data penjual di Wildberries menggunakan alat siap pakai dan proxy. Untuk contoh, kita akan menggunakan Octoparse — salah satu parser visual yang paling terjangkau.

Langkah 1: Persiapan alat

Unduh dan instal Octoparse dari situs resmi. Daftar dan masuk ke program. Versi gratis memungkinkan Anda membuat hingga 10 tugas parsing, yang cukup untuk memulai.

Dapatkan akses ke proxy. Untuk parsing Wildberries, disarankan menggunakan proxy residensial dengan alamat IP Rusia. Anda akan membutuhkan: alamat IP server proxy, port, nama pengguna, dan kata sandi (jika otorisasi diperlukan).

Langkah 2: Pengaturan proxy di Octoparse

Buka Octoparse dan pergi ke pengaturan (ikon roda gigi di sudut kanan atas). Pilih bagian "Network" atau "Proxy". Aktifkan opsi "Use proxy server" (Gunakan server proxy).

Masukkan data proxy Anda: di kolom "Proxy Host" masukkan alamat IP, di kolom "Port" masukkan port. Jika proxy memerlukan otorisasi, centang "Authentication required" dan masukkan nama pengguna dan kata sandi. Simpan pengaturan.

Periksa koneksi: tekan tombol "Test" atau "Periksa". Program harus mengonfirmasi koneksi berhasil ke proxy. Jika muncul kesalahan, periksa kebenaran data yang dimasukkan.

Langkah 3: Membuat tugas parsing

Buat tugas baru: tekan "New Task" atau "Buat tugas". Masukkan URL halaman penjual di Wildberries, data yang ingin Anda kumpulkan. Misalnya, halaman dengan semua produk dari toko tertentu.

Octoparse akan membuka browser bawaan dan memuat halaman yang ditentukan melalui proxy. Tunggu hingga halaman sepenuhnya dimuat. Jika semuanya diatur dengan benar, Anda akan melihat konten Wildberries seolah-olah Anda mengunjungi dengan alamat IP proxy.

Langkah 4: Memilih data untuk dikumpulkan

Gunakan alat pemilih elemen Octoparse: klik pada nama produk di halaman. Program secara otomatis akan menentukan semua elemen serupa (semua nama produk) dan menyorotnya. Tekan "Select all" (Pilih semua).

Ulangi proses untuk data lain: harga, peringkat, jumlah ulasan, gambar. Setiap kali Octoparse akan menambahkan kolom baru ke tabel data di sebelah kanan. Periksa bahwa semua data yang diperlukan telah dipilih.

Jika produk terletak di beberapa halaman, atur pagination: temukan tombol "Halaman berikutnya" dan beri tahu Octoparse untuk berpindah ke sana. Program akan secara otomatis mengumpulkan data dari semua halaman.

Langkah 5: Mengatur parameter pengumpulan

Atur jeda antara permintaan: di pengaturan tugas, temukan "Action Settings" dan atur "Wait time" (Waktu tunggu) 3-5 detik antara pemuatan halaman. Ini meniru perilaku pengguna nyata dan mengurangi risiko pemblokiran.

Atur User-Agent: di pengaturan lanjutan, pilih User-Agent browser Chrome atau Firefox secara acak. Ini membuat permintaan lebih mirip dengan tindakan pengguna biasa.

Aktifkan penanganan kesalahan: atur opsi "Retry on error" (Coba lagi saat terjadi kesalahan) dengan 2-3 percobaan. Jika halaman tidak dimuat pada percobaan pertama, Octoparse akan secara otomatis mencoba lagi.

Langkah 6: Menjalankan parsing

Simpan tugas dan tekan "Run" (Jalankan). Pilih mode eksekusi: "Local" (di komputer Anda) untuk volume kecil atau "Cloud" (di cloud) untuk tugas besar. Mode cloud bekerja lebih cepat, tetapi hanya tersedia di versi berbayar.

Amati prosesnya: Octoparse akan menunjukkan kemajuan pengumpulan data secara real-time. Anda akan melihat berapa banyak halaman yang diproses dan berapa banyak catatan yang dikumpulkan. Jika terjadi kesalahan, program akan menampilkan pemberitahuan.

Setelah selesai, ekspor data: tekan "Export" dan pilih format — Excel, CSV, JSON, atau langsung mengunggah ke database. Data akan disimpan di komputer Anda dalam format yang nyaman untuk analisis.

Langkah 7: Mengotomatiskan pengumpulan reguler

Untuk pemantauan pesaing secara reguler, atur jadwal: di pengaturan tugas, pilih "Schedule" (Jadwal) dan tentukan frekuensi peluncuran — harian, mingguan, atau pada waktu tertentu.

Atur pemberitahuan: aktifkan pengiriman email pemberitahuan tentang penyelesaian parsing atau terjadinya kesalahan. Ini akan memungkinkan Anda untuk merespons masalah dengan cepat.

Untuk pengguna tingkat lanjut: atur pengunduhan otomatis data ke Google Sheets atau sistem CRM Anda. Octoparse mendukung integrasi melalui API dan webhook.

Aspek hukum parsing marketplace

Parsing situs berada di zona abu-abu hukum. Di satu sisi, informasi publik di situs tersedia untuk semua pengguna. Di sisi lain, pengumpulan data otomatis secara massal dapat melanggar perjanjian pengguna platform.

Apa kata hukum

Di Rusia, tidak ada undang-undang khusus yang secara langsung melarang parsing situs. Pengumpulan informasi yang tersedia untuk umum tidak dianggap sebagai pelanggaran. Namun, ada beberapa risiko hukum:

Pelanggaran perjanjian pengguna. Sebagian besar marketplace dalam Syarat Layanan mereka secara eksplisit melarang pengumpulan data otomatis. Secara teknis, ini bukan kejahatan pidana, tetapi platform dapat memblokir akun Anda jika Anda terdaftar sebagai penjual.

Menciptakan beban pada server. Jika parsing Anda menciptakan beban signifikan pada infrastruktur situs (aktivitas mirip DDoS), ini dapat diklasifikasikan sebagai kejahatan komputer berdasarkan Pasal 273 KUHP Rusia. Namun, untuk ini, diperlukan beban yang benar-benar besar.

Penggunaan data yang dikumpulkan. Parsing itu sendiri adalah satu hal, tetapi penggunaan data adalah hal lain. Jika Anda menerbitkan data yang dikumpulkan atau menggunakannya untuk persaingan tidak sehat, ini dapat mengakibatkan tuntutan hukum dari pemilik hak.

Bagaimana meminimalkan risiko

Untuk mengurangi risiko hukum saat parsing marketplace, ikuti rekomendasi ini:

Kumpulkan hanya data publik. Jangan mencoba menghindari otorisasi atau mendapatkan akses ke bagian tertutup. Hanya parsing informasi yang tersedia untuk setiap pengunjung situs tanpa pendaftaran.

Jangan menciptakan beban yang berlebihan. Gunakan jeda antara permintaan, jangan jalankan puluhan aliran parsing secara paralel. Aktivitas Anda tidak boleh mempengaruhi kinerja situs bagi pengguna biasa.

Gunakan data untuk analisis internal. Informasi yang dikumpulkan harus digunakan untuk bisnis Anda — analisis pesaing, penetapan harga, studi pasar. Jangan menerbitkan kumpulan data secara publik dan jangan menjualnya.

Jangan mengaku sebagai pengguna lain. Jangan gunakan akun orang lain untuk parsing. Jika perlu otorisasi, gunakan akun Anda sendiri atau parsing tanpa otorisasi.

Pelajari robots.txt. Meskipun file ini tidak memiliki kekuatan hukum, ia menunjukkan sikap pemilik situs terhadap pengumpulan data otomatis. Mematuhi petunjuk robots.txt menunjukkan itikad baik.

Alternatif untuk parsing

Beberapa marketplace menyediakan API resmi untuk mendapatkan data. Misalnya, Yandex.Market memiliki API untuk mitra, Ozon menyediakan API untuk penjual. Menggunakan API resmi adalah cara yang legal dan aman untuk mendapatkan data.

Ada juga layanan analitik marketplace khusus (MpStats, SellerFox) yang mengambil alih risiko hukum dan menyediakan data dalam kerangka perjanjian lisensi mereka. Menggunakan layanan semacam itu memindahkan tanggung jawab kepada penyedia layanan.

Kesimpulan

Pengumpulan data tentang penjual di marketplace adalah alat penting untuk intelijen kompetitif bagi setiap bisnis online. Pemantauan harga, jajaran produk, dan strategi pesaing secara reguler memungkinkan pengambilan keputusan yang beralasan dan tetap kompetitif.

Pemilihan metode parsing tergantung pada tugas dan sumber daya Anda: pengumpulan manual cocok untuk penelitian sekali waktu, layanan siap pakai — untuk pemantauan reguler tanpa keterampilan teknis, dan pengaturan parser sendiri — untuk kontrol penuh dan fleksibilitas.

Kunci untuk parsing yang sukses adalah pemilihan dan pengaturan proxy yang tepat. Untuk sebagian besar tugas di marketplace Rusia, solusi optimal adalah proxy residensial dengan alamat IP Rusia — mereka memberikan risiko pemblokiran rendah dengan biaya yang wajar dan memungkinkan pemantauan pesaing jangka panjang tanpa masalah teknis.

Ingat untuk mematuhi batasan yang wajar saat parsing: gunakan jeda antara permintaan, jangan menciptakan beban berlebihan pada server marketplace, dan gunakan data yang dikumpulkan secara etis — untuk analisis dan pengembangan bisnis Anda sendiri, bukan untuk persaingan tidak sehat.