Proxy untuk Analisis Kompetitor secara Real-Time: Cara Mengumpulkan Data Tanpa Pemblokiran

Pemantauan kompetitor adalah tugas yang sangat penting bagi pemasar, penjual di marketplace, dan arbiter. Memantau harga di Wildberries, menganalisis kreatif iklan di Facebook Ads, pengambilan posisi di Yandex — semua ini memerlukan pengumpulan data yang terus-menerus. Masalahnya adalah platform secara aktif memblokir permintaan otomatis, dan tanpa proksi yang diatur dengan benar, Anda akan mendapatkan larangan hanya dalam beberapa menit kerja.

Dalam panduan ini, kita akan membahas jenis proksi yang diperlukan untuk berbagai tugas analisis, cara mengaturnya dengan benar, dan menghindari pemblokiran saat mengumpulkan data secara real-time.

Mengapa tanpa proksi tidak mungkin mengumpulkan data kompetitor

Platform modern menggunakan berbagai metode perlindungan terhadap pengambilan otomatis. Ketika Anda mencoba mengumpulkan data tentang kompetitor — harga di Ozon, iklan di Avito, kreatif iklan di Facebook — sistem keamanan melacak beberapa parameter secara bersamaan.

Parameter pertama dan paling jelas adalah alamat IP Anda. Jika dari satu IP datang 50 permintaan per menit ke berbagai produk, itu langsung menimbulkan kecurigaan. Pengguna biasa tidak berperilaku seperti itu. Sistem akan menunjukkan captcha atau langsung memblokir akses selama beberapa jam atau bahkan hari.

Parameter kedua adalah geolokasi. Misalkan Anda memantau harga kompetitor di 20 kota di Rusia. Marketplace menunjukkan harga yang berbeda tergantung pada wilayah pengiriman. Jika Anda melakukan permintaan dari satu IP Moskow, meminta untuk menunjukkan harga untuk Vladivostok, Krasnodar, dan Yekaterinburg secara bersamaan — sistem akan menyadarinya.

Faktor ketiga adalah frekuensi permintaan. Analisis real-time mengharuskan pengumpulan data yang terus-menerus: memeriksa perubahan harga setiap 5-10 menit, memperbarui posisi di hasil pencarian setiap jam. Tanpa rotasi alamat IP, Anda akan dengan cepat melampaui batas platform.

Skenario penggunaan utama: dari marketplace hingga iklan

Mari kita bahas tugas konkret yang memerlukan proksi dalam analisis kompetitor. Setiap skenario memerlukan pendekatan tersendiri dalam memilih jenis proksi dan pengaturan rotasi.

Pemantauan harga di marketplace

Jika Anda menjual di Wildberries, Ozon, atau Yandex.Market, memantau harga kompetitor adalah kebutuhan sehari-hari. Harga berubah beberapa kali dalam sehari, terutama selama penjualan. Tugasnya: memeriksa harga 100-500 produk kompetitor di niche Anda setiap 10-15 menit.

Wildberries menunjukkan harga yang berbeda tergantung pada wilayah pengiriman. Produk yang sama di Moskow bisa berharga 1500 rubel, sedangkan di Vladivostok bisa berharga 1800 karena logistik. Untuk mendapatkan gambaran lengkap, diperlukan proksi dari berbagai kota di Rusia.

Analisis kampanye iklan

Arbiter dan pemasar terus-menerus menganalisis kreatif apa yang diluncurkan oleh kompetitor di Facebook Ads, TikTok Ads, Google Ads. Untuk ini, mereka menggunakan perpustakaan iklan atau layanan khusus (AdSpy, PowerAdSpy, Pipiads).

Masalahnya: untuk melihat iklan apa yang ditampilkan kepada kompetitor di AS, Jerman, atau Brasil, Anda perlu mengakses dengan IP dari negara tersebut. Facebook menentukan geolokasi Anda dan menunjukkan iklan yang relevan. Dengan IP Rusia, Anda tidak akan melihat kreatif Amerika.

Pemantauan posisi di pencarian

Spesialis SEO memeriksa posisi situs mereka dan situs kompetitor di Yandex dan Google setiap hari untuk ratusan kata kunci. Mesin pencari mempersonalisasi hasil: menunjukkan hasil yang berbeda tergantung pada wilayah, riwayat pencarian, perangkat.

Untuk mendapatkan data yang objektif, Anda perlu melakukan permintaan dari alamat IP "bersih" dari wilayah yang diperlukan. Jika Anda memeriksa posisi untuk St. Petersburg — Anda memerlukan IP St. Petersburg, untuk Kazan — IP Kazan.

Pengambilan iklan di Avito

Jika Anda bekerja dengan properti, mobil, atau segmen lain di Avito, Anda perlu memantau iklan kompetitor: kapan mereka dipublikasikan, harga yang mereka tawarkan, seberapa cepat mereka terjual. Avito secara agresif memblokir pengambilan data — setelah 20-30 tampilan iklan dari satu IP, mereka akan menunjukkan captcha.

Jenis proksi apa yang harus dipilih untuk tugas Anda

Ada tiga jenis proksi utama, dan untuk analisis kompetitor, berbagai opsi cocok tergantung pada platform dan volume data.

Rekomendasi untuk Pemilihan

Untuk marketplace (Wildberries, Ozon, Yandex.Market): Mulailah dengan proksi data center. Mereka menangani tugas ini dalam 80% kasus, jika rotasi diatur dengan benar dan tidak melebihi frekuensi permintaan yang wajar (tidak lebih dari 1 permintaan dalam 3-5 detik dari satu IP). Jika Anda mendapatkan pemblokiran — beralihlah ke proksi residensial.

Untuk analisis iklan (Facebook Ads, TikTok Ads): Hanya proksi residensial atau seluler. Platform ini menggunakan sistem deteksi yang canggih, dan proksi data center diblokir dengan segera. Untuk Facebook, proksi seluler lebih baik, untuk TikTok, proksi residensial cocok.

Untuk pemantauan SEO (Yandex, Google): Proksi data center sudah cukup. Mesin pencari tidak begitu agresif memblokir jika Anda mematuhi jeda antara permintaan dan menggunakan User-Agent nyata dari browser.

Untuk Avito: Proksi residensial. Avito sangat sensitif terhadap otomatisasi dan cepat mendeteksi proksi data center. Dengan IP residensial, Anda dapat mengumpulkan ratusan iklan tanpa pemblokiran.

Pengaturan Pemantauan Harga di Marketplace

Mari kita bahas langkah demi langkah cara mengatur pemantauan otomatis harga kompetitor dengan contoh Wildberries. Algoritma yang sama berlaku untuk Ozon, Yandex.Market, dan platform lainnya.

Langkah 1: Memilih Alat untuk Pengambilan Data

Anda tidak perlu menulis kode. Ada layanan siap pakai untuk pemantauan harga: Priceva, Competera, Price2Spy. Namun, mereka mahal — mulai dari 5000 rubel per bulan. Alternatifnya adalah menggunakan ekstensi untuk browser atau alat no-code seperti Octoparse, ParseHub.

Sebagai contoh, kita ambil Octoparse — parser visual, di mana Anda cukup mengklik elemen halaman yang perlu diambil (nama produk, harga, peringkat), dan program akan membuat skripnya sendiri.

Langkah 2: Menghubungkan Proksi

Di pengaturan Octoparse, buka bagian "Pengaturan Proksi". Anda perlu menyebutkan:

• Alamat IP proksi — misalnya, 123.45.67.89
• Port — biasanya 8080 atau 3128
• Nama pengguna dan kata sandi — jika proksi memerlukan otorisasi
• Jenis protokol — HTTP atau SOCKS5 (untuk marketplace, HTTP cocok)

Poin penting: jika Anda memantau harga di berbagai wilayah, Anda memerlukan kumpulan proksi dari kota-kota tersebut. Misalnya, 5 IP dari Moskow, 3 dari St. Petersburg, 2 dari Yekaterinburg. Atur rotasi — setiap permintaan dilakukan melalui IP baru dari kumpulan.

Langkah 3: Mengatur Frekuensi Permintaan

Jangan mencoba mengambil semua produk sekaligus. Wildberries akan memblokir Anda jika dari satu IP datang 50 permintaan dalam satu menit. Pengaturan yang benar:

• Jeda antara permintaan: 3-5 detik
• Maksimal 10-15 produk dari satu IP per sesi
• Setelah setiap 15 produk — ganti IP (rotasi)
• User-Agent acak (imitasi berbagai browser)

Di Octoparse, ini diatur di bagian "Pengaturan Lanjutan" → "Interval Permintaan" (interval antara permintaan) dan "Rotasi IP" (rotasi IP).

Langkah 4: Automatisasi Pengumpulan Data

Atur jadwal: parser akan dijalankan secara otomatis setiap 2-4 jam dan mengumpulkan harga terkini. Data disimpan di Google Sheets atau Excel, di mana Anda dapat mengatur pemberitahuan otomatis — jika harga kompetitor turun di bawah harga Anda, Anda akan menerima alert di Telegram.

Analisis Kampanye Iklan Kompetitor

Bagi arbiter dan pemasar, sangat penting untuk mengetahui kreatif apa yang diluncurkan oleh kompetitor, audiens mana yang mereka targetkan, dan tawaran apa yang mereka promosikan. Ini memungkinkan untuk tidak menciptakan ulang roda, tetapi untuk mengadaptasi kombinasi yang sukses.

Menggunakan Perpustakaan Iklan Facebook

Facebook menyediakan perpustakaan iklan resmi (Facebook Ad Library), di mana Anda dapat melihat semua iklan aktif dari halaman mana pun. Masalahnya: perpustakaan menunjukkan konten yang berbeda tergantung pada geolokasi Anda.

Jika kompetitor mengarahkan lalu lintas ke AS, dan Anda mengakses dengan IP Rusia — Anda tidak akan melihat kreatif Amerika mereka. Solusinya: gunakan proksi residensial AS. Pengaturan melalui browser anti-deteksi:

1. Buka Dolphin Anty atau AdsPower — buat profil browser baru
2. Di pengaturan proksi masukkan data proksi residensial Amerika (IP, port, nama pengguna, kata sandi)
3. Pilih geolokasi — misalnya, New York atau Los Angeles (harus sesuai dengan IP proksi)
4. Atur sidik jari browser — User-Agent, resolusi layar, bahasa — semuanya harus sesuai dengan pengguna Amerika
5. Masuk ke Facebook Ad Library melalui profil ini — sekarang Anda melihat iklan seperti pengguna dari AS

Layanan Spy untuk Analisis Iklan

Pilihan yang lebih canggih adalah menggunakan layanan khusus: AdSpy (Facebook), Pipiads (TikTok), PowerAdSpy (multiplatform). Mereka mengumpulkan jutaan kreatif dan memungkinkan penyaringan berdasarkan niche, geo, tanggal peluncuran.

Layanan ini sudah menggunakan proksi untuk pengumpulan data, tetapi mereka memiliki batasan: mereka hanya menunjukkan apa yang berhasil mereka ambil. Jika kompetitor meluncurkan kampanye satu jam yang lalu, di database layanan spy mungkin belum ada.

Pendekatan kombinasi: gunakan layanan spy untuk analisis umum niche, dan proksi + browser anti-deteksi untuk melacak kompetitor tertentu secara real-time.

Analisis TikTok Ads

TikTok tidak memiliki perpustakaan iklan publik, jadi satu-satunya cara untuk melihat kreatif kompetitor adalah dengan mengakses aplikasi melalui proksi dari negara yang diperlukan dan menggulir feed. Untuk otomatisasi, gunakan emulator Android dengan proksi:

• BlueStacks atau LDPlayer — emulator Android di PC
• Atur proksi seluler dari negara yang diperlukan
• Instal TikTok di emulator
• Buat akun baru dengan geolokasi negara target
• Gulir feed — TikTok akan menunjukkan iklan yang relevan untuk wilayah ini

Pemantauan Posisi di Mesin Pencari

Spesialis SEO memeriksa posisi situs setiap hari untuk ratusan kata kunci. Tanpa proksi, ini tidak mungkin: Google dan Yandex dengan cepat mendeteksi permintaan otomatis dan mulai menunjukkan captcha.

Alat untuk Pemantauan Peringkat

Layanan populer: Serpstat, SE Ranking, Ahrefs, Rush Analytics. Semua layanan ini sudah menggunakan proksi untuk memeriksa posisi, tetapi harganya mahal — mulai dari 2000 rubel per bulan untuk 100-200 kata kunci.

Alternatif untuk menghemat: gunakan alat gratis (misalnya, ekstensi SEO Minion untuk Chrome) bersama dengan proksi. Pengaturan:

1. Instal ekstensi untuk mengelola proksi di Chrome (misalnya, Proxy SwitchyOmega)
2. Tambahkan proksi dari wilayah yang diperlukan (untuk memeriksa posisi di Moskow — IP Moskow, di Kazan — IP Kazan)
3. Instal SEO Minion — ekstensi untuk memeriksa posisi dengan cepat
4. Ganti proksi sebelum setiap pemeriksaan, untuk melihat hasil untuk berbagai wilayah

Kesalahan Umum Saat Memeriksa Posisi

Kesalahan 1: Memeriksa dari satu IP. Jika Anda melakukan 50 permintaan pencarian berturut-turut dari satu proksi, Google akan menunjukkan captcha. Solusi: rotasi IP setiap 5-10 permintaan atau jeda 10-15 detik antara permintaan.

Kesalahan 2: Ketidaksesuaian geolokasi. Anda menggunakan proksi Moskow, tetapi memeriksa posisi untuk Vladivostok — hasilnya akan tidak akurat. Selalu gunakan proksi dari wilayah yang Anda periksa posisinya.

Kesalahan 3: Mengabaikan personalisasi. Bahkan dengan proksi, Google dapat mempersonalisasi hasil berdasarkan cookies. Solusi: gunakan mode incognito atau secara teratur bersihkan cookies.

Alat untuk Otomatisasi Pengumpulan Data

Mari kita lihat alat konkret yang digunakan profesional untuk analisis kompetitor. Semua alat ini mendukung kerja melalui proksi.

Parser No-code (tidak memerlukan pemrograman)

Octoparse — parser visual untuk Windows dan Mac. Anda cukup mengklik elemen halaman (harga, nama, peringkat), dan program akan membuat skrip. Mendukung proksi, penjadwalan tugas, ekspor ke Excel/Google Sheets. Harga: gratis untuk penggunaan dasar, mulai dari $75/bulan untuk fitur lanjutan.

ParseHub — alternatif Octoparse, bekerja di browser. Nyaman untuk pengambilan data dari situs dinamis (di mana konten dimuat melalui JavaScript). Ada rencana gratis untuk 200 halaman per bulan.

Apify — platform cloud dengan aktor (skrip) siap pakai untuk pengambilan data dari situs populer. Misalnya, ada aktor siap pakai untuk pengambilan data dari Amazon, Instagram, Google Maps. Mendukung proksi, pembayaran berdasarkan penggunaan.

Browser Anti-deteksi untuk Analisis Manual

Dolphin Anty — populer di kalangan arbiter. Memungkinkan Anda membuat puluhan profil browser dengan sidik jari unik dan proksi. Nyaman untuk analisis manual iklan kompetitor di Facebook, TikTok. Harga: gratis hingga 10 profil, mulai dari $89/bulan untuk 100 profil.

AdsPower — alternatif Dolphin, lebih berorientasi pada e-commerce. Cocok untuk bekerja dengan marketplace Amazon, eBay. Memiliki alat bawaan untuk otomatisasi (RPA).

Multilogin — yang paling mahal, tetapi juga yang paling canggih. Digunakan oleh agensi besar. Harga mulai dari €99/bulan.

Layanan Khusus

Priceva — pemantauan harga di marketplace. Secara otomatis melacak harga kompetitor di Wildberries, Ozon, Yandex.Market. Harga mulai dari 5000 rubel/bulan.

AdSpy — database lebih dari 100 juta kreatif iklan Facebook. Filter berdasarkan niche, geo, tanggal peluncuran, engagement. Harga $149/bulan.

Pipiads — alternatif AdSpy untuk TikTok. Database kreatif dari seluruh dunia, filter berdasarkan produk, negara, tanggal. Harga mulai dari $77/bulan.

Kesalahan Umum dan Cara Menghindarinya

Bahkan dengan proksi yang diatur dengan benar, Anda bisa mendapatkan pemblokiran jika tidak memperhatikan nuansa kerja platform. Mari kita bahas kesalahan umum.

Kesalahan 1: Frekuensi Permintaan Terlalu Tinggi

Banyak yang berpikir: "Saya punya 100 proksi, jadi saya bisa melakukan 100 permintaan per detik". Ini tidak benar. Bahkan dari IP yang berbeda, jika permintaan datang terlalu sering dan memiliki pola yang sama (header yang sama, User-Agent, urutan tindakan), platform akan menyadarinya.

Solusi: Imitasi perilaku pengguna nyata. Tambahkan jeda acak 3-7 detik antara permintaan, variasikan User-Agent, kadang-kadang lakukan tindakan "tambahan" (beralih ke halaman utama, menggulir).

Kesalahan 2: Menggunakan Proksi Publik atau Murah

Proksi gratis dari daftar terbuka sudah lama masuk daftar hitam semua platform besar. Proksi murah (10-20 rubel per buah) sering digunakan oleh ratusan orang lain secara bersamaan — salah satu dari mereka akan mendapatkan larangan, dan IP akan masuk ke daftar blokir.

Solusi: Gunakan proksi pribadi dari penyedia yang terpercaya. Ya, mereka lebih mahal, tetapi menghemat pada proksi akan mengakibatkan kehilangan waktu dalam menghadapi pemblokiran.

Kesalahan 3: Tidak Ada Rotasi IP

Bahkan proksi berkualitas "akan terbakar" jika digunakan terlalu intensif. Jika dari satu IP Anda memeriksa 500 produk di Wildberries dalam satu jam — itu mencurigakan.

Solusi: Atur rotasi otomatis. Untuk proksi residensial, ini biasanya dilakukan di tingkat penyedia — setiap permintaan secara otomatis dilakukan melalui IP baru dari kumpulan. Untuk proksi data center, atur rotasi di parser.

Kesalahan 4: Mengabaikan Sidik Jari Browser

Proksi hanya mengubah alamat IP. Namun, platform modern (terutama Facebook, TikTok) menganalisis puluhan parameter lainnya: resolusi layar, font yang terpasang, sidik jari WebGL, sidik jari Canvas.

Jika Anda mengubah IP, tetapi sidik jari browser tetap sama — platform akan mengaitkan semua tindakan Anda dalam satu sesi dan memblokirnya.

Solusi: Gunakan browser anti-deteksi (Dolphin Anty, AdsPower, Multilogin). Mereka secara otomatis mengganti semua parameter sidik jari untuk setiap profil.

Kesalahan 5: Ketidaksesuaian Geolokasi Proksi dan Wilayah Target

Anda menggunakan proksi Amerika, tetapi mencoba mengambil data dari Wildberries Rusia — situs mungkin menunjukkan harga yang berbeda atau bahkan memblokir akses karena geolokasi yang mencurigakan.

Solusi: Selalu gunakan proksi dari negara (dan sebaiknya kota) yang datanya Anda kumpulkan. Untuk memantau harga di marketplace Rusia — gunakan proksi Rusia, untuk analisis iklan Amerika — gunakan proksi Amerika.

Kesimpulan

Analisis kompetitor secara real-time adalah alat yang sangat penting bagi pemasar, arbiter, dan penjual di marketplace. Tanpa proksi, mengumpulkan data dengan kualitas yang baik tidak mungkin dilakukan: platform memblokir permintaan otomatis hanya dalam beberapa menit kerja.

Kesimpulan kunci dari panduan ini: pilih jenis proksi tergantung pada platform (untuk marketplace, proksi data center cocok, untuk media sosial dan iklan, proksi residensial atau seluler diperlukan), atur rotasi IP dan jeda antara permintaan dengan benar, gunakan browser anti-deteksi untuk tugas yang memerlukan sidik jari.

Jangan berhemat pada kualitas proksi — IP publik yang murah akan mengakibatkan pemblokiran yang konstan dan kehilangan waktu. Uji pengaturan pada volume data kecil sebelum memperbesar skala. Dan ingat: yang terpenting bukanlah kecepatan pengambilan data, tetapi stabilitas kerja tanpa pemblokiran.

Jika Anda berencana untuk mengumpulkan data dari marketplace atau mesin pencari, kami sarankan untuk memulai dengan proksi data center — mereka memberikan kecepatan tinggi dan stabilitas dengan pengaturan yang benar. Untuk analisis iklan di media sosial, proksi residensial lebih cocok, yang meniru pengguna nyata dan meminimalkan risiko pemblokiran.