Agensi lead generation dan pemasar yang mengumpulkan basis data perusahaan dari peta, cepat atau lambat akan menghadapi satu pertanyaan yang sama: berapa banyak "berat" yang sebenarnya dari pengumpulan 10.000 kontak dan mengapa akun dan alamat IP mulai diblokir setelah ribuan ketiga. Kami membahas perhitungan lalu lintas langkah demi langkah, membandingkan Google Maps, 2GIS, dan Yandex.Maps, dan menunjukkan proxy mana yang dapat menangani volume tersebut tanpa pemblokiran.
Apa itu lead generation dari peta dan mengapa menghitung lalu lintas
Lead generation dari peta adalah pengumpulan data kontak perusahaan (nama, telepon, situs web, alamat, peringkat, kategori aktivitas) melalui Google Maps, 2GIS, atau Yandex.Maps untuk panggilan dingin, email, atau iklan terarah. Metode ini sangat populer di kalangan agensi yang menjual layanan B2B: studio web, penyedia CRM, kontraktor pemasaran — mereka memerlukan basis data berdasarkan niche dan kota: "klinik gigi Kazan", "bengkel mobil Novosibirsk", "salon kecantikan Yekaterinburg".
Perhitungan lalu lintas penting karena tiga alasan. Pertama, volume data yang ditransfer menentukan berapa banyak lalu lintas proxy yang akan Anda habiskan dan berapa biayanya saat memperluas ke beberapa kota. Kedua, peta mencatat aktivitas anomali berdasarkan jumlah permintaan, bukan hanya berdasarkan IP — dan jika tidak memahami berapa banyak permintaan yang dihasilkan oleh pengumpulan 10.000 kartu, Anda dapat dengan mudah meremehkan risiko pemblokiran. Ketiga, dengan mengetahui volume data yang tepat, lebih mudah untuk memilih antara parsing halaman HTML, menggunakan API internal peta, atau layanan siap pakai — setiap opsi berbeda dalam hal lalu lintas.
Dalam praktiknya, 10.000 perusahaan bukanlah angka abstrak. Volume ini sesuai, misalnya, dengan basis data lengkap entitas hukum yang beroperasi di niche "perbaikan perangkat" di 15-20 kota besar di Rusia, atau semua tempat makan di satu kota besar seperti Moskow atau St. Petersburg. Ini adalah tugas realistis untuk agensi yang menjual lead dalam paket.
Berapa berat satu kartu perusahaan
Berat satu kartu perusahaan tergantung pada apa yang Anda kumpulkan dan dengan cara apa. Jika hanya mem-parsing daftar hasil pencarian (nama, alamat singkat, peringkat), maka data dikirimkan secara kompak — biasanya ini adalah respons JSON dari API internal peta dengan berat 3-8 KB per perusahaan dalam daftar umum. Namun, jika Anda memerlukan kartu yang lebih detail — telepon, situs web, jam buka, foto, ulasan — Anda harus membuka halaman terpisah atau melakukan permintaan tambahan, dan beratnya meningkat menjadi 80-250 KB karena gambar dan JSON yang lebih luas.
Di bawah ini adalah perbandingan tiga peta utama yang digunakan oleh agensi lead generation di CIS:
| Peta | Berat kartu dalam daftar | Berat kartu detail | Fitur perlindungan |
|---|---|---|---|
| Google Maps | 5-8 KB | 150-250 KB | Batas laju yang ketat dan captcha saat permintaan sering dari satu IP |
| 2GIS | 3-6 KB | 80-150 KB | Pemblokiran berdasarkan frekuensi permintaan ke API katalog |
| Yandex.Maps | 4-7 KB | 100-200 KB | Sistem anti-bot dengan analisis perilaku dan daftar hitam proxy |
Nuansa penting: berat daftar belum tentu mencakup seluruh kartu. Untuk mendapatkan telepon dan situs perusahaan, dalam banyak kasus diperlukan permintaan terpisah ke halaman detail. Ini menggandakan atau bahkan melipatgandakan lalu lintas nyata per lead, jika Anda mengumpulkan bukan hanya nama, tetapi kontak lengkap untuk penjualan.
Perhitungan lalu lintas untuk 10.000 perusahaan langkah demi langkah
Mari kita ambil skenario realistis: agensi mengumpulkan kartu lengkap (nama, telepon, situs, alamat, peringkat, kategori) dari Google Maps untuk 10.000 perusahaan di beberapa kota.
Langkah 1. Pencarian dan listing. Google Maps memberikan sekitar 20 hasil per halaman hasil. Untuk mendapatkan 10.000 posisi, perlu memproses sekitar 500 halaman hasil. Setiap halaman, dengan mempertimbangkan permintaan layanan, pemuatan peta, dan skrip, memiliki berat 600-900 KB. Total: 500 × 750 KB ≈ 375 MB hanya untuk tahap pencarian.
Langkah 2. Kartu detail. Untuk setiap dari 10.000 perusahaan, diperlukan permintaan terpisah dengan telepon, situs, dan foto. Dengan berat rata-rata 180 KB per kartu: 10.000 × 180 KB ≈ 1,8 GB.
Langkah 3. Permintaan ulang dan retry. Dalam kondisi nyata, 10-20% permintaan tidak berhasil pada percobaan pertama karena batas laju, captcha, atau perubahan tata letak — mereka harus diulang. Tambahkan 15% ke volume: (375 MB + 1,8 GB) × 1,15 ≈ 2,5 GB.
Angka akhir — sekitar 2,5 GB lalu lintas untuk mengumpulkan 10.000 perusahaan dari Google Maps saat mem-parsing kartu detail. Jika hanya mengumpulkan daftar tanpa telepon dan situs, lalu lintas menurun menjadi 450-500 MB, tetapi basis data semacam itu akan kurang berguna untuk penjualan — tanpa telepon, lead tidak dapat dikonversi menjadi panggilan.
Untuk 2GIS dan Yandex.Maps, perhitungannya serupa, tetapi volumenya biasanya 20-30% lebih rendah karena format API yang lebih kompak — orientasikan pada 1,7-2,2 GB untuk 10.000 kartu yang sama.
Mengapa peta memblokir pengumpulan data massal
Peta adalah aset komersial dari platform itu sendiri, dan pengumpulan data otomatis secara massal bertentangan langsung dengan model bisnis mereka (penjualan iklan di kartu, akses API untuk mitra). Oleh karena itu, Google Maps, 2GIS, dan Yandex.Maps bereaksi agresif terhadap perilaku yang tidak biasa.
Tiga pemicu utama pemblokiran: frekuensi permintaan yang terlalu tinggi dari satu IP (lebih dari 1 permintaan dalam 2-3 detik), User-Agent dan header yang seragam tanpa variasi, tidak adanya cookies dan data sesi, permintaan tanpa sumber daya pendukung (gambar, skrip), yang selalu dimuat oleh browser biasa. Ketika batas tercapai, layanan akan menampilkan captcha, atau memblokir IP sementara selama 15-60 menit, atau memblokir IP secara permanen jika pelanggaran diulang.
Untuk volume yang dihitung sebesar 2,5 GB dan 10.000+ permintaan dari satu IP "bersih", kemungkinan pemblokiran mendekati 100% sudah pada seribu kartu pertama. Itulah sebabnya setiap proyek serius untuk lead generation dari peta dibangun di sekitar rotasi alamat IP — tanpa ini, perhitungan lalu lintas kehilangan makna, karena mengumpulkan volume yang direncanakan secara fisik tidak mungkin dilakukan.
Proxy residensial, mobile, dan data center untuk parsing peta
Pemilihan jenis proxy secara langsung mempengaruhi berapa banyak permintaan yang dapat Anda lakukan sebelum diblokir dan berapa banyak lalu lintas yang harus "dibakar" untuk upaya ulang. Untuk pengumpulan data dari peta, reputasi IP sangat penting — peta jauh lebih ketat dalam memblokir rentang data center, karena sebagian besar pengumpulan otomatis berasal dari sana.
| Jenis Proxy | Tingkat Kepercayaan Peta | Kapan Menggunakan |
|---|---|---|
| Proxy Residensial | Tinggi — IP pengguna nyata | Alat utama untuk mengumpulkan 5.000-50.000 kartu dengan rotasi berdasarkan kota |
| Proxy Mobile | Sangat tinggi — IP umum dari operator | Pengumpulan terfokus berdasarkan niche dengan perlindungan anti-bot yang ketat (Yandex.Maps) |
| Proxy Data Center | Rendah-sedang — lebih sering ada dalam daftar hitam | Pengujian awal, pengujian skrip pada volume kecil tanpa pengunduhan nyata |
Dalam praktiknya, untuk 10.000 perusahaan yang dihitung, kombinasi optimal adalah proxy residensial dengan rotasi berdasarkan subnet kota: Anda mendapatkan IP dari wilayah yang sama dengan audiens target dalam kartu, dan mengurangi jumlah captcha dan permintaan ulang yang kami masukkan dalam perhitungan lalu lintas di atas. Proxy data center dalam tugas ini hanya dapat digunakan pada tahap pengujian skrip pada 50-100 kartu, untuk tidak membakar anggaran lalu lintas residensial untuk debugging.
Pengaturan pengumpulan data: alat dan skema langkah demi langkah
Untuk mengumpulkan basis data perusahaan dari peta, agensi biasanya menggunakan alat no-code dan low-code yang sudah jadi, bukan menulis parser dari awal. Di antara solusi populer adalah A-Parser (pengaturan template fleksibel untuk Google Maps, 2GIS, Yandex.Maps tanpa menulis kode), Octoparse (konstruktor visual untuk skenario pengumpulan), dan ZennoPoster (template otomatisasi dengan dukungan proxy dan profil anti-deteksi). Untuk volume kecil, layanan cloud untuk parsing peta dengan pembayaran berdasarkan jumlah kartu sangat cocok.
Skema langkah demi langkah untuk memulai pengumpulan 10.000 perusahaan adalah sebagai berikut:
- Tentukan daftar kota dan niche yang diperlukan untuk lead — ini menentukan jumlah permintaan pencarian dan memungkinkan untuk memprediksi lalu lintas dengan lebih akurat berdasarkan rumus dari bagian di atas.
- Atur dalam parser daftar proxy residensial dengan rotasi IP setiap 5-10 permintaan — sebagian besar alat mendukung daftar proxy dalam format login:password@host:port.
- Aktifkan jeda acak antara permintaan 3-7 detik dan rotasi User-Agent — ini mengurangi persentase captcha sebesar 30-40% dibandingkan dengan interval tetap.
- Jalankan pengujian pada 100-200 kartu dan catat konsumsi lalu lintas yang sebenarnya — bandingkan dengan yang dihitung untuk menyesuaikan proyeksi untuk volume penuh.
- Skalakan pengumpulan hingga 10.000 kartu, membagi tugas menjadi batch 1.000-1.500 entri — ini memudahkan kontrol kesalahan dan pengulangan saat terjadi kegagalan.
- Ekspor hasil ke CSV atau langsung ke CRM, menghapus duplikat berdasarkan nomor telepon dan situs — di peta sering ada pengulangan karena organisasi jaringan dan cabang.
Jika tugas pengumpulan dilakukan secara rutin (misalnya, pembaruan bulanan untuk basis data di niche), ada baiknya untuk segera mengatur peluncuran otomatis berdasarkan jadwal dengan kumpulan IP residensial yang tetap — ini menghemat waktu untuk restart manual dan mengurangi risiko pemblokiran karena distribusi beban yang merata sepanjang waktu.
Bagaimana mengurangi konsumsi lalu lintas tanpa kehilangan lead
2,5 GB yang dihitung untuk 10.000 perusahaan dapat dikurangi sebesar 30-40% tanpa kehilangan kualitas data, jika beberapa teknik praktis diterapkan.
Pertama, matikan pemuatan gambar pada tingkat permintaan — foto tempat usaha memakan hingga setengah berat kartu detail, tetapi tidak diperlukan untuk penjualan. Kedua, gunakan permintaan langsung ke API internal peta daripada rendering halaman penuh di browser — ini menghilangkan skrip, gaya, dan font yang tidak membawa data berguna. Ketiga, filter duplikat sebelum mem-parsing kartu detail: jika perusahaan sudah muncul di daerah lain di kota yang sama, jangan lakukan permintaan ulang ke halaman mereka — periksa berdasarkan nama dan alamat pada tahap daftar. Keempat, kumpulkan terlebih dahulu daftar ringan untuk semua kota, dan minta kartu detail hanya untuk perusahaan yang telah melewati filter berdasarkan peringkat atau kategori — ini sangat berguna jika Anda tidak memerlukan semua 10.000, tetapi hanya 30% teratas berdasarkan relevansi.
Teknik-teknik ini tidak hanya mengurangi volume lalu lintas, tetapi juga jumlah permintaan ke server peta, yang berarti — dan risiko pemblokiran. Bagi agensi, ini berarti pengeluaran lalu lintas proxy yang lebih rendah pada tarif yang sama dan kemampuan untuk mengumpulkan lebih banyak kota dengan anggaran yang sama.
Kesalahan umum saat mengumpulkan lead dari peta
Kesalahan pertama — memulai pengumpulan dari satu IP statis tanpa rotasi. Bahkan dengan kecepatan permintaan yang kecil, peta mencatat aktivitas anomali setelah 200-300 permintaan berturut-turut, dan pengumpulan lebih lanjut menjadi tidak mungkin tanpa mengganti IP.
Kesalahan kedua — mengabaikan kesesuaian regional antara proxy dan kota target. Jika Anda mengumpulkan perusahaan Kazan melalui IP dari negara lain, peta lebih sering menunjukkan hasil yang tidak relevan atau langsung memblokir permintaan sebagai mencurigakan.
Kesalahan ketiga — tidak melakukan perhitungan lalu lintas sebelum peluncuran. Tim sering memulai pengumpulan "secara visual" dan mencapai batas lalu lintas proxy di tengah tugas, kehilangan data yang telah dikumpulkan karena interupsi sesi.
Kesalahan keempat — pengumpulan tanpa deduplikasi secara langsung. Saat mem-parsing 10.000 posisi dengan beberapa permintaan yang tumpang tindih (misalnya, "kafe" dan "restoran" di satu daerah), duplikat dapat mencapai 15-25% dari basis data, yang secara artifisial meningkatkan perhitungan lalu lintas dan biaya nyata.
Kesalahan kelima — menggunakan User-Agent dan header yang sama untuk semua permintaan dalam sesi. Sistem anti-bot peta menganalisis tidak hanya IP, tetapi juga konsistensi jejak digital browser, jadi untuk volume besar disarankan untuk mengombinasikan rotasi proxy dengan browser anti-deteksi dan mengganti jejak bersama dengan IP.
Kesimpulan
Mengumpulkan 10.000 perusahaan dari peta adalah tugas yang dapat diprediksi berdasarkan lalu lintas: saat mem-parsing kartu detail dari Google Maps, konsumsi sekitar 2,5 GB dengan mempertimbangkan permintaan ulang, dan untuk 2GIS dan Yandex.Maps, angkanya 20-30% lebih rendah. Dengan mengetahui angka ini sebelumnya, Anda dapat merencanakan anggaran untuk lalu lintas proxy dengan tepat dan menghindari situasi di mana pengumpulan terhenti di tengah jalan karena batas yang habis.
Faktor utama keberhasilan pengumpulan bukanlah penghematan pada lalu lintas, tetapi pemilihan proxy yang tepat. Untuk volume beberapa ribu kartu per hari, kami merekomendasikan proxy residensial dengan rotasi berdasarkan kota — mereka mengurangi persentase captcha dan permintaan ulang, yang menghabiskan hingga 15-20% lalu lintas. Jika pengumpulan dilakukan berdasarkan niche dengan perlindungan anti-bot yang sangat ketat, pertimbangkan untuk menggunakan IP mobile sebagai tambahan untuk kumpulan utama — ini meningkatkan stabilitas sesi dengan peningkatan biaya yang minimal.