Jika Anda mengumpulkan harga sewa apartemen di beberapa kota sekaligus — untuk analisis pasar, penetapan harga, atau penjualan data kepada agen real estat — cepat atau lambat Anda akan menghadapi captcha, pemblokiran sementara, dan penggunaan bandwidth yang tidak terduga. Dalam artikel ini, kita akan membahas skema konkret pengumpulan iklan dari Avito, Cian, dan Yandex.Nedvizhimost di 5 kota, dan menghitung berapa banyak gigabyte bandwidth yang benar-benar perlu disiapkan dalam anggaran untuk proxy.
Mengapa memantau harga sewa di beberapa kota
Pemantauan harga sewa di beberapa kota tidak hanya diperlukan oleh agen real estat. Ini adalah tugas untuk analis pasar, manajer perusahaan, investor properti, dan layanan yang menjual laporan tentang pasar sewa. Perbandingan harga di Moskow, St. Petersburg, Kazan, Yekaterinburg, dan Novosibirsk memungkinkan untuk melihat dinamika permintaan, musiman, dan anomali — misalnya, penurunan harga yang tajam di suatu daerah karena banyaknya apartemen yang dipajang oleh satu pemilik.
Bagi agen real estat, ini juga merupakan cara untuk merespons dengan cepat terhadap penurunan harga dari pesaing: jika di kompleks perumahan tetangga muncul iklan yang 15% lebih murah dari pasar, itu perlu diketahui dalam waktu satu jam, bukan seminggu. Melihat iklan secara manual melalui browser untuk 5 kota memakan waktu 3-4 jam sehari untuk satu karyawan — otomatisasi dengan proxy mengurangi waktu ini menjadi 10-15 menit untuk memeriksa hasil.
Nuansa penting: platform iklan (Avito, Cian, Domclick) secara aktif melindungi diri dari pengumpulan data otomatis karena laporan semacam itu bersaing dengan layanan analitik berbayar mereka sendiri. Oleh karena itu, setiap skema pemantauan dibangun di sekitar tiga hal: simulasi perilaku pengguna yang nyata, variasi alamat IP, dan kontrol kecepatan permintaan.
Sumber iklan apa yang digunakan
Untuk mendapatkan gambaran lengkap tentang pasar sewa di 5 kota, biasanya digunakan 2-3 sumber secara bersamaan, karena tidak ada satu platform pun yang mencakup pasar secara keseluruhan:
- Avito Real Estate — jangkauan terbesar untuk iklan pribadi, tetapi perlindungan paling ketat terhadap parsing dan captcha yang sering muncul saat aktivitas mencurigakan.
- Cian — lebih banyak hadir di kota-kota besar, banyak iklan dari agen, struktur halaman lebih stabil untuk pengumpulan.
- Yandex.Nedvizhimost — agregator, menarik iklan dari platform lain, berguna untuk pemeriksaan silang harga.
- Domclick — relevan untuk kota-kota besar, lebih sedikit pemblokiran, tetapi juga lebih sedikit iklan dari individu.
Untuk memulai, biasanya cukup dengan Avito dan Cian — mereka memberikan 70-80% cakupan pasar sewa di kota-kota besar. Sumber lainnya dihubungkan ketika analisis yang lebih mendalam atau pemeriksaan harga anomali diperlukan.
Skema pengumpulan: proxy, alat, dan frekuensi
Skema dasar pemantauan harga sewa di 5 kota dibangun berdasarkan logika berikut: untuk setiap kota dan setiap platform, dialokasikan kumpulan alamat IP yang terpisah, permintaan dilakukan dengan interval yang meniru perilaku manusia, dan pengumpulan data dilakukan sesuai jadwal beberapa kali sehari.
Dalam praktiknya, skema terlihat seperti ini:
- Solusi siap pakai untuk parsing iklan (tanpa menulis kode) diatur untuk mengumpulkan daftar iklan berdasarkan filter: kota, jenis tempat tinggal, rentang harga.
- Untuk setiap kota, ditulis profil terpisah yang terhubung dengan geo-proxy dari wilayah yang sesuai — ini mengurangi kemungkinan captcha, karena IP sesuai dengan lokasi nyata dari sampel.
- Permintaan didistribusikan dalam waktu: tidak dalam aliran yang terus-menerus, tetapi dengan jeda 3-8 detik antara kartu iklan.
- Pengumpulan data untuk setiap kota diulang 2-4 kali sehari — ini cukup untuk melacak iklan baru dan perubahan harga, tanpa menciptakan beban anomali pada platform.
- Hasil disimpan dalam tabel atau basis data dengan keterikatan pada tanggal dan waktu pengumpulan untuk membangun grafik dinamika harga.
Untuk mengelola beberapa profil pengumpulan berdasarkan kota, nyaman menggunakan browser anti-detect seperti Dolphin Anty, AdsPower, atau Octo Browser — mereka memungkinkan untuk mengaitkan setiap kota dengan profil browser terpisah dengan cookies unik, user-agent, dan yang terpenting, proxy yang terhubung dari wilayah yang diperlukan. Ini adalah prinsip yang sama yang digunakan oleh para arbitrator untuk multi-akuntansi, hanya saja diterapkan pada tugas parsing iklan.
Perhitungan penggunaan bandwidth untuk 5 kota
Penggunaan bandwidth adalah parameter kunci saat merencanakan anggaran untuk proxy, terutama jika Anda menggunakan IP residensial, di mana pembayaran dilakukan berdasarkan volume data yang ditransfer. Mari kita lihat perhitungan berdasarkan pemantauan lima kota besar: Moskow, St. Petersburg, Kazan, Yekaterinburg, Novosibirsk.
Input dasar untuk perhitungan:
- Berat rata-rata halaman dengan daftar iklan (30-50 kartu) — 800 KB - 1,5 MB dengan mempertimbangkan gambar, jika gambar tidak diblokir, dan sekitar 150-250 KB tanpa memuat gambar.
- Berat rata-rata kartu satu iklan saat parsing detail — 300-500 KB dengan foto, 40-70 KB dalam mode teks.
- Jumlah iklan untuk dikumpulkan per kota dalam satu kali pengambilan — 300-800 tergantung pada ukuran pasar (Moskow dan SPb — lebih banyak, Kazan, Yekaterinburg, Novosibirsk — lebih sedikit).
| Kota | Iklan/pengambilan | Bandwidth tanpa foto/pengambilan | Bandwidth/hari (3 pengambilan) |
|---|---|---|---|
| Moskow | 800 | ~45 MB | ~135 MB |
| St. Petersburg | 650 | ~37 MB | ~111 MB |
| Kazan | 350 | ~20 MB | ~60 MB |
| Yekaterinburg | 380 | ~22 MB | ~66 MB |
| Novosibirsk | 400 | ~23 MB | ~69 MB |
Totalnya, kita mendapatkan sekitar 440 MB bandwidth per hari untuk 5 kota dengan tiga pengambilan per hari dan pemuatan gambar yang dimatikan. Dalam sebulan, ini sekitar 13 GB. Namun, jika Anda juga mengumpulkan foto iklan untuk pemeriksaan visual (misalnya, untuk membedakan apartemen nyata dari iklan penipuan), penggunaan bandwidth meningkat 6-8 kali — hingga 80-100 GB per bulan untuk 5 kota.
Saran praktis: pada awalnya, matikan pemuatan gambar dan gaya di tingkat pengaturan parser atau profil browser — ini mengurangi penggunaan bandwidth secara signifikan tanpa kehilangan data tentang harga, alamat, dan luas apartemen. Foto dapat dimuat secara selektif hanya untuk iklan dengan harga yang mencurigakan rendah.
Proxy mana yang dipilih untuk setiap sumber
Pemilihan jenis proxy secara langsung mempengaruhi seberapa banyak captcha yang akan Anda lihat dan seberapa stabil pengumpulan data akan berjalan. Untuk memantau iklan di 5 kota, platform yang berbeda memerlukan pendekatan yang berbeda.
| Platform | Jenis proxy yang direkomendasikan | Alasan |
|---|---|---|
| Avito | Proxy residensial | Perlindungan ketat terhadap IP dari pusat data, memerlukan alamat nyata dari penyedia |
| Cian | Proxy residensial | Melacak pola permintaan, memerlukan keterikatan geo ke kota |
| Yandex.Nedvizhimost | Proxy pusat data | Perlindungan lebih lemah, bisa menghemat pada kecepatan dan biaya |
| Domclick | Proxy pusat data | Perlindungan sedang, kecepatan pengumpulan yang tinggi lebih penting daripada anonimitas |
Untuk Avito, perlu disebutkan proxy seluler secara terpisah — jika Anda mengumpulkan data melalui aplikasi seluler atau mensimulasikan lalu lintas seluler, platform lebih jarang menandai permintaan semacam itu sebagai mencurigakan, karena IP seluler dari operator telekomunikasi sering digunakan kembali oleh pengguna nyata yang berbeda. Untuk tugas pemantauan properti, ini relevan jika IP residensial desktop mulai sering terkena captcha di wilayah tertentu.
Rotasi IP dan frekuensi permintaan tanpa pemblokiran
Kesalahan umum saat memantau harga sewa adalah mencoba mengumpulkan semua 5 kota dari alamat IP yang sama secara berurutan. Platform melihat lonjakan tajam permintaan dari satu IP ke berbagai bagian geo dari situs dan menganggap ini sebagai otomatisasi bahkan dengan mematuhi jeda antara permintaan.
Skema rotasi yang efektif terlihat seperti ini:
- Tetapkan IP terpisah (atau kumpulan kecil dari 3-5 IP) untuk setiap kota selama seluruh siklus pengumpulan — ini logis, karena pengguna nyata dari Kazan secara fisik tidak dapat melihat iklan di Novosibirsk secara bersamaan.
- Ganti IP dalam kumpulan setiap 30-50 permintaan kartu iklan, bukan untuk setiap permintaan — pergantian IP yang terlalu sering juga terlihat mencurigakan.
- Berikan jeda 4-10 detik antara permintaan kartu dan 1-3 menit antara pengambilan di berbagai bagian situs.
- Mulai pengumpulan di 5 kota tidak secara ketat paralel, tetapi dengan sedikit pergeseran waktu — 5-15 menit antara awal pengumpulan untuk setiap kota.
Dengan pendekatan ini, biasanya cukup dengan kumpulan 15-25 IP residensial dengan rotasi per sesi untuk 5 kota, jika volume pengumpulan tidak melebihi 500-800 iklan per kota per pengambilan. Untuk pengumpulan yang lebih agresif (misalnya, pemantauan setiap jam), kumpulan harus ditingkatkan menjadi 40-50 IP, agar beban pada setiap alamat tetap dalam batas yang mirip dengan perilaku pengguna biasa.
Kesalahan umum saat memantau iklan
Berdasarkan kasus tipikal, beberapa kesalahan dapat diidentifikasi yang paling sering menyebabkan pemblokiran dan gangguan pengumpulan data di beberapa kota:
- Satu IP untuk semua kota — platform melihat geolokasi yang tidak logis dan membatasi akses lebih cepat daripada menggunakan IP lokal untuk setiap wilayah.
- Pemungutan terlalu sering — pemantauan setiap 10-15 menit jarang dibenarkan untuk pasar sewa, harga tidak berubah begitu cepat, dan beban pada sumber meningkat secara proporsional.
- Mengabaikan User-Agent dan header browser — ketidakcocokan antara IP operator seluler dan user-agent desktop segera meningkatkan risiko pemblokiran.
- Kurangnya kumpulan cadangan proxy — jika seluruh lalu lintas melalui satu jenis proxy tanpa kumpulan cadangan, pengumpulan data berhenti sepenuhnya selama beberapa jam saat pemblokiran massal terjadi.
- Pemungutan tanpa batasan foto — mengarah pada penggunaan bandwidth berlebih 5-8 kali tanpa nilai tambah untuk analisis harga.
Kesalahan-kesalahan ini mudah diatasi pada tahap pengaturan — cukup bagi sebelumnya untuk membagi kumpulan proxy berdasarkan kota, membatasi frekuensi permintaan, dan mematikan pemuatan konten yang tidak perlu.
Kesimpulan dan rekomendasi
Pemantauan harga sewa berdasarkan iklan di 5 kota adalah tugas yang dapat diselesaikan tanpa menulis kode, jika skema dibangun dengan benar: proxy geo terpisah untuk kota, frekuensi permintaan yang wajar, mematikan file media yang tidak perlu, dan rotasi IP dalam kumpulan yang ditetapkan. Dengan pendekatan ini, penggunaan bandwidth tetap dalam 10-15 GB per bulan tanpa foto dan 80-100 GB dengan pemuatan penuh gambar iklan.
Untuk memulai pengumpulan data dari Avito dan Cian, kami merekomendasikan menggunakan proxy residensial — mereka memberikan persentase captcha terendah saat bekerja dengan platform real estat yang sensitif terhadap geo. Jika anggaran terbatas atau sumbernya memiliki perlindungan lemah (misalnya, agregator seperti Yandex.Nedvizhimost), Anda bisa beralih ke proxy pusat data yang lebih murah tanpa kehilangan kualitas pengumpulan data.