Eğer birkaç şehirdeki kiralık daire fiyatlarını topluyorsanız — piyasa analizi, fiyatlandırma veya verilerin emlakçılara yeniden satılması için — er ya da geç CAPTCHA, geçici yasaklar ve tahmin edilemeyen trafik harcaması ile karşılaşacaksınız. Bu yazıda, 5 şehirdeki Avito, Cian ve Yandex.Emlak ilanlarının toplanması için belirli bir şemayı inceleyecek ve proxy için gerçekten ne kadar gigabayt trafik ayırmamız gerektiğini hesaplayacağız.
Neden birkaç şehirde kiralık fiyatları izlemeliyiz
Birkaç şehirdeki kiralık fiyatların izlenmesi sadece emlak ajansları için gerekli değildir. Bu, piyasa analistleri, yönetim şirketleri, gayrimenkul yatırımcıları ve kiralık piyasa raporları satan hizmetler için bir görevdir. Moskova, Saint Petersburg, Kazan, Yekaterinburg ve Novosibirsk'teki fiyatların karşılaştırılması, talep dinamiklerini, mevsimselliği ve anormallikleri görmeyi sağlar — örneğin, bir mülk sahibi tarafından çok sayıda dairenin birden fazla ilana verilmesi nedeniyle bir bölgede fiyatların ani düşüşü.
Emlak ajansları için bu aynı zamanda rakiplerin fiyat kırmalarına hızlı bir şekilde yanıt verme yöntemidir: eğer komşu bir konut projesinde piyasa fiyatının %15 altında bir ilan varsa, bunu bir saat içinde görmek gerekir, bir hafta içinde değil. 5 şehirdeki ilanları manuel olarak taramak, bir çalışanın günde 3-4 saatini alır — proxy ile otomasyon bu süreyi sonuçları kontrol etmek için 10-15 dakikaya düşürür.
Önemli bir nokta: İlan platformları (Avito, Cian, Domclick) otomatik veri toplamaya karşı aktif olarak korunmaktadır çünkü bu tür raporlar kendi ücretli analiz hizmetleri ile rekabet eder. Bu nedenle, herhangi bir izleme şeması, üç şey etrafında inşa edilir: gerçek bir kullanıcının davranışını taklit etmek, IP adreslerinin çeşitliliği ve sorgu hızının kontrolü.
Hangi ilan kaynaklarını kullanmalıyız
5 şehirdeki kiralık piyasanın tam bir resmini elde etmek için genellikle 2-3 kaynak aynı anda kullanılır, çünkü hiçbir platform piyasanın tamamını kapsamaz:
- Avito Emlak — özel ilanlar için en geniş kapsama, ancak en sert parse koruması ve şüpheli etkinlikte sık CAPTCHA.
- Cian — büyük şehirlerde daha fazla temsil edilir, ajanslardan çok sayıda ilan, sayfa yapısı toplama için daha kararlıdır.
- Yandex.Emlak — diğer platformlardan ilanları çeken bir agregatör, fiyatları çapraz kontrol için faydalıdır.
- Domclick — milyonluk şehirler için geçerlidir, daha az yasak, ancak özel kişilerden daha az ilan.
Başlamak için genellikle Avito ve Cian yeterlidir — bunlar, milyonluk şehirlerde kiralık piyasanın %70-80'ini kapsar. Diğer kaynaklar, daha derin bir analiz veya anormal fiyatların kontrolü gerektiğinde eklenir.
Toplama şeması: proxy, araçlar ve periyodiklik
5 şehirdeki kiralık fiyatların izlenmesi için temel şema şu mantıkla inşa edilir: her şehir ve her platform için ayrı bir IP adresi havuzu ayrılır, sorgular insan davranışını taklit eden aralıklarla yapılır ve veri toplama, günde birkaç kez bir takvime göre gerçekleştirilir.
Pratikte şema şu şekilde görünür:
- İlanları parse etmek için hazır bir çözüm (kod yazmadan) filtreler aracılığıyla ilan listesini toplamak için ayarlanır: şehir, konut tipi, fiyat aralığı.
- Her şehir için ilgili bölgeye bağlı bir geo-proxy ile ayrı bir profil tanımlanır — bu, CAPTCHA olasılığını azaltır, çünkü IP, örnekleme ile gerçek konumla örtüşür.
- Sorgular zaman içinde dağıtılır: kesintisiz bir akış değil, ilan kartları arasında 3-8 saniye aralıklarla.
- Her şehir için veri toplama günde 2-4 kez tekrarlanır — bu, yeni ilanları ve fiyat değişikliklerini takip etmek için yeterlidir, platformda anormal bir yük oluşturmadan.
- Sonuçlar, tarih ve toplama zamanı ile ilişkilendirilmiş bir tabloya veya veritabanına kaydedilir, böylece fiyat dinamikleri grafik olarak oluşturulabilir.
Şehirler için birden fazla toplama profili yönetmek için Dolphin Anty, AdsPower veya Octo Browser gibi anti-detect tarayıcılar kullanmak uygundur — her şehre, benzersiz çerezler, kullanıcı ajanı ve en önemlisi, gerekli bölgeye bağlı proxy ile ayrı bir tarayıcı profili atamayı sağlar. Bu, arbitrajcıların çoklu hesaplama için kullandığı aynı prensiptir, sadece ilan parse etme görevine uygulanmıştır.
5 şehir için trafik harcaması hesaplaması
Trafik harcaması, proxy bütçesini planlarken anahtar bir parametredir, özellikle de kiralık IP'ler alıyorsanız, burada ödeme aktarılan veri hacmine göre yapılır. Beş milyonluk şehrin izlenmesi örneği üzerinden hesaplamayı inceleyelim: Moskova, Saint Petersburg, Kazan, Yekaterinburg, Novosibirsk.
Hesaplama için temel girdiler:
- İlan listesi sayfasının ortalama ağırlığı (30-50 kart) — resimler dikkate alındığında 800 KB - 1,5 MB, resimler yüklenmediğinde ise yaklaşık 150-250 KB.
- Detaylı parse etme sırasında bir ilan kartının ortalama ağırlığı — fotoğraflarla 300-500 KB, metin modunda 40-70 KB.
- Bir geçişte şehir başına toplanacak ilan sayısı — piyasa büyüklüğüne bağlı olarak 300-800 (Moskova ve SPb — daha fazla, Kazan, Yekaterinburg, Novosibirsk — daha az).
| Şehir | İlanlar/geçiş | Trafik resimsiz/geçiş | Trafik/gün (3 geçiş) |
|---|---|---|---|
| Moskova | 800 | ~45 MB | ~135 MB |
| Saint Petersburg | 650 | ~37 MB | ~111 MB |
| Kazan | 350 | ~20 MB | ~60 MB |
| Yekaterinburg | 380 | ~22 MB | ~66 MB |
| Novosibirsk | 400 | ~23 MB | ~69 MB |
Toplamda, 5 şehir için günde yaklaşık 440 MB trafik elde ediyoruz, günde üç geçiş ile ve resim yüklemesi kapalı. Aylık bu yaklaşık 13 GB. Eğer ilanların görsel kontrolü için fotoğrafları da topluyorsanız (örneğin, gerçek daireleri dolandırıcılık ilanlarından ayırt etmek için), harcama 6-8 kat artar — 5 şehir için ayda 80-100 GB'a kadar.
Pratik bir öneri: Başlangıçta, veri toplama ayarları veya tarayıcı profili seviyesinde resim ve stillerin yüklenmesini kapatın — bu, fiyat, adres ve dairenin alanı hakkında veri kaybı olmadan trafiği kat kat azaltır. Fotoğrafları, yalnızca şüpheli düşük fiyatlı ilanlar için noktasal olarak yükleyebilirsiniz.
Her kaynak için hangi proxy'leri seçmeliyiz
Proxy türünün seçimi, ne kadar CAPTCHA ile karşılaşacağınızı ve veri toplamanın ne kadar stabil olacağını doğrudan etkiler. 5 şehirdeki ilanları izlemek için farklı platformlar farklı yaklaşımlar gerektirir.
| Platform | Tavsiye edilen proxy türü | Sebep |
|---|---|---|
| Avito | Konut proxy'leri | Veri merkezi IP'lerine karşı sert koruma, gerçek sağlayıcı adresleri gereklidir |
| Cian | Konut proxy'leri | Sorgu kalıplarını izler, şehre bağlı bir geo-etiket gereklidir |
| Yandex.Emlak | Veri merkezi proxy'leri | Koruma daha zayıf, hız ve maliyette tasarruf edilebilir |
| Domclick | Veri merkezi proxy'leri | Orta düzeyde koruma, yüksek veri toplama hızı anonimlikten daha önemlidir |
Avito için ayrıca mobil proxy'leri de belirtmek gerekir — eğer verileri mobil uygulama üzerinden topluyorsanız veya mobil trafiği taklit ediyorsanız, platform bu tür sorguları daha az şüpheli olarak işaretler, çünkü mobil IP'ler, telekom operatörleri tarafından sürekli olarak farklı gerçek kullanıcılar tarafından yeniden kullanılmaktadır. Gayrimenkul izleme görevleri için bu, masaüstü konut IP'lerinin belirli bir bölgede sık sık CAPTCHA'ya girmeye başlaması durumunda geçerlidir.
IP rotasyonu ve yasaklanmadan sorgu sıklığı
Kiralık fiyatların izlenmesinde sık yapılan bir hata, tüm 5 şehri aynı IP adresinden ardışık olarak toplamaya çalışmaktır. Platformlar, bir IP'den farklı coğrafi bölümlere yapılan sorgularda ani bir artış gördüklerinde, bu durumu otomasyon olarak değerlendirirler, sorgular arasında aralıklar olsa bile.
Çalışan bir rotasyon şeması şu şekildedir:
- Her şehir için toplama döngüsü boyunca ayrı bir IP (veya 3-5 IP'lik küçük bir havuz) atayın — bu mantıklıdır, çünkü Kazan'dan gerçek bir kullanıcı aynı anda Novosibirsk'teki ilanları göremez.
- İlan kartları arasında her 30-50 sorguda IP'yi değiştirin, her sorguda değil — IP'nin çok sık değiştirilmesi de şüpheli görünür.
- İlan kartları arasındaki sorgular arasında 4-10 saniye, farklı site bölümleri arasında ise 1-3 dakika aralıklarla duraklamalar yapın.
- 5 şehirdeki toplama işlemini kesinlikle paralel başlatmayın, her şehir için toplama başlangıcında küçük bir zaman kayması ile — her şehir için 5-15 dakika arası.
Bu yaklaşımda, 5 şehir için genellikle 15-25 konut IP'lik bir havuz yeterlidir, eğer toplama hacmi geçiş başına 500-800 ilanı aşmıyorsa. Daha agresif bir toplama için (örneğin, saatlik izleme) havuzu 40-50 IP'ye çıkarmak, her adres üzerindeki yükün normal bir kullanıcının davranışına benzer seviyelerde kalmasını sağlar.
İlan izleme sırasında sık yapılan hatalar
Tipik durumlara dayanarak, birkaç şehirde veri toplamanın durmasına ve yasaklamalara en sık neden olan birkaç hata belirlenebilir:
- Tüm şehirler için tek bir IP — platform, mantıksız bir coğrafi konum görür ve erişimi, her bölge için yerel IP'ler kullanmaktan daha hızlı kısıtlar.
- Çok sık toplama — 10-15 dakikada bir izleme, kiralık piyasası için nadiren mantıklıdır, fiyatlar bu kadar hızlı değişmez ve kaynak üzerindeki yük orantılı olarak artar.
- User-Agent ve tarayıcı başlıklarını göz ardı etmek — mobil operatör IP'si ile masaüstü kullanıcı ajanı arasındaki uyumsuzluk, hemen yasaklanma riskini artırır.
- Yedek proxy havuzunun olmaması — tüm trafik tek bir proxy türü üzerinden gidiyorsa ve yedek bir havuz yoksa, kitlesel bir yasaklama durumunda veri toplama tamamen birkaç saat durur.
- Fotoğraflar için sınırlama olmadan toplama — fiyat analizi için ek bir değer sağlamadan trafiğin 5-8 kat artmasına neden olur.
Bu hatalar, ayar aşamasında kolayca giderilebilir — yeter ki önceden proxy havuzunu şehirlere göre ayırın, sorgu sıklığını sınırlayın ve gereksiz içerik yüklemesini kapatın.
Sonuç ve öneriler
5 şehirdeki ilanlar üzerinden kiralık fiyatların izlenmesi, doğru bir şema kurulduğunda kod yazmadan çözülebilecek bir görevdir: her şehir için ayrı bir geo-proxy, makul sorgu sıklığı, gereksiz medya dosyalarının kapatılması ve belirlenen havuz içinde IP rotasyonu. Bu yaklaşımda, trafik harcaması, fotoğraflar olmadan ayda 10-15 GB ve ilanların tam yüklemesi ile 80-100 GB arasında kalmaktadır.
Avito ve Cian üzerinden veri toplama için başlangıçta konut proxy'leri kullanmanızı öneririz — bunlar, coğrafi olarak hassas emlak platformları ile çalışırken en düşük CAPTCHA oranını sağlar. Bütçeniz sınırlıysa veya zayıf korumaya sahip bir kaynağa (örneğin, Yandex.Emlak gibi agregatörler) geçiyorsanız, veri toplama kalitesini kaybetmeden daha ucuz veri merkezi proxy'lerine geçebilirsiniz.