CİAN, Domclick ve Yandex Gayrimenkul Veri Çekimi: Engellemeler Olmadan Fiyat Bilgilerini Nasıl Toplayabilirsiniz

Eğer gayrimenkul pazarını analiz ediyorsanız — ister bir emlak ajansı, yatırımcı veya analist olun — muhtemelen aynı sorunla karşılaşmışsınızdır: CIAN, Domclick ve Yandex Gayrimenkul, birkaç on sayfadan sonra toplu talepleri engelliyor. Proxy olmadan güncel ilan verilerini toplamak neredeyse imkansız. Bu yazıda, hangi proxy'leri seçeceğimizi, nasıl ayarlayacağımızı ve veri toplama sürecini nasıl istikrarlı hale getireceğimizi inceleyeceğiz.

Neden CIAN, Domclick ve Yandex taramayı engelliyor

Üç platform da — genişletilmiş analitik için ücretli erişim sunan ticari agregatörlerdir. CIAN, analitik raporlar için abonelikler satıyor, Yandex Gayrimenkul ilan yerleştirmeyi monetize ediyor, Domclick (Sberbank) verileri konut kredisi ürünleri için kullanıyor. Toplu tarama, iş modeline doğrudan zarar veriyor — bu nedenle tüm bu üç hizmet, otomatik taleplere karşı aktif bir şekilde korunuyor.

İşte proxy olmadan veri toplamaya çalıştığınızda olanlar:

• IP engellemesi — bir adresten 50–200 talep sonrası site yanıt vermeyi durdurur veya 403/429 hatası döner.
• CAPTCHA — özellikle CIAN tarafından agresif bir şekilde uygulanır: Yandex SmartCaptcha, birkaç listeleme sayfasından sonra ortaya çıkar.
• Cevapların yavaşlatılması — sunucu, veri toplama hızını azaltmak için yanıtları kasıtlı olarak yavaşlatır.
• Veri değiştirme — nadir durumlarda platformlar, botlara "çöp" veriler verir, böylece veritabanını bozarlar.
• User-Agent engellemesi — standart tarayıcı başlıkları kolayca tespit edilir ve engellenir.

Durum, CIAN'ın son yıllarda korumayı önemli ölçüde artırmasıyla daha da kötüleşiyor: artık yalnızca IP'yi değil, aynı zamanda davranış kalıplarını da analiz ediyorlar — kaydırma hızı, talepler arasındaki süre, sayfa görüntüleme sırası. Bu, yalnızca IP değiştirmek için yeterli olmadığı anlamına geliyor — kapsamlı bir ayar gerekiyor.

Gayrimenkul pazarında profesyonellerin topladığı veriler

Teknik tarafı konuşmadan önce, bu platformları neden taradığımızı ve bunun pratikte hangi sorunları çözdüğünü anlamamız gerekiyor. Amaç anlayışı, araçların ve proxy türlerinin seçiminde doğrudan etkilidir.

Emlak ajansları ve inşaatçılar

Rakiplerin ilan veritabanlarını toplar: bölgelerdeki metrekare fiyatları, fiyat değişim dinamikleri, nesnelerin ortalama sergileme süresi. Bu, kendi nesnelerini doğru bir şekilde konumlandırmalarını ve fiyat politikalarını oluşturmalarını sağlar. Büyük ajanslar, her gün binlerce ilanı izler — bunu manuel olarak yapmak imkansızdır.

Gayrimenkul yatırımcıları

Satış ve kiralama fiyatı oranını (yield) analiz eder, değer kaybetmiş nesneleri arar, indirimli yeni ilanların ortaya çıkışını takip eder. Yatırımcı için hız önemlidir — piyasa fiyatının altında bir ilan birkaç saat içinde kaybolur, bu nedenle gerçek zamanlı izleme gerekir.

Analistler ve pazarlamacılar

Pazar durumu hakkında raporlar hazırlar, müşteriler için sunumlar hazırlar, segmentlere (stüdyolar, iki odalı daireler, kırsal gayrimenkul) göre talebi araştırırlar. Tarihsel verilere ihtiyaç duyarlar — belirli bölgelerde ve nesne türlerinde fiyat dinamikleri için 3–6–12 aylık veriler.

Veri toplama için tipik alanlar

Gayrimenkul taraması için hangi proxy'ler uygundur

Proxy türünün seçimi — engellemelerle sürekli mücadele edip etmeyeceğinizi veya rahatça gerekli veritabanını toplayıp toplayamayacağınızı belirleyen ana karardır. CIAN, Domclick ve Yandex Gayrimenkul'ün tarama görevlerine uygun üç ana seçeneği inceleyelim.

Konut proxy'leri — CIAN için en iyi seçim

Konut proxy'leri, gerçek ev kullanıcılarının IP adreslerini kullanır — bu tür adresler platformlar tarafından normal trafik olarak algılanır. CIAN veya Yandex açısından, talep, evde oturan ve ilanları inceleyen sıradan bir insan gibi görünür. Bu, konut proxy'lerini standart koruma yöntemleriyle neredeyse tespit edilemez hale getirir.

Ana avantajı — büyük bir IP havuzuna sahip olması, bu da her talep veya her sayfa sonrası döngü yapmayı mümkün kılar. Dezavantajı — hız, veri merkezi proxy'lerine göre biraz daha düşük ve fiyatı daha yüksektir. Gayrimenkul taraması için, hızdan ziyade istikrarın daha kritik olduğu durumlarda bu en iyi seçenektir.

Mobil proxy'ler — sert koruma ile zorlu durumlar için

Mobil proxy'ler, mobil operatörlerin (MTS, Beeline, MegaFon) IP adresleridir. Özelliği, bir mobil IP'nin NAT üzerinden yüzlerce gerçek kullanıcı tarafından aynı anda kullanılabilmesidir. Bu nedenle, platformlar mobil adresleri çok nadir engeller — bir IP'nin engellenmesi, yüzlerce gerçek insanın engellenmesi anlamına gelir, bu da iş açısından kabul edilemez.

Mobil proxy'leri, CIAN'ın çalışma kalıplarınızı "hatırladığı" ve hatta konut proxy'lerini engellediği durumlarda kullanmalısınız. Bu, tespit edilme direnci en yüksek olan seçenektir, ancak en pahalı olanıdır.

Veri merkezi proxy'leri — büyük hacimler için dikkatli kullanılmalı

Veri merkezi proxy'leri hızlı ve ucuzdur, ancak kolayca tespit edilir. CIAN ve Yandex, uzun zamandır en popüler veri merkezi alt ağlarını kara listeye aldı. 2024 yılında CIAN için bunları kullanmak, sürekli engellemelerle karşılaşmak ve havuzları değiştirmek için zaman harcamak anlamına gelir.

Veri merkezi proxy'leri, Domclick için uygun olabilir, çünkü biraz daha az agresif bir korumaya sahiptir veya ana tarayıcıyı ayarlamadan önce sayfa yapılarını ön test etmek için kullanılabilir.

CIAN için proxy ayarları: adım adım inceleme

CIAN — üç platformdan teknik olarak en karmaşık olanıdır. Burada çok katmanlı bir koruma kullanılıyor: IP'ye göre oran sınırlaması, davranış analizi, Yandex SmartCaptcha ve tarayıcı başlıklarının kontrolü. Doğru bir çalışma düzeni kurmayı anlatacağız.

Adım 1. Rus IP'li proxy alın

CIAN — Rus bir platformdur ve yurtdışındaki IP'lerden gelen talepler hemen şüphe uyandırır. Reseptif proxy'lerinizin Rus coğrafi konumuna sahip olduğundan emin olun — tercihen Moskova veya Saint Petersburg, çünkü çoğu ilan burada yoğunlaşmıştır. Sağlayıcıyı seçerken, havuzda Rus konut IP'lerinin bulunup bulunmadığını kontrol edin.

Adım 2. IP döngüsünü ayarlayın

CIAN için, her 5–10 talepte bir IP değiştirmeniz önerilir, engellemeyi beklemeden. Çoğu konut proxy sağlayıcısı, her bağlantıda otomatik olarak yeni bir IP veren döngüsel bir uç nokta sağlar — bu, ayarları önemli ölçüde basitleştirir: adresler arasında manuel olarak geçiş yapmanıza gerek kalmaz.

Adım 3. Talepler arasında gecikme ayarlayın

Proxy ile bile, talepleri maksimum hızda göndermemelisiniz. Gerçek bir insan, bir sayfayı incelemek için 5–30 saniye harcar. Bu davranışı taklit edin: talepler arasında 3–8 saniyelik bir gecikme, engellenme riskini önemli ölçüde azaltır. Hazır bir tarayıcı veya kodsuz bir araç kullanıyorsanız — ayarlar kısmında "gecikme" veya "delay" ayarını arayın.

Adım 4. Taleplerin başlıklarını doğru ayarlayın

CIAN, HTTP başlıklarını analiz eder. User-Agent olmadan veya "python-requests/2.28" başlığı ile yapılan talepler hemen bot olarak tanımlanır. Güncel tarayıcıların (Chrome, Firefox) gerçek User-Agent dizelerini kullanın. Ayrıca, Accept-Language (ru-RU), Referer ve Accept-Encoding başlıklarını iletmek de önemlidir — bunlar talebi tarayıcıya benzer hale getirir.

Adım 5. Sayfalamayı sıralı bir şekilde yönetin

Hemen 50 veya 100. sayfaya atlamayın — bu alışılmadık bir davranıştır. İlk sayfadan başlayın ve sırayla devam edin. Birden fazla şehirden veri toplamanız gerekiyorsa — her biri kendi bölgesinde çalışan farklı IP'lerle birkaç paralel oturum başlatmanız daha iyidir.

Domclick ve Yandex Gayrimenkul'ün tarama özellikleri

Domclick (Sberbank)

Domclick, CIAN'a göre daha hoşgörülü bir korumaya sahiptir, ancak bu, orada taramanın kolay olduğu anlamına gelmez. Platform, verileri API aracılığıyla dinamik olarak yükler — bu, yalnızca HTML sayfasını indirmenin yeterli olmadığı anlamına gelir: ilan verileri, dahili API'ye yapılan JavaScript talepleri aracılığıyla yüklenir.

İyi haber: Domclick API, verileri JSON formatında döner, bu da HTML analizinden çok daha kullanışlıdır. Kötü haber: API'ye yapılan talepler de IP'ye göre izlenir ve bir adresten çok sayıda talep geldiğinde geçici bir engelleme alırsınız.

Domclick için önerilen yaklaşım: her 15–20 talepten sonra döngü yapan konut proxy'leri kullanmaktır. Bu, verileri sürekli olarak toplamanızı sağlar ve sürekli engellemelerden kaçınır.

Yandex Gayrimenkul

Yandex Gayrimenkul, koruma aşmayı düşünürken muhtemelen en karmaşık platformdur. Sebep basit: Yandex, ekosisteminin tüm seviyelerinde entegre edilmiş kendi bot koruma altyapısını kullanıyor. Yandex'in SmartCaptcha'sı, Rus pazarındaki en gelişmiş sistemlerden biridir.

Yandex, yalnızca IP'yi değil, aynı zamanda çerezleri, tarayıcı parmak izini ve oturum geçmişini de analiz eder. Bu, Yandex Gayrimenkul'ü istikrarlı bir şekilde taramak için ya tam bir headless tarayıcı (Playwright, Puppeteer) kullanmanız ya da Yandex korumasını aşmak için zaten entegre edilmiş özel tarama hizmetleri aracılığıyla çalışmanız gerektiği anlamına gelir.

Kod olmadan tarama için hazır araçlar

Eğer programcı değilseniz ama gayrimenkul verilerini toplamak istiyorsanız — proxy bağlantısını destekleyen ve kod yazmayı gerektirmeyen birkaç hazır çözüm bulunmaktadır.

Octoparse

Proxy desteği ile görsel bir tarayıcı oluşturucu. İlgili sayfa öğelerine tıklıyorsunuz, ne toplamak istediğinizi belirtiyorsunuz ve program otomatik olarak tarama mantığını oluşturuyor. Harici proxy bağlantısını destekler — ayarlarında adres, port, kullanıcı adı ve şifreyi yapıştırmanız yeterlidir. Domclick ile iyi bir şekilde başa çıkıyor.

ParseHub

Daha basit bir arayüze sahip benzer bir araç. JavaScript ile dinamik sayfaları destekler — bu, Domclick ve Yandex Gayrimenkul için önemlidir. Proxy, proje ayarlarında bağlanır. Ücretsiz plan, sayfa sayısı ile sınırlıdır, ciddi izleme için ücretli sürüm gereklidir.

Apify

Hazır "aktörler" (tarayıcı şablonları) ile bulut tabanlı bir tarama platformu. Gayrimenkul agregatörleri için hazır çözümler mevcuttur. Kendi proxy'lerinizi ayarlardan bağlamayı destekler. Bulut ortamında çalıştığı için uzun süreli izleme için bilgisayarınızı açık tutmanıza gerek yoktur.

n8n + HTTP talepleri

Derin programlama gerektirmeden süreci otomatikleştirmek isteyenler için: n8n — proxy ile HTTP talepleri gönderebilen görsel bir otomasyon oluşturucusudur. Domclick API ile çalışmak için uygundur — belirli bir program dahilinde otomatik veri toplama ve Google Sheets veya veritabanına aktarım ayarlayabilirsiniz.

Proxy döngüsü ve anti-ban: güvenli çalışma kuralları

En kaliteli proxy'ler bile yanlış kullanıldığında işe yaramaz. Döngü, yalnızca IP değişikliği değil, aynı zamanda tarayıcınızı gerçek kullanıcılar gibi gösteren bir davranış stratejisidir.

Döngüyü doğru ayarlama

IP değişim sıklığı: CIAN için — her 5–10 talepte, Domclick için — her 15–20 talepte, Yandex Gayrimenkul için — her 3–5 talepte (en agresif koruma). Eğer sağlayıcınızın döngüsel bir uç noktasını kullanıyorsanız, bu otomatik olarak gerçekleşir.

Sticky oturumlar vs. döngü: bazı görevler, oturum boyunca tek bir IP ile çalışmayı gerektirir — örneğin, bir hesapta oturum açmanız gerekiyorsa. Bu durumda, sticky oturumlar (5–30 dakika boyunca sabit IP) kullanın. Yetkilendirme olmadan basit ilan toplama için — her talep sonrası döngü.

Coğrafi dağılım: Eğer birden fazla şehirden veri topluyorsanız, ilgili bölgelerden proxy kullanın. Moskova IP'si ile Moskova ilanlarına yapılan bir talep, Novosibirsk'ten gelen bir IP'den daha doğal görünür.

Engellenme olasılığını etkileyen diğer faktörler

• Taleplerin hızı — bir IP'den 2 saniyede fazla 1 talep, engellenme riskini kat kat artırır.
• Günün saati — gece 2:00 ile 6:00 arasında tarama daha az belirgin, çünkü trafik daha düşüktür.
• Paralellik — yüksek hızda tek bir akış yerine, farklı IP'lerle 10 akış daha iyidir.
• Çerezler ve oturumlar — IP değişikliği ile birlikte çerezleri sıfırlayın, aksi takdirde oturum eski adrese bağlanır.
• Referer — arama motorundan veya sitenin ana sayfasından geçiş yapıyormuş gibi taklit edin.
• Doğru User-Agent — güncel Chrome veya Firefox sürümlerini kullanın, eski sürümleri değil.

Engellemeye nasıl tepki verilmeli

Eğer tarayıcınız 403 veya 429 yanıtları almaya başladıysa — aynı IP ile devam etmeye çalışmayın. Hemen yeni bir adrese geçin ve bir sonraki talep için 30–60 saniye bekleyin. Eğer engellemeler sıklaştıysa — talepler arasındaki gecikmeyi artırın ve IP değişim sıklığını azaltın (paradoksal bir şekilde, çok sık değişim de koruma sistemleri için bir sinyal olabilir).

Kontrol listesi: veri toplarken nasıl engel almayız

Tarayıcınızı başlatmadan önce bu kontrol listesini kullanın — bu, çoğu tipik hatadan kaçınmanıza yardımcı olacaktır.

Yeni başlayanların tipik hataları

Hata 1: Test etmeden başlatma. Birçok kişi hemen 10,000 sayfa üzerinde tarayıcıyı başlatır — ve 15 dakika içinde engellenir. Her zaman küçükten başlayın: 20–30 sayfa, verilerin doğru toplandığını kontrol edin, engel olmadığından emin olun ve sonra ölçeklendirin.

Hata 2: Tüm görevler için aynı IP kullanma. Eğer bir proxy'yi hem test hem de gerçek tarama için kullanıyorsanız — IP hızla açığa çıkar. Farklı görevler için ayrı havuzlar tutun.

Hata 3: Hataları görmezden gelme. Tarayıcı, 403, 429, 503 yanıtlarını düzgün bir şekilde işlemelidir — bekleme yapmalı, IP değiştirmeli ve talebi tekrarlamalıdır. Bu mantık olmadan verileri kaybedecek ve IP'yi açığa çıkaracaksınız.

Hata 4: Tek bir havuzla 24/7 tarama. İyi proxy'ler bile sürekli yük altında "yorgun" düşer. Molalar planlayın — örneğin, 2 saat çalışma, 30 dakika dinlenme. Bu, IP havuzuna yükü azaltır ve kalıbı koruma sistemleri için daha az belirgin hale getirir.

Sonuç

CIAN, Domclick ve Yandex Gayrimenkul taraması — doğru teknik temelle yaklaşılırsa pazar analizi için gerçekten işleyen bir araçtır. Unutulması gereken en önemli şey: proxy kalitesi ve doğru döngü — istikrarlı çalışmanın temelidir. Bunu yapmadan, verileri analiz etmek yerine engellemelerle mücadele etmek için zaman harcayacaksınız.

Kısa özet: CIAN için her 5–10 talepte döngü yapan konut proxy'leri ve en az 3 saniye gecikme kullanın. Domclick daha hoşgörülüdür, ancak yine de proxy gerektirir. Yandex Gayrimenkul — en karmaşık platformdur, burada tam bir headless tarayıcı ve kaliteli proxy'ler gereklidir. Kod olmadan çalışmak için Octoparse veya ParseHub, harici proxy bağlantısı ile uygundur.

Eğer gayrimenkul fiyatlarını düzenli olarak izlemeyi veya analiz için ilan veritabanı toplamayı planlıyorsanız, Rus coğrafi konumuna sahip konut proxy'leri ile başlamanızı öneririz — bunlar, istikrarlı çalışma ve maliyet arasında optimal denge sağlar ve üç platform için de mükemmel bir şekilde uygundur.