Cian ve Avito'dan Emlak Verilerini Engellenmeden Toplama: Proxy Ayarları

Emlak web sitelerinin taranması, emlakçılar, yatırımcılar ve piyasa analistleri için kritik bir görevdir. Cian, Avito, CIAN ve diğer platformlar, gelişmiş anti-bot sistemleri kullanarak otomatik veri toplama işlemlerini aktif olarak engellemektedir. Doğru şekilde ayarlanmamış proxy olmadan, IP'niz 50-100 istektan sonra engellenecek ve fiyatlar, ilanlar ve piyasa dinamikleri hakkında değerli bilgilere erişiminizi kaybedeceksiniz.

Bu kılavuzda, emlak verilerini taramak için uygun proxy nasıl seçilir, IP adreslerinin döngüsü nasıl ayarlanır, en büyük platformların korumaları nasıl aşılır ve veriler nasıl istikrarlı bir şekilde toplanır, engellemeler ve CAPTCHA olmadan öğreneceksiniz.

Emlak web siteleri neden taramayı engelliyor

Büyük emlak platformları — Cian, Avito, Yandex.Emlak, CIAN — rakipler ve toplayıcılar tarafından verilerinin taranması nedeniyle milyonlarca ruble kaybetmektedir. Bu nedenle, otomatik bilgi toplama işlemlerine karşı çok katmanlı bir koruma uygulamışlardır.

Tarayıcıları engellemenin temel yöntemleri:

• IP adresine göre limitler: Cian, saatte 80-120 istektan sonra IP'yi engeller, Avito ise 50-70 istektan sonra. Bu, tek bir IP'den büyük veri hacimlerinin toplanmasını imkansız hale getirir.
• Tarayıcı parmak izi: Web siteleri, HTTP başlıklarını, User-Agent'ı, ekran çözünürlüğünü, yüklü fontları ve diğer parametreleri analiz eder. Eğer bunlar şüpheli görünüyorsa (örneğin, çerezler veya JavaScript yoksa), istek engellenir.
• Davranış analizi: Anti-bot sistemleri, istek hızını, navigasyon desenlerini, fare hareketlerini takip eder. Çok hızlı veya tekdüze eylemler şüphe uyandırır.
• Cloudflare ve Datadome: Birçok web sitesi, TLS parmak izi, WebGL, Canvas ve diğer teknik tarayıcı parametrelerini kontrol eden gelişmiş koruma sistemleri kullanmaktadır.

Proxy olmadan, aktif tarama işlemi sırasında birkaç dakika içinde engellemelerle karşılaşacaksınız. IP'niz 24-48 saat boyunca kara listeye alınacak ve normal bir tarayıcıda bile siteyi açamayacaksınız. Profesyonel veri toplama için proxy, bir seçenek değil, zorunlu bir gerekliliktir.

Emlak verilerini toplamak için hangi proxy türleri uygundur

Emlak taraması için üç ana proxy türü kullanılır. Seçim, görevin ölçeğine, bütçeye ve hedef web sitesinin koruma seviyesine bağlıdır.

Çoğu görev için öneri: Cian, Avito ve diğer büyük emlak platformlarının taranması için en uygun seçim, konut proxy'leridir. Maliyet, hız ve anonimlik arasında denge sağlarlar. Veri merkezi proxy'leri sadece küçük hacimler veya korumasız web siteleri için uygundur.

Konut Proxy'leri vs Veri Merkezleri: Taramada Ne Seçilmeli

Emlak taraması için her proxy türünü ne zaman kullanacağınızı detaylı bir şekilde inceleyelim, somut örneklerle.

Konut Proxy'leri Ne Zaman Kullanılır

Konut proxy'leri, internet sağlayıcıları (Rostelecom, MTS, Beeline) tarafından sağlanan gerçek ev kullanıcılarının IP adresleridir. Web siteleri için normal ziyaretçiler gibi görünürler, bu da engellenmelerini neredeyse imkansız hale getirir.

Konut proxy'lerini şunlar için kullanın:

• Cian Taraması: Rus emlak web siteleri arasında en sert koruma. Veri merkezlerini 30-50 istektan sonra engeller. Konut proxy'leri ile tek bir IP'den 500-1000 istek yapılabilir.
• Avito Taraması: Cloudflare ve davranış analizi kullanır. Konut proxy'leri, TLS parmak izi ve JavaScript kontrolünü aşar.
• Büyük Veri Hacimlerinin Toplanması: Günde 10.000'den fazla ilan taramanız gerekiyorsa, konut proxy'leri tek güvenilir seçenektir.
• Uzun Vadeli Projeler: Tarama aylarca sürüyorsa, istikrar önemlidir. Konut proxy'leri nadiren kara listeye alınır.

Veri Merkezi Proxy'leri Ne Zaman Uygundur

Veri merkezi proxy'leri, veri merkezlerindeki sunucuların IP adresleridir (Hetzner, OVH, DigitalOcean). Konut proxy'lerine göre 5-10 kat daha ucuzdur, ancak IP aralıkları veritabanları aracılığıyla anti-bot sistemleri tarafından kolayca tespit edilir.

Veri merkezlerini şunlar için kullanın:

• Küçük Yerel Web Sitelerinin Taraması: Gelişmiş koruma olmayan yerel emlak ajansları, ilan panoları.
• Tarayıcı Testi: Kodun hata ayıklanması, konut proxy'leri üzerinde çalıştırmadan önce mantığın kontrolü.
• API Taraması: Web sitesi, ortaklar için resmi bir API sağlıyorsa, veri merkezleri bu görevi yerine getirebilir.
• Sınırlı Bütçe: Küçük bir veri hacmi (1000-2000 ilan) toplamanız gerekiyorsa ve engellemelerle risk almak istiyorsanız.

Önemli: Cian, Avito, Yandex.Emlak için veri merkezlerini kullanmayın. 10-15 dakika içinde IP'niz engellenecek ve zamanınızı ve paranızı boşa harcamış olacaksınız. Bu siteler için konut proxy'leri tek çalışan seçenektir.

İstikrarlı Taramak İçin IP Adreslerinin Döngü Ayarı

IP döngüsü, belirli zaman aralıkları veya istek sayısı üzerinden proxy sunucusunun otomatik olarak değiştirilmesidir. Doğru döngü ayarı, engellemelerden kaçınmak için kritik öneme sahiptir.

IP Adreslerinin Döngü Stratejileri

Emlak taraması için her biri farklı senaryolar için uygun olan üç ana döngü stratejisi vardır:

Emlak taraması için öneri: Kombine bir strateji kullanın — zamanla döngü (10 dakika) VE isteklerle döngü (100 istek). IP, herhangi bir koşul yerine getirildiğinde değişir. Bu, engellemelerden maksimum koruma sağlar.

Popüler Araçlarda Döngü Ayarının Adım Adım Yapılması

Çoğu modern tarayıcı ve scraper, otomatik proxy döngüsünü destekler. İşte popüler araçlarda nasıl ayarlayacağınız:

1. Proxy listesi oluşturun (proxies.txt dosyası):
   123.45.67.89:8000:kullanıcı_adı:şifre
   234.56.78.90:8000:kullanıcı_adı:şifre
   345.67.89.01:8000:kullanıcı_adı:şifre

2. Döngü ayarlarını yapılandırın:
   - Döngü aralığı: 10 dakika
   - Veya 100 istektan sonra
   - İstekler arasında rastgele gecikme: 2-5 saniye

3. Gerçek bir tarayıcıyı taklit edin:
   - User-Agent: popüler tarayıcıların listesinden rastgele
   - Accept-Language: tr-TR,tr;q=0.9,en;q=0.8
   - Referer: web sitesinin ana sayfası veya arama motoru
   - Çerezler: tek bir IP üzerinden istekler arasında saklayın
    

Döngü ayarının önemli nüansları:

• Proxy havuzunun boyutu: Cian için istikrarlı bir tarama için en az 20-30 IP'lik bir havuz gerekir. Avito için — 30-50 IP. Havuz ne kadar büyükse, her IP üzerindeki yük o kadar düşük olur.
• Çerezlerin saklanması: IP değiştiğinde çerezleri sıfırlamayın — bu şüpheli görünür. Her IP'nin, istekler arasında saklanan kendi çerez seti olmalıdır.
• Proxy'nin coğrafi konumu: Yerel ilanları tararken, aynı şehirden proxy kullanın. Örneğin, Saint Petersburg'daki emlak verilerini toplamak için — Saint Petersburg IP'si olan proxy kullanın.
• Çalışabilirliğin kontrolü: Tarama işlemine başlamadan önce tüm proxy'lerin çalışabilirliğini kontrol edin. Engellenmiş veya yavaş IP'leri (ping > 500 ms) listeden çıkarın.

Cian, Avito ve CIAN'ın Anti-Bot Sistemlerini Nasıl Aşarsınız

Modern emlak web siteleri, botlara karşı çok katmanlı koruma kullanmaktadır. Sadece proxy yeterli değildir — gerçek bir kullanıcının davranışını taklit etmek gerekir. Her büyük platformun korumasını aşmanın yollarını inceleyelim.

Cian Korumasını Aşma

Cian, Rusya'daki en korumalı emlak platformudur. Tarayıcıları belirlemek için Cloudflare, kendi anti-bot sistemini ve makine öğrenimini birleştirir.

Cian'ın kontrol ettiği şeyler:

• TLS parmak izi: SSL/TLS bağlantısının benzersiz parmak izi. Cian, otomatik araçları (Selenium, Puppeteer) standart dışı TLS parametreleri ile belirler.
• JavaScript kontrolü: İlk girişte Cloudflare, JavaScript kontrolü yapar. Eğer tarayıcı JS'yi çalıştırmazsa veya yanlış yaparsa — engellenir.
• Canvas ve WebGL parmak izi: Cian, tarayıcının grafik motorunun benzersiz parmak izini okur. Farklı IP'lerden gelen aynı parmak izleri, bot belirtisidir.
• Davranış analizi: Kaydırma hızı, fare hareketleri, sayfada geçirilen süre, tıklama desenleri. Çok hızlı veya mekanik hareketler şüphe uyandırır.

Cian korumasını aşmanın yolları:

1. Konut proxy'leri kullanın: Sadece onlar Cloudflare'ı istikrarlı bir şekilde aşabilir. Veri merkezleri %90 oranında engellenir.
2. Gerçek bir tarayıcıyı taklit edin: Tam bir tarayıcı desteği olan kütüphaneler kullanın (Playwright, Puppeteer Stealth). Bunlar, gerçek Chrome/Firefox'un TLS parmak izini, Canvas'ını, WebGL'ini taklit eder.
3. Gecikmeler ayarlayın: İstekler arasında — 3-7 saniye (rastgele değer). Tıklamadan önce — 0.5-2 saniye. İlanı okuma taklidi yapın — ilan sayfasında 10-20 saniye gecikme.
4. User-Agent döngüsü: Popüler tarayıcıların (Chrome 120+, Firefox 121+, Safari 17+) gerçek User-Agent listesini kullanın. User-Agent'ı IP ile birlikte değiştirin.
5. CAPTCHA'yı işleyin: Proxy ile bile, Cian şüpheli bir aktivite durumunda CAPTCHA gösterebilir. CAPTCHA çözme hizmetlerini (2Captcha, Anti-Captcha) kullanın veya tarama yoğunluğunu azaltın.

Avito Korumasını Aşma

Avito, Cloudflare ve kendi bot tespit sistemini kullanmaktadır. Koruma, Cian'dan biraz daha zayıf, ancak yine de doğru proxy ayarları ve tarayıcı taklidi gerektirir.

Avito korumasının özellikleri:

• IP başına 50-70 istek limiti: Limit aşıldığında Avito, CAPTCHA gösterir veya IP'yi 1-2 saatliğine geçici olarak engeller.
• Referer kontrolü: Avito, kullanıcının nereden geldiğini kontrol eder. Referer yoksa veya şüpheli bir kaynak varsa, engelleme nedeni olabilir.
• İstek hızının analizi: İstekler 1-2 saniyeden daha hızlı gelirse — bu, bot belirtisidir.
• Bölgesel bağlılık: Avito, IP adresinin seçilen şehre uygunluğunu kontrol eder. Eğer IP Moskova'dan ise ve Vladivostok ilanlarına bakıyorsanız — bu şüpheli görünür.

Avito korumasını aşmanın ayarları:

1. Gerekli bölgedeki konut proxy'leri: Novosibirsk ilanlarını taramak için Novosibirsk veya komşu bölgelerin IP'leri ile proxy kullanın.
2. Her 8-12 dakikada veya 50 istekte bir döngü: Tek bir IP'den istek limitini aşmayın.
3. Doğru Referer: Referer'ı Yandex veya Google aramasından geliyormuş gibi ayarlayın: https://yandex.ru/search/?text=daire satın al
4. İstekler arasında 2-4 saniye gecikme: Rastgele değer, böylece eşit aralıklar oluşmaz.
5. Çerezlerin ve oturumun saklanması: Avito, kullanıcının oturumunu izler. Tek bir IP üzerinden istekler arasında çerezleri saklayın.

CIAN ve Diğer Platformların Korumasını Aşma

CIAN, Yandex.Emlak, Domofond ve diğer platformlar, Cian ve Avito'ya göre daha zayıf bir korumaya sahiptir. Onlar için temel ayarlar yeterlidir:

• Konut proxy'leri, her 15-20 dakikada bir döngü
• İstekler arasında 1-3 saniye gecikme
• Gerçekçi User-Agent ve temel başlıklar
• Nadir CAPTCHA'ların işlenmesi (görünme oranı %5-10)

Proxy Desteği Olan Emlak Tarama Araçları

Emlak web sitelerinin taranması için hem hazır çözümler hem de özel tarayıcılar kullanılmaktadır. Seçim, teknik becerilere, bütçeye ve görevin ölçeğine bağlıdır.

Hazır Tarama Hizmetleri (Programlama Olmadan)

Eğer bir geliştirici değilseniz, görsel arayüze ve yerleşik proxy desteğine sahip hazır hizmetleri kullanın:

• Octoparse: Drag-and-drop ile görsel tarayıcı oluşturucu. Proxy, JavaScript, CAPTCHA desteği var. Popüler web siteleri için hazır şablonlar mevcut. Aylık 75 $'dan başlayan fiyatlar.
• ParseHub: 200 sayfa için ücretsiz tarifesi, aylık 149 $'dan başlayan ücretli tarifeleri. Proxy, AJAX, sonsuz kaydırma desteği. Avito ve yerel web sitelerinin taranması için uygundur.
• Apify: Web scraping için bulut tabanlı bir platform. Farklı web siteleri için büyük bir hazır aktör (tarayıcı) kütüphanesi. Yerleşik proxy döngüsü. Aylık 49 $'dan başlayan fiyatlar.
• Bright Data (eski adıyla Luminati): Kendi proxy ağına sahip profesyonel bir çözüm. Tarama, CAPTCHA aşma, tarayıcı taklidi için yerleşik araçlar. Aylık 500 $'dan başlayan fiyatlar.

Öneri: Yeni başlayanlar ve küçük projeler için Octoparse veya ParseHub uygundur. Büyük hacimlerin profesyonel taraması için Apify veya Bright Data tercih edilmelidir.

Geliştiriciler İçin Kütüphaneler

Eğer bir geliştiriciyseniz veya teknik bir ekibiniz varsa, özel bir tarayıcı maksimum esneklik ve kontrol sağlar:

• Puppeteer / Playwright (JavaScript/Node.js): JavaScript ile karmaşık web sitelerinin taranması için headless tarayıcılar. Gerçek bir tarayıcının tam taklidi, çoğu anti-bot sistemini aşar. Yerleşik proxy desteği.
• Selenium (Python, Java, C#): Tarayıcı otomasyonu için klasik bir araç. Büyük bir topluluk, birçok hazır çözüm. Stealth mod için ek kütüphaneler gerektirir.
• Scrapy (Python): Güçlü bir tarama çerçevesi. Asenkron, hızlı, ölçeklenebilir. Karmaşık JavaScript olmayan basit web sitelerinin taranması için uygundur. Proxy ile kolayca entegre edilir.
• BeautifulSoup + Requests (Python): HTML taraması için basit bir kütüphane. Yeni başlayanlar ve basit görevler için uygundur. JavaScript siteleri ile çalışmaz.

Cian ve Avito taraması için öneriyoruz: Puppeteer Stealth veya Playwright — gerçek bir tarayıcının tam taklidi sayesinde modern anti-bot sistemlerini en iyi şekilde aşarlar.

Pratik İpuçları: Engellemelerden Nasıl Kaçınılır

Emlak taramasında engellemelerden kaçınmak için istikrarlı bir şekilde uygulamanız gereken tüm önerileri bir kontrol listesi şeklinde özetleyelim:

Emlak Taramasında Yaygın Hatalar

Engellemelere yol açan bu yaygın hatalardan kaçının:

• Ücretsiz proxy kullanımı: Bunlar, %99 web sitesinde engellenmiştir, yavaş ve güvenilmezdir. Proxy'de tasarruf etmek, zaman ve veri kaybına yol açar.
• Çok hızlı istekler: İstekler arasında 1 saniyeden az gecikme — bu, bot belirtisidir. Proxy ile bile engellenirsiniz.
• Tüm IP'ler için aynı User-Agent kullanımı: Eğer 50 farklı IP aynı nadir User-Agent'ı kullanıyorsa — bu şüpheli görünür. User-Agent'ı IP ile birlikte döndürün.
• Bölgesel bağlılığın göz ardı edilmesi: Moskova IP'si ile Ekaterinburg ilanlarını taramak garip görünür. Gerekli bölgeden proxy kullanın.
• CAPTCHA'nın işlenmemesi: Doğru ayarlarla bile CAPTCHA çıkabilir. Otomatik çözüm olmadan tarayıcı duracaktır.
• Pik saatlerde tarama: 10:00 ile 20:00 arasında web sitelerinde en yüksek aktivite ve anti-bot sistemlerinin maksimum dikkati vardır. Gece veya sabah erken saatlerde tarama yapın.

Tarama İzleme ve Analiz

Tarama kalitesini kontrol etmek için anahtar metrikleri izleme ayarlarını yapın:

Tarayıcı günlüklerini düzenli olarak analiz edin, engellenmiş IP'leri izleyin, istatistiklere dayalı ayarları optimize edin. Tarama, "ayarları yaptım ve unuttum" değil, sürekli bir izleme ve iyileştirme sürecidir.

Sonuç

Cian, Avito ve diğer platformlardan emlak verilerini toplamak, doğru proxy seçimi, döngü ayarları ve gerçek kullanıcı davranışını taklit etme gerektiren karmaşık bir görevdir. Kaliteli proxy olmadan, büyük veri hacimlerini istikrarlı bir şekilde toplamak mümkün değildir — IP'niz 10-15 dakika içinde engellenecektir.

Bu kılavuzdan çıkarılacak anahtar sonuçlar:

• Korumalı web siteleri (Cian, Avito) için yalnızca konut proxy'leri kullanın — veri merkezleri %90 oranında engellenir
• Yük dağılımı için IP döngüsünü 10-15 dakikada veya 80-100 istekte bir ayarlayın
• Gerçek bir kullanıcıyı taklit edin: rastgele gecikmeler, doğru başlıklar, JavaScript'i çalıştırma
• Bölgesel ilanları taramak için gerekli bölgeden proxy kullanın
• Tarama metriklerini izleyin ve istatistiklere dayalı ayarları optimize edin

Eğer emlak taramasıyla profesyonel olarak ilgilenmeyi veya piyasa analizi için veri toplamayı planlıyorsanız, konut proxy'lerini denemenizi öneririz — maksimum anonimlik, istikrar ve minimum engelleme riski sağlarlar. Özellikle sıkı koruma gerektiren görevler için, mobil proxy'ler Rus operatörlerinin IP'leri ile uygundur.

Proxy ve tarayıcı ayarlarının doğru yapılandırılması, her gün on binlerce ilan toplamanızı, fiyat dinamiklerini izlemenizi, emlak piyasasını analiz etmenizi ve mantıklı yatırım kararları almanızı sağlar — engellemeler, CAPTCHA ve veri kaybı olmadan.