Parsing von CIAN, Domclick und Yandex Immobilien: So sammeln Sie Preisdaten ohne Sperren

Wenn Sie sich mit der Analyse des Immobilienmarktes beschäftigen – sei es als Immobilienagentur, Investor oder Analyst – sind Sie sicherlich auf dasselbe Problem gestoßen: CIAN, Domclick und Yandex Immobilien blockieren Massenanfragen bereits nach wenigen Dutzend Seiten. Ohne Proxys ist es nahezu unmöglich, eine aktuelle Datenbank von Angeboten zu sammeln. In diesem Artikel werden wir besprechen, welche Proxys Sie wählen sollten, wie Sie sie einrichten und wie Sie einen stabilen Prozess zur Datensammlung aufbauen.

Warum CIAN, Domclick und Yandex das Parsen blockieren

Alle drei Plattformen sind kommerzielle Aggregatoren mit kostenpflichtigem Zugang zu erweiterten Analysen. CIAN verkauft Abonnements für Analyseberichte, Yandex Immobilien monetarisiert die Platzierung von Anzeigen, und Domclick (Sberbank) nutzt die Daten für Hypothekenprodukte. Massenhaftes Parsen trifft direkt ihre Geschäftsmodelle – genau deshalb schützen sich alle drei Dienste aktiv vor automatischen Anfragen.

Folgendes passiert, wenn Sie versuchen, Daten ohne Proxys zu sammeln:

• IP-Blockierung – nach 50–200 Anfragen von einer Adresse hört die Website auf zu antworten oder gibt einen Fehler 403/429 zurück.
• CAPTCHA – besonders aggressiv wird dies von CIAN angewendet: Yandex SmartCaptcha erscheint bereits nach wenigen Seiten des Listings.
• Verlangsamung der Antworten – der Server verzögert absichtlich die Antworten, um die Geschwindigkeit der Datensammlung zu reduzieren.
• Datenverfälschung – in seltenen Fällen geben die Plattformen „Müll“-Daten an Bots weiter, um die Datenbank zu verderben.
• Blockierung des User-Agent – Standard-Header von Parsern werden leicht erkannt und blockiert.

Die Situation wird dadurch verschärft, dass CIAN in den letzten Jahren den Schutz erheblich verstärkt hat: Jetzt analysieren sie nicht nur die IP, sondern auch Verhaltensmuster – Scrollgeschwindigkeit, Zeit zwischen Anfragen, Reihenfolge des Seitenaufrufs. Das bedeutet, dass es nicht ausreicht, einfach die IP zu wechseln – eine umfassende Einrichtung ist erforderlich.

Welche Daten sammeln Immobilienmarktexperten

Bevor wir über die technische Seite sprechen, lassen Sie uns klären – warum sollten wir überhaupt diese Plattformen parsen und welche Aufgaben werden damit in der Praxis gelöst. Das Verständnis des Ziels beeinflusst direkt die Wahl der Werkzeuge und der Art der Proxys.

Immobilienagenturen und Bauträger

Sie sammeln Datenbanken von Konkurrenzangeboten: Preise pro Quadratmeter nach Stadtteilen, Preisänderungsdynamik, durchschnittliche Expositionszeit der Objekte. Dies ermöglicht es, die eigenen Objekte richtig zu positionieren und eine Preisstrategie zu entwickeln. Große Agenturen überwachen täglich Tausende von Angeboten – manuell ist das unmöglich.

Immobilieninvestoren

Sie analysieren das Verhältnis von Verkaufs- und Mietpreisen (Yield), suchen nach unterbewerteten Objekten und verfolgen das Erscheinen neuer Angebote mit Rabatten. Für Investoren ist Geschwindigkeit wichtig – ein Angebot mit einem Preis unter dem Marktpreis ist innerhalb weniger Stunden weg, daher ist eine Echtzeitüberwachung erforderlich.

Analysten und Marketer

Sie erstellen Berichte über den Zustand des Marktes, bereiten Präsentationen für Kunden vor und untersuchen die Nachfrage nach Segmenten (Studios, Zweizimmerwohnungen, Ferienimmobilien). Sie benötigen historische Daten – Preisänderungsdynamik über 3–6–12 Monate für bestimmte Stadtteile und Objektarten.

Typische Felder für die Datensammlung

Welche Proxys eignen sich für das Parsen von Immobilien

Die Wahl des Proxytyps ist eine entscheidende Entscheidung, die darüber entscheidet, ob Sie ständig mit Blockierungen kämpfen oder ruhig die benötigte Datenbank sammeln können. Lassen Sie uns drei Hauptvarianten im Hinblick auf die Aufgaben des Parsens von CIAN, Domclick und Yandex Immobilien betrachten.

Residential Proxys – die optimale Wahl für CIAN

Residential Proxys verwenden IP-Adressen von echten Haushaltsnutzern – solche Adressen werden von den Plattformen als normaler Traffic wahrgenommen. Aus der Sicht von CIAN oder Yandex sieht die Anfrage aus wie eine normale Person, die zu Hause sitzt und Angebote durchblättert. Dies macht Residential Proxys praktisch unentdeckbar durch Standard-Schutzmethoden.

Der Hauptvorteil ist der große Pool an IP-Adressen, was es ermöglicht, nach jeder Anfrage oder jeder Seite eine Rotation durchzuführen. Der Nachteil ist, dass die Geschwindigkeit etwas niedriger ist als bei Datacenter-Proxys und die Kosten höher. Für das Parsen von Immobilien, wo Stabilität wichtiger ist als Geschwindigkeit, ist dies die optimale Wahl.

Mobile Proxys – für schwierige Fälle mit strenger Sicherheit

Mobile Proxys sind IP-Adressen von Mobilfunkanbietern (MTS, Beeline, MegaFon). Ihr besonderes Merkmal ist, dass eine mobile IP von Hunderten von echten Nutzern gleichzeitig über NAT verwendet werden kann. Daher blockieren die Plattformen mobile Adressen äußerst selten – die Blockierung einer IP bedeutet die Blockierung von Hunderten von echten Personen, was aus geschäftlicher Sicht nicht akzeptabel ist.

Mobile Proxys sollten verwendet werden, wenn CIAN bereits die Muster Ihrer Arbeit „erinnert“ hat und sogar Residential-Adressen blockiert. Dies ist die widerstandsfähigste Option gegen Entdeckung, aber auch die teuerste.

Datacenter-Proxys – für große Volumen mit Vorsicht

Datacenter-Proxys sind schnell und günstig, werden aber leicht erkannt. CIAN und Yandex haben die meisten beliebten Subnetze von Datacentern schon lange auf die schwarze Liste gesetzt. Sie für das Parsen von CIAN im Jahr 2024 zu verwenden, bedeutet, ständig mit Blockierungen konfrontiert zu sein und Zeit mit dem Wechseln von Pools zu verbringen.

Datacenter-Proxys können für Domclick geeignet sein, das einen etwas weniger aggressiven Schutz hat, oder für das vorläufige Testen der Seitenstruktur vor der Einrichtung des Hauptparsers.

Proxy-Einrichtung für CIAN: Schritt-für-Schritt-Anleitung

CIAN ist die technisch anspruchsvollste Plattform der drei. Hier wird ein mehrstufiger Schutz verwendet: Rate Limiting nach IP, Verhaltensanalyse, Yandex SmartCaptcha und Überprüfung der Browser-Header. Lassen Sie uns besprechen, wie man die Arbeit richtig aufbaut.

Schritt 1. Erhalten Sie Proxys mit russischen IPs

CIAN ist eine russische Plattform, und Anfragen von ausländischen IPs wecken sofort Verdacht. Stellen Sie sicher, dass Ihre Residential Proxys eine russische Geolokalisierung haben – vorzugsweise Moskau oder St. Petersburg, da die meisten Angebote dort konzentriert sind. Fragen Sie beim Anbieter nach der Verfügbarkeit russischer Residential IPs im Pool.

Schritt 2. Richten Sie die IP-Rotation ein

Für CIAN wird empfohlen, die IP alle 5–10 Anfragen zu wechseln, ohne auf eine Blockierung zu warten. Die meisten Anbieter von Residential Proxys bieten einen rotierenden Endpoint an – eine Adresse und einen Port, die bei jeder Verbindung automatisch eine neue IP ausgeben. Dies vereinfacht die Einrichtung erheblich: Sie müssen nicht manuell zwischen Adressen wechseln.

Schritt 3. Richten Sie Verzögerungen zwischen den Anfragen ein

Selbst mit Proxys sollten Sie keine Anfragen mit maximaler Geschwindigkeit senden. Ein realer Mensch benötigt 5–30 Sekunden, um eine Seite zu betrachten. Imitieren Sie dieses Verhalten: Eine Verzögerung von 3–8 Sekunden zwischen den Anfragen verringert erheblich das Risiko einer Blockierung. Wenn Sie einen fertigen Parser oder ein No-Code-Tool verwenden – suchen Sie in den Einstellungen nach der Option „Verzögerung“ oder „Delay“.

Schritt 4. Richten Sie die Header der Anfragen korrekt ein

CIAN analysiert die HTTP-Header. Eine Anfrage ohne User-Agent oder mit dem Header „python-requests/2.28“ wird sofort als Bot identifiziert. Verwenden Sie echte User-Agent-Strings aktueller Browser (Chrome, Firefox). Es ist auch wichtig, die Header Accept-Language (ru-RU), Referer und Accept-Encoding zu übermitteln – sie machen die Anfrage browserähnlich.

Schritt 5. Arbeiten Sie sequenziell mit der Paginierung

Springen Sie nicht sofort zu Seite 50 oder 100 – das ist ein untypisches Verhalten. Beginnen Sie mit der ersten Seite und gehen Sie sequenziell zu den nächsten. Wenn Sie Daten aus mehreren Städten sammeln müssen – starten Sie besser mehrere parallele Sitzungen mit verschiedenen IPs, von denen jede in ihrer Region arbeitet.

Besonderheiten beim Parsen von Domclick und Yandex Immobilien

Domclick (Sberbank)

Domclick hat einen loyaleren Schutz im Vergleich zu CIAN, aber das bedeutet nicht, dass das Parsen dort einfach ist. Die Plattform verwendet dynamisches Laden von Daten über die API – das bedeutet, dass es nicht ausreicht, die HTML-Seite herunterzuladen: Die Daten zu den Angeboten werden über JavaScript-Anfragen an die interne API geladen.

Gute Nachricht: Die API von Domclick gibt Daten im JSON-Format zurück, was für das Parsen erheblich bequemer ist als das Parsen von HTML. Schlechte Nachricht: Anfragen an die API werden ebenfalls nach IP verfolgt, und bei einer großen Anzahl von Anfragen von einer Adresse erhalten Sie eine temporäre Blockierung.

Empfohlener Ansatz für Domclick: Verwenden Sie Residential Proxys mit Rotation alle 15–20 Anfragen. Dies ermöglicht eine stabile Datensammlung ohne ständige Blockierungen.

Yandex Immobilien

Yandex Immobilien ist wahrscheinlich die schwierigste Plattform in Bezug auf den Schutzumgang. Der Grund ist einfach: Yandex verwendet eine eigene Bot-Schutzinfrastruktur, die auf der Ebene des gesamten Ökosystems integriert ist. SmartCaptcha von Yandex ist eines der fortschrittlichsten Systeme auf dem russischen Markt.

Yandex analysiert nicht nur die IP, sondern auch Cookies, Fingerabdruck des Browsers und die Sitzungshistorie. Das bedeutet, dass für ein stabiles Parsen von Yandex Immobilien entweder ein vollwertiger Headless-Browser (Playwright, Puppeteer) verwendet werden muss oder über spezialisierte Parsing-Dienste gearbeitet werden muss, die bereits über Umgehungen des Yandex-Schutzes verfügen.

Fertige Tools zum Parsen ohne Code

Wenn Sie kein Programmierer sind, aber Daten über Immobilien sammeln möchten – gibt es mehrere fertige Lösungen, die die Verbindung von Proxys unterstützen und keine Programmierung erfordern.

Octoparse

Ein visueller Parser-Konstruktor mit Unterstützung für Proxys. Sie klicken einfach auf die gewünschten Elemente der Seite, geben an, was Sie sammeln möchten, und das Programm erstellt selbst die Parsing-Logik. Unterstützt die Verbindung externer Proxys – Sie müssen nur die Adresse, den Port, den Benutzernamen und das Passwort in den Einstellungen eingeben. Funktioniert gut mit Domclick.

ParseHub

Ein ähnliches Tool mit einer einfacheren Benutzeroberfläche. Unterstützt dynamische Seiten mit JavaScript – was für Domclick und Yandex Immobilien wichtig ist. Proxys werden in den Projekteinstellungen verbunden. Der kostenlose Plan ist in der Anzahl der Seiten begrenzt, für ernsthafte Überwachungen ist die kostenpflichtige Version erforderlich.

Apify

Eine Cloud-Plattform für das Parsen mit fertigen „Schauspielern“ (Parser-Vorlagen). Es gibt fertige Lösungen für Immobilienaggregatoren. Unterstützt die Verbindung eigener Proxys über die Einstellungen. Praktisch, da es in der Cloud arbeitet – Sie müssen den Computer nicht eingeschaltet lassen, um eine langfristige Überwachung durchzuführen.

n8n + HTTP-Anfragen

Für diejenigen, die den Prozess ohne tiefgehende Programmierung automatisieren möchten: n8n ist ein visueller Automatisierungskonstruktor, der HTTP-Anfragen mit Proxys senden kann. Geeignet für die Arbeit mit der Domclick-API – Sie können die automatische Datensammlung nach Zeitplan und den Export in Google Sheets oder eine Datenbank einrichten.

Proxy-Rotation und Anti-Ban: Regeln für sicheres Arbeiten

Selbst die besten Proxys helfen nicht, wenn sie falsch verwendet werden. Rotation ist nicht nur ein einfacher IP-Wechsel, sondern eine ganze Verhaltensstrategie, die Ihren Parser wie lebende Benutzer erscheinen lässt.

Wie man die Rotation richtig einrichtet

Wechselhäufigkeit der IP: für CIAN – alle 5–10 Anfragen, für Domclick – alle 15–20 Anfragen, für Yandex Immobilien – alle 3–5 Anfragen (die aggressivste Sicherheit). Wenn Sie einen rotierenden Endpoint des Anbieters verwenden, geschieht dies automatisch.

Sticky-Sitzungen vs. Rotation: Einige Aufgaben erfordern die Arbeit mit einer IP während der gesamten Sitzung – zum Beispiel, wenn Sie sich in ein Konto einloggen müssen. In diesem Fall verwenden Sie Sticky-Sitzungen (feste IP für 5–30 Minuten). Für das einfache Sammeln von Angeboten ohne Authentifizierung – Rotation nach jeder Anfrage.

Geografische Verteilung: Wenn Sie Daten aus mehreren Städten sammeln, verwenden Sie Proxys aus den entsprechenden Regionen. Eine Anfrage nach Moskauer Angeboten von einer Moskauer IP sieht organischer aus als von einer IP aus Nowosibirsk.

Was sonst noch die Wahrscheinlichkeit einer Blockierung beeinflusst

• Anfragegeschwindigkeit – mehr als 1 Anfrage alle 2 Sekunden von einer IP erhöht das Risiko einer Blockierung erheblich.
• Tageszeit – das Parsen nachts von 2:00 bis 6:00 ist weniger auffällig, da der Traffic geringer ist.
• Parallelität – besser 10 Threads mit verschiedenen IPs als 1 Thread mit hoher Geschwindigkeit.
• Cookies und Sitzungen – setzen Sie Cookies zusammen mit dem IP-Wechsel zurück, sonst wird die Sitzung an die alte Adresse gebunden.
• Referer – imitieren Sie den Übergang von einer Suchmaschine oder von der Hauptseite der Website.
• Korrektes User-Agent – verwenden Sie aktuelle Versionen von Chrome oder Firefox, keine veralteten.

Wie man auf eine Blockierung reagiert

Wenn der Parser beginnt, Antworten 403 oder 429 zu erhalten – versuchen Sie nicht, mit derselben IP fortzufahren. Wechseln Sie sofort zu einer neuen Adresse und machen Sie eine Pause von 30–60 Sekunden vor der nächsten Anfrage. Wenn die Blockierungen zunehmen – erhöhen Sie die Verzögerung zwischen den Anfragen und verringern Sie die Wechselhäufigkeit der IP (paradox, aber zu häufiges Wechseln kann ebenfalls ein Signal für die Schutzsysteme sein).

Checkliste: Wie man keine Sperre beim Datensammeln über Immobilien erhält

Verwenden Sie diese Checkliste vor dem Start des Parsers – sie hilft, die meisten typischen Fehler zu vermeiden.

Typische Fehler von Anfängern

Fehler 1: Start ohne Testen. Viele starten sofort den Parser auf 10.000 Seiten – und erhalten nach 15 Minuten eine Sperre. Beginnen Sie immer klein: 20–30 Seiten, überprüfen Sie, ob die Daten korrekt gesammelt werden, stellen Sie sicher, dass es keine Blockierungen gibt, und skalieren Sie dann.

Fehler 2: Dieselbe IP für alle Aufgaben. Wenn Sie einen Proxy sowohl für Tests als auch für das produktive Parsen verwenden – wird die IP schnell sichtbar. Halten Sie separate Pools für verschiedene Aufgaben.

Fehler 3: Ignorieren von Fehlern. Der Parser sollte Antworten 403, 429, 503 korrekt behandeln – eine Pause machen, die IP wechseln und die Anfrage wiederholen. Ohne diese Logik verlieren Sie Daten und machen die IP sichtbar.

Fehler 4: 24/7 Parsen mit einem Pool. Selbst gute Proxys „ermüden“ bei ständiger Belastung. Planen Sie Pausen – zum Beispiel 2 Stunden Arbeit, 30 Minuten Ruhe. Dies reduziert die Belastung des IP-Pools und macht das Muster weniger auffällig für die Schutzsysteme.

Fazit

Das Parsen von CIAN, Domclick und Yandex Immobilien ist ein wirklich funktionierendes Werkzeug zur Marktanalyse, wenn man es mit der richtigen technischen Basis angeht. Das Wichtigste, was man sich merken sollte: Die Qualität der Proxys und die richtige Rotation sind das Fundament für eine stabile Arbeit. Ohne dies werden Sie Zeit mit dem Kampf gegen Blockierungen anstatt mit der Datenanalyse verbringen.

Kurze Zusammenfassung: Verwenden Sie für CIAN Residential Proxys mit Rotation alle 5–10 Anfragen und einer Verzögerung von mindestens 3 Sekunden. Domclick ist toleranter, erfordert aber ebenfalls Proxys. Yandex Immobilien ist die schwierigste Plattform, dort ist ein vollwertiger Headless-Browser plus hochwertige Proxys erforderlich. Für die Arbeit ohne Code eignen sich Octoparse oder ParseHub mit der Verbindung externer Proxys.

Wenn Sie eine regelmäßige Überwachung der Immobilienpreise oder das Sammeln einer Angebotsdatenbank für Analysen planen, empfehlen wir, mit Residential Proxys mit russischer Geolokalisierung zu beginnen – sie bieten das optimale Gleichgewicht zwischen Stabilität und Kosten und eignen sich hervorragend für alle drei Plattformen.