Sicheres Scraping von Twitter/X-Profilen: So parsen Sie ohne Sperren über Proxys

Twitter (jetzt X) kämpft aktiv gegen das automatische Scraping von Daten: blockiert IP-Adressen, begrenzt die Anzahl der Anfragen und sperrt Konten bei verdächtiger Aktivität. Wenn Sie Daten für Marktforschung, Überwachung von Marken-Erwähnungen oder Wettbewerbsanalysen sammeln, benötigen Sie eine richtige Strategie für den Umgang mit Proxys und Anti-Detection-Tools.

In diesem Leitfaden werden wir besprechen, wie man sicheres Scraping von Twitter/X einrichtet, welche Proxy-Typen für verschiedene Aufgaben geeignet sind und wie man Sperren beim massenhaften Parsen von Profilen vermeidet.

Warum Twitter/X Scraping blockiert und wie es funktioniert

Nach dem Rebranding zu X hat die Plattform ihre Richtlinien für das automatische Sammeln von Daten erheblich verschärft. Das Schutzsystem analysiert mehrere Parameter gleichzeitig, und eine Blockierung kann sogar bei manueller Arbeit erfolgen, wenn Sie keine Vorsichtsmaßnahmen treffen.

Hauptauslöser für Blockierungen bei Twitter/X

1. Überschreitung der Rate Limits. Twitter setzt strenge Limits für die Anzahl der Anfragen pro Minute. Für nicht autorisierte Benutzer liegt dies bei etwa 180 Anfragen alle 15 Minuten, für autorisierte Benutzer bis zu 900 Anfragen. Bei Überschreitung erhalten Sie einen Fehler 429 (Too Many Requests), und bei systematischen Verstößen wird die IP-Adresse gesperrt.

2. Verdächtige Verhaltensmuster. Wenn Sie Profile mit einer Geschwindigkeit von 10 pro Minute öffnen, Seiten mit gleicher Geschwindigkeit scrollen oder Aktionen ohne Pausen ausführen, erkennt das System einen Bot. Ein echter Benutzer macht Pausen, liest Inhalte und wird manchmal abgelenkt.

3. Verwendung einer IP für mehrere Konten. Wenn von einer IP-Adresse aus 5-10 verschiedene Konten in kurzer Zeit zugreifen, ist das ein rotes Signal. Twitter kann alle Konten in einer Kette (Chain-Ban) sperren.

4. Fehlender digitaler Fingerabdruck (Fingerprint). Die Plattform sammelt Daten über den Browser: Version, Erweiterungen, Bildschirmauflösung, Zeitzone, WebGL, Canvas. Wenn diese Daten nicht mit dem echten Gerät übereinstimmen oder bei mehreren Konten übereinstimmen, ist das ein Grund zur Verdächtigung.

Wie Twitter/X Automatisierung erkennt

Das Schutzsystem verwendet eine mehrstufige Analyse:

• Analyse von User-Agent und Headern. Wenn die Header der HTTP-Anfragen nicht mit einem echten Browser übereinstimmen oder Spuren von Automatisierung enthalten (z.B. Selenium, Puppeteer im User-Agent) — wird die Anfrage blockiert.
• JavaScript-Überprüfung. Twitter verwendet aktiv JavaScript-Aufrufe, um zu überprüfen, ob die Seite von einem echten Browser und nicht von einem einfachen HTTP-Client geöffnet wird.
• Analyse des Maus- und Tastaturverhaltens. Die Plattform verfolgt Mausbewegungen, Scrollgeschwindigkeit und Klickmuster. Bots bewegen sich normalerweise in geraden Linien oder bewegen die Maus überhaupt nicht.
• Reputation der IP-Adresse. Wenn die IP auf einer schwarzen Liste steht (Rechenzentrum eines bekannten Hosters, Proxy-Anbieter mit schlechter Reputation) — sinkt das Vertrauen in sie.

Welche Proxys für das Parsen von Twitter/X geeignet sind: Vergleich der Typen

Die Wahl des Proxy-Typs hängt von Ihren Aufgaben ab: massenhaftes Parsen öffentlicher Daten, Arbeit mit autorisierten Konten oder Überwachung von Wettbewerbern. Lassen Sie uns jeden Typ und seine Anwendung für Twitter/X untersuchen.

Residential Proxys — die optimale Wahl für die Arbeit mit Konten

Residential Proxys verwenden IP-Adressen echter Haushaltsbenutzer, die von Internetanbietern zugewiesen werden. Für Twitter/X ist dies die sicherste Option, da die Plattform diesen Datenverkehr nicht von dem eines normalen Benutzers unterscheiden kann.

Wann Residential Proxys für Twitter/X verwenden:

• Arbeit mit autorisierten Konten (Login, Parsen geschlossener Profile)
• Langfristige Überwachung bestimmter Konten oder Hashtags
• Parsen mit hoher Intensität (wenn das Risiko einer Sperre minimiert werden muss)
• Daten aus verschiedenen geografischen Regionen sammeln (z.B. zur Analyse regionaler Trends)

Vorteile: Maximales Vertrauen von Twitter/X, niedriger Prozentsatz an Blockierungen, Möglichkeit der Arbeit mit CAPTCHAs (in der Regel treten keine auf), Unterstützung von Sticky-Sessions (eine IP für 10-30 Minuten).

Nachteile: Höhere Kosten (in der Regel Bezahlung nach Datenverkehr, ab 7-15 $ für 1 GB), Geschwindigkeit ist niedriger als bei Rechenzentren.

Mobile Proxys — für maximalen Schutz der Konten

Mobile Proxys verwenden IP-Adressen von Mobilfunkanbietern (4G/5G). Dies ist der vertrauenswürdigste Typ von IP für soziale Netzwerke, da Twitter/X mobile IPs äußerst selten blockiert — hinter einer Adresse können Tausende von echten Benutzern stehen.

Wann mobile Proxys für Twitter/X verwenden:

• Arbeit mit wertvollen Konten, die nicht verloren gehen dürfen
• Parsen nach vorherigen Blockierungen (wenn maximaler Schutz erforderlich ist)
• Automatisierung von Aktionen: Likes, Retweets, Abonnements (obwohl dies gegen die ToS von Twitter verstößt)
• Umgehung strenger IP-Blockierungen (mobile IPs gelangen fast nie auf schwarze Listen)

Vorteile: Maximales Vertrauen, praktisch kein Risiko einer IP-Sperre, Möglichkeit der IP-Rotation über den "Flugmodus" (IP-Wechsel alle 5-10 Minuten).

Nachteile: Teuerster Proxy-Typ (ab 50-100 $ für eine IP pro Monat), begrenzte Anzahl verfügbarer IPs, Geschwindigkeit hängt von der Qualität der mobilen Verbindung ab.

Datacenter Proxys — für massenhaftes Parsen öffentlicher Daten

Datacenter Proxys sind IP-Adressen von Servern von Hosting-Anbietern. Sie sind schnell und günstig, aber Twitter/X steht ihnen skeptisch gegenüber.

Wann Datacenter für Twitter/X verwenden:

• Parsen öffentlicher Profile ohne Autorisierung (eingeschränkte Funktionalität)
• Einmalige Datensammlung mit niedriger Intensität
• Testen von Parsing-Skripten vor dem Start auf Residential Proxys
• Arbeit über die offizielle API (wenn Sie kostenpflichtigen Zugang haben)

Vorteile: Niedrige Kosten (ab 1-3 $ pro IP und Monat), hohe Geschwindigkeit (bis zu 1 Gbit/s), Stabilität der Verbindung.

Nachteile: Hohe Blockierungsrisiken, oft erforderlich, CAPTCHAs zu lösen, nicht geeignet für die Arbeit mit autorisierten Konten, viele IPs stehen bereits auf den schwarzen Listen von Twitter/X.

Vergleichstabelle der Proxy-Typen für Twitter/X

Rate Limits Twitter/X: Wie man die Anfrage-Limits nicht überschreitet

Twitter/X setzt strenge Beschränkungen für die Anzahl der Anfragen, um eine Überlastung der Server und automatisches Sammeln von Daten zu verhindern. Wenn Sie die Limits überschreiten, erhalten Sie eine temporäre Blockierung (von 15 Minuten bis mehrere Stunden) oder eine dauerhafte Sperre der IP/Kontos.

Aktuelle Limits von Twitter/X (2024)

Nach der Einführung des kostenpflichtigen Abonnements X Premium wurden die Limits in mehrere Kategorien unterteilt:

Wichtig: Diese Limits gelten nicht nur für die API, sondern auch für die normale Ansicht über die Weboberfläche. Wenn Sie über einen Browser mit Emulation von Benutzeraktionen parsen, gelten diese Einschränkungen trotzdem.

Wie man die Rate Limits beim Parsen umgeht

1. Rotation der IP-Adressen. Verwenden Sie einen Proxy-Pool mit automatischer Rotation. Für Residential Proxys ist die optimale Wechselhäufigkeit — alle 50-100 Anfragen oder alle 10-15 Minuten. Dies ermöglicht es, die Last auf verschiedene IPs zu verteilen und die Limits für eine Adresse nicht zu überschreiten.

2. Verwendung mehrerer Konten. Wenn Sie eine große Menge an Daten sammeln müssen, erstellen Sie 5-10 Twitter/X-Konten und verteilen Sie das Parsen auf diese. Jedes Konto sollte über seinen eigenen einzigartigen Proxy arbeiten und einen separaten digitalen Fingerabdruck (Fingerprint) haben.

3. Verzögerungen zwischen den Anfragen. Machen Sie keine Anfragen mit maximaler Geschwindigkeit. Fügen Sie zufällige Pausen hinzu:

• Zwischen dem Öffnen von Profilen: 3-7 Sekunden
• Zwischen dem Scrollen des Feeds: 2-5 Sekunden
• Zwischen der Suche nach Hashtags: 5-10 Sekunden
• Lange Pausen nach 50-100 Aktionen: 30-60 Sekunden

4. Daten cachen. Fordern Sie dieselben Daten nicht erneut an. Speichern Sie die Ergebnisse des Parsens in einer Datenbank und überprüfen Sie, ob das Profil bereits verarbeitet wurde.

Einrichtung eines Anti-Detection-Browsers für sicheres Scraping

Anti-Detection-Browser ermöglichen es, einzigartige digitale Fingerabdrücke (Fingerprints) für jedes Twitter/X-Konto zu erstellen, was für sicheres Parsen entscheidend ist. Ohne dies kann die Plattform mehrere Konten miteinander verknüpfen und sie in einer Kette sperren.

Beliebte Anti-Detection-Browser für Twitter/X

Dolphin Anty — eine der beliebtesten Optionen unter Arbitrageuren und SMM-Spezialisten. Der kostenlose Tarif ermöglicht die Erstellung von bis zu 10 Profilen, was für kleine Parsing-Aufgaben ausreichend ist.

AdsPower — ein gutes Gleichgewicht zwischen Funktionalität und Preis. Es gibt eine integrierte Automatisierung über RPA (Robotic Process Automation), die es ermöglicht, das Parsen ohne Programmierung einzurichten.

Multilogin — eine Premium-Lösung mit maximalem Schutz. Wird von großen Agenturen verwendet, ist aber teuer (ab 99 €/Monat). Nur für professionelles Parsen großer Datenmengen gerechtfertigt.

GoLogin — eine budgetfreundliche Option mit guter Qualität der Fingerprints. Es gibt eine mobile App für die Arbeit mit Konten unterwegs.

Schritt-für-Schritt-Anleitung zur Einrichtung eines Profils für das Parsen von Twitter/X (am Beispiel von Dolphin Anty)

Schritt 1: Erstellen eines neuen Browserprofils

• Öffnen Sie Dolphin Anty und klicken Sie auf "Profil erstellen"
• Wählen Sie das Betriebssystem: Windows, macOS oder Linux (wählen Sie das, das Ihrem echten Gerät entspricht oder am beliebtesten bei Twitter-Nutzern ist)
• Geben Sie den Profilnamen an: z.B. "Twitter Parser US #1"

Schritt 2: Proxy einrichten

• Wählen Sie im Abschnitt "Proxy" den Typ: HTTP, HTTPS oder SOCKS5 (SOCKS5 ist für Twitter/X vorzuziehen)
• Geben Sie die Proxy-Daten ein: IP-Adresse, Port, Benutzername, Passwort
• Klicken Sie auf "Proxy überprüfen" — stellen Sie sicher, dass der Status grün und die Geolokalisierung korrekt ist
• Wichtig: Verwenden Sie für jedes Twitter/X-Konto einen separaten Proxy

Schritt 3: Fingerprint (digitaler Fingerabdruck) einrichten

• User-Agent: Wählen Sie einen echten User-Agent der aktuellen Chrome-Version (z.B. Chrome 120 auf Windows 10)
• Bildschirmauflösung: Verwenden Sie gängige Auflösungen (1920x1080, 1366x768, 1440x900) — setzen Sie keine exotischen Werte
• Zeitzone: Sollte mit der Geolokalisierung des Proxys übereinstimmen (wenn der Proxy aus den USA/New York kommt — setzen Sie EST)
• Sprache des Browsers: Entspricht der Region (en-US für die USA, en-GB für Großbritannien)
• WebRTC: Deaktivieren oder durch die IP des Proxys ersetzen (ansonsten kann die echte IP durchsickern)
• Canvas und WebGL: Verwenden Sie den Modus "Noise" (Hinzufügen von Rauschen) — dies erzeugt einen einzigartigen Fingerabdruck für jedes Profil

Schritt 4: Zusätzliche Sicherheitseinstellungen

• Deaktivieren Sie die automatische Passwortspeicherung (Twitter kann das Vorhandensein gespeicherter Daten überprüfen)
• Bereinigen Sie Cookies nach jeder Parsing-Sitzung
• Verwenden Sie keine Browsererweiterungen — sie erzeugen einzigartige Fingerprints und können die Automatisierung verraten
• Aktivieren Sie "Do Not Track" (DNT) — viele echte Benutzer verwenden es

Tools zum Parsen von Twitter/X: Von fertigen Lösungen bis hin zu Code

Die Wahl des Tools hängt von Ihren technischen Fähigkeiten und dem Umfang der Aufgaben ab. Lassen Sie uns Optionen von einfachen, codefreien Diensten bis hin zu professionellen Skripten untersuchen.

Fertige Scraping-Dienste für Twitter/X (ohne Code)

Phantombuster — ein Cloud-Automatisierungsdienst mit vorgefertigten Vorlagen für Twitter/X. Ermöglicht das Parsen von Profilen, Followern, Tweets nach Hashtags. Die Einrichtung dauert 5-10 Minuten: Wählen Sie eine Vorlage, geben Sie Parameter (Hashtag, Liste von Konten) an, verbinden Sie den Proxy und starten Sie.

Apify — Marktplatz für fertige Scraper. Es gibt mehrere Akteure (fertige Skripte) für Twitter/X: Parsen von Profilen, Sammeln von Tweets, Überwachung von Erwähnungen. Funktioniert über die Cloud, unterstützt Proxys, es gibt einen kostenlosen Tarif mit Einschränkungen.

Octoparse — visueller Parser-Builder. Sie öffnen Twitter/X in der Programmierschnittstelle, klicken auf die Elemente, die Sie sammeln möchten (Name, Bio, Anzahl der Follower), und das Programm erstellt automatisch ein Skript. Geeignet für einfache Aufgaben, kann aber mit komplexen Seitenstrukturen überfordert sein.

Automatisierung über RPA in Anti-Detection-Browsern

Einige Anti-Detection-Browser (AdsPower, Octo Browser) verfügen über integrierte RPA-Tools (Robotic Process Automation), die es ermöglichen, Benutzeraktionen aufzuzeichnen und wiederzugeben.

Wie es funktioniert:

• Öffnen Sie Twitter/X im Anti-Detection-Browser
• Aktivieren Sie den Aufzeichnungsmodus für Aktionen
• Führen Sie die gewünschten Aktionen aus: Öffnen Sie ein Profil, kopieren Sie Daten, gehen Sie zum nächsten
• Stoppen Sie die Aufzeichnung — der Browser hat ein Skript erstellt
• Laden Sie eine Liste von Konten zum Parsen hoch und starten Sie das Skript in einer Schleife

Vorteile: erfordert keine Programmierkenntnisse, funktioniert über einen echten Browser (hohe Umgehung des Schutzes), einfach zufällige Verzögerungen und Emulation des Verhaltens hinzuzufügen.

Parsen über Code: Python + Selenium/Playwright

Für komplexere Aufgaben und vollständige Kontrolle über den Prozess verwenden Sie Programmierung. Python ist die beliebteste Sprache für Scraping aufgrund des reichen Ökosystems von Bibliotheken.

Wichtige Bibliotheken:

• Selenium — Browserautomatisierung, funktioniert mit Chrome/Firefox, unterstützt Proxys und Emulation von Benutzeraktionen
• Playwright — moderne Alternative zu Selenium, schneller und stabiler, unterstützt den Headless-Modus
• Tweepy — Bibliothek für die Arbeit mit der offiziellen Twitter-API (erfordert kostenpflichtigen Zugang)
• Twint — Parsen von Twitter ohne API (Achtung: Twitter blockiert diese Methode aktiv, funktioniert instabil)

Beispiel für ein einfaches Skript in Python + Selenium:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
import time
import random

# Proxy einrichten
proxy = "123.45.67.89:8080"  # Ersetzen Sie durch Ihren Proxy
chrome_options = Options()
chrome_options.add_argument(f'--proxy-server={proxy}')
chrome_options.add_argument('--disable-blink-features=AutomationControlled')
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])

# Browser initialisieren
driver = webdriver.Chrome(options=chrome_options)

# Twitter-Profil öffnen
driver.get('https://twitter.com/elonmusk')
time.sleep(random.uniform(3, 7))  # Zufällige Verzögerung

# Profilinformationen parsen
try:
    name = driver.find_element(By.XPATH, '//div[@data-testid="UserName"]').text
    bio = driver.find_element(By.XPATH, '//div[@data-testid="UserDescription"]').text
    followers = driver.find_element(By.XPATH, '//a[contains(@href, "/followers")]/span').text
    
    print(f"Name: {name}")
    print(f"Bio: {bio}")
    print(f"Follower: {followers}")
except Exception as e:
    print(f"Parsing-Fehler: {e}")

driver.quit()

Wichtige Punkte bei der Arbeit mit Code:

• Fügen Sie time.sleep(random.uniform(3, 7)) zwischen den Aktionen hinzu — dies emuliert das Verhalten eines echten Benutzers
• Verwenden Sie --disable-blink-features=AutomationControlled um Anzeichen von Automatisierung zu verbergen
• Ändern Sie den User-Agent auf einen echten: chrome_options.add_argument('user-agent=Mozilla/5.0...')
• Behandeln Sie Fehler über try/except — Twitter/X ändert häufig die Struktur der Seiten
• Speichern Sie die Ergebnisse in einer Datenbank (SQLite, PostgreSQL) oder CSV-Datei

Aufwärmen von Twitter/X-Konten vor dem massenhaften Parsen

Wenn Sie neue Twitter/X-Konten für das Parsen verwenden, dürfen Sie nicht sofort mit dem massenhaften Sammeln von Daten beginnen. Die Plattform verfolgt das "Alter" des Kontos und seine Aktivität — neue Konten mit aggressivem Verhalten werden zuerst blockiert.

Plan zum Aufwärmen des Kontos (7-14 Tage)

Tag 1-3: Grundlegende Einrichtung und minimale Aktivität

• Vervollständigen Sie das Profil: Avatar, Bio, Website-Link (verwenden Sie echte Daten, lassen Sie das Profil nicht leer)
• Folgen Sie 5-10 beliebten Konten in Ihrer Nische
• Scrollen Sie 2-3 Minuten durch den Feed, geben Sie 2-3 Likes
• Machen Sie 1-2 Retweets
• Führen Sie nicht mehr als 10 Aktionen pro Tag durch

Tag 4-7: Aktivität erhöhen

• Folgen Sie weiteren 10-15 Konten
• Veröffentlichen Sie 1-2 eigene Tweets (einfach, wie "Hallo Twitter!")
• Erhöhen Sie die Anzahl der Likes auf 5-10 pro Tag
• Beginnen Sie, Profile anderer Benutzer zu durchsuchen (5-10 Profile pro Tag)
• Speichern Sie einige Tweets in den Lesezeichen

Tag 8-14: Vorbereitung auf das Parsen

• Folgen Sie 20-30 Konten, sodass die Gesamtzahl der Abonnements 50-70 beträgt
• Veröffentlichen Sie alle 2-3 Tage 1 Tweet
• Durchsuchen Sie 10-20 Profile pro Tag
• Verwenden Sie die Suche nach Hashtags (aber parsen Sie noch nicht — suchen und lesen Sie einfach)
• Am 12.-14. Tag können Sie mit leichtem Parsen beginnen: 20-30 Profile pro Tag mit Pausen

Anzeichen eines "aufgewärmten" Kontos

• Alter des Kontos: mindestens 14 Tage, besser 30+ Tage
• Anzahl der Abonnements: 50-100 (nicht zu viele, nicht zu wenige)
• Anzahl der Follower: 5-20 (selbst einige echte Follower erhöhen das Vertrauen)
• Tweet-Historie: mindestens 5-10 Veröffentlichungen
• Likes und Retweets: 20-50 Aktionen in der Historie
• Ausgefülltes Profil: Avatar, Bio, möglicherweise Link

Checkliste für sicheres Scraping: 12 Regeln zum Schutz vor Sperren

Lassen Sie uns alle Empfehlungen in einer einzigen Checkliste zusammenfassen, die beim Parsen von Twitter/X beachtet werden sollte: