Twitter/X Profilleri Güvenli Scraping: Proxy Kullanarak Ban Almadan Nasıl Parse Edilir

Twitter (artık X) otomatik veri kazımaya karşı aktif bir şekilde mücadele ediyor: IP adreslerini engelliyor, istek sayısını sınırlıyor ve şüpheli aktivitelerde hesapları yasaklıyor. Eğer pazarlama araştırmaları, marka anmalarını izleme veya rakip analizi için veri topluyorsanız — doğru proxy ve anti-detect araçları ile çalışma stratejisine ihtiyacınız var.

Bu rehberde, Twitter/X'te güvenli bir kazıma nasıl ayarlanır, farklı görevler için hangi proxy'lerin seçileceği ve toplu profilleri kazırken yasaklardan nasıl kaçınılacağına dair detayları inceleyeceğiz.

Neden Twitter/X kazımayı engelliyor ve bu nasıl çalışıyor

X'e yeniden markalaşmanın ardından platform, otomatik veri toplama politikalarını önemli ölçüde sıkılaştırdı. Koruma sistemi, birden fazla parametreyi aynı anda analiz ediyor ve eğer önlemlere uymazsanız, manuel çalışma sırasında bile engellenebilirsiniz.

Twitter/X'teki engellemelerin ana tetikleyicileri

1. Rate limit'lerin aşılması. Twitter, dakikada yapılacak istek sayısı için katı limitler belirliyor. Yetkisiz kullanıcılar için bu, her 15 dakikada yaklaşık 180 istek, yetkili kullanıcılar için ise 900 isteğe kadar çıkıyor. Limitlerin aşılması durumunda 429 hatası (Too Many Requests) alırsınız ve sistematik ihlallerde IP adresi yasaklanır.

2. Şüpheli davranış kalıpları. Eğer profilleri dakikada 10 tane açıyorsanız, sayfaları aynı hızda kaydırıyorsanız veya duraksamadan işlem yapıyorsanız — sistem botu tanır. Gerçek bir kullanıcı duraksar, içeriği okur ve bazen dikkati dağılır.

3. Bir IP ile birçok hesap kullanımı. Eğer bir IP adresinden kısa bir süre içinde 5-10 farklı hesap giriyorsa — bu bir kırmızı bayraktır. Twitter, tüm hesapları zincirleme olarak yasaklayabilir (chain-ban).

4. Dijital parmak izi (fingerprint) eksikliği. Platform, tarayıcı hakkında veriler toplar: versiyon, uzantılar, ekran çözünürlüğü, saat dilimi, WebGL, Canvas. Eğer bu veriler gerçek cihazla uyuşmuyorsa veya birkaç hesapta aynıysa — bu şüphe uyandırır.

Twitter/X otomasyonu nasıl belirliyor

Koruma sistemi çok katmanlı bir analiz kullanıyor:

• User-Agent ve başlık analizi. Eğer HTTP istek başlıkları gerçek bir tarayıcıya uymuyorsa veya otomasyonu belirten izler (örneğin, User-Agent'da Selenium, Puppeteer) içeriyorsa — istek engellenir.
• JavaScript kontrolü. Twitter, sayfanın gerçek bir tarayıcı tarafından açıldığını doğrulamak için aktif olarak JavaScript çağrıları kullanır, basit bir HTTP istemcisi değil.
• Fare ve klavye davranış analizi. Platform, imleç hareketlerini, kaydırma hızını, tıklama kalıplarını izler. Botlar genellikle düz hatlar boyunca hareket eder veya fareyi hiç hareket ettirmez.
• IP adresinin itibarı. Eğer IP kara listede ise (tanınmış bir barındırma sağlayıcısının veri merkezi, kötü bir üne sahip bir proxy sağlayıcısı) — güvenilirliği düşer.

Twitter/X için hangi proxy'ler uygundur: türlerin karşılaştırması

Proxy türünün seçimi, görevlerinize bağlıdır: kamu verilerinin toplu kazınması, yetkilendirilmiş hesaplarla çalışma veya rakiplerin izlenmesi. Her türü ve Twitter/X için kullanımını inceleyelim.

Konut proxy'leri — hesaplarla çalışma için en iyi seçim

Konut proxy'leri, internet servis sağlayıcıları tarafından verilen gerçek ev kullanıcılarının IP adreslerini kullanır. Twitter/X için en güvenli seçenek budur, çünkü platform bu trafiği normal bir kullanıcıdan ayırt edemez.

Konut proxy'lerini Twitter/X için ne zaman kullanmalısınız:

• Yetkilendirilmiş hesaplarla çalışma (giriş, kapalı profilleri kazıma)
• Belirli hesaplar veya etiketler için uzun vadeli izleme
• Yüksek yoğunlukta kazıma (yasaklama riskini minimize etmek gerektiğinde)
• Farklı coğrafi bölgelerden veri toplama (örneğin, bölgesel trendlerin analizi için)

Avantajlar: Twitter/X'ten maksimum güven düzeyi, düşük yasaklama oranı, CAPTCHA'larla çalışma imkanı (genellikle ortaya çıkmaz), yapışkan oturum desteği (bir IP 10-30 dakika boyunca).

Dezavantajlar: Daha yüksek maliyet (genellikle trafik başına ödeme, 1 GB için 7-15$), hız veri merkezlerinden daha düşük.

Mobil proxy'ler — hesapların maksimum korunması için

Mobil proxy'ler, mobil operatörlerin IP adreslerini (4G/5G) kullanır. Bu, sosyal medya için en güvenilir IP türüdür, çünkü Twitter/X mobil IP'leri çok nadir engeller — bir adresin arkasında binlerce gerçek kullanıcı olabilir.

Mobil proxy'leri Twitter/X için ne zaman kullanmalısınız:

• Kaybedilemeyecek değerli hesaplarla çalışma
• Önceki yasaklamalardan sonra kazıma (maksimum koruma gerektiğinde)
• Otomatik işlemler: beğeniler, retweetler, takipler (bu Twitter'ın ToS'sini ihlal etse de)
• IP'ye karşı sert yasaklamaları aşma (mobil IP'ler neredeyse hiç kara listeye alınmaz)

Avantajlar: Maksimum güven düzeyi, IP yasaklama riski neredeyse sıfır, "uçak modu" aracılığıyla IP rotasyonu imkanı (her 5-10 dakikada bir IP değişimi).

Dezavantajlar: En pahalı proxy türü (aylık 50-100$'dan bir IP için), sınırlı sayıda mevcut IP, hız mobil bağlantının kalitesine bağlı.

Veri merkezi proxy'leri — kamu verilerinin toplu kazınması için

Veri merkezi proxy'leri, barındırma sağlayıcılarının sunucularının IP adresleridir. Hızlı ve ucuzdur, ancak Twitter/X bunlara şüpheyle yaklaşır.

Twitter/X için veri merkezlerini ne zaman kullanabilirsiniz:

• Yetkilendirme olmadan kamu profillerinin kazınması (sınırlı işlevsellik)
• Düşük yoğunlukta veri toplama
• Konut proxy'lerinde çalışmadan önce kazıma scriptlerini test etme
• Resmi API üzerinden çalışma (ücretli erişiminiz varsa)

Avantajlar: Düşük maliyet (aylık 1-3$'dan IP başına), yüksek hız (1 Gbps'ye kadar), bağlantı kararlılığı.

Dezavantajlar: Yüksek yasaklama riski, sık sık CAPTCHA çözümü gerektirir, yetkilendirilmiş hesaplarla çalışmak için uygun değildir, birçok IP zaten Twitter/X kara listelerinde bulunmaktadır.

Twitter/X için proxy türlerinin karşılaştırma tablosu

Twitter/X'teki rate limit'leri: istek limitlerini aşmamak için ne yapmalısınız

Twitter/X, sunucuların aşırı yüklenmesini ve otomatik veri toplamanın önlenmesini sağlamak için istek sayısında katı sınırlamalar koyar. Eğer limitleri aşarsanız — geçici bir yasak (15 dakikadan birkaç saate kadar) veya kalıcı bir IP/hesap yasaklaması alırsınız.

Güncel Twitter/X limitleri (2024)

X Premium ücretli aboneliği ile limitler birkaç kategoriye ayrıldı:

Önemli: Bu limitler yalnızca API'ye değil, aynı zamanda web arayüzü üzerinden normal görüntülemeye de uygulanır. Eğer bir tarayıcı aracılığıyla kullanıcı davranışlarını taklit ederek kazıyorsanız — bu kısıtlamalar yine geçerlidir.

Kazıma sırasında rate limit'leri nasıl aşabilirsiniz

1. IP adreslerinin rotasyonu. Otomatik rotasyon ile bir proxy havuzu kullanın. Konut proxy'leri için optimal değişim sıklığı — her 50-100 istekte veya her 10-15 dakikada bir. Bu, yükü farklı IP'ler arasında dağıtarak tek bir adres üzerindeki limitleri aşmamanızı sağlar.

2. Birçok hesap kullanımı. Eğer büyük bir veri hacmi toplamanız gerekiyorsa, 5-10 Twitter/X hesabı oluşturun ve kazımayı bunlar arasında dağıtın. Her hesap, kendi benzersiz proxy'si üzerinden çalışmalı ve ayrı bir dijital parmak izi (fingerprint) olmalıdır.

3. İstekler arasında gecikmeler. İstekleri maksimum hızda yapmayın. Rastgele duraklamalar ekleyin:

• Profilleri görüntüleme arasında: 3-7 saniye
• Akış kaydırma arasında: 2-5 saniye
• Hashtag araması arasında: 5-10 saniye
• Her 50-100 eylemde uzun duraklamalar: 30-60 saniye

4. Verileri önbelleğe alma. Aynı verileri tekrar istemeyin. Kazıma sonuçlarını bir veritabanında saklayın ve profilin zaten işlenip işlenmediğini kontrol edin.

Güvenli kazıma için anti-detect tarayıcının ayarlanması

Anti-detect tarayıcıları, her Twitter/X hesabı için benzersiz dijital parmak izleri (fingerprints) oluşturmanıza olanak tanır, bu da güvenli kazıma için kritik öneme sahiptir. Bunu yapmadan platform, birkaç hesabı birbirine bağlayabilir ve hepsini zincirleme olarak yasaklayabilir.

Twitter/X için popüler anti-detect tarayıcılar

Dolphin Anty — aracı ve SMM uzmanları arasında en popüler seçeneklerden biridir. Ücretsiz tarifesi, küçük kazıma görevleri için yeterli olan 10 profile kadar oluşturmanıza izin verir.

AdsPower — işlevsellik ve fiyat arasında iyi bir denge sunar. RPA (Robotic Process Automation) aracılığıyla yerleşik otomasyon vardır, bu da kod yazmadan kazımayı ayarlamanızı sağlar.

Multilogin — maksimum koruma seviyesi ile premium bir çözümdür. Büyük ajanslar tarafından kullanılır, ancak pahalıdır (aylık 99€'dan). Sadece büyük veri hacimlerinin profesyonel kazınması için mantıklıdır.

GoLogin — iyi kalitede fingerprints ile bütçe dostu bir seçenektir. Hesaplarla hareket halindeyken çalışmak için bir mobil uygulama vardır.

Twitter/X için kazıma profili ayarlama adım adım (Dolphin Anty örneği)

Adım 1: Yeni bir tarayıcı profili oluşturma

• Dolphin Anty'i açın ve "Profil oluştur" butonuna tıklayın
• İşletim sistemini seçin: Windows, macOS veya Linux (gerçek cihazınıza uygun olanı veya Twitter kullanıcıları arasında en popüler olanı seçin)
• Profil adını belirtin: örneğin, "Twitter Kazıyıcı ABD #1"

Adım 2: Proxy ayarlama

• "Proxy" bölümünde türü seçin: HTTP, HTTPS veya SOCKS5 (Twitter/X için SOCKS5 tercih edilir)
• Proxy verilerini girin: IP adresi, port, kullanıcı adı, şifre
• "Proxy'yi kontrol et" butonuna tıklayın — durumun yeşil olduğundan ve coğrafi konumun doğru olduğundan emin olun
• Önemli: Her Twitter/X hesabı için ayrı bir proxy kullanın

Adım 3: Parmak izi (digital fingerprint) ayarlama

• User-Agent: güncel Chrome'un gerçek bir User-Agent'ını seçin (örneğin, Windows 10'da Chrome 120)
• Ekran çözünürlüğü: popüler çözünürlükleri kullanın (1920x1080, 1366x768, 1440x900) — egzotik değerler koymayın
• Saat dilimi: proxy'nin coğrafi konumuyla uyuşmalıdır (eğer proxy ABD/New York'tan ise — EST koyun)
• Tarayıcı dili: bölgeye uygun olmalıdır (ABD için en-US, Birleşik Krallık için en-GB)
• WebRTC: devre dışı bırakın veya proxy IP'si ile değiştirin (aksi takdirde gerçek IP sızıntısı olabilir)
• Canvas ve WebGL: "Noise" modunu kullanın (gürültü ekleme) — bu, her profil için benzersiz bir parmak izi oluşturur

Adım 4: Ek güvenlik ayarları

• Şifrelerin otomatik doldurulmasını devre dışı bırakın (Twitter, kaydedilmiş verilerin varlığını kontrol edebilir)
• Her kazıma oturumundan sonra çerezleri temizleyin
• Tarayıcı uzantılarını kullanmayın — bunlar benzersiz parmak izleri oluşturur ve otomasyonu ortaya çıkarabilir
• "Do Not Track" (DNT) özelliğini etkinleştirin — birçok gerçek kullanıcı bunu kullanır

Twitter/X için kazıma araçları: hazır çözümlerden koda

Araç seçimi, teknik becerilerinize ve görev hacminize bağlıdır. Basit kodsuz hizmetlerden profesyonel scriptlere kadar seçenekleri inceleyelim.

Twitter/X için hazır kazıma hizmetleri (kodsuz)

Phantombuster — Twitter/X için hazır şablonlarla bulut tabanlı bir otomasyon hizmetidir. Profilleri, takipçileri, hashtag'lere göre tweetleri kazımayı sağlar. Ayarlama 5-10 dakika sürer: şablonu seçersiniz, parametreleri (hashtag, hesap listesi) belirlersiniz, proxy'yi bağlarsınız ve başlatırsınız.

Apify — hazır kazıyıcıların pazar yeridir. Twitter/X için birkaç aktör (hazır script) vardır: profilleri kazıma, tweet toplama, anmaları izleme. Bulut üzerinden çalışır, proxy destekler, sınırlamalarla ücretsiz bir tarifesi vardır.

Octoparse — görsel bir kazıyıcı oluşturucusudur. Twitter/X'i programın arayüzünde açarsınız, toplamak istediğiniz öğelere tıklarsınız (isim, bio, takipçi sayısı) ve program otomatik olarak bir script oluşturur. Basit görevler için uygundur, ancak sayfaların karmaşık yapısıyla başa çıkamayabilir.

Anti-detect tarayıcılarda RPA ile otomasyon

Bazı anti-detect tarayıcıları (AdsPower, Octo Browser), kullanıcı eylemlerini kaydetme ve yeniden oynatma imkanı sağlayan yerleşik RPA (Robotic Process Automation) araçlarına sahiptir.

Bu nasıl çalışır:

• Twitter/X'i anti-detect tarayıcısında açın
• Eylem kaydetme modunu etkinleştirin
• Gerekli eylemleri gerçekleştirin: profili açın, verileri kopyalayın, bir sonraki profile geçin
• Kayıt işlemini durdurun — tarayıcı bir script oluşturdu
• Kazıma için hesap listesini yükleyin ve scripti döngüde başlatın

Avantajlar: programlama becerisi gerektirmez, gerçek bir tarayıcı üzerinden çalışır (koruma aşma seviyesi yüksek), rastgele gecikmeler ve davranış taklidi eklemek kolaydır.

Kod ile kazıma: Python + Selenium/Playwright

Daha karmaşık görevler ve sürecin tam kontrolü için programlama kullanın. Python, zengin kütüphane ekosistemi nedeniyle kazıma için en popüler dildir.

Temel kütüphaneler:

• Selenium — tarayıcı otomasyonu, Chrome/Firefox ile çalışır, proxy ve kullanıcı eylemlerinin taklit edilmesini destekler
• Playwright — Selenium'un modern bir alternatifi, daha hızlı ve daha kararlıdır, headless modunu destekler
• Tweepy — resmi Twitter API'si ile çalışma kütüphanesi (ücretli erişim gerektirir)
• Twint — API olmadan Twitter kazıma (dikkat: Twitter bu yöntemi aktif olarak engelliyor, kararsız çalışıyor)

Python + Selenium ile temel bir script örneği:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
import time
import random

# Proxy ayarı
proxy = "123.45.67.89:8080"  # Proxy'nizi değiştirin
chrome_options = Options()
chrome_options.add_argument(f'--proxy-server={proxy}')
chrome_options.add_argument('--disable-blink-features=AutomationControlled')
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])

# Tarayıcıyı başlatma
driver = webdriver.Chrome(options=chrome_options)

# Twitter profilini açma
driver.get('https://twitter.com/elonmusk')
time.sleep(random.uniform(3, 7))  # Rastgele gecikme

# Profil verilerini kazıma
try:
    name = driver.find_element(By.XPATH, '//div[@data-testid="UserName"]').text
    bio = driver.find_element(By.XPATH, '//div[@data-testid="UserDescription"]').text
    followers = driver.find_element(By.XPATH, '//a[contains(@href, "/followers")]/span').text
    
    print(f"İsim: {name}")
    print(f"Bio: {bio}")
    print(f"Takipçiler: {followers}")
except Exception as e:
    print(f"Kazıma hatası: {e}")

driver.quit()

Kodla çalışırken dikkat edilmesi gereken önemli noktalar:

• Her eylem arasında time.sleep(random.uniform(3, 7)) ekleyin — bu, gerçek bir kullanıcının davranışını taklit eder
• Otomasyon izlerini gizlemek için --disable-blink-features=AutomationControlled kullanın
• User-Agent'ı gerçek bir değerle değiştirin: chrome_options.add_argument('user-agent=Mozilla/5.0...')
• try/except ile hataları işleyin — Twitter/X sık sık sayfa yapısını değiştirir
• Sonuçları bir veritabanında (SQLite, PostgreSQL) veya CSV dosyasında saklayın

Toplu kazımadan önce Twitter/X hesaplarının ısınması

Eğer Twitter/X için yeni hesaplar kullanıyorsanız, hemen toplu veri toplamaya başlamamalısınız. Platform, hesabın "yaşını" ve aktivitesini izler — yeni hesaplar agresif davranış sergilediklerinde öncelikle yasaklanır.

Hesap ısınma planı (7-14 gün)

1-3. Gün: Temel ayar ve minimum aktivite

• Profili doldurun: avatar, bio, web sitesi bağlantısı (gerçek verileri kullanın, profili boş bırakmayın)
• Alanınızdaki 5-10 popüler hesaba abone olun
• Akışı 2-3 dakika kaydırın, 2-3 beğeni yapın
• 1-2 retweet yapın
• Günde 10'dan fazla işlem yapmayın

4-7. Gün: Aktivite artırma

• 10-15 hesap daha takip edin
• 1-2 kendi tweetinizi paylaşın (basit olabilir, "Merhaba Twitter!" gibi)
• Günde 5-10 beğeni yapın
• Diğer kullanıcıların profillerini incelemeye başlayın (günde 5-10 profil)
• Birkaç tweeti yer imlerine ekleyin

8-14. Gün: Kazımaya hazırlık

• 50-70 takipçi sayısına ulaşmak için 20-30 hesap daha takip edin
• Her 2-3 günde 1 tweet paylaşın
• Günde 10-20 profil inceleyin
• Hashtag aramasını kullanın (ama henüz kazımayın — sadece arayın ve okuyun)
• 12-14. günde hafif kazımaya başlayabilirsiniz: günde 20-30 profil, duraklamalarla

"Isınmış" hesabın belirtileri

• Hesap yaşı: en az 14 gün, tercihen 30+ gün
• Takipçi sayısı: 50-100 (ne çok fazla, ne de çok az)
• Takipçi sayısı: 5-20 (birkaç gerçek takipçi bile güvenilirliği artırır)
• Tweet geçmişi: en az 5-10 yayın
• Beğeniler ve retweetler: geçmişte 20-50 eylem
• Doldurulmuş profil: avatar, bio, belki bağlantı

Yasaklardan korunma için güvenli kazıma kontrol listesi: 12 kural

Tüm önerileri Twitter/X kazıma sırasında uyulması gereken bir kontrol listesinde toplayalım: