DataDome Engellemesini Aşmak için Proxy: Koruma Nasıl Çalışır ve Veri Çekiminde Gerçekten Ne Yardımcı Olur

Tarayıcınızı ayarladınız, veri toplama işlemini başlattınız - ve birkaç dakika içinde bir CAPTCHA sayfası veya boş bir yanıt alıyorsunuz. Muhtemelen site DataDome ile korunuyor. Bu, piyasadaki en agresif bot koruma sistemlerinden biridir ve burada standart veri merkezi proxy'leri işe yaramaz. Bu yazıda, DataDome'un botları nasıl tespit ettiğini ve hangi tür proxy'lerin sonuç verdiğini inceleyeceğiz.

DataDome nedir ve nerelerde kullanılır

DataDome, büyük e-ticaret siteleri, haber portalları, pazar yerleri ve dünya genelindeki rezervasyon hizmetleri tarafından kullanılan ticari bir SaaS bot koruma platformudur. Şirket 2015 yılında kurulmuştur ve şu anda günde milyarlarca isteği kapsayan binlerce web sitesini korumaktadır.

DataDome'un müşterileri arasında Reddit, Foot Locker, Rakuten, AngelList ve birçok diğer büyük kaynak bulunmaktadır. Eğer rakip fiyatlarını izliyorsanız, ürün kartlarını tarıyorsanız, yurtdışındaki pazar yerlerinden veri topluyorsanız veya haberleri bir araya getiriyorsanız - bu sistemle zaten karşılaşmış olma olasılığınız yüksektir.

Bir sitenin DataDome ile korunduğuna dair belirgin işaretler:

• Birden fazla ardışık isteğin ardından CAPTCHA sayfası görünür
• Sunucu yanıtında x-datadome-cid başlığı bulunur
• geo.captcha-delivery.com alanına yönlendirme
• Tek bir IP'den sık isteklerde 403 veya 429 HTTP yanıtı
• İlk ziyarette JavaScript zorluğu (tarayıcı kontrol sayfası)

DataDome, gerçek zamanlı olarak çalışır: her gelen istek milisaniyeler içinde analiz edilir. Sistem, kullanıcıyı geçiştirmek, CAPTCHA göstermek veya engellemek gibi bir karar verir - sunucu sayfanın ana içeriğini göndermeden önce. Bu nedenle, basit IP engellemelerinden daha zor aşılmaktadır.

DataDome botları nasıl tespit eder: koruma mekanizmaları

Hangi proxy'lerin çalıştığını anlamak için, DataDome'un neyi analiz ettiğini anlamak gerekir. Sistem çok katmanlı bir yaklaşım kullanır - hiçbir faktör tek başına bir engelleme kriteri değildir. Karar, sinyallerin bir kombinasyonuna dayanarak verilir.

1. IP adresinin itibarı

DataDome'un kontrol ettiği ilk şey, IP adresinin dış ve iç veri tabanlarındaki itibarınıdır. Sistem, IP'nin bir veri merkezine (AWS, Google Cloud, Hetzner, DigitalOcean), VPN sağlayıcısına mı yoksa gerçek bir ev/mobil adresine mi ait olduğunu anında belirler. Veri merkezinden gelen IP, davranış analizi yapılmadan önce otomatik olarak yüksek bir "şüphe puanı" alır.

2. Davranış analizi

DataDome, davranış kalıplarını takip eder: istek hızı, sayfalar arası geçiş sırası, tıklamalar arasındaki süre, fare hareketi (varsa JavaScript). Gerçek bir kullanıcı duraklamalar yapar, mantıklı yollarla geçiş yapar, bazen geri döner. Bot genellikle sabit aralıklarla, kesin belirlenmiş URL'lere isteklerde bulunur, "rastgele" sapmalar olmadan.

3. JavaScript parmak izi

İstek bir tarayıcıdan (veya Puppeteer/Playwright gibi headless tarayıcıdan) geliyorsa, DataDome, ortamın "parmak izini" toplayan bir JavaScript senaryosu çalıştırır: tarayıcı sürümü, yüklü fontlar, ekran çözünürlüğü, WebGL desteği, canvas parmak izi, eklentilerin varlığı. Ekstra maskeleme olmadan headless tarayıcılar, karakteristik parametreler üzerinden kolayca tespit edilir.

4. HTTP başlıkları

İstek başlıkları analiz edilir: User-Agent, Accept-Language, Accept-Encoding, Referer, sec-ch-ua ve diğerleri. Belirtilen User-Agent ile gerçek istek parametreleri arasındaki tutarsızlık, bot için güçlü bir sinyaldir.

5. Gerçek zamanlı makine öğrenimi

Tüm toplanan sinyaller, gerçek kullanıcılar ve botlar hakkında büyük bir veri kümesine dayalı olarak eğitilmiş bir ML modeli tarafından işlenir. Model sürekli olarak güncellenir - bir ay önce çalışan bir şey, bugün çalışmayabilir. Bu nedenle, statik çözümler hızla geçerliliğini yitirir.

Neden veri merkezi proxy'leri DataDome'a karşı işe yaramaz

Bu, korumalı sitelerle çalışmaya yeni başlayanların en sık sorduğu sorudur. Veri merkezi proxy'leri ucuz, hızlı ve yüksek çalışma süresine sahiptir. Görünüşte, tarama için mükemmel bir seçim. Ancak DataDome'a karşı neredeyse işe yaramazlar.

Sebep basit: DataDome, tüm büyük barındırma sağlayıcılarının ASN (otonom sistem) veri tabanlarını tutar ve kullanır. Bir istek, örneğin Amazon Web Services veya OVH alt ağından gelen bir IP adresinden geldiğinde, sistem hemen ona "şüpheli" statüsü verir. Eğer tarayıcınız insan davranışını mükemmel bir şekilde taklit etse bile - veri merkezinden gelen IP sizi tehlikeye atar.

Bir diğer sorun ise "yanmış" IP'lerdir. Eğer binlerce kullanıcı daha önce aynı IP adresini bot etkinliği için kullandıysa (ve ucuz veri merkezi havuzlarında bu normdur), DataDome bu adrese dair olumsuz bir geçmişe sahip olur. Böyle bir IP'den gelen ilk istek bile engellenebilir.

Konut proxy'leri: DataDome'u aşmanın ana aracı

Konut proxy'leri, gerçek ev internet kullanıcılarına ait IP adresleridir. İnternet sağlayıcıları (Rostelecom, Comcast, Deutsche Telekom vb.) tarafından verilir ve DataDome açısından, evde bilgisayar başında oturan sıradan insanlar gibi görünürler.

Bu nedenle, konut proxy'leri DataDome ile korunan siteleri taramak için ana çalışma aracıdır. IP itibarı üzerinden ilk kontrolü geçer, bu da size daha fazla çalışma için "güven kredisi" sağlar.

DataDome için konut proxy'leri seçerken dikkate almanız gerekenler

Önemli bir nokta: konut proxy'leri, DataDome'u aşma garantisi vermez. IP itibarı sorununu çözerler, ancak eğer tarayıcınız bir IP'den dakikada 100 istek yapıyorsa veya yanlış başlıklar gönderiyorsa - DataDome yine de engeller. IP, sadece bir koruma katmanıdır.

Mobil proxy'ler: maksimum güven gerektiğinde

Mobil proxy'ler, mobil operatörlerin (4G/5G ağları) IP adresleridir. Özel bir özelliğe sahiptirler: bir mobil operatörün IP adresi, NAT üzerinden aynı anda binlerce gerçek kullanıcı tarafından kullanılabilir. DataDome bunu bilir - bu nedenle mobil IP'lere maksimum güvenle yaklaşır.

Mobil bir IP'yi engellemek, operatörün potansiyel olarak binlerce gerçek müşterisini engellemek anlamına gelir - hiçbir normal site buna razı olmaz. Bu nedenle, mobil proxy'ler, DataDome ile korunan sitelere yapılan isteklerde en yüksek başarı oranını sağlar.

Mobil proxy'leri konut proxy'lerine tercih etmeniz gereken durumlar:

• Siteler çok agresif bir şekilde korunuyorsa - konut proxy'leri bile düşük istek sıklığında engellemeler alır
• Mobil sitenin mobil versiyonunu tarıyorsanız - mobil IP + mobil User-Agent doğal görünür
• Uygulamalarla çalışmanız gerekiyorsa - mobil API'yi tarıyorsanız, mobil IP mantıklı bir istek olur
• Uzun süreli oturumlar - mobil proxy'ler IP değiştirmeden oturumu iyi tutar

Mobil proxy'lerin dezavantajı, konut proxy'lerinden daha pahalı olmaları ve genellikle daha küçük bir IP havuzuna sahip olmalarıdır. Saatte binlerce istekle büyük ölçekli tarama için bu bir kısıtlama olabilir. Bu tür durumlarda, en iyi strateji mobil proxy'leri "keşif" ve karmaşık sayfalar için kullanmak, konut proxy'lerini ise toplu veri toplama için kullanmaktır.

Dönüşüm ve gecikme stratejisi: iyi proxy'lerle bile nasıl dikkat çekmeden çalışılır

Hatta konut veya mobil proxy'lerle bile, istek stratejisini yanlış kurarsanız engellenebilirsiniz. DataDome, oturum seviyesinde davranışı analiz eder - ve anormal kalıplar, IP kalitesinden bağımsız olarak şüphe uyandırır.

DataDome üzerinden güvenli tarama kuralları

Dönüşüm: IP'yi ne zaman değiştirmeli

Burada evrensel bir cevap yoktur - her şey belirli bir siteye bağlıdır. Ancak genel mantık şudur: DataDome, IP'nin aktivitesini kaydeder ve kaydırmalı bir pencerede (genellikle 10-60 dakika) tutar. Eğer bu süre içinde bir adresten şüpheli bir şekilde çok fazla istek gelirse - IP geçici bir yasak alır.

En iyi strateji, IP'yi zamanlayıcıya göre değil, istek sayısına göre döndürmektir. Örneğin: 15-25 istek → IP değişimi → 30-60 saniye bekleme → yeni oturum. Bu yaklaşım, her biri birkaç sayfa ziyaret eden ve ayrılan farklı kullanıcıların davranışını taklit eder.

Başlıklar ve parmak izi: DataDome'un IP dışında kontrol ettiği diğer şeyler

İyi proxy'ler, DataDome'u aşmak için gerekli ama yeterli bir koşuldur. Sistem, isteği bütün olarak analiz eder. Eğer IP konut ise ama başlıklar botu gösteriyorsa - engelleme yine de gerçekleşir.

Kritik öneme sahip başlıklar

İşte DataDome'un HTTP başlıklarında kontrol ettiği ve dikkat etmeniz gerekenler:

DataDome'un çerezlerine özel dikkat gösterilmelidir. İlk istekte, sistem kendi çerezini (genellikle datadome olarak adlandırılır) ayarlar. Eğer tarayıcınız bu çerezi saklamaz ve sonraki isteklerde göndermezse - DataDome her isteği yeni bir kullanıcının ilk ziyareti olarak algılar, bu da yüksek sıklıkta şüpheli görünür.

TLS parmak izi

DataDome'un gelişmiş koruması ayrıca TLS parmak izini analiz eder - SSL/TLS el sıkışmasının özellikleri. Farklı HTTP kütüphaneleri (requests, curl, axios) tarayıcıdan farklı olan karakteristik cipher suite ve TLS uzantı setlerine sahiptir. Eğer standart Python kütüphanesi requests kullanıyorsanız - onun TLS parmak izi kolayca tanımlanır. Çözüm, tarayıcı TLS'sini taklit eden kütüphaneler kullanmaktır (örneğin, curl-impersonate veya özel çözümler).

DataDome siteleriyle çalışmak için araçlar

Tarama için doğru aracı seçmek, proxy seçimi kadar önemlidir. Farklı görevler, farklı yaklaşımlar gerektirir. DataDome ile uyumluluk açısından ana seçenekleri inceleyelim.

Tarayıcı otomasyonu (Puppeteer, Playwright)

Headless tarayıcılar teorik olarak DataDome ile iyi çalışmalıdır, çünkü JavaScript'i çalıştırır ve "gerçek" bir parmak izi oluşturur. Pratikte standart Puppeteer veya Playwright, karakteristik parametreler üzerinden kolayca tanımlanır: navigator.webdriver = true, eklentilerin olmaması, standart dışı WebGL değerleri. Aşmak için, puppeteer-extra-plugin-stealth gibi eklentilerle ekstra maskeleme gereklidir.

Anti-detect tarayıcılar

Sitede tam işlevsellik (sadece tarama değil, etkileşim de) gerektiren görevler için anti-detect tarayıcılar en iyi seçimdir. Dolphin Anty, AdsPower, GoLogin ve Multilogin, gerçekçi parmak izleriyle tam tarayıcı profilleri oluşturur. Konut veya mobil proxy'lerle birlikte kullanıldığında, DataDome'u aşmada maksimum seviyede başarı sağlarlar.

Anti-detect tarayıcıda bağlantı şeması standarttır: profil oluşturursunuz → proxy ayarlarında türü (HTTP/SOCKS5), host, port, kullanıcı adı ve proxy hizmetinin şifresini belirtirsiniz → profili başlatırsınız. Her profil, benzersiz bir parmak izi ile izole bir ortamda çalışır.

Özel tarama hizmetleri

Tarama koruma aşma işini üstlenen hazır hizmetler (ScrapingBee, Apify, Bright Data Scraping Browser) vardır - siz sadece URL'yi iletirsiniz ve HTML alırsınız. Kendi konut proxy havuzlarını kullanırlar ve CAPTCHA'ları otomatik olarak çözerler. Dezavantajı - büyük hacimlerde yüksek maliyet ve süreç üzerinde daha az kontrol.

Yaklaşımların karşılaştırılması

Pratik senaryo: korumalı bir sitede fiyat izleme

Diyelim ki, DataDome ile korunan bir yurtdışı pazar yerinde rakip fiyatlarını izliyorsunuz. 5000 ürün için her 6 saatte bir veri toplamanız gerekiyor. İşte optimal şema:

1. Araç: Stealth eklentisi ile Playwright (otomatik olarak JS zorluğunu çözer)
2. Proxy: Dönüşümlü konut proxy'leri, coğrafi konum - hedef sitenin ülkesi
3. Oturum: 15 dakika için Sticky, bir IP'den 20 istek
4. Başlıklar: Güncel Chrome User-Agent, doğru Accept-Language
5. Çerezler: DataDome çerezlerini bir oturumda istekler arasında saklama ve iletme
6. Gecikmeler: İstekler arasında rastgele 4 ila 12 saniye
7. Oturum başlangıcı: Her zaman ana sayfadan başlayın, ardından ürünlere geçin

Bu ayarlamalarla, isteklerin başarısı %85-95 arasında olup, düzenli izleme için oldukça yeterlidir. Kalan %5-15'lik kısım ise başka bir IP üzerinden tekrar istek yapmaktır.

Sonuç ve öneriler

DataDome, ciddi bir koruma sistemidir, ancak aşılmaz değildir. Bu sistemle korunan sitelerde başarılı bir şekilde çalışmanın anahtarı, doğru proxy türü, uygun başlıklar, gerçekçi davranış ve iyi bir dönüşüm stratejisidir.

Makalenin ana çıkarımları:

• DataDome'a karşı veri merkezi proxy'leri çalışmaz - IP itibarı seviyesinde engellenirler
• Konut proxy'leri, çoğu tarama görevi için temel araçtır
• Mobil proxy'ler maksimum güven sağlar ve agresif korunan siteler için uygundur
• İyi proxy'ler, çözümün sadece bir parçasıdır: başlıklar, çerezler ve davranış da en az o kadar önemlidir
• Kaliteli proxy'lerle birlikte anti-detect tarayıcılar en iyi sonuçları verir
• Dönüşüm ve gecikme stratejisi kritik öneme sahiptir - agresif tarama ile bile konut proxy'leriyle engellenebilirsiniz

Eğer fiyat izleme, ürün kartlarını tarama veya DataDome ile korunan sitelerden veri toplama ile ilgileniyorsanız, konut proxy'leri ile başlamanızı öneririz - bunlar koruma aşma kalitesi ile maliyet arasında optimal bir denge sağlar. Maksimum güven seviyesinin gerektiği görevler için, mobil proxy'leri düşünmelisiniz - özellikle mobil sitelerin veya mobil uygulama API'lerinin üzerinde çalışıyorsanız.