Proxy ile Web Scraping'de GDPR: Veri Toplama ve 20 Milyon € Ceza Almadan Nasıl Yapılır

Eğer pazar yerlerini parse ediyorsanız, rakip fiyatlarını izliyorsanız veya analiz için veri topluyorsanız — GDPR (Genel Veri Koruma Yönetmeliği) uyumu doğrudan işinizi etkiler. Cezalar €20 milyon'a kadar veya şirketin yıllık cirosunun %4'üne kadar çıkabilir ve Avrupa düzenleyicileri bunları aktif olarak uygulamaktadır. Bu rehberde, hangi verilerin yasal olarak toplanabileceğini, uyum için proxy'lerin nasıl doğru kullanılacağını ve web scraping sürecinde hangi koruma önlemlerinin uygulanması gerektiğini inceleyeceğiz.

Anlamak önemlidir: GDPR, scraping'i değil, AB vatandaşlarının kişisel verilerinin işlenmesini düzenler. Şirketiniz Avrupa dışında olsa bile, Avrupa kullanıcılarının verilerini topluyorsanız — düzenleme sizin için geçerlidir.

GDPR nedir ve web scraping'e nasıl uygulanır

GDPR (Genel Veri Koruma Yönetmeliği) — kişisel verilerin korunmasına dair Avrupa düzenlemesi, Mayıs 2018'de yürürlüğe girmiştir. AB vatandaşlarının kişisel verilerini işleyen herhangi bir şirket veya gerçek kişi için geçerlidir, şirketin bulunduğu yerden bağımsızdır.

Web scraping için bu, şu anlama gelir: Eğer kamuya açık siteleri parse ediyor ve Avrupa kullanıcıları hakkında bilgi topluyorsanız (isimler, e-posta, telefonlar, adresler, davranış verileri), otomatik olarak GDPR düzenlemesine tabi olursunuz. Bu, tüm popüler görevleri kapsar:

• Pazar yerlerini parse etmek (Wildberries, Ozon, Amazon EU) — eğer satıcılar veya alıcılar hakkında veri topluyorsanız
• Rakip fiyatlarını izlemek — eğer verilerde şirketlerin iletişim bilgileri varsa
• B2B için iletişim bilgileri toplamak — e-posta, telefonlar, şirket çalışanlarının pozisyonları
• Sosyal medya analizi — kullanıcı profilleri, yorumlar, etkileşim
• İlanların toplanması (gayrimenkul, iş ilanları, hizmetler) ile iletişim bilgileri

Ana nokta: GDPR, web scraping'i yasaklamaz. Kişisel verilerin işlenmesi için kurallar koyar. Eğer yalnızca kamuya açık, kişisel olmayan bilgileri (ürün fiyatları, özellikler, belirli kişilere bağlı olmayan açıklamalar) topluyorsanız — resmi olarak GDPR geçerli değildir. Ancak verilerde isimler, iletişim bilgileri veya kullanıcı tanımlayıcıları belirdiğinde, düzenlemenin gereklilikleri devreye girer.

GDPR'ye göre hangi veriler kişisel veriler olarak kabul edilir

GDPR, kişisel verileri çok geniş bir şekilde tanımlar: bu, tanımlanmış veya tanımlanabilir bir gerçek kişiyle ilgili her türlü bilgidir. Pratikte web scraping sırasında kişisel verilere şunlar dahildir:

Yaygın bir hata: kamuya açık verilerin serbestçe toplanabileceğini ve kullanılabileceğini düşünmektir. GDPR, kamuya açık bilgiler için istisnalar yapmaz. Eğer LinkedIn profillerini, kurumsal sitelerden iletişim bilgilerini veya telefon numaralarıyla ilanları parse ediyorsanız — bu kişisel verilerdir ve düzenlemenin gereklilikleri tam olarak uygulanır.

IP adreslerine özel dikkat gösterilmelidir. Avrupa Mahkemesi, 2016 yılında dinamik IP adreslerinin kişisel veri olduğunu, çünkü sağlayıcının kullanıcıyı tanımlayabileceğini belirtti. Bu, proxy kullanırken önemlidir: eğer scraping sırasında son kullanıcıların IP adreslerini kaydediyorsanız — bu kişisel verilerin işlenmesidir.

Scraping sırasında veri toplama için yasal dayanaklar

GDPR, kişisel verilerin işlenmesi için yasal bir dayanağın bulunmasını gerektirir. Web scraping için geçerli olan dayanaklar (GDPR madde 6) şunlardır:

1. Veri sahibinin rızası (Consent)

En bariz, ancak scraping için en az uygulanabilir dayanak. Rıza:

• Gönüllü ve bilinçli olmalıdır
• Belirli (belirli bir amaç için) olmalıdır
• Bilgilendirilmiş olmalıdır (kullanıcı, verilerle ne yaptığınızı anlamalıdır)
• Geri alınabilir olmalıdır (kolayca geri alınabilir)

Scraping sırasında böyle bir rızayı almak pratikte neredeyse imkansızdır — verileri otomatik olarak topluyorsunuz, kullanıcılarla etkileşimde bulunmadan. Bu nedenle, bu dayanak nadiren uygulanır.

2. Meşru menfaatler (Legitimate Interests)

Web scraping için en sık kullanılan dayanak. Verileri, meşru menfaatleriniz için gerekli olduğu sürece işleyebilirsiniz, ancak veri sahibinin menfaatleri sizin menfaatlerinizi aşmamalıdır. Meşru menfaat örnekleri:

• Rakip fiyatlarını izlemek — kendi fiyat stratejinizi oluşturmak için
• Pazar analizi — iş analitiği ve araştırmalar için
• Dolandırıcılığı tespit etmek — dolandırıcılığa karşı koruma için veri toplamak
• Hizmeti geliştirmek — faydalı bir ürün oluşturmak için kamuya açık verileri toplamak

Menfaat dengesi testi (Legitimate Interest Assessment, LIA) yapmak önemlidir: menfaatinizin neden kullanıcıların menfaatlerinden daha ağır bastığını belgeleyin. Örneğin, bir pazar yerinde ürün fiyatlarını parse ediyorsanız — bu makul bir menfaattir. Ancak e-posta toplamak için spam yapmak — bu bir ihlaldir.

3. Sözleşmenin yerine getirilmesi veya kamu görevi

Bu dayanaklar, scraping sırasında nadiren uygulanır. Sözleşmenin yerine getirilmesi, kullanıcı ile bir hizmet sağlamak için veri topluyorsanız geçerlidir (örneğin, bir iş ilanı toplayıcı, kullanıcılar için veri toplar). Kamu görevi, devlet organları için geçerlidir.

GDPR uyumunda proxy'lerin rolü: koruma ve anonimleştirme

Proxy sunucuları, web scraping'de GDPR uyumu bağlamında çift yönlü bir rol oynar. Bir yandan, kişisel veri toplama miktarını azaltmaya ve gizliliği korumaya yardımcı olurlar. Diğer yandan, yanlış kullanıldıklarında kendileri de risk oluşturabilirler.

Proxy'ler GDPR'ye nasıl uyum sağlar

1. İsteklerin anonimleştirilmesi. Web scraping için rezidans proxy'leri kullandığınızda, hedef site proxy sunucusunun IP adresini görür, sizin gerçek IP adresinizi değil. Bu, siteye doğrudan şirketinizi isteklerin kaynağı olarak tanımlama imkanı vermez. GDPR açısından, kendi verilerinizi açıklamayı minimize etmek istiyorsanız bu önemlidir.

2. Coğrafi dağılım. Rezidans ve mobil proxy'ler, farklı ülkelerin IP adreslerinden istek yapmanıza olanak tanır. Bu, belirli bir bölgeye özgü verileri toplamak için faydalıdır (örneğin, AB'deki farklı ülkelerdeki fiyatlar) ve fiziksel varlık gerektirmez. Bu sırada, yalnızca belirli bir bölgede mevcut olan verileri topladığınız için minimizasyon ilkesine uyarsınız.

3. İzlerin minimize edilmesi için IP rotasyonu. Proxy üzerinden otomatik IP adresi rotasyonu, hedef sitedeki scraping etkinliğinize dair bir profil oluşturma riskini azaltır. Bu, sitenin sizin meta verilerinizi (istek zamanları, davranış kalıpları) toplama ve saklama riskini azaltır; bu veriler de kişisel veriler olabilir.

GDPR bağlamında proxy kullanmanın riskleri

1. Proxy sağlayıcısı tarafından veri kaydı. Eğer proxy sağlayıcınız isteklerinizi ve hedef kullanıcıların IP adreslerini kaydediyorsa — GDPR'ye göre kişisel verilerin işleyicisi (Data Processor) haline gelir. Onunla veri koruma sözleşmesi (Data Processing Agreement, DPA) imzalamak zorundasınız, burada veri koruma yükümlülükleri belirtilmelidir. No-log politikası sunan veya DPA imzalamaya istekli sağlayıcıları tercih edin.

2. Koruma önlemlerini aşmak için proxy kullanımı. Bazı siteler, teknik önlemlerle (oran sınırlaması, CAPTCHA, IP engellemeleri) scraping'i engeller. Bu önlemleri aşmak için proxy kullanmak, GDPR'yi değil, diğer yasaları (örneğin, ABD'deki Bilgisayar Dolandırıcılığı ve Kötüye Kullanım Yasası veya AB'deki Elektronik Ticaret Direktifi) ihlal edebilir. GDPR burada geçerli değildir, ancak hukuki riskler vardır.

3. Güvenilir olmayan sağlayıcılardan proxy kullanımı. Eğer ucuz kamu proxy'leri veya IP adreslerinin kaynağı bilinmeyen proxy'ler kullanıyorsanız — bu IP'lerin tehlikeye atılmış veya yasadışı faaliyetler için kullanılıyor olma riski vardır. Bu, toplanan verilerin yasadışı yollarla elde edilmiş olarak kabul edilmesine neden olabilir.

Veri minimizasyonu ilkesi: yalnızca gerekli olanı toplayın

GDPR'nin ana ilkelerinden biri — veri minimizasyonudur (madde 5). Yalnızca belirli bir amaca ulaşmak için gerçekten gerekli olan kişisel verileri toplamalısınız. Bu, scraping ayarlarını doğrudan etkiler.

Minimizasyon için pratik adımlar

1. Veri toplama aşamasında filtreleme yapın. Tüm sayfayı kaydetmeyin — yalnızca gerekli alanları çıkarın. Örneğin, fiyatları izlemek için bir pazar yerini parse ediyorsanız, satıcıların isimlerini, puanlarını veya iletişim bilgilerini kaydetmeyin. Yalnızca ürün adını, fiyatını ve SKU'sunu toplayın.

# Kötü — her şeyi kaydediyoruz
product_data = {
    'title': title,
    'price': price,
    'seller_name': seller_name,  # Kişisel veri!
    'seller_email': seller_email,  # Kişisel veri!
    'seller_rating': seller_rating,
    'reviews': reviews  # Alıcıların isimlerini içerebilir!
}

# İyi — yalnızca gerekli olan
product_data = {
    'title': title,
    'price': price,
    'sku': sku,
    'availability': availability
}

2. Verileri anonimleştirin veya takma adlandırın. Eğer dinamikliği izlemek istiyorsanız (örneğin, belirli bir satıcının fiyat değişiklikleri), satıcının ismini saklamayın — onun ID'sinden bir hash oluşturun. Bu, takma adlandırmadır: veriler doğrudan okunamaz, ancak eşleştirilebilir.

import hashlib

# Satıcı ID'sinin takma adlandırılması
seller_id_hash = hashlib.sha256(seller_id.encode()).hexdigest()

product_data = {
    'title': title,
    'price': price,
    'seller_hash': seller_id_hash  # Orijinal ID'yi geri almak mümkün değil
}

3. Kullanım sonrası verileri silin. GDPR, verilerin gereğinden fazla saklanmamasını gerektirir (storage limitation). Eğer günlük rapor için fiyat topluyorsanız — 30-60 günden daha eski verileri silin. Veritabanının otomatik temizliğini ayarlayın.

4. Özel veri kategorilerini toplamayın. Irk, sağlık, siyasi görüşler, din gibi verilerin toplanmasından kaçının (GDPR madde 9). Bu veriler için açık rıza veya çok güçlü gerekçeler gereklidir. Scraping sırasında bunu gerekçelendirmek neredeyse imkansızdır.

Toplanan verilerin güvenli depolanması

GDPR, kişisel verilerin güvenliğini sağlamayı gerektirir (madde 32). Eğer scraping yoluyla veri topluyorsanız, bunları sızıntılara, yetkisiz erişime ve kayba karşı korumalısınız. İşte minimum önlemler:

Teknik koruma önlemleri

• Verilerin dinlenme durumunda şifrelenmesi (at rest). Toplanan verilerin bulunduğu veritabanını şifreli olarak saklayın. AES-256 veya benzeri standartları kullanın. Bulut sağlayıcıları (AWS, Google Cloud, Azure) otomatik disk şifrelemesi sunmaktadır.
• Verilerin hareket halindeyken şifrelenmesi (in transit). API'lere, veritabanlarına ve proxy'lere yapılan tüm istekler HTTPS/TLS üzerinden olmalıdır. Kişisel verileri asla şifrelenmemiş kanallardan iletmeyin.
• Erişim kontrolü. Veritabanına erişimi sınırlayın: yalnızca yetkilendirilmiş çalışanlar toplanan verilere erişebilmelidir. Rol tabanlı erişim kontrolü (RBAC) kullanın ve verilere yapılan tüm erişimleri kaydedin.
• Düzenli yedeklemeler. Yedekleme yapın, ancak bunları ana veriler kadar güvenli bir şekilde saklayın. Şifrelenmiş yedeklemeler, iki faktörlü kimlik doğrulama ile erişim.
• İzleme ve denetim. Şüpheli etkinlikleri (örneğin, toplu veri indirme) tespit etmek için bir izleme sistemi kurun. Güvenlik denetimlerini düzenli olarak gerçekleştirin.

Organizasyonel önlemler

• Gizlilik politikası. Verileri nasıl topladığınızı, sakladığınızı ve kullandığınızı açıklayan bir iç belge oluşturun. Bu, uyum için temeldir.
• Personelin eğitimi. Verilere erişimi olan tüm çalışanlar, GDPR gerekliliklerini ve ihlallerin sonuçlarını anlamalıdır.
• DPO (Veri Koruma Sorumlusu) ataması. Ana faaliyet alanınız, büyük ölçeklerde veri sahiplerini düzenli ve sistematik olarak izlemekse, GDPR veri koruma sorumlusunun atanmasını gerektirir.
• Sızıntılara karşı yanıt planı. Veri ihlali durumunda bir prosedür hazırlayın. GDPR, ihlalin tespitinden itibaren 72 saat içinde düzenleyiciye bildirimde bulunulmasını gerektirir.

Veri silme taleplerini nasıl işleyebilirsiniz

GDPR, veri sahiplerine (topladığınız verilerin sahiplerine) bir dizi hak tanır. Web scraping için en alakalı olanları:

• Erişim hakkı (Right to Access). Kullanıcı, sizin tarafınızdan saklanan tüm verilerin bir kopyasını talep edebilir. Bunları 30 gün içinde sağlamalısınız.
• Silme hakkı (Right to Erasure / "Right to be Forgotten"). Kullanıcı, tüm verilerinin silinmesini talep edebilir. Yasal bir saklama dayanağınız yoksa talebi yerine getirmek zorundasınız.
• Düzeltme hakkı (Right to Rectification). Veriler yanlışsa, kullanıcı bunların düzeltilmesini talep edebilir.
• İşlemenin kısıtlanması hakkı (Right to Restriction). Veri işlenmesinin geçici olarak durdurulması, bir anlaşmazlık çözülene kadar.

Scraping sırasında sorun: genellikle hangi verilerin kime ait olduğunu bilmezsiniz. Kullanıcılar sizinle kayıtlı değillerdir, iletişim için e-posta vermemişlerdir. Nasıl talep gönderebilirler? Onları nasıl tanımlarsınız?

Pratik çözümler

1. Talepler için kamuya açık bir form oluşturun. Web sitenizde "GDPR Veri Sahibi Talepleri" sayfası oluşturun ve kullanıcıların e-posta adreslerini belirtebilecekleri, hangi verileri silmek/almak istediklerini açıklayabilecekleri bir form ekleyin. 30 gün içinde yanıt vereceğinizi belirtin.

2. Talepleri doğrulayın. Talebin gerçek veri sahibinden geldiğinden emin olun. Onay isteyin (örneğin, kullanıcının belirttiği e-posta adresine bir kod gönderin). Bu, sahte taleplerden koruyacaktır.

3. Silme işlemini otomatikleştirin. Bir e-posta veya başka bir tanımlayıcıya göre veritabanından tüm ilgili verileri silen bir script oluşturun. Önemli: silme işlemi tam olmalıdır — ana veritabanından, yedeklerden, loglardan.

# E-posta ile veri silme örneği
def delete_user_data(email):
    # Ana veritabanından silme
    db.execute("DELETE FROM scraped_contacts WHERE email = ?", (email,))
    
    # Loglardan silme (eğer saklıyorsanız)
    db.execute("DELETE FROM activity_logs WHERE user_email = ?", (email,))
    
    # Yedeklerde işaretleme (hemen silinemiyorsa)
    db.execute("INSERT INTO deletion_queue (email, requested_at) VALUES (?, NOW())", (email,))
    
    # Silme talebinin kaydı (uyum için)
    log_gdpr_request('deletion', email)
    
    return "Veri başarıyla silindi"

4. Tüm talepleri belgeleyin. Tüm GDPR taleplerinin kaydını tutun: kim talep etti, ne zaman, ne yapıldı. Bu, düzenleyici denetiminde gereklidir.

5. Zamanında yanıt verin. Yanıt vermek için 30 gününüz var (karmaşık durumlarda 60 güne kadar uzatabilirsiniz, ancak talep sahibini bilgilendirmelisiniz). Son tarihin kaçırılması — GDPR ihlalidir.

Scraping için GDPR uyumu pratik kontrol listesi

AB vatandaşlarının kişisel verileri ile ilgili herhangi bir web scraping projesine başlamadan önce bu kontrol listesini kullanın:

Aşama 1: Planlama

• ☐ Toplanan verilerin kişisel bilgi içerip içermediğini belirleyin (ad, soyad, e-posta, IP, telefon vb.)
• ☐ Eğer evet ise — toplama için yasal dayanağı belirleyin (en sık: meşru menfaatler)
• ☐ Menfaat dengesi testi (LIA) yapın ve sonucu belgeleyin
• ☐ Amacınız için gerekli olan minimum veri setini belirleyin
• ☐ Verilerin saklama süresini belirleyin (örneğin, 30 gün)

Aşama 2: Altyapının ayarlanması

• ☐ No-log politikası olan veya DPA imzalamaya istekli bir proxy sağlayıcısı seçin
• ☐ Veritabanı şifrelemesini ayarlayın (AES-256)
• ☐ Toplanan verilere erişim kontrolü (RBAC) ayarlayın
• ☐ Verilere yapılan tüm erişimlerin kaydını tutun
• ☐ Belirlenen süreden daha eski verilerin otomatik silinmesini ayarlayın
• ☐ Şifrelenmiş yedeklemeleri ayarlayın

Aşama 3: Scraper'ın geliştirilmesi

• ☐ Veri toplama aşamasında filtreleme uygulayın (gereksiz alanları kaydetmeyin)
• ☐ Mümkünse takma adlandırma veya anonimleştirme kullanın
• ☐ Özel veri kategorilerini (ırk, sağlık, din vb.) toplamayın
• ☐ Tüm istekler için HTTPS kullanın
• ☐ İzleri minimize etmek için proxy üzerinden IP rotasyonu ayarlayın

Aşama 4: Belgelendirme

• ☐ Veri İşleme Kaydı oluşturun: hangi veriler, ne için, hangi dayanakla, ne kadar süre saklıyorsunuz
• ☐ Web siteniz için Gizlilik Politikası hazırlayın
• ☐ Taşeronlar (proxy sağlayıcı, bulut depolama) kullanıyorsanız — DPA imzalayın
• ☐ Veri ihlali durumunda bir yanıt planı oluşturun

Aşama 5: Veri sahipleri taleplerinin işlenmesi

• ☐ Web sitenizde GDPR talepleri için kamuya açık bir form oluşturun
• ☐ Taleplerin doğrulama sürecini ayarlayın
• ☐ Talep üzerine verilerin silinmesini otomatikleştirin
• ☐ Tüm GDPR taleplerinin kaydını tutun
• ☐ Taleplere 30 gün içinde yanıt verin

Aşama 6: İzleme ve denetim

• ☐ Gerçekten hangi verilerin toplandığını düzenli olarak kontrol edin (yeni alanlar ortaya çıkabilir)
• ☐ Veri depolama güvenliğini denetleyin (her çeyrek/yılda bir)
• ☐ Çalışanları GDPR gereklilikleri konusunda eğitin
• ☐ Mevzuat ve yargı uygulamalarındaki güncellemeleri takip edin

Sonuç

Web scraping'de GDPR uyumu, iş için bir engel değil, hem sizin hem de kullanıcıların korunmasını sağlayan bir dizi kuraldır. Ana ilkeler: yalnızca gerekli verileri toplayın, yasal dayanağı gerekçelendirin, toplanan bilgileri koruyun ve talep üzerine verileri silmeye hazır olun. İhlaller için cezalar €20 milyon'a kadar çıkabilir, ancak makalede açıklanan uygulamalara uyarak bunlardan tamamen kaçınabilirsiniz.

Doğru araçların kullanımı — proxy, şifreleme, silme otomasyonu — riskleri azaltır ve gerekliliklere uyumu kolaylaştırır. Her adımı belgeleyin: hangi verileri topladığınızı, neden, nasıl sakladığınızı. Bu, yalnızca cezalardan korumakla kalmaz, aynı zamanda müşterilerin ve ortakların güvenini artırır.

Eğer AB vatandaşlarının kişisel verilerini işleyen büyük ölçekli bir web scraping planlıyorsanız, GDPR konusunda uzman bir avukata danışmanızı öneririz. Projenin başlangıcında uyum için yapılan yatırımlar, ihlallerdeki cezalardan ve itibar kaybından çok daha düşük maliyetlidir.

Güvenli ve anonim bir web scraping için rezidans proxy'leri kullanmanızı öneririz — bunlar yüksek düzeyde anonimlik sağlar, engellenme riskini minimize eder ve veri minimizasyonu ilkelerine uymanıza yardımcı olur. Şeffaf bir gizlilik politikası ve DPA imzalamaya istekli sağlayıcıları tercih edin.