Cloudflare, AI tarayıcıları etrafında vidaları sıkmaya devam ediyor. Şirket, ağından geçen toplam web trafiğinin yaklaşık %20'sini yöneten, 15 Eylül 2026'dan itibaren "karışık" (mixed-use) tarayıcıların varsayılan olarak reklam ve para kazanılan sayfalarda engelleneceğini duyurdu — bu, tüm yeni müşteriler ve mevcut hesaplardaki tüm yeni siteler için geçerli olacak. Aynı zamanda, botların içeriğe erişimi için bir ücretli hizmet haline gelen Pay Per Crawl modeli genişletiliyor. Veri toplayan herkes için bu, yayıncılarla ilgili soyut bir haber değil — açık webin "gri alanının" bir adım daha daraldığını gösteren doğrudan bir sinyal.
Cloudflare neyi duyurdu?
Temel yenilik, "karışık kullanım tarayıcısı" kavramıdır. Cloudflare, hem arama indeksleme hem de AI modellerinin eğitimi için veri toplayan botlara bu ismi veriyor. Daha önce bu tür tarayıcılar "arama" botu olarak geçiyor ve içerik için trafik karşılığında erişim sağlıyordu. Artık Cloudflare bu anlaşmayı bozuyor: Eğer bir site reklam gelirleri elde ediyorsa, karışık tarayıcı varsayılan olarak para kazanılan sayfalara alınmayacak.
Bu, yönetilen robots.txt kuralları ve güncellenmiş bot yönetimi heuristikleri aracılığıyla teknik olarak uygulanıyor. Site sahibi, hiçbir şey yazmak zorunda kalmadan — Cloudflare, listeleri ve mantığı kendisi destekliyor. Yeni siteler için başlangıç tarihi 15 Eylül 2026; mevcut projeler isteğe bağlı olarak engellemeyi etkinleştirebilecek.
Şirketin pozisyonunu CEO'su Matthew Prince özetledi: "Artık internetteki trafiğin çoğu insan değilse, sürdürülebilir bir ekosistem oluşturmak için daha kararlı ve hızlı hareket etmeliyiz." Değişiklikler, Associated Press, Time, The Atlantic ve Reddit gibi büyük yayıncılar tarafından kamuoyunda desteklendi — yani içeriklerinin ücretsiz bir şekilde çekilmesinden en çok etkilenen büyük yayıncılar.
Her şeyi açıklayan rakamlar
Altyapı sağlayıcısının neden AI şirketleriyle savaşa girdiğini anlamak için, Cloudflare'ın sunduğu "geçişlere karşı tarama oranı" (crawl-to-referral) oranına bakmak yeterli:
- Google — 14:1. Arama motoru, her 14 sayfa taramasına karşılık siteye bir canlı ziyaretçi gönderiyor. Katlanılabilir: bu, "biz içerik alıyoruz, siz trafik alıyorsunuz" eski anlaşması.
- OpenAI — 1,700:1. 1700 taramaya karşılık bir geçiş. Değişim artık eşit değil.
- Anthropic — 73,000:1. Bir geçiş için yetmiş üç bin tarama. Aslında içerik çekiliyor, ama bunun karşılığında hiç trafik yok.
Bu asimetri, "varsayılan olarak açık" web modelini kırdı. Analistlerin doğru bir şekilde ifade ettiği gibi: "Web, daha önce kapatmadığınız sürece açıktı, şimdi önemli bir kısmı açmadığınız sürece kapalı." Bu, varsayılan ilkenin 180 derece dönüşü — ve bu sadece AI laboratuvarlarına değil, aynı zamanda aynı şeye maruz kalan herhangi bir otomatik veri toplayıcıya da darbe vuruyor.
Pay Per Crawl: erişim bir mal haline geliyor
Duyurunun ikinci kısmı, Cloudflare'ın 1 Temmuz 2025'te özel beta olarak başlattığı Pay Per Crawl modelinin genişletilmesidir. Mantık basit: "izin ver / engelle" ikiliği yerine, yayıncıya üçüncü bir seçenek sunuluyor — her tarama için ücret almak. Site sahibi kendi tarifesini belirliyor ve AI şirketi buna göre ödeme yapıp yapmamaya karar veriyor. Cloudflare, botun kimliğini doğrulayan ve hesaplamaları yapan bir aracı olarak görev alıyor.
Pazar için bu, tektonik bir kayma. Yıllarca "ücretsiz, çünkü kamuya açık" olarak kabul edilen veriler, fiyat etiketi olan bir ücretli kaynağa dönüşüyor. Ve Cloudflare bu modeli ne kadar genişletirse, sözleşme imzalamaya ve per tarama ödemeye istekli olmayanlar için içeriklere yasal, "görkemli" erişim o kadar pahalı ve karmaşık hale geliyor.
Bunun proxy ve scraping ile ilişkisi nedir?
Burada ana pratik sonuç bulunuyor. Büyük platformlar, "dürüst" tarayıcılar için User-Agent üzerinden kapıları kapattığında, talep kaçınılmaz olarak trafiği insanlardan ayırt edilemez hale getiren araçlara kayıyor. Analitik şirketi Synthient'in kurucusu Ben Brandidge, "AI kesinlikle, görünüşe göre, yerleşik proxy'lere olan talebi artırıyor" diye açıkça belirtiyor — çünkü şirketler, scraping araçlarının engellerini aşmanın bir yolunu arıyorlar.
Bu gölgeli katmanın ölçeği zaten etkileyici. IPInfo verilerine göre, yalnızca altı izlenen sağlayıcıda 90 gün içinde neredeyse 79 milyon benzersiz IP tespit edildi. Ayrıca, pazar oldukça iç içe geçmiş durumda: yaklaşık %46 yerleşik proxy adresi aynı anda birkaç sağlayıcının havuzlarında mevcut, ve bazı IP'ler yüzden fazla farklı hizmette ortaya çıkıyor. Bu, "ucuz yerleşik proxy"nin aslında, daha önce onlarca farklı kampanyada görünmüş olan aynı yeniden satılmış adres olabileceği ve kara listelere girmiş olabileceği anlamına geliyor.
Daha önce de yazdığımız gibi, veri toplama üzerindeki düzenleyici baskı, teknik baskıyla paralel olarak artıyor: 2 Ağustos 2026'da yürürlüğe girecek EU AI Act, robots.txt ve modellerin eğitimi için opt-out'a önem veriyor. Cloudflare'ın hamlesi, aynı eğilimin teknik yarısıdır: hukuki ve altyapısal engeller birleşiyor ve "sadece bir veri merkezi IP'si ile GET isteği göndermek" giderek daha az etkili hale geliyor.
Veri toplayıcıların ne yapması gerekiyor?
Paniklemek için erken, ancak teknoloji yelpazesini gözden geçirmek için en uygun zaman. Önümüzdeki aylara yönelik birkaç pratik ipucu.
- Koruma seviyesine göre görevleri ayırın. Açık, zayıf korumalı kaynaklar için hala hızlı ve ucuz veri merkezi proxy'leri yeterlidir. Bunlar için yerleşik trafiği harcamak — boşa para harcamaktır.
- Cloudflare altında olan siteler için yerleşik IP alın. Hedef, bot yönetimi aracılığıyla istekler gönderdiğinde, gerçek ev sağlayıcılarının yerleşik proxy'leri kurtarıcıdır: bunların davranışı varsayılan olarak insani olarak kabul edilir. Anahtar, havuzun mutlak boyutu değil, temizliği ve diğer hizmetlerle düşük kesişim oranıdır.
- Mobil IP'ler — en zorlu hedefler için. Sosyal medya ve agresif anti-bot yapısına sahip platformlar, mobil proxy'ler aracılığıyla daha iyi geçer: bir operatörün arkasında binlerce canlı abone bulunduğundan, platformun onu tamamen engellemesi karlı değildir.
- "Hacim" değil, "hayatta kalma" hesaplayın. Cloudflare'ın "varsayılan olarak kapalı" modeline geçişiyle birlikte, kalite metriği gigabaytlar değil, yasaklanmadan başarıyla toplanan sayfaların oranı haline geliyor. %46 kesişim oranına sahip ucuz yeniden satılmış bir havuz, güzel bir trafik rakamı verirken başarısız bir başarı oranı sunar.
- Kurallara uyun, nerede varsa. Eğer bir kaynak resmi bir API veya Pay Per Crawl koşulları sunuyorsa, bu genellikle istikrarlı üretim hatları için daha ucuz ve güvenilirdir. Proxy, kamu verileri için bir araçtır, doğrudan sözleşmeli yasakları aşmak için değil.
Sonuç
Cloudflare'ın adımı, tek seferlik bir haber değil, sistematik bir dönüşümün parçasıdır: web, "kapalı kalana kadar açık" modelinden "açılana kadar kapalı" modeline geçiyor. 73,000:1 gibi oranlar, bunun neden kaçınılmaz olduğunu gösteriyor ve Pay Per Crawl, veri erişimini fiyat etiketi olan bir mal haline getiriyor. Scraping için bu, bir dönemin sona erdiği anlamına geliyor: veri merkezi IP'si ve User-Agent başlığı yeterli olmaktan çıkıyor. Kazananlar, önceden temiz yerleşik ve mobil ağlarda veri toplamaya yönelenler olacak ve trafik hacmini değil, gerçekten hayatta kalan veri oranını hesaplayacaklar. Engeller yalnızca artacak — ve proxy altyapısının kalitesi, verileri alıp almayacağınızın belirleyici faktörü haline geliyor.