1 Temmuz 2026'da Cloudflare, ikinci "İçerik Bağımsızlığı Günü"nü düzenledi ve ilk kez AI ajanlarını ayrı bir bot kategorisi olarak resmi olarak tanıttı. Artık trafik üç sınıfa ayrılıyor - Search, Agent ve Training - ve 15 Eylül 2026'dan itibaren reklam içeren sayfalarda Agent ve Training kategorilerindeki botlar varsayılan olarak engellenecek. Paralel olarak, mahkemeler ve büyük perakendeciler, Perplexity Comet ve ChatGPT Atlas gibi "ajan tarayıcılar" için kapılarını kapatmaya başladı. Ajan web ile neler olduğunu ve neden konut proxy'leri olmadan otonom AI asistanlarının giderek daha fazla duvara çarptığını anlamaya çalışıyoruz.
Ne oldu: botların üçüncü bir kastı ortaya çıktı
Daha önce web, sayfaları indeksleyen arama tarayıcıları ve modelleri eğitmek için içerik çeken eğitim tarayıcıları olmak üzere iki tür otomatik trafiği biliyordu. 2026'da bunlara üçüncü bir tür eklendi - ajan. Cloudflare, ağından geçen toplam web trafiğinin yaklaşık %20'sini yönettiği için buna kesin bir tanım getirdi: bu, "genellikle gerçek zamanlı olarak bir insan adına bir şey yapmak için hareket eden otomatikleşmiş bir davranıştır".
Bu tanıma, kullanıcı isteği üzerine güncel bilgileri çeken fetch botları (örneğin, ChatGPT-User) ve gerçek Chrome'u yöneten tam kapsamlı tarayıcı ajanları - Gemini veya Claude - dahildir. Yeni politikanın mantığı basit: reklam, web sitesi sahibinin sayfayı bir insana göstermek ve dikkatini paraya dönüştürmek istediğinin sinyalidir. Bu nedenle, Cloudflare, bu dikkat kaynağını ortadan kaldıran botları - eğitim ve ajan - varsayılan olarak engelliyor.
Tarihleri aklınızda bulundurun: değişiklikler 15 Eylül 2026'da yürürlüğe girecek ve Cloudflare'a bağlanan yeni alan adlarını etkileyecek. Search botları hala izinli kalacak - web sitelerinin arama motorlarından trafiğe ihtiyacı var. Ancak Googlebot gibi çok amaçlı tarayıcılar, tüm rollerinin toplamına göre değerlendirilecek: site sahibi eğitim engellemesini etkinleştirdiğinde, bu tür karışık bot da tamamen engellenecek.
Ajan tarayıcılar: İki yılda kimler sahneye çıktı
2025'in başlarında "AI'lı tarayıcı" bir deney olarak görülüyordu. 2026'nın ortalarında ise, kendi başlarına tıklayan, kaydıran, formları dolduran ve alışveriş yapan otonom asistanlarla dolu bir pazar haline geldi. Anahtar oyuncular:
- Perplexity Comet - Temmuz 2025'te başlatıldı, ücretsiz, masaüstü, Android ve iOS'ta çalışıyor;
- ChatGPT Atlas OpenAI'den - Ekim 2025, abonelikle, ayrı bir "Agent Mode" ile;
- Chrome + Gemini - Google'dan entegrasyon, Ocak 2026, AI Pro ve Ultra aboneleri için;
- Claude for Chrome - mevcut tarayıcıya eklenti, Ağustos 2025;
- Edge Copilot Mode - Microsoft'un ücretsiz modu, Temmuz 2025;
- Opera Neon - Eylül 2025, Aralık'ta halka açık sürüm, aylık yaklaşık 19,90 $ abonelik.
Hepsi benzer şekilde çalışıyor: ajan, ekran görüntüleri ve giriş komutları aracılığıyla arayüzü yönetiyor - sayfayı "görüyor", tıklıyor, yazıyor ve bağlantılara sizin yerinize geçiyor. İşte bu insan benzeri mekanizma, onları anti-bot sistemleri için baş ağrısı haline getiriyor: resmi olarak bir API'yi çeken bir tarayıcı değil, arkasında canlı bir kullanıcının isteği olan gerçek bir tarayıcı oturumu. Google, 2026 Mart'ında, web sitesi sahiplerinin bu tür istekleri loglarda ayırt edebilmesi için ayrı bir Google-Agent kimliği bile getirdi.
Mahkemeler artık web sitelerinin yanında
Cloudflare ayarları dağıtırken, ajanlar etrafındaki çatışma mahkemelere taşındı. En dikkat çekici dava - Amazon'un Perplexity'ye karşı davası. Amazon, 2025'in Kasım ayında, start-up'ı, AI ajanlarının doğasını "gizlemeye" çalışmakla suçlayarak dava açtı ve bu şekilde perakendecinin web sitesinden izinsiz veri çekmeye devam etti.
10 Mart 2026'da yargıç Maxine Chesney, Amazon'un tarafında yer aldı. Kararda, şirketin "ikna edici kanıtlar" sunduğu belirtiliyor: Comet tarayıcısı, kullanıcının talimatıyla web sitesine girdi, ancak perakendeciden "yetki almadan". Amazon'a göre, Comet, otomatik doğasını gizleyerek kendisini canlı bir alıcı gibi gösterdi ve tespit sistemlerinden geçmek için gizlice hareket etti. Amazon, Comet'in iç müşteri verilerine erişimini engellemek için geliştirdiği araçlar için 5.000 $'dan fazla harcama yaptığını bile belgelendirdi. Perplexity ise, "internet kullanıcılarının istedikleri herhangi bir AI'yı seçme hakkı için savaşmaya devam edeceğini" açıkladı.
Amazon, mahkemeler olmadan da harekete geçiyor. robots.txt dosyası aracılığıyla, perakendeci ChatGPT-User ve OAI-SearchBot (SearchGPT motoru) botlarının erişimini kapattı ve daha önce eğitim amaçlı GPT-botunu da engelledi. Meta, Google ve Perplexity ile ilişkili tarayıcılar da hedef alındı. Ironik olan, OpenAI'nin aynı zamanda kendi ticaret hunisini inşa etmesidir: Instant Checkout işlevi, artık Walmart, Etsy, Shopify ve Target'tan ürün satın almayı mümkün kılıyor. Perakendeciler, AI aracılığıyla kendi şartlarında satış yapmak istiyorlar ve başkalarının ajanlarının vitrinlerinde kontrolsüz bir şekilde dolaşmasını istemiyorlar.
Web siteleri ajanı nasıl tespit ediyor - ve neden IP her şeyi çözmüyor
Ajanı yalnızca user-agent adıyla engellemek naif: bu kolayca taklit edilebilir. Bu nedenle, Cloudflare ve benzeri hizmetlerin anti-bot yığını, sinyallerin toplamına bakıyor ve burada otonom tarayıcılar zor durumda kalıyor:
- Headless tarayıcının parmak izi. Headless ortam, ekran çözünürlüğü 0x0, kurulu fontların olmaması, "SwiftShader" olarak rapor edilen bir GPU gibi tutarsızlıklarla kendini gösteriyor. Gerçek kullanıcılar böyle görünmez - ve bu, milisaniyeler içinde yakalanır.
- TLS parmak izi. Mükemmel HTTP başlıkları ile bile, TLS el sıkışması, tarayıcının beyan edilen kimliği ile bağlantının gerçek özellikleri arasında bir kopma gösterir. Bu vektörü JA4 ve TLS parmak izi üzerine yazdığımız makalede ayrıntılı olarak ele aldık - bugün bu, tespit için en önemli araçlardan biridir.
- Davranışsal analiz. İnsan kaydırma yaparken duraklamalarla hareket eder, fareyi mükemmel bir şekilde hareket ettirmez. Ajan ise "acımasız robotik verimlilikle" hareket eder - sayfayı milisaniyeler içinde yükler ve verileri anında çıkarır, bu da onu ele verir.
- IP itibarı. AWS, Google Cloud, Azure gibi bulut sağlayıcılarının aralıkları uzun zamandır "bot yöneticisi" olarak kataloglanmış ve itibar filtrelerinde ağır cezalar alıyor, diğer parmak izi ne kadar temiz olursa olsun.
İşte burada proxy devreye giriyor. IP itibarı, veri merkezi adresinden başlatılan bir ajan için çarpıştığı ilk engeldir. Konut proxy'leri, gerçek ev cihazlarının IP adreslerini sunar ve ajan trafiği, sunucu rafından gelen bir istek gibi görünmeyi bırakır. Mobil senaryolar için - sosyal medya, sert tespit yapan uygulamalar - iletişim operatörlerinin IP'leri ile mobil proxy'ler daha güvenilir bir seçenektir. Veri merkezi adresleri bu arada kaybolmaz: itibar açısından duyarsız görevler için veri merkezi proxy'leri, konut proxy'lerinin sunamayacağı hız ve fiyatı sağlar.
Önemli bir not: proxy yalnızca bir katmandır
Konut IP'si yalnızca dört engelden birini kaldırır. Eğer ajan hâlâ "SwiftShader" parmak izi ile headless tarayıcıda çalışıyorsa ve robot gibi davranıyorsa, temiz IP onu kurtaramaz - tespit diğer sinyallerden oluşacaktır. 2026'nın çalışan kombinasyonu, "proxy veya anti-tespit" değil, hepsidir: konut veya mobil çıkış düğümü, tarayıcı ve TLS parmak izini gerçek bir cihaza maskelemek ve insan benzeri eylem zamanlaması. Veri çekme ve otomasyon, nihayetinde kimlikler oyunu haline geldi, adresler değil.
Bu pratikte ne anlama geliyor
Otonom tarayıcılar üzerinde otomasyon inşa eden işletmeler ve geliştiriciler için sonuçlar şunlardır:
- 15 Eylül - soyut bir tarih değil. Eğer ajanlarınız reklam içeren web sitelerine gidiyorsa, bunların bir kısmının içerik yerine geçici sayfalar vermeye başlayacağını hazırlıklı olun. Altyapınızı önceden planlayın.
- Veri merkezi ajanı - bir numaralı hedef. İlk yapmanız gereken, ajan trafiğini bulut aralıklarından konut veya mobil IP'lere çıkarmaktır. Bu, kitlesel yasaklamalardan sonra mantığı yeniden yazmaktan daha ucuzdur.
- Hukuki risk gerçektir. Amazon'un Perplexity'ye karşı davası gösteriyor ki, ajanın insan gibi "maskelenmesi" gri bir alan değil, mahkemede bir argümandır. Kritik olan yerlerde robots.txt'e saygı gösterin ve otomasyonu, bunu açıkça yasaklayan web sitelerinde canlı bir kullanıcı olarak göstermeyin.
- Resmi kanallar büyüyor. Instant Checkout ve perakendecilerle AI ortaklıkları, bazı ajan senaryolarının yasal API'lere geçeceğinin sinyalini veriyor. Ancak şu anda kapsama parçalı, otonom ajanların, yarısı onları beklemeyen bir dünyada yaşamaları gerekecek.
Sonuç
Ajan web, artık sunumlardan bir kavram değil, web sitelerinin filtrelemeyi öğrendiği ve istediği gerçek bir trafik haline geldi. Cloudflare, sahiplerine bir güç sağladı, mahkemeler bir emsal oluşturdu, perakendeciler örnek verdi. Otonom AI asistanları için bu bir mahkumiyet değil, ama net bir sinyal: ajanın hedefe ulaşabilmesi için her seviyede - çıkış IP'sinden tıklama zamanlamasına kadar - insan gibi görünmesi gerekiyor. Konut ve mobil proxy'ler burada bir lüks değil, diğer tüm hilelerin çalışmadığı temel bir katmandır. Web, ajanlara tamamen kapanmıyor - sadece "ben bir botum" tabelasıyla gelenleri almıyor.