Ajan web scraping, 2026 yazının en önemli kaymasıdır. Bir yıl önce bir parser oluşturmak, CSS seçicilerini manuel olarak yazmak, sayfalama ile başa çıkmak ve her site yeniden tasarlandığında kodu düzeltmek anlamına geliyordu. Şimdi AI ajanına bir bağlantı ve hedef kelimelerle vermek yeterli: "bu siteden ürünlerin isimlerini ve fiyatlarını topla" — ve o, sayfaları dolaşarak yapıyı tanır ve hazır bir scraper oluşturur. Haziran 2026'nın başında Bright Data, URL ve metin görevine göre bir ajanı kamuya tanıttı: URL'yi ve metin görevini kullanarak siteyi araştırıyor, isimler, fiyatlar ve seçiciler gibi alanları buluyor ve ardından tam bir Python scraper'ı üretiyor. Daha önce saatler ve günler süren süreçler, dakikalar içinde tamamlanıyor.
Ancak bu devrimin bir de karanlık tarafı var; pazarlama videoları buna değinmiyor: parser yazmak artık kolaylaştı, ancak çalıştırmak hâlâ zor. Ajan, sıradan bir script ile aynı duvara çarpıyor: IP, TLS parmak izi ve davranış tespiti. Gerçekten neyin değiştiğini, yeni sınırın nerede geçtiğini ve neden proxy'lerin ajan çağında yok olmadığı, aksine daha kritik hale geldiğini inceleyelim.
Ne değişti: ajan ile script arasındaki fark
Klasik bir scraper, katı bir talimatı takip eder: adrese git, seçici ile değeri al, sayfayı çevir. Herhangi bir düzen değişikliğinde bozulur. AI ajanı ise farklı çalışır — "sayfayı gözlemler, yapısı hakkında düşünür ve verileri dinamik olarak nasıl çıkaracağını belirler." Tasarım değiştiğinde, ajan, manuel düzeltme olmadan çıkarım mantığını anında yeniden tanımlar.
Rakamlar bu heyecanı açıklıyor. McGill Üniversitesi'nin araştırmasına göre, AI yöntemleri, sayfa yapısı değiştiğinde bile %98,4 doğruluk sağladı ve ayarlama süresi haftalardan saatlere düştü. Bir kurumsal vakada, bir şirket 15 manuel scraper'ı tek bir AI sistemi ile değiştirdi: doğruluk %71'den %96'ya yükseldi ve ilk yıl maliyetleri 4,1 milyon dolardan 270 bin dolara düştü. Çalışma yapısı da değişiyor: daha önce zamanın %20'si geliştirmeye, %80'i desteğe harcanırken, Kadoa'nın 2026 yılı tahminlerine göre, ekipler artık verileri kullanmaya %95'e kadar zaman harcıyor, parser'ları onarmak yerine.
Pazar, parayla yanıt veriyor. Web scraping yazılımı, 2025 yılında 1,03 milyar dolar olarak değerlendirildi ve 2035 yılına kadar 2,7 milyar dolara ulaşması bekleniyor — ve bu, yaklaşık %70'inin öncelikle scraping ile toplanan verilerle eğitildiği göz önüne alındığında. Veriler, AI'nin yakıtı; ajanlar ise yeni pompa.
Kaputun altındaki yeni araçlar
"AI kendisi parser yazacak" ifadesinin arkasında somut projeler var: ScrapeGraphAI ve Crawl4AI gibi niyet tabanlı çıkarım kütüphaneleri, hazır MCP sunucularıyla Apify ve Firecrawl platformları. 2026'da ajanlar dört biçim aldı: orkestratörler (LangChain, CrewAI, LangGraph), tarayıcı eylem ajanları (Browser Use, Stagehand), Claude ve OpenAI'den Computer Use ve Claude Code ile Gemini CLI gibi CLI yardımcıları. Farklı arayüzler — tek bir ortak ihtiyaç: canlı sitelere güvenilir erişim.
MCP — veriler için yeni "priz" standardı
Yılın ana teknik kayması — Model Context Protocol (MCP). Bu, ajanın dış araçları hazır "prizler" gibi çağırdığı bir protokoldür: scraper, parser, captcha çözücü. Sağlayıcılar, ajana scrape, extract ve screenshot gibi komutlar veren MCP sunucuları sunar ve o, çok aşamalı veri toplama sürecini doğal dilde orkestre eder — XPath, CSS seçicileri ve çerçeve öğrenimi olmadan. Bright Data, Apify, Firecrawl ve diğerleri zaten MCP uyumlu scraper'lar sunuyor; kendini onaran hatlar, site değiştiğinde arızayı kendiliğinden teşhis edip onarıyor.
Bu, manuel scraping çağının sonunu işaret ediyor gibi görünüyor. Ancak pratikte MCP, karmaşıklığı bir alt seviyeye taşıyor. Mühendislerin dürüstçe ifade ettiği gibi: "web scraping, canlı sitelerle ilgili her ajanın taşıyıcı katmanıdır." Ve taşıyıcı katman, tüm ağırlığı taşır — bot koruma dahil.
Ajan aynı duvara çarptı
Otomatik trafik, internet üzerindeki tüm isteklerin yaklaşık yarısını oluşturuyor ve koruma buna uygun olarak arttı. Cloudflare, bot yönetimi ile kamu webinin yaklaşık %20'sini koruyor; DataDome, kendi platformlarında %99'dan fazla yetkisiz otomatik trafiği engellediğini bildiriyor. Bu sistemler, isteği bir insan, script veya en akıllı ajan yazıp yazmadığına bakmaksızın, sinyallere odaklanıyor.
Beş sinyal var ve bunlar katmanlar halinde çalışıyor:
- IP itibarı — veri merkezi ve VPN adresleri anında işaretlenir, yerel adresler daha uzun süre dayanır.
- TLS parmak izi (JA3/JA4) — Python
requestsgibi HTTP istemcilerinin karakteristik bir el sıkışma imzası vardır, bu da WAF tarafından kolayca görülür. - Tarayıcı parmak izi — Canvas, WebGL ve navigator özellikleri headless modunu açığa çıkarır.
- Davranış — ani istekler ve doğal olmayan zamanlama engellemeyi tetikler.
- Captcha — risk odaklı reCAPTCHA ve hCaptcha zorlukları.
Burada ajan çağının tuzağı yatıyor. Ajan mükemmel bir şekilde kod üretiyor, ancak ağda aynı istemci ile dolaşıyor. Buradan, pazarlamanın yarısını sıfırlayan bir kural çıkar: "Python requests parmak izi ile yerel proxy, TLS hassas hedeflerde başarısız olacaktır". Cloudflare, JavaScript'in çalıştırılmasını ve gerçek bir tarayıcı TLS yığınını gerektiriyor — "çıplak" HTTP kütüphaneleri onunla çalışmaz. Tespit neden kimliklerin oyunu haline geldi ve sadece IP değil, bunu JA4 ve TLS parmak izi konulu makalede detaylı bir şekilde inceledik — ajanlar bu sınırı kaldırmadı, sadece daha belirgin hale getirdi.
Yeni bir düzenleyici katman ekleyin. Temmuz 2026'da Cloudflare, botları üç kategoriye ayırdı — arama, ajan ve eğitim — ve 15 Eylül'den itibaren varsayılan olarak agent ve training'i para kazanılabilir sayfalarda engelliyor. Yani, mükemmel bir şekilde ajan tarafından üretilen bir parser, artık varsayılan olarak webin beşte birinde kapalı bir kapıyla karşılaşıyor.
Neden proxy'ler ajan çağında yok olmuyor, aksine değerleniyor
Sonuç, "AI her şeyi kendisi yapacak" diyenler için paradoksal: üst katman (kod üretimi) ne kadar akıllı olursa, alt katman (ağa erişim) o kadar önemli hale geliyor. Erişim maliyeti, 1000 sayfa için piyasa aralığında iyi bir şekilde görünür: basit hedefler (bloglar, belgeler) — neredeyse ücretsiz; orta karmaşıklıkta e-ticaret — 3-10 dolar; LinkedIn ve Cloudflare arkasındaki siteler gibi zor hedefler — 8-20 dolar; captcha ile en korumalı olanlar, Amazon gibi — 15-30 dolar. Farkı yaratan ajan değil, erişim altyapısının kalitesidir: proxy türü, gerçek tarayıcı yığını, döngü ve davranış.
Ajan için proxy seçimi aynı kalıyor, sadece bahisler yükseliyor:
- Yerel proxy'ler — Cloudflare/DataDome arkasındaki hedefler için temel: gerçek ev IP'leri, veri merkezi hemen kesildiğinde itibarı geçer.
- Mobil proxy'ler — sosyal medya ve toplayıcılar için maksimum güvenilirliğe sahip operatör IP'leri, burada itibar her şeyi belirler.
- Veri merkezi proxy'leri — basit hedefler ve büyük görevler için hızlı ve ucuz, burada sert bir anti-bot yok: pahalı yerel trafiği, veri merkezinin yeterli olduğu yerlerde harcamayın.
Ve ajanların beraberinde getirdiği ayrı bir maliyet kalemi: kontrolsüz döngüler. Ajan "düşünürken" ve siteyi kendisi dolaşırken, döngü, çalıştırma maliyetinin ana itici gücü haline geliyor — sayfaları döngüye alabilir ve hem modelin tokenlerini hem de proxy trafiğini tüketebilir. Buradan pratik: modelleri ham HTML yerine markdown olarak vermek (daha az token), çıkarımlar arasında yanıtları önbelleğe almak ve dolaşım derinliğini katı bir şekilde sınırlamak.
Pratikte bu ne anlama geliyor
2026'da ajanlar üzerinde veri topluyorsanız, her biri kendi başına kırılabilen dört bağımsız katmanı aklınızda bulundurun: stabil yükleme, yapılandırılmış gözlem, dayanıklı oturumlar ve araç entegrasyonu. Ajan üst katmanları kapatır — sayfanın anlaşılması ve mantığın üretilmesi. Alt iki katman — ağ ve kimlik — sizin sorumluluğunuzda:
- Ajanı gerçek bir tarayıcı üzerinden yönlendirin (Playwright, Puppeteer), çıplak bir HTTP istemcisi üzerinden değil — ancak bu şekilde TLS parmak izi gerçek Chrome ile eşleşir.
- Hedefe uygun proxy türünü seçin, "her şeye yerel" yerine: bu, yukarıdaki aralıkta bütçeyi doğrudan keser.
- Veri doğrulama için bir insan bırakın — rol, seçicilerin onarımından kalite kontrolüne kaydı, ancak kaybolmadı.
- Dolaşım derinliği ve döngüler için sınırlar koyun — aksi takdirde "akıllı" ajan, fark edilmeden sonsuz dolaşımda bütçeyi tüketebilir.
Sonuç
2026, parser yazmayı neredeyse ücretsiz hale getirdi: AI ajanı tek bir cümle ile bir konveyör inşa edip onarıyor, MCP, toplama araçlarını standart "prizler" haline getirdi ve kod desteği ana acı noktasını kaybetti. Ancak tespit ortadan kalkmadı — IP, TLS ve davranışa bakıyor ve ajanın, on yıl önceki script ile aynı kapılardan geçmesi gerekiyor. Bu nedenle gerçek rekabet sınırı aşağıya kaydı: daha akıllı ajan değil, daha temiz kimlik ve göreve uygun proxy altyapısına sahip olan kazanıyor. Üst katman bir ürün haline geldi — değer, taşıyıcı katmana gitti.