1 Juli 2026, Cloudflare mengadakan "Hari Kemerdekaan Konten" kedua dan untuk pertama kalinya secara resmi mengklasifikasikan agen AI ke dalam kategori bot yang terpisah. Sekarang lalu lintas dibagi menjadi tiga kelas — Search, Agent, dan Training — dan mulai 15 September 2026, bot dari kategori Agent dan Training akan diblokir secara default di halaman yang memiliki iklan. Sementara itu, pengadilan dan pengecer besar sudah menutup pintu mereka terhadap "browser agen" seperti Perplexity Comet dan ChatGPT Atlas. Mari kita bahas apa yang terjadi dengan web agen dan mengapa tanpa proxy residensial, asisten AI otonom semakin sering terjebak dalam masalah.
Apa yang Terjadi: Bot Mendapat Kasta Ketiga
Sebelumnya, web mengenal dua jenis lalu lintas otomatis: crawler pencarian yang mengindeks halaman, dan crawler pelatihan yang mengambil konten untuk melatih model. Pada tahun 2026, mereka ditambahkan dengan yang ketiga — agen. Cloudflare, melalui jaringannya yang menangani sekitar 20% dari seluruh lalu lintas web, memberikan definisi yang tepat: ini adalah "perilaku otomatis yang bertindak, biasanya dalam waktu nyata, atas nama seseorang, untuk melakukan sesuatu saat ini juga".
Definisi ini mencakup bot fetch dari asisten chat (misalnya, ChatGPT-User, yang menarik informasi terbaru berdasarkan permintaan pengguna) dan agen browser penuh — Gemini atau Claude, yang mengendalikan Chrome yang sebenarnya. Logika kebijakan baru ini sederhana: iklan adalah sinyal bahwa pemilik situs ingin menunjukkan halaman kepada manusia dan memonetisasi perhatiannya. Oleh karena itu, di halaman yang dapat dimonetisasi, Cloudflare secara default memblokir bot yang menghilangkan perhatian ini — baik bot pelatihan maupun agen.
Tanggal yang perlu diingat: perubahan ini mulai berlaku 15 September 2026 dan berlaku untuk domain baru yang terhubung ke Cloudflare. Bot pencarian tetap diizinkan — situs masih memerlukan lalu lintas dari mesin pencari. Namun, crawler multifungsi seperti Googlebot akan dinilai berdasarkan semua perannya secara keseluruhan: jika pemilik situs mengaktifkan pemblokiran pelatihan — maka bot campuran seperti itu akan diblokir sepenuhnya.
Browser Agen: Siapa yang Masuk Lapangan dalam Dua Tahun
Masih di awal 2025, "browser dengan AI" terdengar seperti eksperimen. Pada pertengahan 2026, ini sudah menjadi pasar yang penuh sesak dengan asisten otonom yang dapat mengklik, menggulir, mengisi formulir, dan melakukan pembelian sendiri. Pemain kunci:
- Perplexity Comet — diluncurkan pada Juli 2025, gratis, bekerja di desktop, Android, dan iOS;
- ChatGPT Atlas dari OpenAI — Oktober 2025, berlangganan, dengan "Mode Agen" terpisah;
- Chrome + Gemini — integrasi dari Google, Januari 2026, untuk pelanggan AI Pro dan Ultra;
- Claude for Chrome — ekstensi untuk browser yang sudah ada, Agustus 2025;
- Edge Copilot Mode — mode gratis dari Microsoft, Juli 2025;
- Opera Neon — September 2025, rilis publik pada bulan Desember, berlangganan sekitar $19,90 per bulan.
Semua ini bekerja dengan cara yang mirip: agen mengendalikan antarmuka melalui tangkapan layar dan perintah input — "melihat" halaman, mengklik, mengetik, dan mengunjungi tautan atas nama Anda. Justru mekanika yang menyerupai manusia inilah yang menjadikannya masalah bagi sistem anti-bot: secara formal ini bukan crawler yang menarik API, melainkan sesi browser nyata yang didukung oleh permintaan pengguna hidup. Google bahkan memperkenalkan identifikasi terpisah Google-Agent pada Maret 2026, agar pemilik situs dapat membedakan permintaan semacam itu dalam log mereka.
Pengadilan Sudah di Sisi Situs
Sementara Cloudflare memberikan pengaturan, konflik seputar agen telah sampai ke pengadilan. Kasus yang paling mencolok adalah Amazon melawan Perplexity. Amazon mengajukan gugatan pada November 2025, menuduh startup tersebut sengaja "menyembunyikan" sifat agen AI mereka untuk terus mengakses situs pengecer tanpa izin.
Pada 10 Maret 2026, hakim Maxine Chesney memihak Amazon. Dalam putusannya, dikatakan bahwa perusahaan telah memberikan "bukti yang meyakinkan": browser Comet mengakses situs atas perintah pengguna, tetapi "tanpa otorisasi" dari pengecer. Menurut versi Amazon, Comet "menyembunyikan" sifat otomatisnya, berpura-pura menjadi pembeli hidup untuk bisa lolos dari sistem deteksi. Amazon bahkan mendokumentasikan pengeluaran — lebih dari $5.000 untuk mengembangkan alat yang memblokir Comet dari akses ke data pelanggan internal. Perplexity sebagai tanggapan menyatakan bahwa mereka "akan terus berjuang untuk hak pengguna internet untuk memilih AI mana pun yang mereka inginkan".
Amazon bertindak bahkan tanpa pengadilan. Melalui file robots.txt, pengecer menutup akses untuk bot ChatGPT-User dan OAI-SearchBot (mesin SearchGPT), dan sebelumnya — untuk GPT-bot pelatihan. Crawler yang terkait dengan Meta, Google, dan Perplexity juga terkena dampak. Ironisnya, OpenAI secara bersamaan membangun corong perdagangan mereka sendiri: fungsi Instant Checkout sudah memungkinkan pembelian barang langsung di ChatGPT dari Walmart, Etsy, Shopify, dan Target. Pengecer ingin menjual melalui AI dengan syarat mereka sendiri — dan tidak ingin agen asing mengakses etalase mereka tanpa kontrol.
Bagaimana Situs Mengidentifikasi Agen — dan Mengapa IP Tidak Menjadi Segalanya
Memblokir agen hanya berdasarkan nama user-agent adalah naif: itu mudah dipalsukan. Oleh karena itu, tumpukan anti-bot Cloudflare dan layanan serupa melihat pada kombinasi sinyal, dan di sini browser otonom menghadapi kesulitan:
- Fingerprint browser tanpa kepala. Lingkungan headless menunjukkan dirinya dengan serangkaian ketidaksesuaian: resolusi layar 0x0, tidak ada font yang terpasang, GPU yang dilaporkan sebagai renderer perangkat lunak "SwiftShader". Pengguna nyata tidak terlihat seperti ini — dan ini dapat terdeteksi dalam milidetik.
- Fingerprint TLS. Bahkan dengan header HTTP yang sempurna, handshake TLS menunjukkan perbedaan antara identitas browser yang dinyatakan dan karakteristik nyata dari koneksi. Secara rinci, vektor ini telah kami bahas dalam materi tentang JA4 dan TLS-fingerprinting — hari ini ini adalah salah satu alat utama untuk deteksi.
- Analisis perilaku. Manusia menggulir dengan jeda, menggerakkan mouse tidak sempurna. Namun, agen bertindak dengan "efisiensi robot yang kejam" — memuat halaman dalam milidetik dan segera mengekstrak data, yang membuatnya terdeteksi.
- Reputasi IP. Rentang penyedia cloud — AWS, Google Cloud, Azure — telah lama terdaftar sebagai "bot-friendly" dan menerima penalti berat dalam filter reputasi, tidak peduli seberapa bersih fingerprint lainnya.
Di sinilah proxy berperan. Reputasi IP adalah penghalang pertama yang dihadapi agen yang diluncurkan dari alamat pusat data. Proxy residensial menyuplai alamat IP dari perangkat rumah nyata, dan lalu lintas agen berhenti terlihat seperti permintaan dari rak server. Untuk skenario seluler — media sosial, aplikasi dengan deteksi ketat — proxy seluler dengan IP dari operator telekomunikasi bahkan lebih dapat diandalkan. Alamat pusat data tetap ada: untuk tugas yang tidak sensitif terhadap reputasi, datacenter-proxy memberikan kecepatan dan harga yang tidak dapat diberikan oleh proxy residensial.
Pernyataan Penting: Proxy Hanya Satu Lapisan
IP residensial hanya menghilangkan satu dari empat penghalang. Jika agen masih dijalankan di browser headless dengan fingerprint "SwiftShader" dan berperilaku seperti robot, IP yang bersih tidak akan menyelamatkannya — deteksi akan terbentuk dari sinyal lainnya. Kombinasi yang bekerja pada tahun 2026 adalah bukan "proxy atau anti-detect", tetapi semuanya sekaligus: node keluar residensial atau seluler, penyamaran fingerprint browser dan TLS menjadi perangkat nyata, dan timing tindakan yang menyerupai manusia. Scraping dan otomatisasi telah sepenuhnya berubah menjadi permainan identitas, bukan alamat.
Apa Artinya dalam Praktik
Bagi bisnis dan pengembang yang membangun otomatisasi di atas browser agen, kesimpulannya adalah sebagai berikut:
- 15 September — bukan tanggal abstrak. Jika agen Anda mengunjungi situs dengan iklan, bersiaplah untuk sebagian dari mereka mulai memberikan placeholder alih-alih konten. Rencanakan infrastruktur Anda sebelumnya.
- Agen pusat data — target nomor satu. Hal pertama yang harus dilakukan adalah mengalihkan lalu lintas agen dari rentang cloud ke IP residensial atau seluler. Ini lebih murah daripada menulis ulang logika setelah pemblokiran massal.
- Risiko hukum itu nyata. Kasus Amazon melawan Perplexity menunjukkan: "penyamaran" agen sebagai manusia — bukan zona abu-abu, tetapi argumen untuk pengadilan. Hormati robots.txt di tempat-tempat yang kritis, dan jangan mengklaim otomatisasi sebagai pengguna hidup di situs yang secara langsung melarangnya.
- Saluran resmi berkembang. Instant Checkout dan kemitraan AI dengan pengecer — sinyal bahwa sebagian skenario agen akan beralih ke API yang legal. Namun, hingga saat ini, cakupannya masih terfragmentasi, agen otonom harus hidup di dunia di mana setengah dari situs tidak menunggu mereka.
Kesimpulan
Web agen — bukan lagi konsep dari presentasi, tetapi lalu lintas nyata yang telah dipelajari dan ingin disaring oleh situs. Cloudflare memberikan pemilik alat, pengadilan memberikan preseden, pengecer memberikan contoh. Ini bukan akhir bagi asisten AI otonom, tetapi sinyal yang jelas: agar agen mencapai tujuannya, ia harus terlihat seperti manusia di semua tingkat — dari IP keluar hingga timing klik. Proxy residensial dan seluler di sini bukanlah kemewahan, tetapi lapisan dasar, tanpa mana trik lainnya tidak berfungsi. Web tidak sepenuhnya menutup diri untuk agen — ia hanya berhenti menerima mereka yang datang dengan label "saya bot".