Sementara beberapa memblokir bot, yang lain mengajarkan mereka untuk menunjukkan paspor. Pada tahun 2026, Cloudflare, Google, Amazon, Akamai, dan OpenAI berkumpul di sekitar satu standar — Web Bot Auth. Ide ini sederhana dan radikal: lalu lintas otomatis tidak lagi diperiksa berdasarkan alamat IP dan string User-Agent, yang mudah dipalsukan. Sebagai gantinya, agen menandatangani setiap permintaan secara kriptografis, dan situs web segera memeriksa tanda tangan tersebut. Pada 2 Maret 2026, versi kelima draf arsitektur (draft-meunier-web-bot-auth-architecture-05) dirilis, pada bulan Mei Google mulai menguji coba secara langsung, dan kelompok kerja IETF bertujuan untuk merilis standar pada Agustus 2026. Mari kita bahas mekanisme ini, siapa yang ada di baliknya, dan mengapa bagi semua yang terlibat dalam pengambilan data dan multi-akun, ini adalah perubahan 180 derajat.
Apa yang terjadi: bot mendapatkan identitas kriptografis
Pemeriksaan klasik "teman atau musuh" di web bergantung pada dua tonggak. Pertama — User-Agent: string yang dilaporkan klien tentang dirinya sendiri dan yang ditulis ulang oleh skrip ke dalam satu baris kode. Kedua — daftar alamat IP: situs web memegang daftar rentang "resmi" Googlebot, Bingbot, dan lainnya serta memeriksa DNS terbalik. Kedua pendekatan ini pada tahun 2026 akhirnya runtuh.
Cloudflare secara langsung merumuskan masalah dalam dokumentasi teknisnya: satu IP yang sama dapat digunakan oleh banyak pengguna atau layanan secara bersamaan, dan rentang itu sendiri terus berubah mengikuti infrastruktur. User-Agent bahkan tidak dapat dianggap sebagai bukti — itu hanya representasi diri. Tanda tangan kriptografis, menurut para penulisnya, memberikan autentikasi tanpa bergantung pada "rentang IP yang selalu berubah" atau "header yang dapat dipalsukan seperti User-Agent".
Secara teknis, Web Bot Auth bergantung pada standar yang sudah diterima HTTP Message Signatures (RFC 9421). Setiap agen diberikan sepasang kunci Ed25519. Sebelum mengirim permintaan, agen menandatangani bukan sembarang hal, tetapi authority URI tujuan — yaitu domain yang dituju (ketika mengunjungi example.com, yang ditandatangani adalah example.com). Dalam permintaan ditambahkan header Signature-Input (jendela validitas dengan label created dan expires, pengenal kunci keyid dalam format JWK Thumbprint dan tag web-bot-auth) dan Signature-Agent, yang menunjukkan direktori dengan kunci publik (JWKS). Situs web mengunduh kunci publik dari direktori ini dan memeriksa tanda tangan. Memalsukannya tanpa kunci privat tidak mungkin, dan jendela validitas melindungi dari pemutaran ulang permintaan yang disadap.
Siapa yang ada di balik standar ini
Ini bukan eksperimen satu perusahaan. Web Bot Auth didukung oleh Cloudflare, Amazon, Akamai, dan OpenAI. Draf arsitektur ditulis bersama oleh Thibaut Meunier (Cloudflare) dan Sandor Major (Google). AWS WAF telah menambahkan dukungan untuk memeriksa tanda tangan, Cloudflare telah mengintegrasikannya ke dalam program Verified Bots dan mengaktifkannya di edge-nya dalam produksi. Kelompok kerja terpisah IETF untuk Web Bot Auth didirikan pada tahun 2026 dan bertujuan untuk menyerahkan spesifikasi untuk standarisasi pada Agustus 2026.
Google terlibat — dan ini adalah titik balik
Pada 6 Mei 2026, terungkap bahwa Google menguji Web Bot Auth untuk memeriksa lalu lintas botnya sendiri. Tujuannya adalah agar situs web dapat memastikan: permintaan yang mengaku sebagai milik Google benar-benar berasal dari Google, bukan dari seseorang yang hanya menulis Googlebot di User-Agent. Lalu lintas AI yang ditandatangani Google berjalan di bawah identitas agent.bot.goog — pemilik situs mengunduh kunci publik Google dari endpoint ini dan memvalidasi header Signature dan Signature-Input.
Mengapa ini penting sekarang. Tepat karena apa yang kami tulis tentang pemblokiran browser agen: mulai 15 September 2026, Cloudflare secara default memblokir crawler AI "campuran" di halaman iklan dari domain baru, dan sekitar seperlima dari seluruh web melewati jaringan Cloudflare. Web semakin tertutup. Dan Web Bot Auth — ini bukan tentang "bagaimana memblokir", tetapi tentang "siapa yang diizinkan masuk". Muncul daftar putih jenis baru: bukan berdasarkan IP, tetapi berdasarkan identitas kriptografis. Situs web dapat menerapkan kebijakan seperti "menampilkan harga dan detail produk hanya kepada agen yang ditandatangani dan terverifikasi" — dan semua yang lain otomatis tetap di luar.
Agen yang ditandatangani: kohort pertama
Kategori terpisah — signed agents (agen yang ditandatangani). Ini adalah bot yang dikelola oleh pengguna akhir, bukan oleh satu korporasi: platform atau browser jarak jauh yang menjalankan agen menandatangani permintaan HTTP-nya, dan Cloudflare memvalidasi tanda tangan tersebut. Kohort pertama mencakup ChatGPT agent (OpenAI), Goose (Block), Browserbase, Anchor Browser, dan Cloudflare Browser Rendering. Daouve Osinga dari Block menjelaskan manfaatnya secara langsung: "Web Bot Auth memungkinkan situs web untuk mempercayai Goose, sambil mempertahankan apa yang membuatnya unik".
Perbedaan kunci: signed agent bertindak atas nama manusia (asisten hipotetis yang mengunjungi situs atas permintaan Anda), sementara crawler "pencarian" atau "pelatihan" bekerja untuk perusahaan. Cloudflare sudah memisahkan entitas ini dalam aturan keamanannya — dan pemisahan ini akan menentukan siapa yang akan dibuka pintunya di web pada tahun 2026–2027, dan siapa yang tidak.
Apa artinya ini untuk pengambilan data dan proxy
Pada pandangan pertama, tampaknya tanda tangan kripto mengubur pengambilan data anonim. Namun pada praktiknya, semuanya lebih rumit — web terbelah menjadi dua jalur, dan bagi audiens kami ini mengubah taktik, bukan membatalkannya.
- Jalur agen yang ditandatangani. Jalur sempit dan istimewa untuk platform besar dan asisten "pengguna" dari daftar putih. Untuk masuk ke sana, diperlukan kunci privat, direktori JWKS publik, pendaftaran di CDN, dan kepatuhan terhadap kebijakan. Untuk proyek pengambilan data tipikal, farm anti-deteksi, atau otomatisasi SMM, jalur ini tertutup: Anda bukan Google dan bukan OpenAI, Anda tidak akan diberikan tanda tangan.
- Jalur semua yang lainnya. Di sini masih ada pengambil data independen, pemantauan harga, pengumpulan data, dan multi-akun. Dan di sinilah taruhan pada kualitas proxy dan keandalan sidik jari meningkat. Karena "yang sah" diizinkan berdasarkan tanda tangan, maka semua lalu lintas yang tidak ditandatangani akan lebih ketat secara default.
Dengan kata lain, Web Bot Auth tidak membunuh kebutuhan akan proxy — ia meningkatkan standar bagi mereka yang tidak ada dalam daftar putih. Jika sebelumnya Anda bisa berharap untuk lolos dengan User-Agent abu-abu, sekarang permintaan yang tidak ditandatangani langsung masuk ke kategori "buktikan bahwa Anda adalah manusia". Dan ini dibuktikan dengan kombinasi IP bersih dan perilaku yang meyakinkan.
Mengapa IP residensial dan seluler menjadi lebih berharga
Ketika tanda tangan tidak tersedia, satu-satunya cara untuk terlihat sah adalah tidak dapat dibedakan dari pengguna biasa. Alamat pusat data tidak menyelesaikan tugas ini: menurut berbagai pengukuran, Cloudflare hanya melewatkan IP pusat data dalam 40–60% kasus, sementara proxy residensial memberikan tingkat keberhasilan antara 85–99%. Alasannya adalah karena alamat residensial dimiliki oleh penyedia internet yang nyata dan pelanggan yang hidup — berdasarkan reputasi IP, tidak dapat dibedakan dari orang yang berada di belakang router yang sama.
Situasinya bahkan lebih ketat dengan platform yang paling dilindungi dan aplikasi seluler, di mana jaringan seluler berperan. Di sini, proxy seluler menjadi penyelamat: di balik satu IP operator terdapat ribuan pelanggan yang hidup, sehingga memblokir alamat semacam itu secara massal berarti memutuskan pelanggan yang nyata. Efek "panci umum" inilah yang menjadikan IP seluler mata uang paling tahan lama di dunia, di mana semua yang lain dapat terlihat.
Tetapi IP bersih saja sudah tidak cukup. Karena pemeriksaan identitas bergeser dari jaringan ke kriptografi, seluruh armada bot yang tidak ditandatangani melewati sidik jari perilaku dan browser: TLS/JA4, canvas, WebGL, font, waktu. Proxy menghilangkan satu sinyal peringatan (reputasi alamat), tetapi tidak menghilangkan yang lainnya. Kombinasi kerja tahun 2026 adalah IP residensial atau seluler ditambah lingkungan anti-deteksi dengan sidik jari yang konsisten. Satu komponen tanpa yang lain akan mengungkap bot pada tingkat perlindungan pertama.
Bagaimana bertindak sekarang
- Pisahkan proyek berdasarkan jalur. Jika tugasnya adalah integrasi resmi atas nama produk besar, pelajari jalur signed agent: pendaftaran di CDN dan mendapatkan kunci. Untuk semua yang lainnya, rencanakan pekerjaan di "jalur semua yang lainnya" dan tetapkan aturannya.
- Investasikan dalam kualitas IP, bukan kuantitas. Pool pusat data murah pada tahun 2026 semakin sering menjadi faktor penghambat. Fokuskan pada alamat residensial dan seluler dengan rotasi sesuai kebutuhan.
- Sinkronkan sidik jari dengan jaringan. IP dari satu negara, tetapi bahasa browser, zona waktu, dan lokal dari negara lain — ini adalah kegagalan klasik. Sidik jari harus konsisten dengan geolokasi proxy.
- Ikuti standar. Pada Agustus 2026, IETF berencana untuk menyelesaikan spesifikasi. Begitu Web Bot Auth menjadi syarat wajib untuk akses di platform tertentu, taktik untuk platform tersebut harus ditinjau sebelumnya, bukan setelah fakta.
Kesimpulan
Web Bot Auth bukanlah anti-bot lainnya, tetapi perubahan logika kepercayaan di web: dari "siapa Anda berdasarkan IP" menjadi "buktikan dengan kriptografi siapa Anda". Bagi raksasa seperti Google dan OpenAI, ini adalah tiket masuk ke internet yang semakin tertutup. Bagi pengambil data independen dan proyek multi-akun, ini adalah sinyal bahwa metode abu-abu akhirnya tidak lagi berfungsi, dan perbedaan antara "terlihat seperti manusia" dan "terlihat seperti bot" menjadi penentu. Menang dalam realitas baru tidak akan menjadi milik mereka yang memiliki lebih banyak IP, tetapi mereka yang memiliki alamat residensial atau seluler yang bersih dan sidik jari yang sempurna. Paspor kripto tidak diberikan kepada semua orang — berarti, semua yang lain harus lebih meyakinkan.
```