Cloudflare kembali memperketat aturan seputar crawler AI. Perusahaan yang melalui jaringannya sekitar 20% dari seluruh lalu lintas web ini mengumumkan: mulai 15 September 2026, crawler "campuran" (mixed-use) secara default akan diblokir di halaman yang beriklan dan dimonetisasi — untuk semua klien baru dan semua situs baru di akun yang sudah ada. Secara bersamaan, model Pay Per Crawl diperluas, di mana akses bot ke konten menjadi layanan berbayar. Bagi semua yang terlibat dalam pengumpulan data, ini bukanlah berita abstrak tentang penerbit — ini adalah sinyal langsung bahwa "zona abu-abu" dari web terbuka semakin menyusut satu langkah lagi.
Apa yang diumumkan Cloudflare
Inovasi kunci — konsep "crawler campuran". Begitulah Cloudflare menyebut bot yang mengumpulkan data untuk dua tujuan sekaligus: pengindeksan di mesin pencari dan pelatihan model AI. Sebelumnya, crawler semacam itu beroperasi di bawah bendera bot "pencarian" dan mendapatkan akses ke konten sebagai imbalan atas lalu lintas. Sekarang Cloudflare memutuskan kesepakatan ini: jika situs menghasilkan uang dari iklan, crawler campuran secara default tidak diizinkan masuk ke halaman yang dimonetisasi.
Secara teknis, ini diimplementasikan melalui aturan robots.txt yang dikelola dan heuristik manajemen bot yang diperbarui. Pemilik situs tidak perlu menulis apa pun secara manual — Cloudflare sendiri yang mengelola daftar dan logika. Tanggal mulai untuk situs baru adalah 15 September 2026; proyek yang sudah ada dapat mengaktifkan pemblokiran jika diinginkan.
Pernyataan perusahaan dirangkum oleh CEO-nya, Matthew Prince: "Sekarang, ketika sebagian besar lalu lintas di internet bukan manusia, kita harus bertindak lebih tegas dan cepat agar ekosistem yang berkelanjutan dapat muncul". Perubahan ini didukung secara publik oleh Associated Press, Time, The Atlantic, dan Reddit — yaitu penerbit besar yang paling menderita akibat pengambilan konten mereka secara gratis.
Angka yang menjelaskan semuanya
Untuk memahami mengapa penyedia infrastruktur terlibat dalam perang melawan perusahaan AI, cukup melihat rasio "crawl ke referral" untuk tahun 2025 yang disampaikan oleh Cloudflare:
- Google — 14:1. Untuk setiap 14 kali crawler mengunjungi halaman, mesin pencari mengirimkan satu pengunjung hidup ke situs. Masih dapat diterima: ini adalah kesepakatan lama "kami mengambil konten, Anda mendapatkan lalu lintas".
- OpenAI — 1.700:1. Untuk 1.700 kali crawler mengunjungi — satu klik. Pertukaran ini sudah tidak seimbang.
- Anthropic — 73.000:1. Tujuh puluh tiga ribu kunjungan untuk satu klik. Faktanya, konten diambil, dan tidak ada lalu lintas sebagai gantinya.
Inilah asimetri yang merusak model lama "web terbuka secara default". Seperti yang dinyatakan oleh para analis: "Di mana web sebelumnya terbuka, selama Anda tidak menutupnya, sekarang sebagian besar dari itu tertutup, selama Anda tidak membukanya". Ini adalah perubahan prinsip default 180 derajat — dan ini mempengaruhi tidak hanya laboratorium AI, tetapi juga semua pengumpul otomatis yang terjebak dalam situasi yang sama.
Pay Per Crawl: akses menjadi komoditas
Bagian kedua dari pengumuman ini adalah perluasan Pay Per Crawl, pasar yang diluncurkan Cloudflare dalam beta privat pada 1 Juli 2025. Logikanya sederhana: alih-alih pilihan biner "izinkan / blokir", penerbit memiliki opsi ketiga — memungut biaya untuk setiap kunjungan. Pemilik situs menetapkan tarif sendiri, dan perusahaan AI memutuskan apakah akan membayar atau tidak. Cloudflare bertindak sebagai perantara yang memverifikasi identitas bot dan melakukan perhitungan.
Untuk pasar, ini adalah pergeseran tektonik. Data yang selama bertahun-tahun dianggap "gratis karena publik" berubah menjadi sumber daya berbayar dengan harga. Dan semakin luas Cloudflare menerapkan model ini, semakin mahal dan rumit akses legal "resmi" ke konten bagi mereka yang tidak siap menandatangani kontrak dan membayar per-crawl.
Bagaimana ini terkait dengan proxy dan scraping
Di sinilah terletak kesimpulan praktis utama. Ketika platform besar menutup gerbang untuk crawler "jujur" berdasarkan User-Agent, permintaan secara tak terhindarkan beralih ke alat yang membuat lalu lintas tidak dapat dibedakan dari manusia. Pendiri perusahaan analitik Synthient, Ben Brandidge, secara langsung menyatakan: "AI pasti tampaknya meningkatkan permintaan untuk proxy residensial" — karena perusahaan mencari cara untuk menghindari pemblokiran scraper mereka.
Skala lapisan bayangan ini sudah mengesankan. Menurut IPInfo, hanya di enam penyedia yang dilacak, dalam 90 hari tercatat hampir 79 juta IP unik. Selain itu, pasar sangat saling terkait: sekitar 46% alamat proxy residensial hadir secara bersamaan di kolam beberapa penyedia, dan alamat IP tertentu muncul di jaringan lebih dari seratus layanan berbeda. Ini berarti bahwa "proxy residensial murah" sering kali merupakan alamat yang sama yang sudah muncul di puluhan kampanye orang lain — dan mungkin sudah masuk dalam daftar hitam.
Kami sudah menulis bahwa tekanan regulasi terhadap pengumpulan data meningkat seiring dengan tekanan teknis: EU AI Act, yang mulai berlaku pada 2 Agustus 2026, memberikan bobot pada robots.txt dan opt-out untuk pelatihan model. Langkah Cloudflare adalah setengah teknis dari tren yang sama: hambatan hukum dan infrastruktur semakin menyatu, dan "hanya mengirimkan permintaan GET dari IP pusat data" semakin sulit dilakukan.
Apa yang harus dilakukan pengumpul data
Belum saatnya panik, tetapi saatnya untuk meninjau tumpukan teknologi. Beberapa pedoman praktis untuk beberapa bulan mendatang.
- Pisahkan tugas berdasarkan tingkat perlindungan. Untuk sumber terbuka yang kurang terlindungi, masih cukup dengan proxy pusat data yang cepat dan murah. Menggunakan lalu lintas residensial untuk ini adalah buang-buang uang.
- Untuk situs di bawah Cloudflare, gunakan IP residensial. Ketika tujuan mengirimkan permintaan melalui manajemen bot, proxy residensial dari penyedia rumah nyata menyelamatkan: perilaku mereka secara default dianggap manusia. Kuncinya bukan ukuran kolam yang absolut, tetapi kebersihan dan persentase rendah dari tumpang tindih dengan layanan lain.
- IP seluler — untuk tujuan yang paling ketat. Media sosial dan platform dengan anti-bot yang agresif lebih baik menggunakan proxy seluler: di balik satu IP operator terdapat ribuan pelanggan hidup, sehingga memblokirnya sepenuhnya tidak menguntungkan bagi platform.
- Hitung bukan "volume", tetapi "kelangsungan hidup". Setelah pergeseran Cloudflare ke "tertutup secara default", metrik kualitas bukan lagi gigabyte, tetapi proporsi halaman yang berhasil dikumpulkan tanpa pemblokiran. Kolam yang murah dan dijual kembali dengan 46% tumpang tindih alamat memberikan angka lalu lintas yang bagus tetapi tingkat keberhasilan yang buruk.
- Ikuti aturan di mana pun ada. Jika sumber menawarkan API resmi atau kondisi Pay Per Crawl, untuk jalur produksi yang stabil ini sering kali lebih murah dan lebih dapat diandalkan daripada perlombaan senjata. Proxy adalah alat untuk data publik, bukan untuk menghindari larangan kontrak langsung.
Kesimpulan
Langkah Cloudflare bukanlah berita sekali pakai, tetapi bagian dari pergeseran sistemik: web beralih dari model "terbuka, sampai Anda menutupnya" ke "tertutup, sampai Anda membukanya". Rasio seperti 73.000:1 menunjukkan mengapa ini tidak terhindarkan, dan Pay Per Crawl mengubah akses ke data menjadi komoditas dengan harga. Untuk scraping, ini berarti satu hal: era di mana cukup dengan IP pusat data dan header User-Agent berakhir. Mereka yang membangun pengumpulan di jaringan residensial dan seluler yang bersih dan menghitung bukan volume lalu lintas, tetapi proporsi data yang benar-benar sampai dengan selamat, akan menang. Hambatan hanya akan semakin meningkat — dan kualitas infrastruktur proxy menjadi faktor penentu apakah Anda akan mendapatkan data atau tidak.