Meta Mengizinkan Crawling Situs Pengiklan: Ketentuan Mulai 30 Oktober dan Scraping

Mulai 30 Oktober 2026, Meta akan menerapkan Ketentuan Komersial yang diperbarui — syarat bagi semua yang menggunakan Facebook, Instagram, Messenger, dan WhatsApp untuk tujuan komersial: menjalankan iklan, mengelola halaman merek, menjual melalui katalog. Dalam teks baru terdapat paragraf yang hanya diperhatikan oleh pengacara dan media pada pertengahan Oktober: bisnis mengizinkan Meta untuk secara otomatis mengakses situsnya — mengindeks, menyimpan cache, mengumpulkan, dan menganalisis konten. Menolak poin ini secara terpisah tidak mungkin, hanya bisa berhenti menggunakan produk bisnis Meta.

Kisah ini menarik tidak hanya bagi penerbit. Ini adalah Meta yang sama yang selama bertahun-tahun berperkara dengan scraper, termasuk Bright Data, dan kalah dalam sengketa kunci terkait dengan "siapa yang terikat oleh syarat penggunaan". Sekarang perusahaan menggunakan mekanisme kontrak yang sama untuk kepentingannya. Mari kita bahas apa yang tertulis dalam syarat, apa yang berhasil diperbaiki Meta setelah skandal, dan kesimpulan praktis bagi mereka yang mengumpulkan data atau melindungi situs mereka dari bot.

Apa yang tertulis dalam syarat baru Meta

Pembaruan Meta diumumkan pada awal Oktober di Business Help Center dan di Meta Business Suite. Ini mencakup beberapa dokumen sekaligus: Ketentuan Komersial, syarat katalog produk, syarat iklan mandiri, dan syarat pembuatan kreatif iklan menggunakan AI. Versi sebelumnya dari Ketentuan Komersial berlaku sejak 6 Maret 2024, dan menurut analisis PPC Land, tidak ada bahasa tentang crawling di dalamnya.

Dalam edisi baru, bagian 1 diubah namanya dari "Lisensi" menjadi "Lisensi dan hak yang Anda berikan kepada Meta". Frasa kunci dalam versi awal:

• bisnis mengizinkan Meta "atau siapa pun yang bertindak atas namanya" untuk menggunakan perangkat lunak otomatis, untuk mengakses, mengindeks, menyimpan cache, menganalisis, mengumpulkan, dan merayapi domain, halaman, dan URL, serta secara berkala mengambil pembaruan;
• termasuk situs yang "terkait" dengan produk atau layanan bisnis atau yang dapat diakses melalui penggunaan produk Meta. Apa yang dimaksud dengan "terkait", teks tidak mendefinisikannya;
• konten yang diperoleh Meta dapat digunakan untuk "menyediakan, mengembangkan, meningkatkan, meneliti, melatih, dan menjaga integritas" produk-produknya;
• Meta berhak membuat "akun uji" untuk mengakses sumber daya ini. Apa artinya dalam praktik, tidak dijelaskan dalam syarat.

Persetujuan diatur seperti biasa untuk platform: jika Anda terus menggunakan produk bisnis setelah diberitahu tentang perubahan, Anda setuju dengan mereka. Postingan di halaman perusahaan pada 31 Oktober sudah dianggap sebagai penerimaan. Tidak ada penolakan parsial terhadap paragraf tentang crawling.

Reaksi pengacara dan tanggapan Meta

Kisah ini diangkat pada 15 Oktober oleh Nieman Lab, yang mewawancarai tiga ahli hukum. Penilaian mereka terdengar keras:

• Matt Topic (Loevy & Loevy) mengatakan bahwa tidak jelas apakah pengadilan akan mengakui poin tersebut, tetapi penerbit "sebaiknya menganggap bahwa itu akan dapat dilaksanakan";
• James Grimmelmann (Cornell Law School) menyebut paragraf tersebut sebagai izin yang jelas bagi Meta untuk melatih AI dengan konten penerbit. Secara terpisah, dia mencatat "akun uji": menurutnya, ini dapat memungkinkan pembuatan pengguna fiktif dan melewati dinding pendaftaran;
• Benjamin Sobel (University of Wisconsin) menunjukkan kemungkinan masalah "ikatan": untuk menggunakan produk yang diperlukan, bisnis terpaksa setuju juga pada crawling.

Pemimpin News/Media Alliance Daniel Coffey menyebut syarat tersebut "memalukan dan mungkin ilegal". Jason Kint dari Digital Content Next bertanya, mengapa Meta perlu meminta hak yang luas dan secara eksplisit mencantumkan pelatihan AI dalam kontrak yang mengikat, jika menurutnya tidak ada yang berubah.

Pandangan Meta: pada 16 Oktober, direktur komunikasi Andy Stone menyebut publikasi tersebut "palsu" dan menyatakan bahwa tidak ada yang berubah dalam cara Meta menggunakan web crawler. Menurut perusahaan, frasa tentang crawling sebelumnya tersebar di berbagai dokumen, termasuk syarat AI generatif dalam iklan, dan sekarang hanya dikumpulkan di satu tempat. Pemilik konten, menurut Meta, masih dapat mengelola akses melalui robots.txt.

Pada 17 Oktober, teks diperbaiki. Menurut Nieman Lab, dari daftar tujuan dihapus kata "train", dan penggunaannya dibatasi pada produk iklan dan bisnis alih-alih semua produk Meta. Beberapa penerbit yang mengutip The Verge melaporkan bahwa poin yang dipermasalahkan dihapus sepenuhnya. Namun, para ahli yang diwawancarai oleh Nieman Lab percaya bahwa hak luas untuk crawling dalam syarat tetap ada, dan akun bisnis tidak memiliki kesempatan untuk menolak hingga 30 Oktober. Frasa akhir harus diperiksa di halaman Ketentuan Komersial sebelum berlaku.

Standar ganda: bagaimana Meta kalah dari Bright Data dan apa yang dipelajarinya

Untuk memahami mengapa pengacara begitu waspada, perlu diingat kasus Meta Platforms v. Bright Data. Pada 23 Januari 2024, hakim Edward Chen (Distrik Utara California) memutuskan mendukung Bright Data dalam gugatan pelanggaran kontrak. Logika pengadilan: syarat Meta melarang scraping, tetapi hanya mengikat pengguna yang telah masuk ke akun. Pengumpulan data publik tanpa login tidak termasuk dalam syarat tersebut. Pengadilan juga tidak menemukan bukti bahwa Bright Data mengumpulkan data yang hanya tersedia setelah login, dan menolak gagasan bahwa pengguna yang sebelumnya terikat oleh syarat secara permanen.

Kesimpulan dari kasus tersebut, yang sejak itu menjadi acuan seluruh industri: kontrak mengikat pihak yang menerimanya. Ketentuan Komersial baru bekerja dengan skema yang sama, hanya sebaliknya. Meta tidak dapat memaksa situs lain untuk membiarkan crawler-nya, tetapi dapat memperoleh persetujuan pemilik melalui kontrak yang telah mereka terima untuk menjalankan iklan. Dan robots.txt di sini adalah penghiburan yang lemah: syarat itu sendiri tidak menyebutkan tentangnya, dan pengacara khawatir bahwa Meta dapat merujuk pada kontrak sebagai izin yang lebih kuat daripada larangan dalam file teknis.

Crawler mana yang digunakan Meta di situs

Dalam dokumentasi untuk webmaster, Meta saat ini mencantumkan lima agen. Dari agen mana yang datang, tergantung apakah larangan dalam robots.txt akan berfungsi:

• meta-externalagent — mengumpulkan halaman untuk melatih model AI dasar dan untuk pengindeksan dalam produk. Satu token untuk kedua tugas, jadi tidak mungkin mengizinkan pengindeksan dan melarang pelatihan secara terpisah;
• meta-webindexer — mengindeks web untuk pencarian dan kutipan dalam Meta AI;
• meta-externalads — crawler untuk produk iklan dan bisnis, yaitu tepat untuk area yang dibatasi oleh Meta dalam poin baru;
• meta-externalfetcher — mengunduh tautan tertentu atas permintaan pengguna, termasuk untuk tugas agen AI. Menurut dokumentasi, dapat mengabaikan robots.txt, karena ini adalah permintaan manusia;
• facebookexternalhit — membangun pratinjau tautan saat dibagikan. Juga dapat melewati robots.txt demi pemeriksaan keamanan dan integritas.

Apa yang harus dilakukan pemilik situs dengan akun bisnis di Meta

Jika Anda menjual melalui Instagram atau menjalankan iklan di Facebook, bagian kontrak tidak dapat diubah. Bagian teknis ada di tangan Anda.

1. Tentukan apa yang Anda siap untuk berikan. Pratinjau tautan (facebookexternalhit) diperlukan, jika tidak, postingan dengan situs Anda akan tanpa gambar. Crawler iklan (meta-externalads) diperlukan jika Anda menggunakan katalog produk dan iklan dinamis. Pelatihan model (meta-externalagent) tidak memberikan manfaat untuk toko.
2. Atur aturan dalam robots.txt untuk agen yang berbeda, misalnya: User-agent: meta-externalagent dan Disallow: /. Meta memperingatkan bahwa crawler menyimpan cache file dan perubahan diterapkan hingga 24 jam.
3. Periksa log. Saring permintaan berdasarkan baris meta-externalagent, meta-externalads, dan meta-webindexer, hitung bagian mana yang mereka lewati dan berapa banyak. Ini adalah dasar untuk membandingkan perilaku setelah 30 Oktober.
4. Tutup konten berharga di tingkat server, bukan hanya robots.txt: harga, basis pengetahuan, materi berbayar — dengan otorisasi atau dengan pembatasan berdasarkan User-Agent di CDN. robots.txt tetap merupakan kesepakatan sukarela, bukan penghalang.
5. Simpan versi terkini dari syarat (tangkapan layar atau PDF dengan tanggal). Frasa sudah diubah dalam beberapa minggu setelah pengumuman, dan dalam sengketa, versi yang berlaku pada tanggal tertentu akan berguna.

Apa artinya bagi mereka yang mengumpulkan data sendiri

Bagi tim yang mengumpulkan data dari platform, kisah Meta adalah ilustrasi nyata tentang di mana sebenarnya batas hukum berada.

• Login adalah tanda tangan pada kontrak. Keputusan tentang Bright Data melindungi pengumpulan data publik tanpa login. Begitu parser bekerja dari akun, syarat platform berlaku untuk Anda, dan larangan pengumpulan otomatis menjadi kewajiban kontraktual. Lebih lanjut tentang apa yang bisa terjadi dalam praktik, kami telah tulis dalam analisis risiko pelanggaran Syarat Layanan saat bekerja melalui proxy.
• Pisahkan infrastruktur. Akun bisnis yang Anda gunakan untuk menjalankan iklan dan pengumpul data tidak boleh saling terkait baik dalam akun maupun IP. Untuk pengumpulan publik tanpa login biasanya cukup dengan proxy pusat data, dan untuk platform dengan filter anti-bot yang ketat — IP residensial dengan rotasi.
• robots.txt adalah sinyal, bukan hukum, dalam kedua arah. Meta sendiri mengakui bahwa dua agennya dapat mengabaikannya. Namun untuk proyek Anda, mematuhi robots.txt tetap menjadi argumen itikad baik, jika sampai pada sengketa. Praktik ini dijelaskan dalam materi tentang pengumpulan etis dan robots.txt.
• Ikuti perubahan syarat. Platform mengubahnya melalui "melanjutkan penggunaan berarti setuju". Sekali dalam kuartal, berguna untuk membandingkan syarat terkini dari platform yang Anda gunakan dengan salinan yang disimpan.

Kesimpulan

Ketentuan Komersial baru Meta menunjukkan ke mana arah perjuangan untuk data web pada tahun 2026: dari hambatan teknis ke kontraktual. Perusahaan yang kalah dalam sengketa mengenai siapa yang terikat oleh syaratnya, kini menggunakan syarat yang sama untuk mendapatkan persetujuan untuk mengakses situs pengiklan mereka. Setelah perbaikan pada 17 Oktober, frasa menjadi lebih lembut, tetapi kemungkinan untuk menolak tetap tidak ada, dan syarat itu sendiri mulai berlaku pada 30 Oktober. Pemilik situs harus mengatur robots.txt berdasarkan agen dan menyimpan salinan syarat, sementara tim yang mengumpulkan data harus memeriksa kembali di mana pengumpulan mereka dilakukan di bawah login dan apa risikonya.