Google Menutup Custom Search API: Cara Mengumpulkan Hasil Pencarian di 2027

Google semakin sedikit memiliki "pintu masuk yang sah" ke hasil pencariannya. Custom Search JSON API ditutup untuk klien baru dan akan berhenti berfungsi sepenuhnya pada 1 Januari 2027, dan sejak 13 September 2026, proporsi permintaan yang diblokir untuk layanan yang mengumpulkan hasil sendiri telah meningkat secara signifikan. Bagi tim SEO, agregator, pemantauan harga, dan agen AI dengan pencarian web, ini berarti satu hal: sebelum akhir tahun, Anda perlu memutuskan dari mana Anda akan mendapatkan hasil Google di tahun 2027.

Apa yang terjadi: dua berita dalam satu bulan

API resmi hanya tersisa tiga bulan

Google mengumumkan penutupan Custom Search JSON API pada 20 Januari 2026, tetapi bagi sebagian besar tim, tenggat waktu baru terasa sekarang. Di halaman dokumentasi dinyatakan dengan jelas: API ditutup untuk klien baru, dan klien yang ada memiliki waktu sampai 1 Januari 2027 untuk beralih ke alternatif.

Sebelum tanggal ini, ketentuan sebelumnya berlaku:

• 100 permintaan gratis per hari;
• setelah itu $5 untuk 1000 permintaan;
• batas maksimum — 10.000 permintaan per hari.

Ini adalah cara resmi yang paling murah dan sederhana untuk mendapatkan hasil pencarian dalam format JSON. Pengembang di forum Google sudah mengeluhkan kesalahan 403 saat API diaktifkan, penagihan aktif, dan kuota yang belum habis, sehingga beberapa orang mengalami API yang sebenarnya berhenti berfungsi bahkan sebelum tanggal resmi.

Pengumpul hasil semakin tertekan

Pada 18 September, Search Engine Roundtable mengumpulkan sinyal dari operator alat SEO. Derek Perkins dari Nozzle melaporkan bahwa sejak 13 September, sebagian besar upaya untuk mengambil data dari Google Search diblokir: volume data yang dikumpulkan turun sekitar 80%. Menurutnya, gambaran serupa juga terlihat pada data DataForSEO. Steve Payne dari Sistrix menulis bahwa Google telah secara konsisten mengubah cara memberikan hasil selama sekitar satu tahun, dan sekarang laju perubahan sangat tinggi, sehingga pengumpulan mereka berjalan dengan kecepatan yang lebih rendah.

Glenn Gabe membandingkan data pelacak dengan lalu lintas nyata situs: pemulihan terbaik ditangkap oleh Ahrefs, Semrush menunjukkan pemulihan dengan keterlambatan, Sistrix tertinggal jauh. Tidak ada komentar resmi dari Google.

Mengapa ini bukan kebetulan, tetapi sebuah arah

Jika kita menyusun peristiwa secara berurutan, terlihat kebijakan yang konsisten: pertama meningkatkan biaya pengumpulan otomatis, lalu menutup akses resmi yang murah.

1. Januari 2025. Google memperketat perlindungan hasil, Semrush, SE Ranking, dan pelacak lainnya mengalami kegagalan data.
2. September 2025. Parameter &num=100 yang memungkinkan mendapatkan 100 hasil dalam satu halaman menghilang. Untuk mengumpulkan kedalaman yang sama, diperlukan jauh lebih banyak permintaan.
3. Januari 2026. Penutupan Custom Search JSON API diumumkan.
4. Agustus 2026. Tautan dalam hasil untuk klien otomatis diganti dengan pengalihan terenkripsi google.com/goto. Kami telah membahas secara rinci, bagaimana tautan goto merusak laporan pelacak dan berapa biaya untuk mendekripsinya.
5. September 2026. Gelombang baru pemblokiran pengumpul mulai 13 September.

Microsoft telah melalui jalur ini lebih awal: pada 11 Agustus 2025, mereka sepenuhnya mematikan keluarga Bing Search API (web, gambar, berita, video, Custom Search, dan lainnya) dan menawarkan Grounding with Bing Search di Azure AI Agents sebagai gantinya. Ini bukan lagi hasil dalam format JSON, tetapi konteks untuk jawaban LLM. Dua mesin pencari terbesar berhenti menjual hasil mentah kepada semua yang menginginkannya.

Apa yang ditawarkan Google sebagai pengganti

Ada tiga opsi resmi, dan tidak ada satu pun yang merupakan pengganti "satu untuk satu".

• Vertex AI Search. Google merekomendasikannya untuk pencarian di situs dalam batas 50 domain. Ini adalah produk perusahaan untuk pencarian di indeks Anda sendiri, tidak mengembalikan hasil publik Google.
• Search Element. Widget pencarian gratis untuk situs, dengan batasan yang sama hingga 50 domain. Tidak cocok untuk pengumpulan hasil secara programatik.
• Web Search Service API. Pada 11 September, Search Engine Journal mencatat dokumentasi API baru "pencarian web lengkap". Ini mengembalikan JSON melalui REST atau gRPC, hingga 20 hasil per permintaan, tetapi memerlukan proyek Google Cloud, kunci API, dan ID klien yang terikat pada perjanjian kemitraan. Setiap permintaan harus menyertakan IP pengguna. Cara menjadi mitra, berapa biayanya, dan batasan yang ada tidak dijelaskan dalam dokumentasi. Secara resmi, Google hanya menawarkan untuk mengisi formulir minat.

Secara singkat: untuk proyek kecil dengan pencarian di beberapa situs, ada solusi. Untuk tugas "mengetahui apa yang ditampilkan Google untuk permintaan X di negara Y", tidak akan ada jalan resmi yang murah setelah 1 Januari.

Siapa yang paling terpengaruh

• Skrip SEO internal. Banyak tim memeriksa posisi atau pengindeksan melalui CSE: 10.000 permintaan per hari cukup untuk kumpulan kunci kecil. Mulai 2027, kode ini akan mulai menerima kesalahan.
• Agen AI dan pipeline RAG, di mana pencarian web terhubung melalui Custom Search sebagai "Google resmi" yang paling mudah diakses.
• Pemantauan merek dan konten: pencarian penyebutan, salinan teks, domain phishing berdasarkan permintaan di Google.
• Pengguna platform SEO. Pengumpul terpaksa melakukan lebih banyak permintaan untuk volume data yang sama, dan biaya akhirnya dibebankan pada langganan. Pada bulan September, banyak yang juga mengalami kekosongan dalam grafik posisi.

Apa yang harus dilakukan sebelum 1 Januari: empat jalur

1. Periksa apakah Anda benar-benar memerlukan hasil Google

Mulailah dengan audit: di mana dalam kode customsearch/v1 dipanggil dan untuk apa. Seringkali CSE digunakan untuk pencarian di situs sendiri atau beberapa domain, dan dalam hal ini Vertex AI Search atau Search Element menyelesaikan tugas. Namun, jika Anda memang memerlukan posisi di Google, jalur ini tidak cocok.

2. API SERP pihak ketiga

Opsi migrasi tercepat: penyedia menangani pemblokiran, CAPTCHA, dan penguraian HTML, Anda mendapatkan JSON. Harga di pasar sangat bervariasi. Berdasarkan perbandingan yang diterbitkan oleh penyedia SERP itu sendiri, cloro (artinya ini bukan benchmark independen), rentang harga berkisar dari sekitar $1–2 hingga $12 untuk 1000 permintaan dengan 10 hasil. Kekurangan — ketergantungan pada infrastruktur orang lain: gelombang pemblokiran di bulan September menunjukkan bahwa penyedia yang menjual data kepada orang lain juga bisa mengalami penurunan.

3. Pengumpul sendiri dengan proxy

Memberikan kontrol atas geo, frekuensi, dan format data, tetapi memerlukan pekerjaan teknik dan memperhatikan aturan. Google dalam kebijakannya melarang permintaan otomatis ke pencarian tanpa izin, sehingga solusi ini memiliki risiko hukum dan operasional yang sadar, bukan "pengganti API gratis". Jika Anda memilih jalur ini:

• untuk permintaan ke hasil itu sendiri, gunakan IP yang terlihat seperti pengguna biasa: proxy residensial dengan pemilihan negara dan kota atau mobile untuk skenario yang paling sensitif. Alamat data center dikenali Google paling cepat;
• hubungkan geo IP dengan parameter permintaan (gl, hl, lokasi). Hasil dipersonalisasi berdasarkan lokasi, dan ketidakcocokan IP dan parameter menghasilkan hasil yang "tidak sesuai";
• pertahankan permintaan mirip dengan permintaan browser: rendering nyata atau TLS dan header yang benar, jeda, frekuensi moderat untuk satu IP;
• untuk lalu lintas tambahan yang tidak menuju ke google.com (mengunduh halaman yang ditemukan, memeriksa pengalihan), lebih baik menggunakan proxy data center yang lebih murah. Jangan habiskan lalu lintas residensial di tempat di mana perlindungan tidak diperlukan;
• ukur proporsi respons yang berhasil per hari. Jika tiba-tiba turun, seperti pada 13 September, hentikan pengumpulan dan selidiki, jangan tingkatkan frekuensi: ini adalah cara tercepat untuk "membakar" kumpulan.

Sisi praktis pengumpulan — rendering, penguraian blok AI Overviews, pemilihan geo — dijelaskan dalam panduan kami tentang pengumpulan hasil Google dengan AI Overviews.

4. Ganti sumber kebenaran untuk posisi

Untuk situs Anda sendiri, Anda memiliki data yang tidak tergantung pada pengumpul: Google Search Console memberikan posisi rata-rata, tayangan, dan klik berdasarkan permintaan melalui API gratis. Pemeriksaan Glenn Gabe menunjukkan dengan baik mengapa ini penting: pelacak di bulan September saling berbeda, sementara lalu lintas nyata tetap menjadi titik acuan. Gunakan Search Console sebagai patokan, dan pelacak eksternal untuk pesaing dan permintaan di mana Anda belum memiliki tayangan.

Bagaimana memahami bahwa penurunan dalam laporan bukan masalah Anda

Jika setelah 13 September terlihat penurunan tajam dalam posisi atau kekosongan data di pelacak, sebelum mengubah situs:

1. bandingkan tanggal penurunan dengan Search Console: jika di sana tayangan dan klik stabil, masalah ada pada pengumpulan, bukan pada peringkat;
2. periksa apakah semua kunci terpengaruh sekaligus. Penurunan serentak ratusan permintaan biasanya menunjukkan kesalahan pengumpulan;
3. periksa halaman status dan blog alat SEO Anda: sebagian besar penyedia menerbitkan pemberitahuan tentang masalah pengumpulan;
4. jangan menarik kesimpulan hanya dari satu alat — pada bulan September, Ahrefs, Semrush, dan Sistrix pulih dengan kecepatan yang berbeda.

Kesimpulan

Google secara konsisten menutup akses murah ke hasil: pertama num=100, kemudian pengalihan goto, sekarang akhir Custom Search API dan gelombang baru pemblokiran. Ada pengganti resmi untuk pencarian web lengkap, tetapi hanya untuk mitra dan tanpa harga publik. Sebelum 1 Januari, penting untuk menemukan semua panggilan CSE dalam kode, memutuskan apakah Anda benar-benar memerlukan hasil Google, dan memilih jalur: API SERP, pengumpul sendiri dengan proxy berkualitas, atau Search Console sebagai sumber kebenaran untuk situs Anda. Bagi mereka yang menunda migrasi hingga bulan Desember, mereka akan terpaksa melakukannya dengan terburu-buru, sementara pelacak dan penyedia sendiri beradaptasi dengan aturan baru.