Satu tahun yang lalu, Anda bisa mendapatkan hasil pencarian Google dengan satu permintaan GET menggunakan parameter num=100 — seratus hasil datang dalam HTML murni. Pada tahun 2026, itu tidak lagi berlaku: Google membunuh akses tanpa JavaScript, memotong seratus hasil per halaman, dan menambahkan blok AI Overviews dalam hasil pencarian yang dirender secara asinkron dan tidak terlihat dari setiap IP. Mari kita bahas bagaimana mengumpulkan SERP dalam kondisi baru, di mana jebakan tersembunyi dan mengapa pilihan jenis proxy menjadi lebih penting daripada parser itu sendiri.
Untuk siapa panduan ini
Pemrosesan hasil pencarian (SERP scraping) — ini bukan hanya tentang posisi SEO. Saat ini, ini digunakan oleh:
- Spesialis SEO dan agensi — melacak organik, featured snippets, "Orang juga bertanya", hasil lokal, dan apakah situs tersebut muncul di AI Overviews.
- Analisis pasar — memantau siapa yang dikutip Google dalam blok AI untuk permintaan komersial, dan bagaimana halaman pertama berubah di antara pesaing.
- Tim AI dan data — mengumpulkan SERP sebagai sumber data untuk sistem RAG, pelatihan model, dan pemeriksaan fakta.
Semua orang memiliki satu masalah yang sama: Google pada tahun 2026 secara aktif membedakan lalu lintas otomatis dari lalu lintas nyata, dan tanpa infrastruktur yang tepat, pengumpulan data akan gagal pada sepuluh permintaan pertama.
Apa yang berubah: tiga serangan Google terhadap scraper
Untuk memastikan panduan ini jujur, mari kita mulai dengan mengapa instruksi lama tidak lagi berlaku.
Januari 2025 — SearchGuard. Google meluncurkan sistem tantangan JavaScript: permintaan HTTP biasa melalui requests atau httpx sekarang menerima bukan HTML, tetapi halaman tantangan. Tanpa eksekusi JavaScript, hasil pencarian tidak dapat dilihat — pemrosesan langsung "secara langsung" gagal dengan cepat.
September 2025 — akhir num=100. Google menghapus parameter yang memberikan 100 hasil dalam satu permintaan. Sekarang top-100 adalah sepuluh permintaan terpisah dengan paginasi. Untuk pemantauan mendalam, ini secara harfiah meningkatkan jumlah permintaan sepuluh kali lipat (dan, akibatnya, beban pada proxy dan anggaran).
Desember 2025 — tekanan hukum. Pada 19 Desember 2025, Google mengajukan keluhan DMCA terhadap SerpApi, menyatakan bahwa SearchGuard adalah "alat perlindungan teknis" (technological protection measure), dan cara menghindarinya melanggar norma anti-penghindaran. Preseden ini belum diselesaikan, tetapi menetapkan nada: pemrosesan abu-abu Google menjadi lebih mahal secara teknis dan hukum.
Perlu dicatat secara terpisah: API Pencarian Kustom resmi Google akan dihentikan — klien yang ada telah diberi batas waktu migrasi hingga 1 Januari 2027. Artinya, alternatif "legal" juga semakin menyempit.
Inovasi utama dalam hasil pencarian — AI Overviews
AI Overviews (dulu SGE) — adalah ringkasan yang dihasilkan oleh AI di bagian atas hasil pencarian dengan tautan ke sumber. Untuk scraping, ini adalah elemen paling rumit tahun 2026 karena tiga alasan.
Jumlahnya banyak. Menurut data Ahrefs, AI Overviews muncul dalam sekitar 30% permintaan; perkiraan yang lebih baru (Olostep) menunjukkan hingga 48% dari semua permintaan dan hingga 80% informasi. Mengabaikan blok ini berarti mengumpulkan gambaran hasil yang tidak lengkap.
Mereka dirender secara asinkron. Blok ini ada dalam tiga keadaan: muncul langsung dalam HTML (jarang), dimuat melalui JavaScript setelah beberapa detik dari halaman utama (kasus paling umum), atau tidak muncul sama sekali. Dalam pemuatan tertunda, respons HTTP mentah berisi wadah kosong — konten ditarik kemudian, dan parser harus menunggu (dalam praktiknya — sekitar 8 detik dalam otomatisasi browser).
Mereka tidak terlihat dari setiap IP. Ini adalah poin kunci yang diabaikan oleh panduan lama: Google menganggap pengguna seluler sebagai audiens prioritas untuk pencarian AI. Dalam praktiknya, ini berarti bahwa dari IP pusat data, AI Overview sering kali tidak ditampilkan sama sekali, sementara permintaan yang sama melalui operator seluler mengembalikan blok lengkap. Bahkan agregator teratas mengakui ketidaklengkapan: SerpApi pada awal tahun 2026 melaporkan sekitar 68% deteksi AI Overviews yang berhasil.
Panduan langkah demi langkah: cara mengumpulkan SERP di 2026
- Tentukan volume. Hingga ~100 permintaan per hari dapat ditangani dengan otomatisasi browser sendiri. Dari 100 hingga 10.000 — Anda sudah memerlukan parser yang dikelola atau SERP-API. Lebih dari 10.000 per hari tanpa infrastruktur perusahaan dengan batch dan webhook tidak akan berhasil. Ini menentukan seluruh tumpukan selanjutnya.
- Kumpulkan URL yang benar. Endpoint dasar — /search, parameter kunci: q (permintaan, URL-encoding), hl (bahasa antarmuka), gl (negara hasil), start (paginasi: start=10 — halaman kedua, start=20 — halaman ketiga, dan seterusnya). Ingat: num=100 tidak lagi berlaku, kedalaman hanya didapatkan melalui paginasi.
- Gunakan rendering browser. Karena tanpa JavaScript tidak ada hasil, tumpukan dasar adalah Playwright atau Selenium dengan Chromium headless. Pastikan untuk menghapus penanda otomatisasi (flag --disable-blink-features=AutomationControlled), jika tidak, anti-bot akan mendeteksi browser yang dikelola berdasarkan properti navigator.
- Tunggu AI Overview. Setelah memuat halaman, jangan segera ambil DOM: biarkan networkidle stabil dan tunggu pemuatan blok (patokan — hingga 8 detik). Keberadaan blok lebih dapat diandalkan ditentukan oleh teks judul "AI Overview", bukan oleh kelas CSS — mereka dinamis di Google dan berubah (kelas kondisional Kevs9, Y3BBE hari ini satu, besok yang lain).
- Parsing berdasarkan struktur, bukan kelas. Ambil organik berdasarkan tag judul (h3) dan semantik, bukan berdasarkan nama kelas yang rapuh. Dari hasil pencarian di 2026, tersedia: hasil organik, featured snippets, "Orang juga bertanya", permintaan terkait, knowledge graph, paket lokal, iklan, dan kutipan di dalam AI Overview.
- Rotasi IP dan lambatkan. Tetapkan jeda realistis antara permintaan (4–12 detik) dan ganti IP setiap 5 menit, bervariasi kota/operator. Ritme yang terlalu teratur dan satu IP — adalah cara tercepat menuju CAPTCHA.
Jebakan
- AI Overview "kosong". Jika Anda mengambil DOM segera setelah memuat, blok yang tertunda akan kosong — dan Anda akan berpikir bahwa itu tidak ada. Selalu sisihkan waktu untuk menunggu dan memeriksa ulang.
- Sesi sekali pakai untuk pemuatan. Beberapa API memiliki kunci sesi untuk memuat AI Overview yang tertunda yang bersifat sekali pakai dan bertahan sekitar 60 detik — jangan berharap untuk menggunakannya kembali nanti.
- Penghematan palsu pada pusat data. IP pusat data yang murah menangkap CAPTCHA setelah 5–10 permintaan dan juga tidak menunjukkan AI Overviews. Penghematan ini berujung pada data yang tidak lengkap dan waktu yang terbuang.
- Selector yang rapuh. Terikat pada nama kelas CSS — parser akan rusak pada desain ulang hasil pencarian berikutnya. Pegang teks dan struktur.
- Jejak permintaan yang seragam. User-Agent, waktu, dan header yang sama di semua aliran menunjukkan botnet. Variasikan jejak sidik jari seperti halnya IP.
Jenis proxy yang harus dipilih
Pada tahun 2026, proxy, bukan parser, menentukan apakah Anda akan melihat hasil lengkap. Mari kita bagi berdasarkan tugas.
Proxy seluler — untuk AI Overviews dan permintaan "berat". Karena Google memberikan blok AI terlebih dahulu kepada audiens seluler, IP operator nyata (T-Mobile, Verizon, Vodafone, dan sejenisnya) paling stabil memicu AI Overview dan dapat menangani lebih banyak — menurut pengamatan, 50–200 permintaan sebelum muncul gesekan dibandingkan 5–10 pada pusat data. Selain itu, IP CGNAT seluler berbagi satu alamat dengan ratusan pelanggan nyata, jadi Google takut memblokirnya. Jika tugas Anda adalah mengumpulkan AI Overviews atau memantau SERP yang paling terlindungi, mulailah dengan proxy seluler.
Proxy residensial — kuda kerja untuk organik dan volume. Untuk mengumpulkan hasil biasa, posisi, featured snippets, dan paket lokal, IP residensial (alamat penyedia rumah) memberikan rasio harga dan keberhasilan terbaik. Mereka sulit dibedakan dari pengguna nyata, dan rotasi memungkinkan untuk memperbesar pengumpulan tanpa ledakan dari satu alamat. Opsi optimal, ketika AI Overview tidak menjadi fokus, tetapi volume dan geografi penting, adalah proxy residensial dengan rotasi.
Pusat data — hanya untuk pengujian awal. Cepat dan murah, tetapi melawan Google di tahun 2026, hanya sedikit permintaan yang berhasil dan tidak melihat blok AI. Cocok untuk debugging logika parser, bukan untuk pengumpulan nyata.
Jika Anda tidak yakin jenis apa yang harus diambil untuk tugas tertentu, mulailah dengan membahas proxy residensial vs seluler di 2026: di sana dijelaskan secara detail di mana jenis mana menghemat uang, dan di mana — data.
Kesimpulan
Pemrosesan Google di tahun 2026 tidak lagi menjadi tugas "menulis parser". SearchGuard memaksa untuk merender JavaScript, penghapusan num=100 meningkatkan jumlah permintaan sepuluh kali lipat, dan AI Overviews menambahkan blok yang terlihat terutama dari IP seluler dan dimuat dengan penundaan. Secara teknis, semuanya dapat diselesaikan: otomatisasi browser, pemrosesan berdasarkan struktur, jeda yang masuk akal, dan rotasi. Tetapi fondasi yang mendukung kelengkapan dan stabilitas pengumpulan adalah proxy yang tepat: seluler untuk AI Overviews dan permintaan terlindungi, residensial untuk organik dan volume. Mulailah dengan jenis proxy untuk tugas Anda — dan parser tidak akan terjebak oleh CAPTCHA.
```