Pertanyaan "berapa biaya untuk meng-crawl satu juta halaman" hampir selalu mendapatkan jawaban yang tidak berguna: "tergantung pada situsnya". Tergantung — tetapi tidak secara mistis. Biaya terbagi menjadi empat komponen yang terukur, dan masing-masing dapat dihitung sebelumnya, sebelum tagihan untuk lalu lintas datang setelahnya. Di bawah ini adalah aritmatika yang bekerja: dari mana gigabyte berasal, mengapa harga "per GB" tidak memberi tahu apa pun tentang anggaran Anda, dan alat apa yang benar-benar dapat memangkas anggaran secara signifikan.
Metrik utama — bukan harga per gigabyte, tetapi harga per permintaan yang berhasil
Penyedia bersaing dalam angka di etalase: $1/GB, $3/GB, $0,30 per seribu permintaan. Angka-angka ini tidak dapat dibandingkan satu sama lain, sampai Anda mengubahnya menjadi satu ukuran — biaya satu pengambilan data yang berhasil. Inilah yang ditekankan oleh ulasan pasar: angka mentah "per GB" dan "per 1000 permintaan" tidak dapat dibandingkan tanpa mempertimbangkan berat halaman dan proporsi respons yang berhasil.
Rumus yang cukup untuk perencanaan:
Anggaran = (jumlah halaman target ÷ proporsi keberhasilan) × rata-rata berat halaman × harga per GB + biaya tetap
Tiga variabel di bagian pertama dan satu di bagian kedua. Mari kita bahas masing-masing.
Komponen 1: berapa berat satu halaman
Ini adalah variabel yang paling diremehkan. Variasi di sini — bukan persentase, tetapi kali lipat, dan tergantung pada bagaimana Anda mengambil halaman:
- Permintaan HTTP biasa tanpa rendering — 50–150 KB. Anda hanya mendapatkan dokumen HTML.
- Rendering penuh di browser headless — 100–300 KB dengan pengaturan yang hati-hati.
- Browser "apa adanya", tanpa filter — 0,2–1 MB dan lebih. Anda membayar untuk gambar, font, skrip iklan, analitik, dan pemutar video yang tidak Anda butuhkan.
Perbedaan antara poin pertama dan ketiga — hingga dua puluh kali lipat pada halaman yang sama. Untuk satu juta halaman, ini adalah perbedaan antara 50 GB dan 1000 GB lalu lintas.
Komponen 2: harga gigabyte berdasarkan jenis proxy
Koridor pasar yang relevan untuk tahun 2026 terlihat seperti ini:
- Data center — $0,50–3 per GB atau biaya bulanan untuk IP.
- Residential — $1–8 per GB. Acuan kualitas harga: sekitar $1/GB — penawaran yang sangat baik, $3–4/GB — tengah pasar, $5–8/GB — segmen korporat.
- Mobile (4G/5G) — $2–15 per GB.
- ISP / residential statis — $1,5–5 per IP per bulan.
- API scraping siap pakai — $0,30–12 per 1000 permintaan.
Godaan untuk mengambil yang paling murah dapat dimengerti, tetapi itu terhalang oleh komponen berikutnya.
Komponen 3: proporsi keberhasilan — pengganda anggaran yang tersembunyi
Setiap permintaan yang diblokir tetap Anda bayar: lalu lintas terbuang, data tidak ada. Oleh karena itu, jumlah permintaan yang sebenarnya sama dengan target, dibagi dengan proporsi keberhasilan, dan pengganda meningkat secara non-linear:
- keberhasilan 95% — overpay 5%;
- keberhasilan 70% — Anda akan membutuhkan sekitar 400 ribu permintaan lebih banyak untuk setiap satu juta catatan target;
- keberhasilan 60% — permintaan yang dibutuhkan 2,5 kali lebih banyak.
Inilah sebabnya mengapa data center murah seharga $0,50/GB di situs yang dilindungi menjadi lebih mahal daripada residential seharga $3/GB: Cloudflare, DataDome, dan Akamai secara default menandai ASN data center, dan Anda membayar untuk aliran penolakan. Menurut perkiraan Juli 2026, proxy mobile mempertahankan 90–95% keberhasilan terhadap sistem anti-bot modern — di mana data center tidak dapat lolos sama sekali.
Kesimpulan praktis: jenis proxy dipilih bukan berdasarkan harga, tetapi berdasarkan tujuan. Katalog sederhana dan API terbuka — data center. Toko, media sosial, agregator dengan perlindungan — residential. Situs yang paling agresif dan versi mobile dari situs — mobile.
Tiga skenario untuk satu juta halaman
Ayo kita kumpulkan angka-angka bersama. Syaratnya sama: satu juta halaman berguna.
Skenario A — "disiplin". Klien HTTP tanpa browser, 100 KB per halaman, residential seharga $2/GB, keberhasilan 95%. Total: 1,05 juta permintaan × 100 KB ≈ 105 GB ≈ $210.
Skenario B — "tipikal". Browser headless dengan penyaringan sumber daya, 250 KB per halaman, residential seharga $3/GB, keberhasilan 85%. Total: 1,18 juta × 250 KB ≈ 295 GB ≈ $885.
Skenario C — "tanpa pengaturan". Browser memuat semuanya, 800 KB per halaman, residential seharga $5/GB, keberhasilan 65%. Total: 1,54 juta × 800 KB ≈ 1230 GB ≈ $6150.
Perbedaan antara A dan C — hampir tiga puluh kali lipat, dengan hasil yang sama di akhir. Tidak ada variabel yang eksotis: semua ini adalah pengaturan default biasa versus ketelitian biasa. Sebagai acuan: perkiraan industri untuk perusahaan ukuran menengah yang memproses satu juta permintaan per bulan di berbagai situs memberikan $1000–3000 per bulan — yaitu antara skenario B dan C.
Apa yang tidak termasuk dalam lalu lintas, tetapi termasuk dalam tagihan
Proxy — biasanya merupakan artikel terbesar, tetapi bukan satu-satunya:
- Captcha. Penyelesaiannya berkisar antara $0,50–3 per seribu. Dengan 5% halaman memiliki captcha di satu juta, itu 50 ribu penyelesaian — $25–150. Masih bisa ditoleransi. Dengan 50% — sudah $250–1500, dan pertanyaannya tidak lagi bersifat teknis.
- Infrastruktur. $20–200 per bulan untuk volume kecil; $200–500 untuk skala kecil dan $3000–10.000 untuk aliran yang benar-benar besar.
- Penyimpanan dan lalu lintas keluar. Sekitar $0,023 per GB per bulan untuk penyimpanan objek dan $0,09 per GB untuk keluar di cloud besar — kecil pada ratusan gigabyte, tetapi jumlah yang signifikan pada puluhan terabyte.
- Orang. Baris yang paling mahal, yang sering dilupakan. Parser siap produksi — ini memerlukan 8–12 minggu pengembangan, kemudian 4–8 jam per bulan untuk situs sederhana dan 20+ jam untuk yang dilindungi. Dengan tarif $75/jam, dukungan untuk sumber yang dilindungi akan menelan biaya $1500+ per bulan — lebih dari seluruh lalu lintas dalam skenario B.
Lima alat yang benar-benar memangkas anggaran
- Hapus browser di tempat yang tidak diperlukan. Jika data ada di HTML atau di API internal — rendering tidak perlu. Ini adalah alat utama: mengurangi 60–80% lalu lintas.
- Blokir sumber daya jika browser diperlukan. Gambar, font, media, skrip iklan dan analitik dapat dimatikan dengan satu aturan intersepsi permintaan dan memberikan penghematan yang signifikan. Analisis rinci tentang teknik ini — dalam materi tentang optimisasi pengeluaran lalu lintas melalui proxy.
- Urutkan tujuan berdasarkan kesulitan. Mengirim seluruh daftar melalui saluran termahal — adalah kesalahan anggaran yang paling umum. Kategorikan sumber menjadi "terbuka", "sedang terlindungi", dan "agresif" dan tetapkan jenis proxy yang sesuai untuk masing-masing.
- Bangun kebijakan retry dengan bijak. Mengulangi tiga kali pada kegagalan menggandakan lalu lintas pada tujuan yang bermasalah. Hanya ulangi kode respons di mana pengulangan masuk akal, dan dengan IP yang berbeda, bukan yang sama.
- Cache dan jangan ambil yang sama dua kali. Daftar, paginasi, dan pengulangan melalui katalog — di sini mudah kehilangan puluhan persen anggaran.
Kapan lebih murah menggunakan API siap pakai, dan kapan menggunakan tumpukan sendiri
Anda harus menghitung total biaya kepemilikan, bukan hanya baris "per GB". Acuan pasar: parser sendiri untuk 100 ribu halaman per bulan menghabiskan $700–1650 termasuk dukungan, sementara API siap pakai untuk volume yang sama — $50–300. Pada angka besar, gambaran berubah: 1 juta permintaan per bulan melalui API berharga $250–2490, sementara membangun infrastruktur sendiri untuk 10 TB per bulan diperkirakan sekitar $230 ribu per tahun dibandingkan dengan $100–150 ribu untuk membeli layanan.
Aturan kasar: selama volume kecil dan banyak situs — ambil solusi siap pakai, Anda membayar untuk dukungan orang lain. Ketika volume stabil, tujuan sedikit dan sudah dipahami dengan baik — tumpukan sendiri pada proxy lebih murah, karena Anda berhenti membayar markup untuk rendering yang tidak Anda butuhkan. Perbandingan mendalam antara kedua pendekatan — dalam analisis proxy versus scraping API dan web unblocker.
Apa yang berubah pada musim gugur 2026
Ada faktor yang akan menggeser perhitungan ke atas. Mulai 15 September 2026, Cloudflare akan secara default memindahkan domain baru ke pemblokiran kategori Training dan Agent — di halaman dengan iklan; perubahan ini akan mempengaruhi klien baru, situs baru dari klien yang ada, dan semua klien tarif gratis. Crawlers pencarian tetap diperbolehkan. Secara bersamaan, Pay Per Crawl berubah menjadi Pay Per Use: penerbit mendapatkan uang tidak untuk fakta melewati halaman, tetapi untuk penggunaan konten dalam respons AI.
Konteksnya sederhana: menurut data Cloudflare, 52% permintaan crawler di jaringan mereka sekarang berasal dari pelatihan AI dibandingkan dengan 22% pada musim semi 2025. Jaringan semakin tertutup, dan makna praktis untuk anggaran adalah — proporsi keberhasilan pada sumber yang dilindungi rata-rata akan menurun, yang berarti pengganda anggaran tersembunyi dari komponen ketiga akan menjadi lebih signifikan. Rencanakan ini, jangan hanya menunggu tagihan.
Singkatnya
Biaya parsing bukanlah harga gigabyte, tetapi hasil dari berat halaman, harga saluran, dan kebalikan dari proporsi keberhasilan. Perbedaan antara pipeline yang hati-hati dan yang ceroboh pada satu juta halaman diukur bukan dalam persentase, tetapi dalam urutan besar. Sebelum menawar diskon dari penyedia, hitung berapa banyak yang Anda bayar untuk memuat gambar yang tidak Anda parsing, dan untuk pengulangan yang seharusnya tidak terjadi. Biasanya, lebih banyak uang terletak di sana daripada dalam diskon apa pun.
```