Data untuk memantau harga, melatih model, atau analitik B2B dapat diperoleh dengan tiga cara: membayar platform untuk API resmi, membeli dataset siap pakai dari penyedia, atau mengumpulkannya sendiri menggunakan parser melalui proxy. Pada tahun 2026, pilihan tidak lagi menjadi masalah selera: harga untuk API resmi meningkat pesat, beberapa di antaranya ditutup untuk klien baru, dan pengadilan untuk pertama kalinya memberikan pendapat tentang akses agen AI. Kami membahas tiga saluran berdasarkan tujuh kriteria dan memberikan matriks pilihan untuk skenario tertentu.
Menurut kriteria apa yang harus dibandingkan
Membandingkan "API vs parsing" hanya berdasarkan harga adalah kesalahan utama. Biaya nyata dari saluran terdiri dari tujuh parameter, dan setiap skenario memiliki bobotnya sendiri:
- Harga per unit data — per permintaan, per catatan, atau per gigabyte lalu lintas.
- Jangkauan — apakah saluran memiliki bidang dan objek yang Anda butuhkan.
- Kekinian — data waktu nyata atau snapshot dari minggu lalu.
- Status hukum — kontrak dengan platform, lisensi penyedia, atau pengumpulan data publik dengan risiko sendiri.
- Waktu hingga data pertama — dari beberapa menit hingga beberapa minggu persetujuan manual.
- Stabilitas — seberapa sering saluran mengalami gangguan dan apa yang terjadi ketika aturan berubah.
- Kontrol format — apakah Anda bisa mendapatkan bidang yang diinginkan atau Anda hanya menerima apa yang diberikan.
Saluran 1. API resmi dari platform
Saluran yang paling dapat diprediksi secara hukum dan paling tidak dapat diprediksi dalam hal harga. Apa yang terjadi dengan API besar pada Agustus 2026:
- X (Twitter) — sejak 6 Februari 2026, model bayar-per-penggunaan menjadi default untuk pengembang baru: tidak ada tarif gratis, tidak ada langganan untuk Basic atau Pro bagi klien baru. Tarifnya — $0,005 untuk membaca posting dan $0,015 untuk publikasi ($0,20 jika ada tautan dalam posting), batas maksimum 2 juta pembacaan per bulan. Selanjutnya — hanya Enterprise mulai dari sekitar $42.000 per bulan. Tarif tetap lama ($200 Basic, $5.000 Pro) hanya tersisa untuk pelanggan yang sudah ada.
- Reddit — akses komersial sekitar $12.000 per bulan untuk 50 juta panggilan, di luar batas sekitar $0,24 untuk 1.000 permintaan. 100 permintaan gratis per menit untuk klien OAuth tidak dilisensikan untuk penggunaan komersial, dan persetujuan komersial itu sendiri melalui tinjauan manual selama 2–4 minggu tanpa jaminan hasil.
- Amazon — Product Advertising API 5.0 tidak lagi menerima klien baru dan akan dihentikan: 30 April 2026 diumumkan sebagai tanggal penghentian dukungan, 15 Mei — pemutusan, dengan migrasi ke Creators API. Akses tergantung pada penjualan: perlu minimal 10 penjualan referral yang memenuhi syarat dalam 30 hari terakhir, dan masing-masing untuk setiap etalase secara terpisah, jika tidak, akun akan mendapatkan 429 dan kehilangan akses.
- Instagram — Basic Display API secara resmi dihentikan pada 4 Desember 2024, data akun pribadi tidak lagi tersedia melalui Graph API, hanya Business dan Creator yang didukung. Untuk produksi, diperlukan App Review dan verifikasi bisnis, dan aplikasi yang tidak lulus tinjauan kehilangan endpoint yang digunakan selama tahap pengembangan.
Kapan API resmi menang: Anda membutuhkan data dari akun sendiri dan klien, volume kecil dan stabil, dan kepatuhan hukum lebih penting daripada harga — misalnya, untuk integrasi dalam SaaS yang Anda jual kepada klien korporat. Kapan kalah: Anda membutuhkan gambaran luas tentang pasar, data publik orang lain, atau bidang yang tidak ada dalam API.
Saluran 2. Dataset siap pakai dari penyedia
Pasar data web berlisensi dalam dua tahun terakhir telah berkembang menjadi industri tersendiri. Patokan harga: di Bright Data, dataset siap pakai mulai dari $2,50 untuk 1.000 catatan, yaitu $250 untuk 100 ribu, dengan diskon hingga 80% tergantung pada frekuensi pembaruan; pengumpulan terkelola untuk tugas — mulai dari $1.500 per bulan, langganan industri seperti analitik ritel — mulai dari $250 per bulan.
Kekuatan jelas terlihat: data sudah dibersihkan, diduplikasi, dan disesuaikan dengan skema, Anda memiliki kontrak dan faktur, dan baris pertama dapat diperoleh pada hari pembayaran. Biaya rekayasa — nol.
Kelemahan muncul kemudian. Pertama, lag kekinian: Anda mengambil potongan dengan frekuensi pembaruan yang ditetapkan oleh penyedia, dan untuk memantau harga secara real-time, ini sering kali tidak tepat. Kedua, jangkauan orang lain: jika marketplace, wilayah, atau bahasa yang Anda butuhkan tidak ada dalam katalog, menambahkannya hanya bisa dilakukan melalui pesanan kustom dan harga yang berbeda. Ketiga, skema tetap: bidang yang tidak ada dalam dataset tidak dapat Anda ambil dengan cara apa pun.
Kapan dataset menang: penelitian sekali pakai, pelatihan model pada potongan historis, pengujian hipotesis cepat, ketika waktu hingga hasil lebih berharga daripada biaya per catatan. Kapan kalah: membutuhkan kekinian dalam hitungan jam, bidang non-standar, atau geo yang sempit.
Saluran 3. Parser sendiri melalui proxy
Di sini Anda membayar bukan untuk data, tetapi untuk infrastruktur akses: lalu lintas proxy, rendering, dan waktu rekayasa. Pasar proxy residensial pada tahun 2026 terbagi menjadi tiga tingkat — enterprise (Bright Data, Oxylabs) sekitar $8,5–12 per gigabyte, segmen menengah (Decodo, SOAX, NetNut) di $3–6, anggaran (IPRoyal, Webshare) — mulai dari $1,75 per gigabyte dengan sistem bayar-sesuai-penggunaan.
Tetapi harga per gigabyte adalah metrik yang menipu. Yang perlu dihitung adalah biaya permintaan yang berhasil: proxy pusat data seharga $1 per gigabyte tidak berguna jika situs target memotong 90% permintaan — Anda membayar untuk volume ulang yang sepuluh kali lipat. Dengan IP residensial, proporsi jawaban yang berhasil di situs yang dilindungi berada di sekitar 90–99%, sementara untuk pusat data pada tujuan yang sama turun menjadi 40–60%, dan pada perlindungan berat — hingga 20–30%. Rincian lengkap tentang bobot halaman, ulang, dan biaya tersembunyi telah kami bahas dalam materi berapa sebenarnya biaya untuk mem-parsing satu juta halaman.
Pertanyaan terpisah adalah di mana tepatnya batas antara proxy mentah dan API pemrograman siap pakai: batas ini terletak pada bobot jawaban, dan ini adalah topik perbandingan antara proxy, unblocking, dan scraping API.
Kapan parser sendiri menang: diperlukan bidang acak, kekinian dalam hitungan menit, jangkauan luas dari platform, dan harga yang dapat diprediksi pada volume besar. Kapan kalah: Anda tidak memiliki insinyur yang akan memperbaiki pipeline, dan volume diukur dalam ribuan halaman per bulan — di sini lebih murah untuk membeli dataset.
Lapisan hukum: apa yang berubah pada tahun 2026
Pada 4 Agustus 2026, Sirkuit Banding Kesembilan AS membatalkan larangan awal yang menghalangi agen AI Perplexity untuk mengakses Amazon atas nama pengguna. Pengadilan memutuskan bahwa ketika pengguna meminta agen untuk bertindak di Amazon, "akses" ke sistem Amazon dilakukan oleh pengguna itu sendiri, bukan oleh Perplexity: hukum CFAA berbicara tentang "siapa yang" mendapatkan akses, yaitu tentang orang, bukan alat perangkat lunak. Ini adalah keputusan pertama tingkat sirkuit banding di persimpangan AI agen dan undang-undang federal tentang penipuan komputer — rincian telah kami bahas dalam artikel terpisah tentang keputusan dalam kasus Amazon melawan Perplexity.
Kesimpulan praktis untuk pemilihan saluran: keputusan ini mengurangi sebagian risiko dari otomatisasi atas nama pengguna tertentu, tetapi tidak menjadikan pengumpulan data orang lain secara massal gratis dan tanpa risiko. Ketentuan penggunaan platform, hak cipta atas konten, dan perlindungan data pribadi tetap ada. API resmi tetap menjadi satu-satunya saluran di mana Anda memiliki kontrak; dataset memindahkan sebagian tanggung jawab kepada penyedia; pemrograman publik data sendiri adalah zona di mana keputusan ada di tangan Anda sendiri.
Matriks pilihan untuk skenario
- Pemantauan harga pesaing secara real-time. API resmi hampir selalu tidak tepat: bidang yang diperlukan tidak ada atau akses terikat pada penjualan, seperti di Amazon. Dataset tertinggal dalam hal kekinian. Pilihan — parser sendiri pada proxy residensial dengan frekuensi pengambilan sesuai dengan volatilitas harga.
- Pelatihan model pada korpus historis. Kekinian tidak kritis, volume sangat besar, skema standar. Pilihan — dataset siap pakai; pengumpulan sendiri untuk volume sebesar itu dari nol hampir selalu lebih mahal.
- Generasi prospek B2B dan pengayaan CRM. API resmi untuk profil orang lain hampir tidak ada. Default yang masuk akal — dataset berlisensi ditambah pengayaan titik dengan parser sendiri pada bidang sempit.
- Analitik SMM untuk akun sendiri. API resmi tidak ada alternatif: Instagram Graph untuk Business/Creator, X bayar-per-penggunaan untuk volume kecil pembacaan. Mem-parsing data sendiri tidak ada gunanya.
- Penelitian pasar sekali pakai selama dua minggu. Hitung waktu: jika insinyur menghabiskan lebih banyak waktu pada pipeline daripada biaya dataset, — beli dataset. Jika data tidak ada dalam katalog, bangun parser sementara pada proxy residensial dengan pembayaran berdasarkan lalu lintas dan matikan setelah proyek selesai.
Hibrida sebagai norma
Dalam praktiknya, tim yang matang pada tahun 2026 tidak memilih satu saluran, tetapi membagi tugas ke dalam tiga: API resmi — di mana data adalah milik sendiri dan kontrak diperlukan; dataset — untuk fondasi historis dan awal yang cepat; parser sendiri — untuk kekinian, bidang non-standar, dan volume, di mana ekonomi gigabyte mengalahkan pembayaran per catatan. IP pusat data pada saat yang sama digunakan untuk tujuan ringan dan pemeriksaan internal, sementara residensial dan seluler digunakan untuk platform dengan perlindungan nyata.
Hal utama yang perlu diingat: hitung bukan daftar harga, tetapi biaya satu catatan yang berguna dengan mempertimbangkan pengulangan, lag, dan waktu rekayasa. Dengan metrik ini, saluran "mahal" secara teratur terbukti murah, dan "murah" sebaliknya.
Kesimpulan
API resmi pada tahun 2026 menjadi saluran untuk bekerja dengan data sendiri dan volume kecil: X mengalihkan pengembang baru ke pembayaran per unit, Reddit mempertahankan akses komersial pada tingkat $12.000 per bulan, Amazon menutup PA-API, Instagram memutus akses akun pribadi. Dataset siap pakai menutup sejarah dan awal yang cepat dari $2,50 untuk seribu catatan, tetapi tidak memberikan kekinian dan bidang acak. Parser sendiri melalui proxy tetap menjadi satu-satunya saluran dengan kontrol penuh atas skema dan frekuensi pembaruan — dan menang dalam hal biaya pada volume, jika menghitung biaya permintaan yang berhasil, bukan gigabyte. Jika skenario Anda membutuhkan data terkini dari platform yang dilindungi, mulailah dengan pengujian proxy residensial pada tujuan nyata dan ukur proporsi jawaban yang berhasil — angka ini akan lebih cepat menyelesaikan perdebatan antara tiga saluran dibandingkan tabel mana pun.