Pemantauan harga menjelang Black Friday 2026: parser dan proxy

Black Friday pada tahun 2026 jatuh pada 27 November, Cyber Monday — pada 30 November. Tersisa sekitar tujuh minggu hingga puncak, dan ini cukup untuk mempersiapkan parser harga. Jika dimulai pada bulan November, Anda akan mengetahui titik lemah sistem tepat pada hari penjualan: pesaing mengubah harga setiap jam, sementara dasbor Anda menunjukkan data kemarin atau sel kosong.

Dalam panduan ini — rencana langkah demi langkah selama enam minggu: bagaimana menghitung ulang anggaran lalu lintas untuk frekuensi puncak, proxy mana yang harus dipasang di situs mana, bagaimana mendeteksi harga "teracuni" yang diberikan situs kepada bot, dan apa yang harus dilakukan pada hari penjualan itu sendiri.

Kenapa pada Black Friday parser sering mengalami masalah

Singkatnya: pada hari-hari ini, situs mengalami peningkatan lalu lintas baik dari pengguna nyata maupun bot, sehingga pengaturan keamanan lebih ketat dibandingkan waktu lainnya dalam setahun. Berikut adalah angka dari musim lalu.

Uang dipertaruhkan. Menurut data Adobe Analytics, selama seminggu dari Hari Bersyukur hingga Cyber Monday 2025, orang Amerika menghabiskan secara online $44,2 miliar (+7,7% tahun ke tahun). Hanya pada Black Friday — rekor $11,8 miliar, dan pada Cyber Monday — $14,25 miliar. Diskon untuk elektronik mencapai 31% dari harga.
Jumlah bot hampir sama dengan jumlah manusia. Radware dalam laporan tahun 2026 menyebutkan bahwa dalam "Cyber Five" 2025, bot berbahaya memberikan sekitar 43% lalu lintas ke toko online yang dilindungi, sementara manusia memberikan sekitar 46%. Setahun sebelumnya, proporsi bot buruk adalah 31%.
Serangan meningkat tepat pada hari penjualan. Imperva mencatat pada Black Friday 2025 peningkatan serangan bot terhadap ritel sebesar 50% dibandingkan dengan rata-rata bulan November, sementara total lalu lintas meningkat 37%. Di antara ancaman umum, Imperva secara khusus menyebutkan pengumpulan harga dan stok secara otomatis, serta rotasi IP melalui proxy anonim dan VPN.

Apa yang harus dilakukan dalam praktiknya. Retailer melihat gelombang bot, mengaktifkan mode anti-bot yang ketat, menerapkan antrean virtual untuk barang-barang panas, dan membatasi frekuensi permintaan dari satu IP dengan lebih ketat. Parser Anda, yang telah berfungsi tanpa kesalahan sepanjang bulan Oktober, terjebak dalam captcha atau menerima 403. Anda perlu bersiap untuk mode ketat ini, bukan untuk hari biasa.

Langkah demi langkah: rencana selama enam minggu

Minggu 1–2 (pertengahan Oktober): inventarisasi dan prioritas

Pecah barang menjadi level. Posisi "panas", di mana Anda benar-benar mengubah harga (biasanya 5–15% dari katalog), "hangat" — untuk analisis, dan "dingin" — untuk latar belakang. Pada puncak, frekuensi tinggi hanya diperlukan untuk barang panas.
Catat situs pesaing dan perlindungannya. Telusuri setiap situs dan catat siapa yang berdiri di depan situs tersebut: Cloudflare, Akamai, DataDome, atau WAF milik sendiri. Ini menentukan jenis proxy (lebih lanjut di bawah).
Cari API internal. Buka halaman produk, tab Network di DevTools dan cari permintaan JSON dengan harga. Jika ada, permintaan ke sana jauh lebih mudah dibandingkan dengan seluruh halaman, sehingga lebih murah dalam lalu lintas dan tidak membebani situs.
Catat standar. Ambil indikator saat ini: proporsi respons yang berhasil, ukuran rata-rata respons, waktu untuk satu halaman produk. Tanpa data ini, Anda tidak akan memiliki apa pun untuk dibandingkan pada bulan November.

Minggu 3–4: menghitung ulang anggaran dan pengujian beban

Hitung lalu lintas untuk frekuensi puncak. Rumusnya sederhana: jumlah barang × pemeriksaan per hari × berat rata-rata respons × jumlah hari puncak. Contoh: 2.000 halaman produk panas × 24 pemeriksaan × 0,4 MB ≈ 19 GB per hari. Jika puncak berlangsung selama lima hari (dari Jumat hingga Senin ditambah pemanasan), itu sekitar 95 GB — hanya untuk level panas. Kami telah menulis secara rinci tentang perhitungan dalam analisis anggaran untuk memantau 10.000 barang.
Siapkan cadangan untuk pengulangan. Dalam mode anti-bot yang ketat, beberapa permintaan harus diulang. Jika pada hari biasa proporsi pengulangan adalah 5%, untuk puncak siapkan 20–30%. Penting untuk menghitung bukan "biaya gigabyte", tetapi biaya satu catatan yang berhasil: kumpulan murah yang memberikan setengah dari captcha, pada akhirnya lebih mahal.
Jalankan pengujian beban. Aktifkan frekuensi puncak selama 2–3 jam di situs nyata. Perhatikan tiga hal: di mana 403/429 mulai muncul, setelah berapa banyak permintaan dari satu IP captcha muncul, dan bagaimana waktu respons meningkat.
Atur jeda dan sesi. Berdasarkan hasil pengujian, tetapkan batas permintaan untuk domain dan waktu hidup sesi. Biasanya, lebih baik menggunakan lebih banyak IP paralel dengan beban lebih kecil pada masing-masing, daripada beberapa IP "penuh".

Minggu 5: perlindungan dari kesalahan yang tidak terlihat

Kegagalan yang paling berbahaya adalah yang tidak terlihat. Situs tidak memblokir bot, tetapi memberikan halaman yang di-cache, harga tanpa diskon, atau placeholder "produk tidak tersedia". Apa yang harus dipasang:

Pemeriksaan rentang. Jika harga turun lebih dari 60–70% dari kemarin atau dari median pesaing — catatan ditandai untuk diperiksa ulang dari IP lain, bukan langsung masuk ke repricer.
Produk kontrol. 10–20 posisi, harga yang sudah Anda ketahui sebelumnya (atau periksa secara manual). Jika parser mulai salah pada produk ini — masalah ada di seluruh aliran.
Verifikasi mata uang dan wilayah. Situs menentukan negara berdasarkan IP. Jika proxy memberikan IP dari negara yang salah, Anda akan melihat harga dalam mata uang asing atau promosi yang berbeda. Periksa geolokasi IP keluar dan mata uang di halaman.
Alarm untuk proporsi kesalahan. Bukan pada satu kesalahan, tetapi pada tren: misalnya, "respons berhasil kurang dari 85% selama lebih dari 15 menit".

Minggu 6 (minggu sebelum puncak): pembekuan dan cadangan

Bekukan kode. Tidak ada fitur baru dalam parser seminggu sebelum Black Friday — hanya perbaikan kesalahan.
Isi saldo sebelumnya. Lalu lintas di penyedia proxy harus tersedia dengan cadangan hingga Cyber Monday termasuk. Mengisi ulang akun pada pukul 23:00 Jumat — ide yang buruk.
Siapkan rencana B untuk setiap situs. Jika metode utama gagal: jenis proxy mana yang akan dihubungkan, frekuensi mana yang akan diturunkan, barang mana yang akan dinonaktifkan terlebih dahulu.
Tunjuk orang yang bertugas. Seseorang yang memantau dasbor selama jam puncak dan tahu tombol mana yang harus diputar.

Proxy mana yang harus dipasang untuk tugas mana

Tidak ada jawaban universal, tergantung pada perlindungan situs tertentu. Skema kerja untuk musim penjualan:

Data center — untuk situs tanpa anti-bot yang serius, API internal tanpa perlindungan dan level "dingin". Cepat dan murah, tetapi di situs dengan Akamai atau DataDome pada hari puncak, IP semacam ini diblokir terlebih dahulu: rentang mereka sudah dikenal.
Proxy residensial — alat utama untuk level panas di situs yang dilindungi. IP dari penyedia rumah ditambah penargetan berdasarkan negara dan kota, agar dapat melihat harga yang sama dengan pembeli di wilayah yang tepat. Rotasi untuk setiap permintaan cocok untuk halaman produk tertentu; sesi tetap selama 5–10 menit — untuk skenario di mana perlu melewati beberapa halaman berturut-turut (katalog → halaman produk → keranjang untuk memeriksa harga akhir).
Proxy seluler — cadangan untuk tujuan yang paling ketat dan versi seluler situs dan aplikasi. Satu IP operator dibagi oleh ribuan pelanggan nyata, sehingga memblokirnya tidak menguntungkan bagi situs. Lebih mahal, jadi gunakan dengan bijak — di tempat di mana proxy residensial tidak berhasil.

Satu saran untuk menghemat: matikan pemuatan gambar, font, dan video jika Anda bekerja melalui browser. Pada halaman produk, mereka dengan mudah memberikan sebagian besar berat halaman, dan tidak diperlukan untuk harga.

Pada hari penjualan: apa yang harus dilakukan per jam

Malam sebelum dimulai. Banyak toko memulai promosi pada tengah malam sesuai waktu mereka. Tingkatkan frekuensi untuk barang panas satu jam sebelum dimulai, untuk menangkap harga "sebelum".
Jam pertama. Waktu yang paling ketat untuk anti-bot. Jika proporsi kesalahan meningkat, pertama-tama turunkan frekuensi pada level "hangat", bukan mengubah semuanya sekaligus.
Antrean virtual. Jika situs menerapkan ruang tunggu, jangan coba untuk menyerbu — itu hanya akan membakar lalu lintas dan IP. Tunda halaman produk di belakang antrean dan periksa mereka lebih jarang, sampai antrean dibubarkan.
Puncak malam. Menurut data Adobe, pada Cyber Monday 2025, pembelian terbanyak terjadi antara pukul 20:00 hingga 22:00 (waktu AS) — pada saat ini orang Amerika menghabiskan $16 juta per menit. Untuk pasar AS, ini adalah jam ketika harga dan stok berubah dengan sangat aktif.
Setelah puncak. Diskon tidak langsung hilang: Adobe mencatat diskon yang signifikan bahkan di minggu pertama bulan Desember. Jangan matikan pemantauan pada hari Selasa — turunkan frekuensi secara bertahap.

Kesalahan umum

Frekuensi yang sama untuk seluruh katalog. Anggaran terbuang pada barang yang tidak Anda ubah harganya.
Pengujian pada satu IP. Pengujian "semuanya berfungsi" dari satu alamat tidak memberikan informasi tentang perilaku pada ribuan permintaan.
Kepercayaan pada kode 200. Respons tanpa kesalahan — tidak berarti harga yang benar.
Mengabaikan aturan situs. Hanya kumpulkan harga publik, jangan sentuh akun pribadi dan jangan menciptakan beban pada situs yang mengganggu pembeli nyata. Ini adil dan mengurangi risiko hukum.

Kesimpulan

Black Friday adalah ujian bukan pada kecepatan parser, tetapi pada persiapan. Pecah katalog berdasarkan prioritas, hitung ulang lalu lintas dengan cadangan untuk pengulangan, jalankan pengujian beban sebulan sebelum puncak, pasang pemeriksaan terhadap "sampah yang tidak terlihat" dan bagi tugas berdasarkan jenis proxy: data center untuk tujuan sederhana, proxy residensial untuk aliran utama, mobile untuk situs yang paling dilindungi. Maka pada 27 November Anda akan melihat harga pesaing, bukan log kesalahan.