21 Agustus 2026 JΓ©rΓ΄me Segura, wakil presiden penelitian ancaman di perusahaan anti-bot DataDome, mempublikasikan angka yang menyebar ke media cetak dalam sehari: pada kartu memori DDR5 di salah satu pengecer besar, bot menyumbang 91% dari seluruh lalu lintas β sekitar sepuluh permintaan otomatis untuk satu kunjungan nyata. Pada musim semi, rasio di perusahaan yang sama adalah 6:1. Dalam beberapa bulan, tekanan otomatisasi pada halaman produk meningkat hampir dua kali lipat.
Bagi mereka yang mengumpulkan harga dan ketersediaan secara legal β repricing, kontrol MAP, analisis assortimen β ini adalah berita buruk bukan karena "para pesaing scalper mengungguli". Tetapi karena, sekarang pengecer menyesuaikan perlindungan berdasarkan profil perilaku yang terlihat sama antara pemantauan harga biasa dan bot scalper.
Apa yang sebenarnya ditemukan dan seberapa besar kepercayaan terhadapnya
Fakta publik terdiri dari dua laporan DataDome. Analisis bulan Maret memberikan rincian tentang satu kampanye: lebih dari 50.000 permintaan per jam, 91 posisi produk yang diawasi, rata-rata 551 permintaan per kartu β yaitu pemeriksaan ketersediaan setiap 6,5 detik. Satu operasi berhasil melakukan lebih dari 10 juta permintaan sebelum diblokir. Pembaruan bulan Agustus menambahkan proporsi ini: 91% lalu lintas dan rasio 10:1.
Sekarang, catatan jujur yang tanpa mana angka ini menjadi kebisingan pemasaran:
- Ini adalah satu pengecer yang tidak disebutkan namanya, bukan potongan pasar.
- DataDome tidak mempublikasikan jendela pengambilan sampel dan metodologi β apa yang dianggap sebagai "bot buruk" tetap menjadi kebijakannya.
- Perusahaan menjual produk yang secara tepat memblokir lalu lintas ini. Konflik kepentingan tidak membatalkan data, tetapi memerlukan penyesuaian.
- Yang terpenting: permintaan ke halaman bukanlah pembelian. Metode ini menunjukkan tekanan pemantauan pada listing, bukan proporsi produk yang benar-benar dibeli oleh bot.
Point terakhir lebih penting daripada semua yang lain. 91% "lalu lintas bot" bukanlah 91% scalper. Dalam proporsi ini termasuk semua yang otomatis: agregator harga, repricer pihak ketiga, layanan pelacakan diskon, crawler analitis, dan pemantauan Anda sendiri. Pengecer melihat satu gelombang umum dan meresponsnya dengan satu aturan umum.
Mengapa ini terjadi: memori menjadi aset langka
Konteksnya sederhana. Paket 32 GB DDR5-6000, yang setahun lalu harganya sekitar $72, pada bulan Agustus dijual dengan harga rata-rata $392. Paket 64 GB meningkat sekitar 485%, menjadi $1118. Harga spot chip DDR4 pada awal Agustus mencetak rekor β $42,45. Paket 128 GB teratas meningkat hampir sepuluh kali lipat. Penyebabnya bukan pada modul gaming: kapasitas produksi dibersihkan oleh akselerator AI, HBM, dan memori server β menurut proyeksi industri, pusat data akan mengambil sekitar 70% dari produksi chip memori global pada tahun 2026, dan kekurangan akan berlanjut setidaknya hingga kuartal keempat 2027.
Ketika barang menjadi lima kali lipat lebih mahal dan menghilang dari rak, perbedaan antara harga eceran dan harga jual kembali membenarkan infrastruktur apa pun untuk perantara. Dari sini juga intensitasnya. Dan targetnya melampaui ritel konsumen: otomatisasi menyerang halaman pemasok seperti Micron dan Apacer, serta produsen soket DIMM dan konektor CAMM2 β Amphenol, TE Connectivity. Para perantara bergerak lebih tinggi dalam rantai pasokan.
Tanda tangan yang merugikan pemantauan legal
Berikut adalah deskripsi perilaku bot dari laporan DataDome β bacalah sebagai daftar periksa untuk scraper Anda sendiri:
- Penghindaran cache. Setiap permintaan HTTP ditambahkan parameter unik untuk mendapatkan halaman terbaru, bukan hasil dari CDN.
- Ritme seperti manusia. Profil beban siang-malam yang meniru jam aktivitas biasa.
- Tempo sedikit di bawah ambang batas. Frekuensi disesuaikan agar tidak memicu peringatan volumetrik.
- Sesi datar. Masuk ke satu kartu β dan keluar. Tidak ada keranjang, pencarian, atau navigasi katalog.
Sekarang lihat pemantauan harga korporat yang khas. Ia mengikuti tautan langsung ke SKU dari basis datanya. Ia menambahkan parameter untuk tidak menangkap harga yang di-cache dari hari sebelumnya. Ia bekerja dengan interval tetap, yang disesuaikan secara empiris "agar tidak diblokir". Dan ia tidak pernah menempatkan apa pun di keranjang. Ini adalah tanda tangan yang sama. Perbedaannya hanya pada niat, dan niat mesin anti-bot tidak dapat diukur.
Kesimpulan praktis yang tidak menyenangkan: pengetatan perlindungan terhadap scalper secara otomatis berdampak pada pengumpulan data yang legal, dan tidak ada yang bisa "menjelaskan" di sini. Efek serupa telah kami bahas di platform lain β ketika Amazon mulai menandai pembeli biasa sebagai bot karena ambang perilaku, bukan karena IP.
Apa yang perlu diubah dalam pengumpulan data Anda sekarang juga
Pergantian IP pool di sini membantu sedikit: sinyal berasal dari perilaku, bukan alamat. Urutan kerja yang benar-benar mengurangi proporsi pemblokiran:
- Hilangkan taktik yang rata. Permintaan setiap 6,5 detik dengan ketepatan metronom β ini tidak "manusiawi", ini adalah tanda tangan. Diperlukan jitter dalam rentang luas (misalnya, 20β180 detik untuk satu posisi) dan distribusi yang berbeda sepanjang minggu.
- Berhenti merusak cache pada setiap permintaan. Cache-buster unik dalam URL β penanda otomatisasi yang paling murah. Memeriksa kesegaran harus dilakukan secara selektif dan hanya untuk SKU yang volatil, yang lainnya ambil apa adanya.
- Berikan kedalaman pada sesi. Masuk melalui kategori atau pencarian, satu atau dua produk tetangga, baru kemudian kartu target. Lebih mahal dalam lalu lintas, tetapi menghilangkan profil "datar".
- Prioritaskan SKU berdasarkan volatilitas. Produk yang harganya berubah setiap minggu tidak perlu ditanya setiap setengah menit. Frekuensi harus mengikuti perubahan, bukan ukuran daftar.
- Pisahkan pool berdasarkan kelas tugas. Pemantauan ritel, pemeriksaan hasil, dan pengumpulan ulasan tidak boleh dilakukan dari alamat yang sama: pemicu perlindungan pada satu skenario tidak boleh menghancurkan yang lainnya. Untuk kartu produk dari jaringan besar, proxy residensial bekerja paling stabil, sementara pool data center sebaiknya dibiarkan untuk API publik dan pemeriksaan internal.
- Hitung bukan gigabyte, tetapi catatan yang berhasil. Dengan pengetatan perlindungan, proporsi retry meningkat, dan harga per gigabyte berhenti mencerminkan kenyataan β mengapa $/GB tidak akurat dan bagaimana menghitung biaya catatan yang berhasil, telah kami bahas secara terpisah. Dalam kondisi di mana 9 dari 10 permintaan ke listing adalah otomatisasi, metrik "biaya harga valid dalam basis data" menjadi satu-satunya yang jujur.
Bagaimana mengetahui bahwa Anda sudah diblokir
Pemblokiran di halaman produk jarang terlihat sebagai penolakan yang jujur. Seringkali itu diam-diam, dan pemantauan terus menerus menulis sampah ke basis data. Tanda-tanda yang dapat menangkap ini:
- Peningkatan proporsi 429 dan 403 dengan volume tugas yang tidak berubah β indikator paling sederhana, jika Anda benar-benar mencatat kode respons dalam log, bukan hanya hasil parsing.
- Selalu "tidak tersedia". Respons lembut klasik: halaman ditampilkan, harga ada, tetapi blok stok diganti. Pemantauan melihat HTML yang valid dan tidak membangkitkan alarm.
- Harga "terjebak". Versi yang di-cache dari minggu lalu ditampilkan β efek yang sama, yang menyebabkan bot mulai merusak cache dengan parameter.
- Peningkatan latensi respons khusus pada kartu, sementara kategori dan pencarian terbuka dengan normal: segmen yang mencurigakan telah diaktifkan throttling.
- Variasi tajam dalam pengambilan sampel. Jika data untuk beberapa SKU diperbarui, tetapi untuk beberapa lainnya terjebak β Anda sudah sebagian terfilter, hanya tidak sepenuhnya.
Praktik kerja β menjaga beberapa produk "kontrol", di mana harga dapat diperiksa secara manual atau dari sumber independen kedua, dan memeriksanya sekali sehari. Perbedaan antara kelompok kontrol dengan apa yang terlihat di browser berarti bahwa yang perlu diperbaiki bukanlah parser, tetapi profil permintaan.
Mengapa hanya rotasi IP tidak lagi menyelesaikan masalah
Penyebab mengapa perubahan alamat memberikan efek yang semakin sedikit adalah karena keputusan untuk memblokir diambil berdasarkan beberapa lapisan sekaligus, dan IP hanyalah yang pertama dari mereka.
- Lapisan jaringan. Reputasi alamat dan sistem otonom, proporsi rentang data center, kepadatan permintaan dari satu subnet. Di sini rotasi benar-benar membantu.
- Lapisan transportasi dan klien. Jejak TLS, urutan header, versi klien. Perpustakaan tahun 2021 dengan kombinasi cipher yang langka mengungkapkan dirinya lebih awal sebelum sampai ke logika bisnis.
- Lapisan perilaku. Yang sama yang dijelaskan DataDome: interval, kedalaman sesi, tidak adanya keranjang dan pencarian, cache-buster. Lapisan ini sama sekali tidak terikat pada IP β Anda dapat mengubah alamat pada setiap permintaan dan tetap menjadi bot yang sama.
Oleh karena itu, tesis praktis utama dari cerita bulan Agustus: investasi dalam kualitas pool memberikan hasil hanya bersamaan dengan perbaikan perilaku. Secara terpisah, yang pertama adalah pembayaran untuk lalu lintas yang tetap akan disaring di lapisan ketiga.
Ke mana ini akan pergi selanjutnya
Kekurangan memori akan berlangsung selama bertahun-tahun, jadi tekanan pada kartu tidak akan mereda. Ritel akan merespons dengan cara yang jelas: batasan pembelian, antrean, otorisasi wajib untuk melihat ketersediaan, penilaian perilaku sebagai pengganti batasan sederhana berdasarkan IP. Beberapa langkah ini sudah menjadi standar di vertikal tiket dan sepatu β sekarang mereka datang ke perangkat keras komputer dan, selanjutnya, ke komponen industri.
Bagi tim yang bergantung pada data eksternal, ini berarti perubahan pendekatan: era "mengatur rotasi IP dan mengumpulkan" telah berakhir di tempat di mana barang langka. Yang berfungsi adalah tempo realistis, kedalaman sesi yang dipikirkan, pemisahan pool, dan perhitungan biaya hasil yang jernih. Jika Anda baru mulai membangun pengumpulan harga, mulailah dengan skema dasar dari analisis kami proxy untuk e-commerce: pengumpulan harga dan pemantauan pesaing, dan kemudian terapkan penyesuaian perilaku dari materi ini.
Dan terakhir. Angka 91% itu sendiri adalah sinyal bukan bahwa bot terlalu banyak, tetapi bahwa halaman produk barang langka telah berubah menjadi medan di mana otomatisasi bersaing dengan otomatisasi. Dalam lingkungan seperti itu, yang menang bukanlah yang sering bertanya, tetapi yang jarang terjebak dalam filter.
