Pemantauan manual tender di platform EIS (Zakupki.gov.ru), Sberbank-AST, RST-tender memakan waktu 3-5 jam setiap hari. Otomatisasi melalui parser menyelesaikan masalah ini, tetapi platform negara secara aktif memblokir permintaan otomatis — IP akan diblokir setelah 50-100 permintaan. Proxy memungkinkan untuk menghindari batasan dan mengumpulkan data tentang tender baru sepanjang waktu tanpa risiko pemblokiran IP utama perusahaan.
Dalam panduan ini, kita akan membahas: jenis proxy yang cocok untuk berbagai platform tender, cara mengatur parsing otomatis tanpa pemblokiran, alat siap pakai yang dapat digunakan, dan cara menghindari kesalahan umum yang menyebabkan pemblokiran.
Mengapa platform tender memblokir permintaan otomatis
Platform tender negara dan komersial menggunakan perlindungan multi-level terhadap pengumpulan data otomatis. Ini disebabkan oleh beberapa alasan: beban pada server dari parser dapat mencapai 60-70% dari total lalu lintas, pesaing menggunakan data yang dikumpulkan untuk dumping, dan juga ada persyaratan untuk perlindungan data pribadi peserta pengadaan.
Sistem Informasi Tunggal (EIS) adalah platform yang paling terlindungi. Sistem ini mencatat parameter berikut dari setiap permintaan: alamat IP, User-Agent browser, frekuensi permintaan, urutan tindakan di situs. Jika lebih dari 100 permintaan datang dari satu IP dalam satu jam atau permintaan dilakukan terlalu merata (misalnya, setiap 5 detik), IP akan diblokir selama 24-72 jam. Pemblokiran berlaku untuk seluruh rentang subnet, sehingga seluruh perusahaan dapat terkena dampak.
Platform komersial (Sberbank-AST, RST-tender, Fabrikan) menggunakan perlindungan yang lebih lunak, tetapi juga melacak aktivitas mencurigakan. Tiga pemicu utama pemblokiran: tidak adanya cookies, JavaScript yang dinonaktifkan, navigasi halaman yang terlalu cepat (kurang dari 2 detik per halaman), interval waktu yang sama antara permintaan.
Kasus nyata: Sebuah perusahaan penyedia peralatan mengatur parser untuk memantau tender di EIS tanpa proxy. Dalam 2 jam pertama, parser mengumpulkan data tentang 340 tender, tetapi kemudian IP kantor diblokir. Karyawan tidak dapat mengakses akun pribadi EIS untuk mengajukan tawaran selama 48 jam. Perusahaan melewatkan 3 tender penting dengan total nilai 12 juta rubel.
Jenis proxy apa yang harus dipilih untuk pemantauan tender
Tiga jenis proxy cocok untuk pemantauan platform tender, masing-masing dengan fitur penerapan yang berbeda. Pemilihan tergantung pada volume parsing, anggaran, dan persyaratan keandalan.
| Jenis proxy | Keandalan untuk EIS | Kecepatan | Penerapan |
|---|---|---|---|
| Proxy pusat data | Sedang (lebih sering diblokir) | Sangat tinggi (50-100 ms) | Platform komersial, pengujian |
| Proxy residensial | Tinggi (IP nyata) | Sedang (200-500 ms) | EIS, Sberbank-AST, parsing 24 jam |
| Proxy seluler | Maksimal (IP operator) | Sedang (300-600 ms) | EIS dengan persyaratan keandalan tinggi |
Proxy residensial adalah pilihan optimal untuk sebagian besar tugas pemantauan tender. Mereka menggunakan alamat IP dari pengguna rumah nyata, sehingga platform menganggap permintaan sebagai tindakan orang biasa. Untuk EIS, disarankan menggunakan proxy residensial Rusia dengan rotasi setiap 10-15 menit. Ini memungkinkan pengumpulan data tentang 500-1000 tender setiap hari tanpa pemblokiran tunggal.
Proxy pusat data cocok untuk platform komersial yang kurang terlindungi: RST-tender, Fabrikan, B2B-Center. Mereka 3-5 kali lebih murah daripada proxy residensial dan bekerja lebih cepat, tetapi EIS sering mengenali dan memblokir IP semacam itu. Gunakan mereka untuk pengujian awal parser atau pemantauan platform regional kecil.
Proxy seluler memiliki tingkat kepercayaan maksimal, karena menggunakan IP dari operator seluler (MTS, Beeline, MegaFon). Platform hampir tidak pernah memblokir alamat semacam itu, karena di balik satu IP operator dapat terdapat ribuan pengguna nyata. Kekurangan — biaya yang lebih tinggi. Gunakan proxy seluler jika Anda bekerja dengan tender yang sangat berharga atau sudah mengalami pemblokiran saat menggunakan proxy residensial.
Fitur perlindungan berbagai platform: EIS, Sberbank-AST, RST-tender
Setiap platform tender memiliki fitur perlindungan yang berbeda terhadap parsing. Memahami mekanisme ini memungkinkan Anda mengatur parser untuk meminimalkan risiko pemblokiran.
EIS (Zakupki.gov.ru) — perlindungan maksimal
Sistem Informasi Tunggal menggunakan perlindungan paling ketat di antara semua platform. Mekanisme utama: batas 100 permintaan per jam dari satu IP, dukungan cookies dan JavaScript yang wajib, pemeriksaan referer (dari mana pengguna datang), analisis faktor perilaku (waktu di halaman, gerakan mouse, gulir).
Rekomendasi untuk parsing EIS: gunakan proxy residensial atau seluler dengan IP Rusia, aktifkan rotasi otomatis proxy setiap 80-90 permintaan (agar tidak mencapai batas), tambahkan jeda acak antara permintaan dari 3 hingga 8 detik, gunakan browser headless (Puppeteer, Selenium) alih-alih permintaan HTTP sederhana — mereka sepenuhnya meniru perilaku browser nyata.
Sberbank-AST — tingkat perlindungan sedang
Platform Sberbank menggunakan batasan yang lebih lunak: batas sekitar 200-300 permintaan per jam, cookies wajib, tetapi JavaScript tidak selalu diperiksa, pemblokiran terjadi pada perilaku yang jelas robotik (interval yang sama antara permintaan, tidak ada referer).
Untuk Sberbank-AST, cukup gunakan proxy residensial dengan rotasi setiap 200 permintaan. Anda dapat menggunakan alat parsing yang lebih sederhana tanpa emulasi browser penuh, tetapi pastikan untuk menambahkan jeda acak 2-5 detik dan header User-Agent yang benar.
RST-tender, Fabrikan, B2B-Center — perlindungan dasar
Platform komersial memiliki perlindungan minimal: batas 500+ permintaan per jam, pemeriksaan utama — keberadaan cookies dan User-Agent yang memadai, jarang memblokir proxy pusat data.
Untuk platform ini, bahkan proxy pusat data dengan rotasi dasar sudah cukup. Anda dapat menggunakan parser HTTP sederhana tanpa emulasi browser. Yang penting — jangan mengirim permintaan terlalu sering (minimal 1-2 detik antara permintaan) dan secara berkala mengganti IP.
Alat siap pakai untuk parsing tender tanpa pemrograman
Untuk pemantauan tender, tidak perlu menulis kode dari awal. Ada solusi siap pakai dengan antarmuka grafis yang mendukung kerja melalui proxy.
Octoparse — parser visual dengan dukungan proxy dan penjadwal tugas. Memungkinkan Anda membuat parser untuk platform tender mana pun melalui antarmuka grafis: Anda cukup mengklik elemen halaman yang perlu dikumpulkan (nomor tender, pengadaan, jumlah, tanggal akhir), dan program secara otomatis membuat algoritma parsing. Dalam pengaturan, Anda dapat menentukan daftar proxy, dan Octoparse akan secara otomatis merotasi mereka. Biaya — mulai dari $75/bulan, ada versi gratis dengan batasan.
ParseHub — alternatif Octoparse dengan antarmuka yang lebih sederhana. Sangat cocok untuk pemula. Mendukung situs JavaScript (penting untuk EIS), bekerja melalui proxy, ekspor data ke Excel/Google Sheets. Versi gratis memungkinkan Anda membuat hingga 5 proyek parsing. Versi berbayar — mulai dari $149/bulan dengan kemampuan menjalankan parsing sesuai jadwal (misalnya, memeriksa tender baru setiap 2 jam).
Screaming Frog SEO Spider — awalnya alat untuk SEO, tetapi sangat cocok untuk parsing data terstruktur. Mendukung proxy, dapat mengumpulkan data dari halaman berdasarkan pemilih CSS yang ditentukan. Kekurangan — perlu sedikit memahami struktur HTML halaman. Biaya — £149/tahun (sekitar 15.000 rubel), lebih murah daripada alternatif lainnya.
Layanan pemantauan tender khusus — Kontur.Zakupki, Tender.Pro, B2B-Center sudah memiliki sistem pemantauan bawaan dengan filter dan pemberitahuan. Mereka tidak memerlukan pengaturan proxy, karena bekerja atas nama layanan. Biaya — dari 5.000 hingga 30.000 rubel per bulan tergantung pada jumlah kategori yang dilacak. Kekurangan — Anda tergantung pada kemampuan layanan dan tidak dapat mengumpulkan data tambahan atau mengintegrasikannya ke dalam CRM Anda.
Rekomendasi untuk memilih alat:
- Bagi pemula tanpa keterampilan teknis — ParseHub atau Octoparse
- Untuk parsing 3-5 platform dengan integrasi ke CRM — Screaming Frog + pengaturan ekspor
- Untuk pemantauan hanya EIS tanpa data tambahan — layanan khusus
- Untuk tugas yang kompleks (analisis dokumentasi tender, parsing file terlampir) — pengembangan di Python dengan Selenium
Pengaturan langkah demi langkah pemantauan melalui proxy dalam 20 menit
Mari kita lihat pengaturan pemantauan otomatis tender menggunakan Octoparse — salah satu alat paling populer dengan antarmuka grafis. Contoh ini cocok untuk pemantauan EIS, Sberbank-AST, dan platform lainnya.
Langkah 1: Mendapatkan proxy. Daftar di penyedia proxy dan dapatkan daftar alamat IP dengan port dan data otorisasi. Untuk pemantauan EIS, disarankan minimal 10 proxy residensial Rusia dengan rotasi otomatis. Penyedia akan memberikan data dalam format: IP:PORT:USERNAME:PASSWORD (misalnya, 185.123.45.67:8000:user123:pass456).
Langkah 2: Instalasi dan pengaturan Octoparse. Unduh Octoparse dari situs resmi dan instal di komputer. Setelah diluncurkan, buat proyek parsing baru dengan memasukkan URL halaman hasil pencarian tender di EIS (misalnya, pencarian berdasarkan kata kunci "peralatan" di wilayah Anda).
Langkah 3: Pengaturan proxy di Octoparse. Buka Pengaturan → Pengaturan Proxy. Pilih mode "Gunakan proxy kustom". Tambahkan proxy Anda ke daftar, dengan menyebutkan IP, port, jenis (HTTP atau SOCKS5), login, dan kata sandi. Aktifkan opsi "Rotasi proxy untuk setiap permintaan" — ini akan membuat program mengganti proxy setelah setiap permintaan, mendistribusikan beban dan menghindari pemblokiran.
Langkah 4: Membuat algoritma parsing. Dalam mode pembuat visual, klik elemen halaman yang perlu dikumpulkan: nomor pengadaan, nama, pengadaan, harga awal, tanggal akhir pengajuan, wilayah. Octoparse akan secara otomatis menentukan struktur data dan membuat algoritma pengumpulan. Periksa hasil pada 5-10 entri pertama — program akan menunjukkan hasil awal parsing.
Langkah 5: Pengaturan paginasi. Platform tender menampilkan hasil secara halaman (biasanya 10-50 tender per halaman). Di Octoparse, tambahkan tindakan "Klik tombol paginasi" dan tentukan tombol "Halaman berikutnya". Program akan secara otomatis berpindah halaman dan mengumpulkan semua hasil.
Langkah 6: Menambahkan jeda. Dalam pengaturan parser, atur jeda acak antara permintaan: minimal 3 detik, maksimal 8 detik. Ini meniru perilaku pengguna nyata dan mengurangi risiko pemblokiran. Juga tambahkan jeda 5-10 detik setelah memuat setiap halaman — ini memberi waktu bagi elemen JavaScript untuk sepenuhnya dimuat.
Langkah 7: Pengaturan jadwal. Di bagian "Jadwal Tugas", atur peluncuran otomatis parsing. Untuk pemantauan tender baru, optimal untuk menjalankan pemeriksaan setiap 2-4 jam selama jam kerja. Misalnya: 9:00, 13:00, 17:00, 21:00. Ini akan memungkinkan Anda untuk melacak publikasi baru sepanjang hari tanpa beban berlebihan pada platform.
Langkah 8: Ekspor data. Atur ekspor otomatis data yang dikumpulkan ke format yang nyaman: Excel, Google Sheets, basis data MySQL, atau pengiriman melalui API ke sistem CRM Anda. Octoparse dapat secara otomatis mengirimkan data baru setelah setiap peluncuran parser, memungkinkan Anda menerima pemberitahuan tentang tender baru secara real-time.
Pengaturan rotasi proxy dan jeda antara permintaan
Pengaturan rotasi proxy dan jeda yang benar adalah faktor kunci keberhasilan parsing tanpa pemblokiran. Bahkan dengan proxy berkualitas, konfigurasi yang salah akan mengarah pada pemblokiran.
Strategi rotasi proxy: Ada tiga pendekatan utama untuk mengganti alamat IP selama parsing.
Rotasi setelah setiap permintaan — metode paling aman, tetapi lambat. Setiap permintaan ke platform dilakukan dengan IP baru. Cocok untuk EIS saat parsing volume data besar (1000+ tender). Kekurangan — meningkatkan waktu parsing, karena untuk mengatur koneksi baru melalui proxy memerlukan 200-500 ms.
Rotasi berdasarkan jumlah permintaan — keseimbangan optimal antara kecepatan dan keamanan. Satu proxy digunakan untuk 50-100 permintaan, kemudian diganti dengan yang berikutnya. Untuk EIS, disarankan untuk mengganti proxy setiap 80 permintaan (sedikit di bawah batas 100). Untuk platform komersial, Anda dapat meningkatkan hingga 200-300 permintaan per satu IP.
Rotasi berdasarkan waktu — mengganti IP setiap 10-15 menit terlepas dari jumlah permintaan. Cocok untuk parsing jangka panjang dengan intensitas rendah (misalnya, pemantauan pembaruan sepanjang hari). Beberapa penyedia proxy menyediakan rotasi otomatis berdasarkan waktu — Anda mendapatkan satu URL proxy, tetapi IP berubah secara otomatis setiap N menit.
Pengaturan jeda antara permintaan: Manusia tidak dapat berpindah antara halaman secara instan — mereka membutuhkan waktu untuk membaca, menggulir, dan mengklik. Parser harus meniru perilaku ini.
| Platform | Jeda antara permintaan | Jeda setelah memuat halaman |
|---|---|---|
| EIS (Zakupki.gov.ru) | 3-8 detik (acak) | 5-10 detik |
| Sberbank-AST | 2-5 detik (acak) | 3-7 detik |
| RST-tender, Fabrikan | 1-3 detik (acak) | 2-4 detik |
Penting untuk menggunakan jeda acak dalam rentang yang ditentukan. Jika parser melakukan permintaan tepat setiap 5 detik, sistem perlindungan akan dengan mudah mengidentifikasi robot. Fungsi jeda acak ada di semua alat parsing populer.
Tips: Tambahkan "mode malam" untuk parsing. Dari pukul 23:00 hingga 7:00, Anda dapat meningkatkan intensitas permintaan (mengurangi jeda), karena pada waktu ini aktivitas pengguna nyata di platform minimal, dan sistem perlindungan berfungsi lebih longgar. Ini akan memungkinkan Anda mengumpulkan lebih banyak data dalam waktu yang sama.
Kesalahan umum yang menyebabkan pemblokiran
Bahkan dengan penggunaan proxy berkualitas, parser dapat terjebak dalam pemblokiran karena kesalahan teknis dalam pengaturan. Berikut adalah masalah paling umum dan cara mengatasinya.
Kesalahan 1: Menggunakan User-Agent yang sama. User-Agent adalah string yang memberi tahu situs tentang browser dan sistem operasi yang digunakan. Jika semua permintaan datang dengan User-Agent yang sama (misalnya, standar untuk pustaka Python requests), ini adalah tanda jelas bot. Solusi: gunakan daftar 10-20 User-Agent populer untuk berbagai browser (Chrome, Firefox, Safari) dan sistem operasi (Windows, macOS, Linux), dan rotasi secara acak pada setiap permintaan.
Kesalahan 2: Cookies dinonaktifkan. Sebagian besar situs mengatur cookies saat kunjungan pertama dan memeriksa keberadaannya pada permintaan berikutnya. Jika parser tidak menyimpan cookies, setiap permintaan terlihat seperti kunjungan pertama dari perangkat baru, yang mencurigakan. Solusi: aktifkan dukungan cookies dalam pengaturan parser. Di Octoparse dan ParseHub, ini dilakukan secara otomatis. Jika Anda menulis parser sendiri di Python, gunakan pustaka requests.Session() — ini secara otomatis menyimpan cookies antara permintaan.
Kesalahan 3: Parsing tanpa menjalankan JavaScript. Situs modern, termasuk EIS, secara aktif menggunakan JavaScript untuk memuat konten. Jika parser hanya mengunduh kode HTML halaman tanpa menjalankan JavaScript, ia akan mendapatkan data yang tidak lengkap, dan server akan mencatat perilaku mencurigakan. Solusi: gunakan browser headless (Puppeteer, Selenium, Playwright) yang sepenuhnya memuat halaman, menjalankan JavaScript, dan bahkan dapat menggulir halaman untuk memuat konten dinamis.
Kesalahan 4: Mengabaikan captcha. Beberapa platform menampilkan captcha saat aktivitas mencurigakan terdeteksi. Jika parser tidak dapat menyelesaikan captcha, ia akan terjebak dan mulai mengirim permintaan ulang, yang akan mengarah pada pemblokiran IP. Solusi: gunakan layanan penyelesaian captcha otomatis (2Captcha, Anti-Captcha) — mereka biaya sekitar $1-3 untuk 1000 captcha yang diselesaikan. Sebagian besar alat parsing memiliki integrasi bawaan dengan layanan semacam itu.
Kesalahan 5: Parsing pada jam sibuk. Dari pukul 10:00 hingga 16:00 pada hari kerja, aktivitas pengguna di platform tender mencapai puncaknya, dan sistem perlindungan berfungsi paling ketat. Parsing intensif pada waktu ini lebih cepat mengarah pada pemblokiran. Solusi: lakukan sebagian besar parsing di malam hari (18:00-23:00) atau di malam hari. Pada jam kerja, lakukan hanya pemeriksaan titik untuk tender baru dengan intensitas minimal.
Kesalahan 6: Menggunakan proxy "kotor". Beberapa penyedia proxy murah menjual IP yang sudah digunakan untuk spam atau aktivitas mencurigakan lainnya dan terdaftar dalam daftar hitam. Solusi: uji proxy sebelum penggunaan massal. Kirim 20-30 permintaan uji ke platform dari setiap proxy baru dan periksa apakah captcha atau pemblokiran muncul. Jika proxy "kotor", ganti dengan penyedia.
Skalabilitas: pemantauan 10+ platform secara bersamaan
Setelah pemantauan dasar satu atau dua platform diatur dan berfungsi stabil, muncul tugas skalabilitas — parsing simultan puluhan platform tender untuk mendapatkan cakupan pasar maksimum.
Pembagian proxy antara platform. Jangan gunakan proxy yang sama untuk berbagai platform secara bersamaan. Buat kolam proxy: misalnya, 10 proxy untuk EIS, 5 untuk Sberbank-AST, 5 untuk RST-tender, dan seterusnya. Ini akan mencegah situasi di mana pemblokiran pada satu platform mempengaruhi kinerja parser di platform lain.
Prioritas platform. Tidak semua platform tender sama pentingnya untuk bisnis Anda. Tentukan 3-5 platform kunci di mana lebih banyak tender relevan dipublikasikan, dan alokasikan lebih banyak sumber daya untuk mereka: proxy terbaik, pemeriksaan lebih sering, parsing lebih detail (termasuk pengumpulan dokumentasi). Untuk platform lainnya, gunakan pemantauan dasar hanya untuk parameter utama tender.
Otomatisasi pemrosesan data. Saat parsing 10+ platform, Anda akan menerima ratusan tender baru setiap hari. Pemrosesan manual tidak mungkin dilakukan. Atur penyaringan otomatis: berdasarkan kata kunci dalam nama tender, berdasarkan wilayah pengadaan, berdasarkan rentang harga awal, berdasarkan tanggal akhir penerimaan tawaran. Hanya tender yang melewati semua filter yang masuk dalam daftar untuk pemeriksaan manual.
Integrasi dengan CRM dan sistem pemberitahuan. Atur pengiriman otomatis tender yang telah difilter ke sistem CRM Anda atau messenger perusahaan (Slack, Telegram, Microsoft Teams). Manajer akan menerima pemberitahuan tentang tender baru yang sesuai secara real-time dan dapat dengan cepat mengambil keputusan untuk berpartisipasi.
Pemantauan kinerja parser. Saat bekerja dengan banyak platform, sangat penting untuk melacak status setiap parser. Atur dasbor yang menunjukkan: kapan terakhir kali setiap parser dijalankan, berapa banyak tender yang dikumpulkan, apakah ada kesalahan atau pemblokiran. Alat seperti Octoparse memiliki dasbor bawaan. Jika Anda menggunakan skrip sendiri, Anda dapat mengatur pencatatan di Google Sheets atau sistem pemantauan khusus seperti Grafana.
Contoh sistem pemantauan yang diskalakan:
Sebuah perusahaan penyedia peralatan IT mengatur pemantauan 15 platform tender: EIS, Sberbank-AST, RST-tender, 8 platform regional, dan 4 platform komersial. Menggunakan 50 proxy residensial, dibagi menjadi kolam. Parser dijalankan setiap 2 jam dan mengumpulkan rata-rata 600 tender baru per hari. Filter otomatis berdasarkan kata kunci ("komputer", "server", "peralatan jaringan") dan wilayah (Moskow, Wilayah Moskow, St. Petersburg) menyaring 85% tender yang tidak relevan. 90 tender yang tersisa secara otomatis masuk ke saluran Telegram departemen penjualan. Hasil: waktu untuk pemantauan tender berkurang dari 4 jam sehari menjadi 30 menit, jumlah tawaran yang diajukan meningkat sebesar 40%.
Kesimpulan
Otomatisasi pemantauan tender negara dan komersial melalui proxy memungkinkan Anda mendapatkan informasi tentang pengadaan baru secara real-time, menghemat hingga 4 jam setiap hari dalam pencarian manual, dan meningkatkan jumlah tawaran yang diajukan sebesar 30-50%. Faktor kunci keberhasilan: pemilihan jenis proxy yang tepat tergantung pada platform, pengaturan rotasi IP dan jeda antara permintaan yang benar, penggunaan alat yang mendukung JavaScript dan cookies.
Untuk pemantauan platform terlindungi seperti EIS, gunakan proxy residensial atau seluler dengan alamat IP Rusia — mereka memberikan tingkat kepercayaan maksimal dan risiko pemblokiran minimal. Untuk platform komersial dengan perlindungan dasar, proxy pusat data yang lebih terjangkau sudah cukup. Mulailah dengan otomatisasi 2-3 platform kunci, uji pengaturan, dan kemudian skalakan sistem ke seluruh pasar tender di industri Anda.
Jika Anda berencana untuk mengatur pemantauan 24 jam untuk platform tender, kami merekomendasikan untuk menggunakan proxy residensial — mereka memastikan kinerja parser yang stabil tanpa pemblokiran bahkan dengan intensitas permintaan tinggi ke platform negara yang terlindungi.