← Kembali ke blog

Pengambilan Data Pengadaan dan Tender di Seluruh Dunia: Mengapa Proxy Diperlukan dan Cara Menghindari Larangan

Analisis mendetail tentang mengapa portal pengadaan pemerintah memblokir pengumpulan data otomatis dan proxy apa yang diperlukan untuk memantau tender di berbagai negara.

📅1 November 2026

Perusahaan yang memantau tender di Rusia, Kazakhstan, negara-negara UE, dan AS, cepat atau lambat menghadapi masalah yang sama: portal pengadaan negara tiba-tiba berhenti memberikan data, muncul captcha atau alamat IP terblokir. Ini terjadi karena platform pemerintah secara aktif melindungi dari pengumpulan informasi otomatis. Mari kita bahas mengapa ini terjadi, negara mana yang sangat ketat menyaring lalu lintas, dan jenis proksi apa yang harus dipilih untuk pemantauan tender yang stabil.

Mengapa portal pengadaan negara memblokir pengumpulan data

Secara formal, informasi tentang pengadaan negara di sebagian besar negara bersifat publik — ini adalah persyaratan hukum untuk transparansi pengeluaran anggaran. Namun, "publik" tidak berarti "dapat diakses untuk pengumpulan otomatis dalam skala besar". Platform seperti EIS Rusia (zakupki.gov.ru), portal Kazakhstan goszakup.gov.kz, TED Eropa (Tenders Electronic Daily) atau SAM.gov Amerika dirancang untuk dilihat secara manual melalui browser, bukan untuk ribuan permintaan per menit dari skrip.

Ketika ada aktivitas anomali dari satu alamat IP — puluhan permintaan per detik, User-Agent yang sama, tidak ada jeda antara klik — sistem perlindungan (seringkali Cloudflare, DataDome, atau pengembangan internal lembaga pemerintah) mengenali ini sebagai bot. Selanjutnya, ada tiga skenario yang mungkin: menampilkan captcha, pemblokiran sementara IP selama 15-60 menit, atau pemblokiran total berdasarkan subnet. Bagi perusahaan yang membangun bisnis di pemantauan tender, salah satu dari skenario ini berarti pengadaan yang terlewat dan uang yang hilang.

Kesulitan tambahan adalah bahwa banyak platform tender memerlukan otorisasi melalui tanda tangan digital elektronik (ECP) atau memberikan data hanya setelah melewati pemeriksaan JavaScript di browser. Ini berarti bahwa hanya mengganti IP tidak cukup — perlu meniru perilaku pengguna nyata dengan lingkungan browser yang nyata.

Data terbuka berdasarkan negara: di mana pengumpulan paling sulit

Tingkat perlindungan dan ketersediaan API sangat bervariasi tergantung pada negara. Mari kita bahas yurisdiksi kunci, yang paling sering digunakan oleh analis pengadaan dan spesialis tender.

Negara / wilayah Portal Tingkat perlindungan Fitur
Rusia zakupki.gov.ru, B2B-Center Sedang-tinggi Ada API resmi, tetapi dengan batasan dan pendaftaran
Kazakhstan goszakup.gov.kz Sedang Sering mengalami timeout saat volume permintaan tinggi
Uni Eropa TED (ted.europa.eu) Rendah-sedang Ekspor terbuka dalam XML/CSV, tetapi ada pembatasan geo pada beberapa data
AS SAM.gov Tinggi Pemeriksaan browser yang ketat, perlu pendaftaran dan kunci API
Ukraina Prozorro Rendah API sepenuhnya terbuka, proksi jarang diperlukan
Inggris Contracts Finder, Find a Tender Sedang Pemblokiran geo untuk permintaan yang tidak berasal dari Inggris

Kesimpulan utama dari tabel: bahkan di tempat di mana secara formal ada API terbuka, sering kali ada pembatasan geo atau batasan ketat pada jumlah permintaan dari satu IP. Jika Anda mengumpulkan data dari Inggris, sementara secara fisik berada di negara lain, permintaan dapat ditolak bahkan sebelum pemeriksaan bot — hanya karena IP bukan dari Inggris. Di sinilah peran proksi dimulai: mereka memungkinkan permintaan data dari geolokasi yang diperlukan dan membagi beban antara puluhan alamat.

Jenis proksi apa yang dibutuhkan untuk platform tender

Untuk memantau pengadaan negara, tidak ada solusi universal "satu jenis proksi untuk semua kasus". Pilihan tergantung pada platform mana yang Anda gunakan dan seberapa agresif perlindungannya.

Jenis proksi Kapan digunakan Risiko pemblokiran
Proksi pusat data Portal dengan API terbuka dan perlindungan lemah (Prozorro, sebagian TED) Sedang — subnet pusat data terkadang sudah ada dalam daftar hitam
Proksi residensial Platform dengan Cloudflare/DataDome, pembatasan geo (SAM.gov, Contracts Finder) Rendah — IP terlihat seperti pengguna rumah biasa
Proksi seluler Pemeriksaan spesifik untuk tender tertentu, frekuensi permintaan rendah Minimal, tetapi biaya lalu lintas lebih tinggi

Dalam praktiknya, sebagian besar perusahaan yang memantau tender di beberapa negara sekaligus, menggunakan kombinasi: IP pusat data untuk platform dengan API terbuka, dan residensial — di mana ada perlindungan serius atau memerlukan geolokasi yang tepat (misalnya, permintaan harus berasal dari London, bukan dari titik acak di Eropa). Proksi residensial sangat berguna ketika portal memeriksa tidak hanya IP, tetapi juga kesesuaian zona waktu, bahasa browser, dan geolokasi permintaan — ketidakcocokan parameter ini segera mengungkapkan lalu lintas otomatis.

Pengaturan pengumpulan data: skema praktis

Bagi analis pengadaan yang tidak menulis kode, tetapi mengelola proses pengumpulan data melalui kontraktor atau layanan siap pakai, penting untuk memahami logika pengaturan, bahkan tanpa menyentuh pemrograman secara langsung. Berikut adalah skema langkah demi langkah yang digunakan oleh departemen tender:

  1. Tentukan portal yang menjadi target. Buat daftar platform berdasarkan negara yang perlu dipantau, dan periksa apakah mereka memiliki API resmi — ini mengurangi beban pada proksi.
  2. Periksa persyaratan geo. Jika platform memblokir permintaan yang tidak berasal dari negaranya (seperti Contracts Finder Inggris), masukkan dalam anggaran proksi residensial dengan geolokasi yang diperlukan.
  3. Atur rotasi IP. Untuk pengumpulan data secara teratur (beberapa kali sehari) diperlukan perubahan otomatis IP setiap 5-15 menit, agar tidak melebihi batas permintaan dari satu alamat.
  4. Tambahkan jeda antara permintaan. Meniru perilaku manusia — jeda 3-10 detik antara akses ke halaman — mengurangi kemungkinan sistem anti-bot berfungsi.
  5. Pantau captcha dan pemblokiran. Atur pemberitahuan tentang peningkatan jumlah captcha — ini adalah sinyal bahwa kumpulan IP saat ini "sudah panas" dan perlu rotasi ke alamat baru.
  6. Simpan riwayat permintaan. Simpan log permintaan yang berhasil dan diblokir untuk setiap portal — ini membantu memahami jenis proksi mana yang bekerja lebih baik untuk platform tertentu.

Tips dalam praktik:

Jika Anda memantau tender dari 3-4 negara sekaligus, jangan mencoba menggunakan satu kumpulan IP untuk semua platform. Pisahkan proksi berdasarkan negara sebelumnya — ini mengurangi risiko bahwa pemblokiran di satu portal "akan mempengaruhi" reputasi IP untuk yang lain.

Alat untuk memantau tender

Perusahaan jarang menulis parser dari nol — lebih sering menggunakan solusi siap pakai atau menggabungkan beberapa alat. Berikut adalah kategori utama yang digunakan untuk mengumpulkan data tentang pengadaan negara:

  • Parser tender siap pakai — layanan seperti Tenderplan, Kontur.Procurement, B2B-Center monitoring — sudah memiliki logika untuk menghindari captcha, tetapi pengaturan untuk portal tertentu mungkin memerlukan proksi untuk skala.
  • Platform pengumpulan tanpa kode — Octoparse, ParseHub memungkinkan pengaturan pengumpulan data melalui antarmuka visual tanpa menulis kode, dengan dukungan untuk menghubungkan proksi eksternal.
  • Browser anti-detect — jika pengumpulan data memerlukan otorisasi di portal (misalnya, akun pribadi di zakupki.gov.ru), alat seperti Dolphin Anty atau AdsPower membantu mengelola beberapa akun secara bersamaan, masing-masing dengan proksi dan sidik jari browser yang unik.
  • RSS dan pemberitahuan email dari portal itu sendiri — di mana ini tersedia (seperti di Prozorro), ini mengurangi kebutuhan untuk pengumpulan aktif dan proksi secara keseluruhan.

Pilihan alat tergantung pada volume: untuk memantau 1-2 kategori pengadaan di satu negara mungkin cukup dengan pemberitahuan RSS gratis. Tetapi jika berbicara tentang pemantauan menyeluruh tender di 5-10 negara dengan pembaruan harian, tanpa menghubungkan parser + kumpulan proksi + rotasi IP tidak bisa dihindari.

Kesalahan umum saat mengumpulkan data pengadaan negara

Sebagian besar pemblokiran saat memantau tender terjadi bukan karena fakta pengumpulan data itu sendiri, tetapi karena kesalahan teknis dalam pengaturan. Berikut adalah hal-hal yang paling sering menyebabkan pemblokiran:

  • Frekuensi permintaan terlalu tinggi. Upaya untuk mengumpulkan seluruh daftar pengadaan dalam satu sesi dengan kecepatan maksimum hampir selalu berakhir dengan captcha atau pemblokiran sementara IP.
  • Penggunaan satu IP untuk beberapa negara. Jika satu alamat mengakses portal Rusia dan Kazakhstan dalam waktu singkat, ini terlihat mencurigakan bagi kedua sistem perlindungan.
  • Mengabaikan User-Agent dan header browser. Bahkan dengan proksi yang baik, permintaan dengan header browser "kosong" atau usang dapat dikenali sebagai bot.
  • Kurangnya rotasi saat pemantauan berkepanjangan. Jika pengumpulan data berlangsung terus menerus selama beberapa jam dari satu IP, kemungkinan terjebak dalam pemblokiran meningkat secara eksponensial setelah jam pertama.
  • Mengabaikan kesesuaian geo. Permintaan ke portal Inggris dengan IP dari Belanda mungkin berhasil satu kali, tetapi dengan permintaan yang reguler, sistem akan melihat ketidakcocokan dan mulai meminta konfirmasi.

Penting untuk memisahkan dua konsep: legalitas akses ke data dan kepatuhan terhadap syarat teknis penggunaan portal (ToS). Informasi tentang pengadaan negara di sebagian besar negara bersifat publik berdasarkan hukum — ini adalah persyaratan transparansi penggunaan anggaran. Namun, portal tertentu dapat menetapkan aturan mereka sendiri untuk akses otomatis: batasan permintaan, persyaratan pendaftaran untuk API, larangan pengumpulan massal tanpa izin.

Dalam praktiknya, sebagian besar perusahaan yang bergerak di bidang analisis tender beroperasi di zona abu-abu: data bersifat publik dan pengumpulannya tidak melanggar hukum akses informasi, tetapi dapat secara formal bertentangan dengan perjanjian pengguna portal. Ini bukan pelanggaran pidana, tetapi dengan pengumpulan yang sistematis, agresif tanpa mematuhi batasan yang wajar, risiko pemblokiran alamat IP dan bahkan korespondensi hukum dengan administrasi portal ada. Oleh karena itu, rotasi IP yang wajar melalui proksi residensial atau pusat data — ini bukan hanya solusi teknis, tetapi juga reputasi: ini mengurangi beban pada infrastruktur portal dan meminimalkan konflik.

Kesimpulan

Pemantauan pengadaan negara dan tender di berbagai negara memerlukan pendekatan yang berbeda terhadap perlindungan dari pemblokiran. Di tempat di mana ada API terbuka tanpa batasan ketat (Prozorro, sebagian TED), cukup dengan rotasi IP dasar. Tetapi untuk platform dengan perlindungan serius dan pembatasan geo — SAM.gov, Contracts Finder, bagian tertentu dari EIS — akan memerlukan infrastruktur yang lebih serius: proksi residensial dengan geolokasi yang diperlukan, jeda antara permintaan dan peniruan perilaku pengguna nyata yang hati-hati.

Jika Anda baru mulai membangun sistem pemantauan tender dan berencana untuk bekerja dengan beberapa negara sekaligus, bijaksana untuk memulai dengan proksi residensial — mereka memberikan tingkat kepercayaan yang tinggi dari sistem perlindungan portal dan memungkinkan untuk memilih geolokasi yang tepat. Untuk platform yang kurang terlindungi dengan API terbuka, Anda dapat menghemat, menggunakan proksi pusat data — mereka lebih cepat dan lebih murah di tempat di mana perlindungan agresif tidak ada.