Pengambilan Data Lowongan dari LinkedIn dan HeadHunter Tanpa Ban: Alat dan Proxy untuk Rekruter

Jika Anda bekerja di bidang perekrutan atau analisis HR, Anda pasti pernah menghadapi situasi: perlu mengumpulkan lebih dari 500 lowongan kerja dari pesaing dengan cepat, melacak pasar gaji, atau mengekstrak kontak perusahaan — tetapi platform sudah memblokir Anda setelah 20-30 permintaan. LinkedIn dan HeadHunter secara aktif melindungi data mereka, dan tanpa pendekatan yang tepat, parsing berubah menjadi perjuangan tanpa akhir dengan captcha dan pemblokiran.

Dalam panduan ini, kita akan membahas alat apa yang benar-benar berfungsi pada tahun 2024, bagaimana cara mengatur proxy untuk pengumpulan data yang stabil, dan kesalahan apa yang harus dihindari agar tidak kehilangan akun.

Mengapa LinkedIn dan HeadHunter memblokir parsing

Kedua platform menghasilkan uang dari data. LinkedIn menjual akses ke basis data melalui tarif berbayar Recruiter dan Recruiter Lite, sedangkan HeadHunter melalui API dan penempatan berbayar. Ketika seseorang mulai mengumpulkan data ini secara massal secara gratis, platform bereaksi dengan keras. Berikut adalah mekanisme perlindungan yang akan Anda hadapi:

Rate Limiting — pembatasan frekuensi permintaan

LinkedIn melacak jumlah tampilan profil dan halaman lowongan dalam satu waktu. Akun gratis dapat melihat sekitar 300 profil per bulan — setelah itu Anda akan menerima peringatan atau pemblokiran sementara. Saat melakukan parsing otomatis tanpa jeda antara permintaan, batas ini habis dalam beberapa menit. HeadHunter membatasi jumlah pencarian dari satu IP — jika melebihi, akan menampilkan captcha atau memblokir akses sementara.

Analisis perilaku dan User-Agent

Platform menganalisis pola perilaku: pengguna nyata menggulir halaman, menunggu konten, dan mengklik secara tidak berurutan. Bot mengirimkan permintaan dengan interval yang sama, tidak menggulir, dan mengirimkan header yang tidak biasa. LinkedIn juga memeriksa keberadaan sesi yang terautentikasi — tanpa masuk ke akun, Anda hanya akan melihat data terbatas dan sangat cepat mendapatkan pemblokiran IP.

Pemblokiran berdasarkan alamat IP

Ini adalah perlindungan yang paling umum. Jika terlalu banyak permintaan dari satu IP — IP tersebut masuk dalam daftar hitam. IP dari pusat data (AWS, Google Cloud, Hetzner) diblokir dengan cepat: platform mengetahui rentang alamat ini dan memperlakukannya dengan kecurigaan yang lebih tinggi. IP rumah dan seluler lebih jarang diblokir, karena mungkin ada pengguna nyata di baliknya.

Apa yang sebenarnya diparsing oleh perekrut dan analis HR

Sebelum mengatur alat, tentukan tugas Anda — ini akan mempengaruhi pilihan pendekatan dan jenis proxy. Berikut adalah skenario utama yang digunakan oleh spesialis HR dan agen perekrutan:

Poin kunci: tugas dengan volume data besar (ribuan lowongan per hari) memerlukan kumpulan proxy dengan rotasi. Tugas dengan volume kecil (pemantauan 50-100 posisi setiap hari) dapat diselesaikan dengan 1-2 proxy statis dengan memperhatikan jeda antara permintaan.

Alat siap pakai untuk parsing lowongan kerja

Kabar baik: Anda tidak perlu menulis kode dari awal. Ada solusi siap pakai untuk berbagai tugas dan tingkat persiapan teknis. Mari kita bahas kategori utama.

Alat No-code (tanpa pemrograman)

Apify — platform cloud dengan "aktor" siap pakai untuk LinkedIn dan HeadHunter. Ada LinkedIn Jobs Scraper dan HH.ru Scraper siap pakai. Anda hanya perlu menentukan parameter pencarian, platform akan melakukan sisanya. Mendukung koneksi proxy sendiri. Tarif mulai dari $49/bulan, ada batas gratis.

Phantombuster — mengkhususkan diri dalam LinkedIn. Dapat mengumpulkan lowongan, profil, dan kontak perusahaan. Bekerja melalui akun LinkedIn yang terautentikasi. Mendukung proxy. Penting: satu akun LinkedIn = satu profil proxy, jika tidak, Anda akan mendapatkan banned karena mengganti IP.

Octoparse — pembuat parser visual. Memungkinkan Anda mengatur pengumpulan data dari situs mana pun tanpa kode, dengan menunjukkan elemen yang diperlukan dengan mouse. Mendukung rotasi proxy. Cocok untuk HeadHunter — antarmukanya sederhana dan mudah dipahami.

Alat untuk pengguna teknis

ParseHub — aplikasi desktop dengan antarmuka visual, tetapi lebih fleksibel dibandingkan Octoparse. Dapat bekerja dengan konten dinamis (halaman JavaScript). Ini sangat penting untuk LinkedIn — sebagian besar data dimuat secara dinamis.

Bright Data (Web Scraper IDE) — platform profesional dengan proxy bawaan. Ada template siap pakai untuk LinkedIn. Mahal, tetapi andal untuk volume industri.

HH.ru API — API resmi HeadHunter. Gratis untuk penggunaan non-komersial, berbayar untuk bisnis. Jika tugas Anda adalah pemantauan lowongan, bukan pengumpulan kontak secara massal, API resmi adalah pilihan yang paling stabil. Batas: 50 permintaan per detik untuk aplikasi yang terautentikasi.

Mengapa proxy diperlukan dan jenis apa yang harus dipilih

Proxy adalah server perantara yang digunakan untuk mengirim permintaan Anda. Platform melihat IP proxy, bukan alamat asli Anda. Dengan rotasi proxy (pergantian IP otomatis), setiap permintaan terlihat seperti permintaan dari pengguna baru — ini memungkinkan Anda untuk menghindari batasan dan pemblokiran.

Namun, tidak semua proxy sama efektifnya untuk LinkedIn dan HeadHunter. Pemilihan jenis proxy sangat mempengaruhi hasil:

Proxy Residen — pilihan optimal untuk LinkedIn

Proxy Residen menggunakan alamat IP nyata dari pengguna rumah. Dari sudut pandang LinkedIn — ini adalah orang biasa yang duduk di rumah. IP semacam ini sangat jarang masuk dalam daftar hitam, dan platform tidak dapat membedakannya dari pengguna nyata. Untuk parsing LinkedIn, ini adalah standar industri.

Parameter kunci saat memilih proxy residen untuk parsing lowongan kerja:

• Geolokasi: pilih IP dari negara tempat Anda melakukan parsing lowongan (untuk HeadHunter — Rusia, untuk LinkedIn — negara yang diperlukan)
• Rotasi: pergantian IP otomatis setelah setiap permintaan atau berdasarkan timer
• Pul IP: semakin banyak — semakin baik, mengurangi risiko penggunaan kembali IP yang diblokir
• Dukungan HTTP/HTTPS dan SOCKS5 — sebagian besar alat parsing memerlukan protokol ini

Proxy Seluler — untuk bekerja dengan akun LinkedIn

Jika Anda melakukan parsing LinkedIn melalui akun yang terautentikasi (seperti yang dilakukan Phantombuster), proxy seluler memberikan keuntungan tambahan: LinkedIn melihat operator seluler sebagai sumber dan lebih mempercayai IP semacam ini. Satu IP seluler dapat melayani ribuan pengguna nyata (di belakang NAT operator), sehingga bahkan aktivitas tinggi dari sana tidak menimbulkan kecurigaan.

Proxy Pusat Data — hanya untuk HeadHunter

Proxy pusat data — cepat dan murah, tetapi LinkedIn memblokirnya secara agresif. Untuk HeadHunter, mereka bekerja lebih baik: platform kurang paranoid terhadap IP pusat data, terutama jika memperhatikan jeda antara permintaan. Cocok untuk pemantauan lowongan yang hemat biaya di HH dengan volume kecil.

Parsing LinkedIn: pengaturan langkah demi langkah

LinkedIn adalah platform yang paling sulit untuk diparsing. Di sini penting untuk bertindak hati-hati agar tidak kehilangan akun. Mari kita bahas skema kerja menggunakan Phantombuster — salah satu alat paling populer di kalangan perekrut.

Langkah 1: Siapkan akun LinkedIn

Jangan pernah menggunakan akun kerja utama untuk parsing. Buat akun terpisah atau gunakan akun sekunder. Jika akun tersebut diblokir — Anda tidak akan kehilangan koneksi berharga dan riwayat. Akun harus "dihangati": profil yang diisi, beberapa kontak, setidaknya seminggu aktivitas sebelum memulai parsing.

Langkah 2: Hubungkan proxy ke akun

Aturan kritis: satu akun LinkedIn = satu alamat IP. Jika Anda masuk hari ini dengan IP 1, dan besok dengan IP 2 — ini adalah sinyal merah bagi sistem keamanan LinkedIn. Gunakan proxy residensial statis (sticky session) untuk setiap akun.

Di Phantombuster, pengaturan proxy terlihat seperti ini:

1. Masuk ke Settings → Proxies di akun Phantombuster Anda
2. Klik Add Proxy
3. Masukkan data proxy: host, port, login, password
4. Pilih jenis: HTTP atau SOCKS5 (tergantung penyedia proxy Anda)
5. Klik Test Proxy — pastikan proxy berfungsi
6. Tetapkan proxy ini untuk "phantom" tertentu (tugas) yang bekerja dengan akun Anda

Langkah 3: Atur Ekspor Lowongan LinkedIn

Di Phantombuster, temukan phantom "LinkedIn Jobs Search Export". Pengaturan:

• Search URL: masukkan URL pencarian lowongan LinkedIn dengan filter yang diperlukan (jabatan, kota, jenis pekerjaan)
• Number of jobs per launch: mulai dengan 25-50. Jangan masukkan 500 dari hari pertama
• Launch frequency: 1 kali dalam 2-3 jam. Jangan jalankan secara terus menerus
• Session cookie: salin cookie li_at dari browser (instruksi ada di Phantombuster)

Langkah 4: Atur batas aman

LinkedIn memblokir karena agresivitas, bukan karena fakta parsing itu sendiri. Batas aman untuk satu akun:

• Tidak lebih dari 80-100 tampilan lowongan per hari
• Jeda antara permintaan: minimal 3-5 detik
• Berikan jeda di malam hari (meniru perilaku manusia)
• Jangan jalankan parsing di akhir pekan — ini terlihat mencurigakan untuk platform B2B

Parsing HeadHunter: fitur dan pengaturan

HeadHunter lebih mudah dibandingkan LinkedIn dalam hal parsing karena dua alasan: ada API resmi, dan perlindungannya kurang agresif. Namun, saat mengumpulkan data secara massal tanpa pengaturan yang tepat, Anda tetap akan mendapatkan pemblokiran.

Opsi 1: API Resmi HeadHunter (direkomendasikan)

Jika tugas Anda adalah pemantauan lowongan dan analisis pasar (tanpa pengumpulan kontak), gunakan API resmi hh.ru. Ini sepenuhnya legal dan memberikan akses stabil ke data.

1. Daftarkan aplikasi di dev.hh.ru
2. Dapatkan client_id dan client_secret
3. Gunakan endpoint GET /vacancies untuk mencari lowongan
4. Parameter penyaringan: text, area (wilayah), salary, experience, schedule
5. Batas: 50 permintaan per detik untuk aplikasi yang terautentikasi

Hasil datang dalam format JSON — mudah untuk diunduh ke Excel atau Google Sheets melalui alat seperti Zapier atau Make (dulu Integromat) tanpa menulis kode.

Opsi 2: Parsing melalui Apify (tanpa kode)

Jika Anda memerlukan data yang tidak ada di API resmi (misalnya, kontak perusahaan atau data dalam format non-standar), gunakan Apify dengan aktor siap pakai untuk HH.ru:

1. Masuk ke apify.com dan cari aktor "HH.ru Scraper"
2. Klik Try for free
3. Di pengaturan, tentukan kueri pencarian (jabatan, kota)
4. Di bagian Proxy configuration, pilih "Custom proxies" dan masukkan data proxy Anda
5. Untuk HeadHunter, proxy residensial dengan IP Rusia cocok — platform ini regional
6. Klik Start dan tunggu hasilnya
7. Ekspor data ke CSV, JSON, atau Excel

Opsi 3: Octoparse untuk tugas lanjutan

Octoparse memungkinkan Anda mengatur parsing elemen halaman HH.ru — termasuk yang tidak ada di API. Misalnya, Anda dapat mengumpulkan deskripsi lowongan secara lengkap, data kontak (jika terlihat), tautan ke perusahaan.

1. Unduh dan instal Octoparse
2. Buat tugas baru, masukkan URL pencarian lowongan di hh.ru
3. Gunakan mode Auto-detect — Octoparse akan secara otomatis menentukan struktur daftar
4. Periksa bahwa semua bidang yang diperlukan telah disorot (nama, perusahaan, gaji, kota)
5. Di pengaturan tugas, aktifkan IP Rotation dan tambahkan proxy Anda
6. Atur jeda antara permintaan: 2-4 detik
7. Jalankan di cloud (Cloud Extraction) untuk pengumpulan yang berkelanjutan

Kesalahan umum dan cara menghindarinya

Sebagian besar masalah saat parsing LinkedIn dan HeadHunter muncul karena kesalahan yang sama. Berikut adalah daftar hal yang tidak boleh dilakukan:

❌ Kesalahan 1: Menggunakan satu IP untuk semuanya

Kesalahan paling umum yang dilakukan pemula adalah menjalankan parsing dari IP rumah mereka atau dari satu proxy. Begitu platform mendeteksi aktivitas yang tidak normal — IP tersebut diblokir selamanya. Solusi: gunakan proxy rotasi dengan pergantian IP otomatis atau kumpulan beberapa proxy statis.

❌ Kesalahan 2: Kecepatan permintaan terlalu tinggi

Parsing 1000 halaman dalam 10 menit — adalah jalan pasti menuju pemblokiran. Pengguna nyata secara fisik tidak dapat melihat halaman dengan kecepatan seperti itu. Atur jeda: minimal 2-3 detik antara permintaan untuk HeadHunter, 5-10 detik untuk LinkedIn. Tambahkan variasi acak pada jeda (tidak tepat 3 detik, tetapi dari 2 hingga 5 — ini meniru perilaku manusia).

❌ Kesalahan 3: Mengganti IP untuk akun LinkedIn

Jika Anda menggunakan proxy rotasi untuk bekerja dengan akun LinkedIn yang terautentikasi — setiap permintaan berasal dari IP baru. LinkedIn melihat ini sebagai peretasan akun (seseorang terhubung dari tempat yang berbeda) dan memblokirnya. Untuk sesi yang terautentikasi, gunakan hanya proxy sticky (IP tetap untuk waktu yang lama) atau proxy residensial statis.

❌ Kesalahan 4: Mengabaikan User-Agent

User-Agent adalah string yang dikirimkan browser ke server untuk mengidentifikasi dirinya. Banyak alat parsing secara default mengirimkan User-Agent seperti "python-requests/2.28.0" — ini langsung mengidentifikasi bot. Atur User-Agent yang realistis dari browser modern. Di Apify dan Phantombuster, ini dilakukan secara otomatis, di Octoparse — di pengaturan tugas.

❌ Kesalahan 5: Parsing tanpa memeriksa robots.txt

LinkedIn melarang parsing dalam robots.txt-nya dan aktif menggugat perusahaan yang melakukannya dalam skala besar. Ini tidak berarti bahwa Anda tidak dapat mengumpulkan data untuk analisis pribadi — tetapi penting untuk memahami risiko hukum saat menggunakan secara komersial. HeadHunter lebih toleran, terutama jika menggunakan API resmi.

❌ Kesalahan 6: Proxy publik murah

Proxy gratis atau sangat murah dari daftar publik — adalah jebakan. Mereka sudah diblokir oleh sebagian besar platform, bekerja tidak stabil, dan sering kali menyadap data. Untuk pekerjaan serius, diperlukan proxy berbayar dari penyedia terpercaya dengan IP residensial atau seluler yang nyata.

Daftar periksa sebelum memulai parsing

• ✅ Menggunakan akun terpisah (bukan akun kerja utama)
• ✅ Proxy residensial atau seluler terhubung
• ✅ Untuk LinkedIn: satu akun = satu IP tetap
• ✅ Jeda antara permintaan diatur (minimal 3 detik)
• ✅ User-Agent diatur seperti di browser nyata
• ✅ Batas permintaan harian dibatasi pada nilai yang wajar
• ✅ Proxy diuji sebelum memulai
• ✅ Geolokasi proxy sesuai dengan wilayah target

Kesimpulan

Parsing lowongan kerja dari LinkedIn dan HeadHunter adalah alat kerja bagi perekrut, analis HR, dan peneliti pasar tenaga kerja. Yang terpenting — pilih pendekatan yang tepat: untuk HeadHunter, mulailah dengan API resmi, untuk LinkedIn gunakan alat khusus seperti Phantombuster atau Apify dengan proxy yang diatur dengan benar.

Kesimpulan kunci dari panduan ini: LinkedIn memerlukan proxy residensial atau seluler dengan IP tetap untuk setiap akun, HeadHunter kurang ketat tetapi juga memerlukan proxy untuk volume besar. Patuhi batas permintaan, tiru perilaku manusia, dan jangan pernah menggunakan akun utama untuk otomatisasi.

Jika Anda berencana untuk memantau lowongan secara teratur atau mengumpulkan data dalam skala besar dari LinkedIn, kami merekomendasikan untuk menggunakan proxy residensial — mereka memberikan kompatibilitas maksimal dengan kedua platform dan risiko pemblokiran minimal bahkan saat bekerja dalam waktu lama.