Eğer işe alım veya HR analitiği ile ilgileniyorsanız, muhtemelen karşılaştığınız bir durum vardır: rakiplerinizden 500+ iş ilanını hızlı bir şekilde toplamak, maaş piyasasını takip etmek veya işverenlerin iletişim bilgilerini çıkartmak gerekiyor — ancak platformlar sizi 20-30 sorgudan sonra engelliyor. LinkedIn ve HeadHunter, verilerini aktif bir şekilde koruyor ve doğru bir yaklaşım olmadan, veri çıkartma işlemi sonsuz bir CAPTCHA ve yasaklama mücadelesine dönüşüyor.
Bu rehberde, 2024 yılında gerçekten çalışan araçların neler olduğunu, verileri istikrarlı bir şekilde toplamak için proxy nasıl ayarlanacağını ve hesabınızı kaybetmemek için hangi hatalardan kaçınmanız gerektiğini inceleyeceğiz.
Neden LinkedIn ve HeadHunter veri çıkartmayı engelliyor
Her iki platform da verilerle para kazanıyor. LinkedIn, Recruiter ve Recruiter Lite ücretli tarifeleri aracılığıyla veri tabanına erişim satıyor, HeadHunter ise API ve ücretli ilanlar ile. Birisi bu verileri toplamak için ücretsiz olarak büyük miktarda veri çıkartmaya başladığında, platformlar sert bir şekilde tepki veriyor. İşte karşılaşacağınız belirli koruma mekanizmaları:
Rate Limiting — sorgu sıklığı kısıtlaması
LinkedIn, belirli bir zaman diliminde profil ve iş ilanı sayfalarının görüntülenme sayısını takip ediyor. Ücretsiz bir hesap, ayda yaklaşık 300 profili görüntüleyebilir — bundan sonra bir uyarı veya geçici bir yasak alırsınız. Otomatik veri çıkartma işlemi, sorgular arasında gecikme olmadan yapıldığında bu limit birkaç dakika içinde tükenir. HeadHunter ise bir IP'den yapılan arama sorgularını sınırlıyor — aşılması durumunda CAPTCHA gösteriyor veya geçici olarak erişimi engelliyor.
Davranış analizi ve User-Agent
Platformlar, davranış kalıplarını analiz ediyor: gerçek bir kullanıcı sayfayı kaydırıyor, içeriğe takılıyor, rastgele tıklamalar yapıyor. Bot ise sorguları aynı aralıklarla yapıyor, sayfayı kaydırmıyor, alışılmadık başlıklar gönderiyor. LinkedIn ayrıca yetkilendirilmiş bir oturumun varlığını kontrol ediyor — hesaba giriş yapmadan sınırlı verilere erişiyorsunuz ve çok hızlı bir şekilde IP'niz engelleniyor.
IP adresiyle engelleme
Bu en yaygın koruma yöntemidir. Eğer bir IP'den çok fazla sorgu geliyorsa — IP kara listeye alınır. Özellikle veri merkezi IP'leri (AWS, Google Cloud, Hetzner) hızlı bir şekilde engellenir: platformlar bu adres aralıklarını bilir ve onlara karşı artan bir şüphe ile yaklaşır. Ev ve mobil IP'ler daha az engellenir çünkü arkasında gerçek kullanıcılar olabilir.
⚠️ Bilinmesi gerekenler
LinkedIn, 2023 yılında korumayı önemli ölçüde sıkılaştırdı: artık VPN veya veri merkezi proxy ile manuel olarak profilleri görüntüleseniz bile hesabınız engellenebilir. LinkedIn ile çalışmak için kritik öneme sahip olan, yerleşik veya mobil proxylerdir.
İşe alım uzmanları ve HR analistleri neyi çıkartıyor
Araçları ayarlamadan önce, görevlerinizi belirleyin — bu, yaklaşım ve proxy türünü seçiminizi etkiler. İşte HR uzmanları ve işe alım ajanslarının çalıştığı temel senaryolar:
| Görev | Platform | Veri Miktarı |
|---|---|---|
| Piyasa maaşlarını izleme | HeadHunter, LinkedIn | 500–5000 iş ilanı/gün |
| İşverenlerin iletişim bilgilerini toplama | 100–1000 profil/gün | |
| Adaylara yönelik gereksinimlerin analizi | HeadHunter, LinkedIn | 1000–10 000 iş ilanı |
| Rakiplerin yeni iş ilanlarını takip etme | HeadHunter | Günlük izleme |
| Pasif adayları arama | 50–500 profil/gün |
Anahtar nokta: büyük veri hacmine sahip görevler (günde binlerce iş ilanı) proxy havuzuna ihtiyaç duyar. Küçük hacimli görevler (günde 50-100 pozisyon izleme) ise sorgular arasında gecikmelere uyulursa 1-2 statik proxy ile çözülebilir.
İş ilanları çıkartmak için hazır araçlar
İyi haber: sıfırdan kod yazmanıza gerek yok. Farklı görevler ve teknik bilgi seviyeleri için hazır çözümler mevcut. Temel kategorileri inceleyelim.
No-code araçlar (programlama olmadan)
Apify — LinkedIn ve HeadHunter için hazır "aktörler" ile bulut tabanlı bir platform. Hazır LinkedIn Jobs Scraper ve HH.ru Scraper mevcut. Sadece arama parametrelerini belirtiyorsunuz, platform geri kalanını yapıyor. Kendi proxy'lerinizi bağlamayı destekliyor. Tarifeler aylık 49 $'dan başlıyor, ücretsiz bir limit var.
Phantombuster — LinkedIn üzerinde uzmanlaşmış. İş ilanlarını, profilleri, şirket iletişim bilgilerini toplayabiliyor. Yetkilendirilmiş bir LinkedIn hesabı üzerinden çalışıyor. Proxy'leri destekliyor. Önemli: bir LinkedIn hesabı = bir proxy profili, aksi takdirde IP değişikliği nedeniyle yasak alırsınız.
Octoparse — veri çıkartıcılar için görsel bir yapılandırıcı. İstediğiniz web sitesinden kod olmadan veri toplamanızı sağlar, gerekli öğeleri fare ile belirterek. Proxy rotasyonunu destekler. HeadHunter için uygundur — arayüzü basit ve anlaşılırdır.
Teknik kullanıcılar için araçlar
ParseHub — görsel bir arayüze sahip masaüstü uygulaması, ancak Octoparse'dan daha esnek. Dinamik içerikle çalışabiliyor (JavaScript sayfaları). LinkedIn için bu kritik öneme sahip — çoğu veri dinamik olarak yükleniyor.
Bright Data (Web Scraper IDE) — yerleşik proxy'lere sahip profesyonel bir platform. LinkedIn için hazır şablonları var. Pahalı, ancak endüstriyel hacim için güvenilir.
HH.ru API — HeadHunter'ın resmi API'si. Kar amacı gütmeyen kullanım için ücretsiz, ticari kullanım için ücretli. Göreviniz iş ilanlarını izlemekse, iletişim bilgilerini toplamak değilse, resmi API en istikrarlı seçenektir. Limitler: yetkilendirilmiş uygulamalar için saniyede 50 sorgu.
💡 Tavsiye
HeadHunter için resmi API ile başlayın — bu yasal, istikrarlı ve belirli limitlere kadar ücretsizdir. LinkedIn için ise üçüncü taraf araçlar ve proxy'ler olmadan geçiş yapamazsınız, çünkü iş ilanları için resmi bir kamu API'si yoktur.
Proxy'lere neden ihtiyaç var ve hangi türü seçmelisiniz
Proxy, sorgularınızın geçtiği ara sunucudur. Platform, proxy'nin IP'sini görür, sizin gerçek adresinizi değil. Proxy rotasyonu (otomatik IP değişimi) ile her sorgu yeni bir kullanıcıdan geliyormuş gibi görünür — bu, limitleri ve engellemeleri aşmanıza yardımcı olur.
Ancak tüm proxy'ler LinkedIn ve HeadHunter için eşit derecede etkili değildir. Proxy türünün seçimi sonuç üzerinde kritik bir etkiye sahiptir:
| Proxy Türü | HeadHunter | Hız | Fiyat | |
|---|---|---|---|---|
| Yerleşik | ✅ Harika | ✅ Harika | Orta | $$ |
| Mobil | ✅ Harika | ✅ İyi | Orta | $$$ |
| Veri Merkezleri | ❌ Sık sık engellenir | ⚠️ Orta düzeyde | Yüksek | $ |
Yerleşik proxy'ler — LinkedIn için en iyi seçim
Yerleşik proxy'ler, gerçek ev kullanıcılarının IP adreslerini kullanır. LinkedIn açısından — bu, evinde oturan sıradan bir insandır. Bu tür IP'ler çok nadir kara listeye alınır ve platform bunları gerçek kullanıcıdan ayırt edemez. LinkedIn veri çıkartma işlemi için bu endüstri standardıdır.
İş ilanları çıkartmak için yerleşik proxy seçerken dikkate almanız gereken anahtar parametreler:
- Coğrafi konum: çıkarttığınız iş ilanlarının bulunduğu ülkenin IP'sini seçin (HeadHunter için — Rusya, LinkedIn için — gerekli ülke)
- Rotasyon: her sorgudan sonra otomatik IP değişimi veya zamanlayıcıya göre
- IP havuzu: ne kadar büyük olursa o kadar iyi, engellenmiş IP'nin tekrar kullanılma riskini azaltır
- HTTP/HTTPS ve SOCKS5 desteği — çoğu veri çıkartma aracı bu protokolleri gerektirir
Mobil proxy'ler — LinkedIn hesapları ile çalışma için
Eğer LinkedIn'i yetkilendirilmiş bir hesap üzerinden çıkartıyorsanız (Phantombuster gibi çalışıyorsa), mobil proxy'ler ek bir avantaj sağlar: LinkedIn, mobil operatörü bir kaynak olarak görür ve bu tür IP'lere daha fazla güvenir. Bir mobil IP, binlerce gerçek kullanıcıya hizmet verebilir (operatörün NAT'ı arkasında), bu nedenle yüksek aktivite bile şüphe uyandırmaz.
Veri merkezi proxy'leri — sadece HeadHunter için
Veri merkezi proxy'leri — hızlı ve ucuzdur, ancak LinkedIn bunları agresif bir şekilde engeller. HeadHunter için daha iyi çalışır: platform, veri merkezi IP'lerine karşı daha az paranoyaktır, özellikle sorgular arasında gecikmelere uyulursa. Küçük hacimlerde HH'de bütçe dostu iş ilanları izleme için uygundur.
LinkedIn veri çıkartma: adım adım ayar
LinkedIn, veri çıkartma için en zor platformdur. Hesabınızı kaybetmemek için dikkatli hareket etmek önemlidir. Phantombuster örneği üzerinden çalışan bir şemayı inceleyelim — işe alım uzmanları arasında en popüler araçlardan biri.
Adım 1: LinkedIn hesabınızı hazırlayın
Asla ana iş hesabınızı veri çıkartma için kullanmayın. Ayrı bir hesap oluşturun veya ikincil bir hesap kullanın. Eğer engellenirse — değerli bağlantılarınızı ve geçmişinizi kaybetmezsiniz. Hesabın "ısıtılmış" olması gerekir: doldurulmuş profil, birkaç bağlantı, veri çıkartmaya başlamadan önce en az bir hafta aktivite.
Adım 2: Proxy'yi hesaba bağlayın
Kritik kural: bir LinkedIn hesabı = bir IP adresi. Eğer bugün IP 1 ile giriş yapıyorsanız, yarın IP 2 ile giriş yapmanız — LinkedIn güvenlik sistemi için bir kırmızı bayraktır. Her hesap için statik yerleşik proxy (sticky session) kullanın.
Phantombuster'da proxy ayarı şöyle görünür:
- Phantombuster hesabınızdaki Ayarlar → Proxy'ler bölümüne gidin
- Proxy Ekle butonuna tıklayın
- Proxy bilgilerini girin: host, port, kullanıcı adı, şifre
- Türü seçin: HTTP veya SOCKS5 (proxy sağlayıcınıza bağlıdır)
- Proxy Testi butonuna tıklayın — proxy'nin çalıştığından emin olun
- Bu proxy'yi hesabınızla çalışan belirli bir "hayalet" (görev) için atayın
Adım 3: LinkedIn İş İlanları İhracatını ayarlayın
Phantombuster'da "LinkedIn İş İlanları Arama İhracatı" hayaletini bulun. Ayarlar:
- Arama URL'si: gerekli filtrelerle LinkedIn iş ilanı arama URL'sini yapıştırın (pozisyon, şehir, istihdam türü)
- Başlatma başına iş sayısı: 25-50 ile başlayın. İlk günden 500 koymayın
- Başlatma sıklığı: 2-3 saatte bir. Sürekli başlatmayın
- Oturum çerezi: tarayıcıdan li_at çerezini kopyalayın (Phantombuster'da talimatlar mevcut)
Adım 4: Güvenli limitleri ayarlayın
LinkedIn, agresiflik nedeniyle engeller, veri çıkartma nedeniyle değil. Bir hesap için güvenli limitler:
- Günde 80-100 iş ilanı görüntülemeden fazla olmamalıdır
- Sorgular arasındaki gecikme: en az 3-5 saniye
- Gece saatlerinde ara verin (insan davranışını taklit edin)
- Hafta sonları veri çıkartma başlatmayın — bu B2B platformu için şüpheli görünür
⚠️ Eğer LinkedIn'den büyük veri hacmi gerekiyorsa
Günde binlerce iş ilanı çıkartmanız gerekiyorsa — her biri kendi yerleşik proxy'si olan birkaç hesap kullanın. Bir hesap + bir IP = maksimum 100 iş ilanı günde yasaklama riski olmadan. 10 hesap × 100 = günde 1000 iş ilanı.
HeadHunter veri çıkartma: özellikler ve ayar
HeadHunter, iki nedenle LinkedIn'den daha kolaydır: resmi bir API vardır ve koruma daha az agresiftir. Ancak doğru ayar olmadan büyük veri toplama işlemlerinde yine de engellenirsiniz.
Seçenek 1: Resmi HeadHunter API'si (önerilir)
Göreviniz iş ilanlarını izlemek ve piyasa analizi yapmaksa (iletişim bilgilerini toplamak değilse), hh.ru resmi API'sini kullanın. Bu tamamen yasaldır ve verilere istikrarlı bir erişim sağlar.
- dev.hh.ru üzerinde bir uygulama kaydedin
- client_id ve client_secret alın
- İş ilanlarını aramak için GET /vacancies uç noktasını kullanın
- Filtreleme parametreleri: text, area (bölge), salary, experience, schedule
- Limit: yetkilendirilmiş uygulamalar için saniyede 50 sorgu
Sonuç JSON formatında gelir — bunu Excel veya Google Sheets'e kolayca yükleyebilirsiniz, Zapier veya Make (eski adıyla Integromat) gibi araçlar aracılığıyla kod yazmadan.
Seçenek 2: Apify ile veri çıkartma (kod olmadan)
Resmi API'de bulunmayan verilere (örneğin, işverenlerin iletişim bilgileri veya standart olmayan formatta veriler) ihtiyacınız varsa, HH.ru için hazır bir aktör ile Apify kullanın:
- apify.com adresine gidin ve "HH.ru Scraper" aktörünü bulun
- Ücretsiz dene butonuna tıklayın
- Ayarlar bölümünde arama sorgusunu belirtin (pozisyon, şehir)
- Proxy yapılandırması bölümünde "Özel proxy'ler" seçeneğini seçin ve proxy bilgilerinizin verilerini yapıştırın
- HeadHunter için Rus IP'leri ile yerleşik proxy'ler uygundur — platform bölgeseldir
- Başlat butonuna tıklayın ve sonuçları bekleyin
- Verileri CSV, JSON veya Excel formatında dışa aktarın
Seçenek 3: Gelişmiş görevler için Octoparse
Octoparse, HH.ru sayfasındaki herhangi bir öğeyi çıkartma işlemini ayarlamanıza olanak tanır — API'de bulunmayanları da dahil. Örneğin, iş ilanlarının tam açıklamalarını, iletişim bilgilerini (görünürse) ve şirket bağlantılarını toplayabilirsiniz.
- Octoparse'ı indirin ve kurun
- Yeni bir görev oluşturun, hh.ru'daki iş ilanı arama URL'sini yapıştırın
- Otomatik algılama modunu kullanın — Octoparse liste yapısını kendisi belirleyecektir
- Tüm gerekli alanların (başlık, şirket, maaş, şehir) işaretlendiğinden emin olun
- Görev ayarlarında IP Rotasyonu seçeneğini etkinleştirin ve proxy'lerinizi ekleyin
- Sorgular arasında gecikme ayarlayın: 2-4 saniye
- Sürekli veri toplama için bulutta (Cloud Extraction) başlatın
💡 HeadHunter için proxy coğrafi konumu
HeadHunter, kullanıcının bölgesini IP üzerinden belirler ve bölgesel iş ilanlarını gösterir. Belirli bir şehirden (örneğin, sadece Moskova veya St. Petersburg) iş ilanlarını çıkartmak istiyorsanız, bu bölgeden IP'lere sahip proxy'ler kullanın. Genel Rusya izleme için herhangi bir Rus IP yeterlidir.
Sık yapılan hatalar ve bunlardan nasıl kaçınılır
LinkedIn ve HeadHunter'da veri çıkartma işlemlerindeki çoğu sorun aynı hatalardan kaynaklanır. İşte yapmamanız gerekenlerin kontrol listesi:
❌ Hata 1: Her şey için tek bir IP kullanmak
Yeni başlayanların en yaygın hatası — veri çıkartmayı kendi ev IP'si veya tek bir proxy ile başlatmaktır. Platform anormal bir aktivite tespit ettiğinde — IP kalıcı olarak engellenir. Çözüm: otomatik IP değişimi olan döner proxy'ler veya birkaç statik proxy'den oluşan bir havuz.
❌ Hata 2: Sorgu hızının çok yüksek olması
10 dakikada 1000 sayfa çıkartmak — yasaklanmanın kesin yoludur. Gerçek bir kullanıcı fiziksel olarak bu hızda sayfaları görüntüleyemez. Gecikmeler ayarlayın: HeadHunter için sorgular arasında en az 2-3 saniye, LinkedIn için 5-10 saniye. Gecikmelerde rastgele bir varyasyon ekleyin (tam olarak 3 saniye değil, 2 ile 5 arasında — bu insanı taklit eder).
❌ Hata 3: LinkedIn hesabı için IP değişikliği
Eğer yetkilendirilmiş bir LinkedIn hesabıyla çalışmak için döner proxy kullanıyorsanız — her sorgu yeni bir IP'den gelmektedir. LinkedIn bunu hesap hack'i olarak görür (birisi farklı yerlerden bağlanıyor) ve hesabı engeller. Yetkilendirilmiş oturumlar için yalnızca sticky proxy'leri (uzun süreli sabit IP) veya statik yerleşik proxy'leri kullanın.
❌ Hata 4: User-Agent'ı göz ardı etmek
User-Agent, tarayıcının sunucuya gönderdiği ve kendini tanımlayan bir dizedir. Birçok veri çıkartma aracı varsayılan olarak "python-requests/2.28.0" gibi bir User-Agent gönderir — bu hemen botu ifşa eder. Gerçek bir tarayıcıya ait gerçekçi bir User-Agent ayarlayın. Apify ve Phantombuster'da bu otomatik olarak yapılır, Octoparse'da ise görev ayarlarında yapılır.
❌ Hata 5: robots.txt'i kontrol etmeden veri çıkartma
LinkedIn, robots.txt dosyasında veri çıkartmayı yasaklar ve bu tür işlemler yapan şirketlerle aktif olarak dava açar. Bu, kişisel analiz için veri toplamanın imkansız olduğu anlamına gelmez — ancak ticari kullanımda hukuki riskleri anlamak önemlidir. HeadHunter daha hoşgörülüdür, özellikle resmi API kullanıldığında.
❌ Hata 6: Ucuz kamu proxy'leri
Ücretsiz veya çok ucuz kamu listelerinden alınan proxy'ler — bir tuzaktır. Çoğu platform tarafından zaten engellenmiştir, istikrarsız çalışır ve sık sık verileri ele geçirir. Ciddi bir çalışma için, gerçek yerleşik veya mobil IP'lere sahip güvenilir sağlayıcılardan ücretli proxy'ler gereklidir.
Veri çıkartma işleminden önce kontrol listesi
- ✅ Ayrı bir hesap kullanılıyor (ana iş hesabı değil)
- ✅ Yerleşik veya mobil proxy'ler bağlandı
- ✅ LinkedIn için: bir hesap = bir sabit IP
- ✅ Sorgular arasındaki gecikmeler ayarlandı (en az 3 saniye)
- ✅ User-Agent, gerçek bir tarayıcı gibi ayarlandı
- ✅ Günlük sorgu limiti makul değerlerle sınırlı
- ✅ Proxy'ler, veri çıkartmadan önce test edildi
- ✅ Proxy'nin coğrafi konumu hedef bölgeye uygun
Sonuç
LinkedIn ve HeadHunter'dan iş ilanları çıkartma, işe alım uzmanları, HR analistleri ve işgücü araştırmacıları için etkili bir araçtır. Anahtar olan doğru yaklaşımı seçmektir: HeadHunter için resmi API ile başlayın, LinkedIn için ise Phantombuster veya Apify gibi özel araçlar kullanarak doğru ayarlanmış proxy'ler ile çalışın.
Rehberden çıkarılacak ana noktalar: LinkedIn, her hesap için yerleşik veya mobil proxy'ler ile sabit IP gerektirirken, HeadHunter daha az katıdır ancak büyük hacimlerde de proxy'ye ihtiyaç duyar. Sorgu limitlerine uyun, insan davranışını taklit edin ve otomasyon için asla ana hesabınızı kullanmayın.
Eğer LinkedIn'den düzenli iş ilanı izleme veya büyük veri toplama planlıyorsanız, yerleşik proxy'leri kullanmanızı öneririz — bu, her iki platformla da maksimum uyumluluk ve uzun süreli çalışmalarda minimum yasaklama riski sağlar.