Proxy ile Kamu İhaleleri ve Tekliflerin Otomatik İzlenmesi: Engellemesiz Ayarlama

EIS (Zakupki.gov.ru), Sberbank-AST, RTS-tender gibi platformlarda manuel ihale izleme günde 3-5 saat alıyor. Parserlar aracılığıyla otomasyon bu sorunu çözüyor, ancak devlet platformları otomatik talepleri aktif olarak engelliyor — IP, 50-100 talep sonrası yasaklanıyor. Proxy'ler, kısıtlamaları aşmayı ve şirketin ana IP'sinin engellenme riski olmadan yeni ihaleler hakkında veri toplamayı sağlıyor.

Bu rehberde şunları inceleyeceğiz: farklı ihale platformları için hangi proxy'lerin uygun olduğu, engellenmeden otomatik veri çekme ayarlarının nasıl yapılacağı, hangi hazır araçların kullanılacağı ve yasaklamalara yol açan yaygın hatalardan nasıl kaçınılacağı.

Neden ihale platformları otomatik talepleri engelliyor

Devlet ve ticari ihale platformları, otomatik veri toplama için çok katmanlı bir koruma kullanıyor. Bunun birkaç nedeni var: parserlardan gelen yük, toplam trafiğin %60-70'ine kadar çıkabiliyor, rakipler toplanan verileri dumping için kullanıyor ve ayrıca alım sürecine katılanların kişisel verilerini koruma gereklilikleri var.

Tek bir bilgi sistemi (EIS) — en korunaklı platformdur. Sistem, her talebin şu parametrelerini kaydeder: IP adresi, tarayıcı User-Agent'ı, talep sıklığı, sitedeki eylem sırası. Eğer bir IP'den saatte 100'den fazla talep gelirse veya talepler çok düzenli bir şekilde (örneğin, her 5 saniyede bir) gelirse, IP 24-72 saat süreyle engellenir. Engelleme, alt ağın tüm aralığına yayılır, bu nedenle tüm şirket etkilenebilir.

Ticari platformlar (Sberbank-AST, RTS-tender, Fabrikant) daha yumuşak bir koruma kullanıyor, ancak yine de şüpheli etkinlikleri izliyorlar. Engellemenin ana tetikleyicileri: çerezlerin olmaması, JavaScript'in kapalı olması, sayfalar arasında çok hızlı gezinme (sayfa başına 2 saniyeden az), talepler arasındaki aynı zaman aralıkları.

İhale izleme için hangi proxy türünü seçmeliyim

İhale platformlarını izlemek için üç tür proxy uygundur, her birinin kendine özgü kullanım özellikleri vardır. Seçim, veri çekme hacmine, bütçeye ve güvenilirlik gereksinimlerine bağlıdır.

Konut proxy'leri — çoğu ihale izleme görevi için en iyi seçimdir. Gerçek ev kullanıcılarının IP adreslerini kullanırlar, bu nedenle platformlar talepleri sıradan insanların eylemleri olarak algılar. EIS için, her 10-15 dakikada bir döngüsel olarak Rus konut proxy'leri kullanılması önerilir. Bu, günde 500-1000 ihale hakkında veri toplamayı engellenmeden sağlar.

Veri merkezi proxy'leri daha az korumalı ticari platformlar için uygundur: RTS-tender, Fabrikant, B2B-Center. Konut proxy'lerinden 3-5 kat daha ucuzdur ve daha hızlı çalışır, ancak EIS genellikle bu tür IP'leri tanır ve engeller. Bunları parserın ilk test edilmesi veya küçük bölgesel platformların izlenmesi için kullanın.

Mobil proxy'ler maksimum güvenilirlik seviyesine sahiptir, çünkü mobil operatörlerin IP'lerini (MTS, Beeline, MegaFon) kullanır. Platformlar bu adresleri neredeyse hiç engellemez, çünkü bir operatörün IP'sinin arkasında binlerce gerçek kullanıcı olabilir. Dezavantajı — daha yüksek maliyet. Özellikle değerli ihalelerle çalışıyorsanız veya konut proxy'leri kullanırken engellemeler aldıysanız mobil proxy'leri kullanın.

Farklı platformların koruma özellikleri: EIS, Sberbank-AST, RTS-tender

Her ihale platformunun veri çekmeye karşı kendi koruma özellikleri vardır. Bu mekanizmaların anlaşılması, parserın ayarlanmasını ve engellenme riskinin en aza indirilmesini sağlar.

EIS (Zakupki.gov.ru) — maksimum koruma

Tek bilgi sistemi, tüm platformlar arasında en sıkı korumayı kullanır. Ana mekanizmalar: bir IP'den saatte 100 talep limiti, çerezlerin ve JavaScript'in zorunlu desteği, referans kontrolü (kullanıcının nereden geldiği), davranışsal faktörlerin analizi (sayfada geçirilen süre, fare hareketi, kaydırma).

EIS için veri çekme önerileri: Rus IP'leri ile konut veya mobil proxy'ler kullanın, her 80-90 talepte bir proxy'nin otomatik döngüsünü etkinleştirin (limite ulaşmamak için), talepler arasında 3 ila 8 saniye arasında rastgele gecikmeler ekleyin, basit HTTP talepleri yerine headless tarayıcılar (Puppeteer, Selenium) kullanın — bunlar gerçek bir tarayıcının davranışını tamamen taklit eder.

Sberbank-AST — orta düzey koruma

Sberbank platformu daha yumuşak kısıtlamalar kullanır: saatte yaklaşık 200-300 talep limiti, çerezler zorunludur, ancak JavaScript her zaman kontrol edilmez, engelleme belirgin robot davranışı (talepler arasındaki aynı aralıklar, referansın olmaması) durumunda gerçekleşir.

Sberbank-AST için, her 200 talepte bir döngüsel olarak konut proxy'leri yeterlidir. Tam tarayıcı emülasyonu gerektirmeyen daha basit veri çekme araçları kullanılabilir, ancak mutlaka 2-5 saniye arasında rastgele gecikmeler ve doğru User-Agent başlıkları ekleyin.

RTS-tender, Fabrikant, B2B-Center — temel koruma

Ticari platformlar minimum korumaya sahiptir: saatte 500+ talep limiti, ana kontrol çerezlerin varlığı ve makul bir User-Agent'dır, veri merkezi proxy'lerini nadiren engellerler.

Bu platformlar için temel döngüsel ayarlarla veri merkezi proxy'leri bile uygundur. Basit HTTP parserları kullanabilirsiniz, tarayıcı emülasyonu gerektirmeden. Tek önemli nokta, talepleri çok sık göndermemektir (talepler arasında en az 1-2 saniye) ve zaman zaman IP'yi değiştirmektir.

Programlama gerektirmeyen ihale çekme araçları

İhaleleri izlemek için sıfırdan kod yazmak zorunda değilsiniz. Proxy üzerinden çalışmayı destekleyen grafik arayüze sahip hazır çözümler mevcuttur.

Octoparse — proxy desteği ve görev zamanlayıcısı ile görsel bir parser. Grafik arayüz aracılığıyla herhangi bir ihale platformu için parser oluşturmanıza olanak tanır: toplamak istediğiniz sayfa öğelerine (ihale numarası, yüklenici, tutar, son tarih) tıklarsınız ve program otomatik olarak veri çekme algoritmasını oluşturur. Ayarlarda proxy listesini belirtebilirsiniz ve Octoparse bunları otomatik olarak döndürecektir. Fiyat — ayda 75$'dan başlıyor, sınırlamalarla ücretsiz sürümü mevcut.

ParseHub — daha basit bir arayüze sahip Octoparse benzeri bir araç. Yeni başlayanlar için iyi bir seçimdir. JavaScript sitelerini destekler (EIS için önemlidir), proxy üzerinden çalışma, verileri Excel/Google Sheets'e aktarma. Ücretsiz sürüm, 5 veri çekme projesi oluşturmanıza izin verir. Ücretli sürüm — ayda 149$'dan başlıyor ve veri çekmeyi programlı olarak başlatma imkanı sunar (örneğin, her 2 saatte bir yeni ihaleleri kontrol etmek).

Screaming Frog SEO Spider — başlangıçta SEO aracı, ancak yapılandırılmış verileri çekmek için mükemmel bir seçim. Proxy desteği vardır, belirli CSS seçicileriyle sayfalardan veri toplayabilir. Dezavantajı — sayfaların HTML yapısını anlamak gerekir. Fiyat — yılda 149£ (yaklaşık 15.000 ruble), benzerlerine göre daha ucuzdur.

Özel ihale izleme hizmetleri — Kontur.Zakupki, Tender.Pro, B2B-Center, filtreler ve bildirimlerle birlikte yerleşik izleme sistemlerine sahiptir. Proxy ayarı gerektirmezler, çünkü hizmetin adına çalışırlar. Fiyat — izlenen kategori sayısına bağlı olarak ayda 5.000 ila 30.000 ruble arasında değişir. Dezavantajı — hizmetin yeteneklerine bağımlı olursunuz ve ek verileri toplama veya kendi CRM'inize entegre etme imkanınız yoktur.

Proxy üzerinden izleme ayarının adım adım yapılması (20 dakikada)

Octoparse örneği üzerinden otomatik ihale izleme ayarını inceleyelim — grafik arayüze sahip en popüler araçlardan biri. Bu örnek, EIS, Sberbank-AST ve diğer platformlar için uygundur.

Adım 1: Proxy alma. Proxy sağlayıcısında kaydolun ve IP adresleri ile portlar ve kimlik bilgileri içeren bir liste alın. EIS izleme için en az 10 konut Rus proxy'si ve otomatik döngü önerilir. Sağlayıcı, verileri şu formatta verecektir: IP:PORT:USERNAME:PASSWORD (örneğin, 185.123.45.67:8000:user123:pass456).

Adım 2: Octoparse'ı kurma ve ayarlama. Octoparse'ı resmi web sitesinden indirin ve bilgisayarınıza kurun. Başlatıldığında, EIS'teki ihale arama sonuçları sayfasının URL'sini girerek yeni bir veri çekme projesi oluşturun (örneğin, bölgenizde "ekipman" anahtar kelimesine göre arama).

Adım 3: Octoparse'da proxy ayarlama. Ayarlar → Proxy Ayarları'nı açın. "Özel proxy kullan" modunu seçin. Proxy listenize IP, port, tür (HTTP veya SOCKS5), kullanıcı adı ve şifre ekleyin. "Her talep için proxy'yi döndür" seçeneğini etkinleştirin — bu, programın her talep sonrası proxy'yi değiştirmesini sağlar, yükü dağıtır ve engellemelerden kaçınır.

Adım 4: Veri çekme algoritması oluşturma. Görsel yapıcı modunda, toplamak istediğiniz sayfa öğelerine tıklayın: ihale numarası, adı, yüklenici, başlangıç fiyatı, başvuru son tarihi, bölge. Octoparse, veri yapısını otomatik olarak belirleyecek ve toplama algoritmasını oluşturacaktır. İlk 5-10 kayıtta sonucu kontrol edin — program, veri çekme önizlemesini gösterecektir.

Adım 5: Sayfalandırma ayarlama. İhale platformları sonuçları sayfa sayfa gösterir (genellikle sayfada 10-50 ihale). Octoparse'da "Sayfa düğmesine tıklama" eylemini ekleyin ve "Sonraki sayfa" düğmesini belirtin. Program otomatik olarak sayfalar arasında geçiş yapacak ve tüm sonuçları toplayacaktır.

Adım 6: Gecikmeler ekleme. Parser ayarlarında talepler arasındaki rastgele gecikmeleri ayarlayın: en az 3 saniye, en fazla 8 saniye. Bu, gerçek bir kullanıcının davranışını taklit eder ve engellenme riskini azaltır. Ayrıca, her sayfa yüklendikten sonra 5-10 saniye gecikme ekleyin — bu, JavaScript öğelerinin tamamen yüklenmesi için zaman tanır.

Adım 7: Zamanlama ayarlama. "Görev Zamanlaması" bölümünde otomatik veri çekme başlatma ayarlarını yapın. Yeni ihaleleri izlemek için, çalışma saatlerinde her 2-4 saatte bir kontrol başlatmak en iyisidir. Örneğin: 9:00, 13:00, 17:00, 21:00. Bu, gün boyunca yeni yayınları izlemeyi sağlar ve platforma aşırı yük bindirmez.

Adım 8: Verileri dışa aktarma. Toplanan verilerin uygun bir formatta otomatik dışa aktarımını ayarlayın: Excel, Google Sheets, MySQL veritabanı veya API üzerinden CRM sisteminize gönderim. Octoparse, her veri çekme başlatıldığında yeni verileri otomatik olarak gönderebilir, bu da yeni ihaleler hakkında gerçek zamanlı bildirim almanızı sağlar.

Proxy rotasyonu ve talepler arasındaki gecikmelerin ayarlanması

Proxy rotasyonu ve gecikmelerin doğru ayarlanması, engellenmeden başarılı veri çekmenin anahtarıdır. Kaliteli proxy'ler kullanılsa bile, yanlış yapılandırma engellemeye yol açabilir.

Proxy rotasyon stratejileri: Veri çekme sırasında IP adreslerini değiştirmek için üç ana yaklaşım vardır.

Her talep sonrası rotasyon — en güvenli, ancak yavaş yöntemdir. Her talep yeni bir IP ile yapılır. Büyük veri hacimlerinde (1000+ ihale) EIS için uygundur. Dezavantajı — yeni bir bağlantı kurmak için 200-500 ms zaman alması nedeniyle veri çekme süresini artırır.

Taleplerin sayısına göre rotasyon — hız ve güvenlik arasında optimal dengeyi sağlar. Bir proxy, 50-100 talep için kullanılır, ardından bir sonraki ile değiştirilir. EIS için, her 80 talepte bir proxy değiştirilmesi önerilir (100 sınırının biraz altında). Ticari platformlar için bir IP üzerinde 200-300 talep yapılmasına izin verilebilir.

Zamana göre rotasyon — talep sayısından bağımsız olarak her 10-15 dakikada bir IP değişimi. Düşük yoğunlukta uzun süreli veri çekme için uygundur (örneğin, gün boyunca güncellemeleri izlemek). Bazı proxy sağlayıcıları, belirli bir zaman diliminde otomatik rotasyon sağlar — tek bir proxy URL'si alırsınız, ancak IP her N dakikada bir otomatik olarak değişir.

Talepler arasındaki gecikmelerin ayarlanması: İnsanlar sayfalar arasında anında geçiş yapamaz — okumak, kaydırmak, tıklamak için zamana ihtiyaçları vardır. Parser, bu davranışı taklit etmelidir.

Belirtilen aralıkta rastgele gecikmeler kullanmak önemlidir. Eğer parser, tam olarak her 5 saniyede bir talep gönderirse, koruma sistemi robotu kolayca belirleyebilir. Rastgele gecikme işlevi, tüm popüler veri çekme araçlarında mevcuttur.

Engellemeye yol açan yaygın hatalar

Kaliteli proxy'ler kullanılsa bile, parser, ayarlardaki teknik hatalar nedeniyle engellenebilir. İşte en yaygın sorunlar ve çözümleri.

Hata 1: Aynı User-Agent kullanımı. User-Agent, siteye hangi tarayıcı ve işletim sisteminin kullanıldığını bildiren bir dizedir. Eğer tüm talepler aynı User-Agent ile gelirse (örneğin, Python kütüphanesi requests için standart olan), bu açık bir bot işareti olur. Çözüm: farklı tarayıcılar (Chrome, Firefox, Safari) ve işletim sistemleri (Windows, macOS, Linux) için 10-20 popüler User-Agent listesini kullanın ve her talepte rastgele döndürün.

Hata 2: Çerezlerin kapalı olması. Çoğu site, ilk ziyaret sırasında çerezleri ayarlar ve sonraki taleplerde varlıklarını kontrol eder. Eğer parser çerezleri saklamıyorsa, her talep yeni bir cihazdan ilk ziyaret gibi görünür, bu da şüpheli bir durumdur. Çözüm: parser ayarlarında çerez desteğini etkinleştirin. Octoparse ve ParseHub'da bu otomatik olarak yapılır. Kendi parser'ınızı Python'da yazıyorsanız, requests.Session() kütüphanesini kullanın — bu, talepler arasında çerezleri otomatik olarak saklar.

Hata 3: JavaScript'i çalıştırmadan veri çekme. Modern siteler, EIS dahil, içerik yüklemek için aktif olarak JavaScript kullanıyor. Eğer parser, sayfanın HTML kodunu sadece indiriyorsa ve JavaScript'i çalıştırmıyorsa, eksik veriler alır ve sunucu şüpheli bir davranışı kaydeder. Çözüm: JavaScript'i tamamen yükleyen headless tarayıcılar (Puppeteer, Selenium, Playwright) kullanın; bunlar sayfayı tamamen yükler, JavaScript'i çalıştırır ve dinamik içeriği yüklemek için sayfayı kaydırabilir.

Hata 4: Captcha'yı görmezden gelme. Bazı platformlar, şüpheli etkinlik durumunda captcha gösterir. Eğer parser captcha'yı çözemezse, takılır ve tekrar eden talepler göndermeye başlar, bu da IP'nin engellenmesine yol açar. Çözüm: otomatik captcha çözme hizmetlerini (2Captcha, Anti-Captcha) kullanın — bunlar 1000 çözülmüş captcha için yaklaşık 1-3$'dır. Çoğu veri çekme aracı, bu tür hizmetlerle yerleşik entegrasyona sahiptir.

Hata 5: Yoğun saatlerde veri çekme. Çalışma günlerinde 10:00 ile 16:00 arasında ihale platformlarında kullanıcıların maksimum aktivitesi vardır ve koruma sistemleri en sıkı şekilde çalışır. Bu saatlerde yoğun veri çekme, daha hızlı bir şekilde engellemeye yol açar. Çözüm: ana veri çekme işlemlerini akşam saatlerinde (18:00-23:00) veya gece yapın. Çalışma saatlerinde yalnızca yeni ihaleleri minimum yoğunlukla kontrol edin.

Hata 6: "Kirli" proxy kullanımı. Bazı ucuz proxy sağlayıcıları, spam veya diğer şüpheli etkinlikler için zaten kullanılmış IP'leri satmaktadır ve bunlar kara listelerde bulunmaktadır. Çözüm: toplu kullanımdan önce proxy'leri test edin. Her yeni proxy'den platforma 20-30 test talebi gönderin ve captcha veya engelleme olup olmadığını kontrol edin. Eğer proxy "kirli" ise, sağlayıcıdan değiştirin.

10+ platformun aynı anda izlenmesi

Bir veya iki platform için temel izleme ayarlandıktan ve stabil çalıştıktan sonra, ölçeklendirme ihtiyacı doğar — pazarın maksimum kapsamını elde etmek için onlarla birlikte birçok ihale platformunu aynı anda veri çekmek.

Platformlar arasında proxy dağıtımı. Farklı platformlar için aynı proxy'leri aynı anda kullanmayın. Proxy havuzları oluşturun: örneğin, EIS için 10 proxy, Sberbank-AST için 5, RTS-tender için 5 vb. Bu, bir platformdaki engellemenin diğerinin çalışmasını etkilemesini önler.

Platformların önceliklendirilmesi. Tüm ihale platformları, işletmeniz için aynı derecede önemli değildir. En fazla ilgili ihalelerin yayınlandığı 3-5 ana platformu belirleyin ve onlara daha fazla kaynak ayırın: en iyi proxy'ler, daha sık kontroller, daha detaylı veri çekme (belgelerin toplanması dahil). Diğer platformlar için yalnızca temel ihale parametrelerinin izlenmesi için temel izleme kullanın.

Veri işleme otomasyonu. 10+ platformu izlerken, her gün yüzlerce yeni ihale alacaksınız. Manuel işlem imkansızdır. Otomatik filtrelemeyi ayarlayın: ihale adındaki anahtar kelimelere, yüklenici bölgesine, başlangıç fiyatı aralığına, başvuru son tarihine göre. Sadece tüm filtreleri geçen ihaleler, manuel kontrol için listeye alınır.

CRM ve bildirim sistemleri ile entegrasyon. Filtrelenmiş ihaleleri otomatik olarak CRM sisteminize veya kurumsal mesajlaşma uygulamanıza (Slack, Telegram, Microsoft Teams) gönderin. Yöneticiler, yeni uygun ihaleler hakkında gerçek zamanlı bildirim alacak ve katılım kararı almak için hızlı bir şekilde hareket edebilecekler.

Parserların çalışma durumunu izleme. Birçok platformla çalışırken, her parserın durumunu izlemek kritik öneme sahiptir. Her parserın en son ne zaman çalıştığını, kaç ihale topladığını, hata veya engelleme olup olmadığını gösteren bir gösterge paneli ayarlayın. Octoparse gibi araçlar, yerleşik gösterge panellerine sahiptir. Kendi betiklerinizi kullanıyorsanız, Google Sheets veya Grafana gibi özel izleme sistemlerinde günlükleme ayarlayabilirsiniz.

Sonuç

Devlet ve ticari ihalelerin proxy üzerinden izlenmesinin otomasyonu, yeni alımlar hakkında gerçek zamanlı bilgi almayı, manuel arama için günde 4 saate kadar tasarruf etmeyi ve başvurulan ihale sayısını %30-50 oranında artırmayı sağlar. Başarı için anahtar faktörler: platforma bağlı olarak doğru proxy türü seçimi, IP rotasyonu ve talepler arasındaki gecikmelerin doğru ayarlanması, JavaScript ve çerez desteği olan araçların kullanımı.

Korunaklı platformlar olan EIS'i izlemek için Rus IP adresleri ile konut veya mobil proxy'ler kullanın — bunlar maksimum güvenilirlik sağlar ve engellenme riskini en aza indirir. Temel korumaya sahip ticari platformlar için daha uygun maliyetli veri merkezi proxy'leri yeterlidir. 2-3 ana platformun otomasyonuyla başlayın, ayarları geliştirin ve ardından sisteminizi sektörünüzdeki tüm ihale pazarına ölçeklendirin.

Eğer ihale platformlarını 7/24 izlemeyi planlıyorsanız, konut proxy'leri kullanmanızı öneririz — bunlar, korunaklı devlet platformlarına yüksek talep yoğunluğunda bile engellenmeden parserların stabil çalışmasını sağlar.