Uçak Bileti Fiyatları İçin Proxy: Aviasales, Skyscanner ve Google Flights'ı Engellenmeden Nasıl Tarayıcıyız

Uçak bileti siteleri, internetteki en agresif korunan kaynaklardan biridir. Stale fiyatlar, CAPTCHA'lar, anlık IP engellemeleri - bunların hepsi tarifeler hakkında veri toplamak için gerçek bir sınav oluşturuyor. Eğer bir agregatör oluşturuyorsanız, müşteriler için fiyatları izliyorsanız veya otomatik olarak ucuz rotalar arıyorsanız, doğru ayarlanmış proxy'ler olmadan bir saat bile dayanamazsınız. Bu makalede, hangi proxy'lerin çalıştığını, nasıl ayarlanacağını ve neden bazı türlerin diğerlerinden başarısız olduğunu inceleyeceğiz.

Uçak bileti siteleri neden taramayı bu kadar hızlı engelliyor

Havacılık endüstrisi dinamik fiyatlandırma ile çalışıyor: tarifeler, talebe, günün saatine, tarayıcı geçmişine ve hatta kullanıcının coğrafi konumuna bağlı olarak günde onlarca kez değişiyor. Bu nedenle büyük agregatörler - Aviasales, Skyscanner, Kayak, Google Flights - otomatik isteklere karşı koruma sağlamak için büyük kaynaklar yatırıyor.

İşte proxy olmadan veya ucuz veri merkezi IP'leri ile veri toplamaya çalıştığınızda olanlar:

• Anlık IP engelleme - çoğu uçak bileti sitesi veri merkezi ASN (otonom sistem) veritabanları tutar. Hosting IP'si ile yapılan istek, sayfa yüklenmeden engellenir.
• CAPTCHA'lar ve Cloudflare - ilk istek geçse bile, bir adresten 5-10 istekten sonra bir CAPTCHA veya doğrulama kontrolüne yönlendirme gelir.
• Sahte fiyatlar - bazı siteler (özellikle OTA agregatörleri) rakiplerin verilerini bozmak için botlara abartılı veya eski tarifeler gösterir.
• Fingerprinting - IP'nin yanı sıra sistemler HTTP başlıklarını, TLS uzantı sırasını, fare hareketlerini ve kaydırma hızını analiz eder.
• Rate limiting - bir IP'den belirli bir zaman diliminde yapılan istek sayısının sınırlandırılması. Genellikle eşik 20-50 istek/dakika olup, bu aşılırsa bağlantı kesilir.

Sonuç: gerçek IP'lere sahip kaliteli proxy'ler olmadan güncel verileri toplayamazsınız. Veri merkezi proxy'leri burada kötü çalışıyor - uçak bileti siteleri bunları ilk saniyelerde tanıyor. Ya konut ya da mobil IP'lere ihtiyacınız var.

Hangi proxy türleri uçak bileti için uygundur

Uçak bileti fiyatlarını toplama görevine uygun üç ana proxy türünü inceleyelim:

Sonuç açıktır: uçak bileti siteleri için veri merkezi proxy'leri neredeyse işe yaramaz. Aviasales, Skyscanner ve Google Flights, hosting sağlayıcılarından gelen IP'leri anında tanır ve ya engeller ya da CAPTCHA gösterir. Gerçek seçim, konut ve mobil proxy'ler arasında yapılmalıdır - her birinin kendi nişi vardır.

Konut vs mobil proxy: uçak bileti için hangisini seçmeli

Her iki tür de çalışıyor, ancak farklı senaryolar içinde biri diğerine göre avantajlı. Hadi bunu detaylandıralım.

Konut Proxy'leri - büyük ölçekli veri toplama için

Konut proxy'leri, dünya genelindeki gerçek ev kullanıcılarının IP adreslerini kullanır. Uçak bileti taraması için bu, şu anlama gelir:

• Belirli bir ülke ve hatta şehir seçme imkanı - bu, farklı pazarlar için fiyatları kontrol ediyorsanız kritik öneme sahiptir (örneğin, Moskova'dan vs Londra'dan aynı uçuş için fiyat).
• Büyük bir IP havuzu - döngü için binlerce adres, bu da yüzlerce isteği tekrar etmeden yapmanıza olanak tanır.
• Büyük trafik hacimlerinde iyi fiyat/performans oranı.
• Oturum ve döngü modları desteği - gerçek bir kullanıcıyı taklit etmek için bir oturumu sürdürebilirsiniz.

İdeal senaryo: bir agregatör veya izleme hizmeti kuruyorsunuz ve aynı anda 10-20 siteden fiyat toplamanız gerekiyor, saatte binlerce istek yapıyorsunuz. Döngü ile konut proxy'leri sizin seçiminiz.

Mobil Proxy'ler - en korumalı siteler için

Mobil proxy'ler, mobil operatörlerin gerçek SIM kartları üzerinden çalışır. Özelliği, uçak bileti sitelerinin neredeyse hiç engellemediği mobil ağlardan (3G/4G/5G) IP adresleridir. Sebep basit: bir mobil IP'nin arkasında, binlerce gerçek kullanıcının bulunduğu bir NAT ağı olabilir. Böyle bir adresi engellemek, binlerce gerçek müşteriyi kaybetmek anlamına gelir.

• Anti-bot sistemleri tarafından maksimum güven düzeyi.
• Agressif tarama durumunda neredeyse sıfır engellenme riski.
• Oturum değişikliği ile IP değişikliği imkanı (cihazın fiziksel olarak değiştirilmesi olmadan).
• Daha yüksek maliyet - kritik veriler veya karmaşık siteler için haklıdır.

İdeal senaryo: belirli bir karmaşık siteden veri toplamanız gerekiyor (örneğin, Cloudflare Enterprise ile doğrudan havayolu şirketinin sitesi), burada konut proxy'leri zaman zaman CAPTCHA'lar veriyor. Mobil proxy'ler bu sorunu çözecektir.

Aviasales, Skyscanner, Google Flights ve Kayak'ın koruma özellikleri

Her platformun kendine özgü koruma özellikleri vardır. Bu farklılıkları anlamak, proxy'leri ve istek davranışını doğru bir şekilde ayarlamanıza yardımcı olacaktır.

Aviasales

Rus agregatör, rate limiting ve davranış analizi kombinasyonunu kullanır. Sınırlama - bir IP'den dakikada yaklaşık 30-40 istektir. Aşılırsa - Yandex SmartCaptcha'dan CAPTCHA'ya yönlendirme. Site, Rus IP'leri ile konut proxy'lerine karşı oldukça hoşgörülüdür. Önemli: Aviasales'teki fiyatlar coğrafi konuma bağlıdır, bu nedenle verileri doğru bir şekilde toplamak için gerekli tarifelerin bulunduğu ülkenin IP'sine sahip proxy'leri kullanın.

Skyscanner

En korumalı agregatörlerden biri. Şüpheli IP'ler için "Under Attack Mode" ayarı ile Cloudflare kullanır ve ayrıca kendi anti-bot sistemini kullanır. Veri merkezi proxy'leri burada hiç çalışmaz. Konut proxy'leri geçer, ancak isteklerin yavaş bir hızda (dakikada 15-20'den fazla olmamak kaydıyla) ve doğru tarayıcı başlıkları gerektirir. Skyscanner için, proxy ile birlikte gerçek bir tarayıcı oturumu taklit etmek için Playwright veya Puppeteer kullanılması önerilir.

Google Flights

Google, botları tespit etmek için kendi algoritmalarını kullanır - reCAPTCHA v3 ve davranışsal kalıpların analizi. HTML'yi doğrudan taramak burada çalışmaz, çünkü veriler JavaScript üzerinden yüklenir. Konut veya mobil proxy'lerle headless tarayıcı (Playwright/Puppeteer) gereklidir. Google ayrıca, IP'nin coğrafi konumu ve tarayıcı dilinin eşleşmesine karşı hassastır - uyumsuzluk, engellenme riskini artırır.

Kayak

PerimeterX (şimdi HUMAN Security) tabanlı botlara karşı agresif bir koruma ile Amerikan agregatörü. Sadece IP'yi değil, aynı zamanda TLS parmak izi, HTTP/2 başlık sırası ve istekler arasındaki süreyi de tanır. Kayak için zorunludur: konut veya mobil proxy'ler, gerçek bir tarayıcı taklidi ve istekler arasında rastgele gecikmeler (2-8 saniye).

Fiyat verilerini toplamak için proxy nasıl ayarlanır

Ayarlama, kullandığınız araca bağlıdır. En yaygın senaryoları inceleyelim.

Seçenek 1: Hazır tarayıcılar ve no-code araçlar

Kod yazmıyorsanız, hazır çözümleri kullanın: Octoparse, ParseHub, Apify. Hepsi dış proxy'lerin bağlanmasını destekler. Adım adım işlemler:

1. Proxy verilerini alın: host (IP veya alan adı), port, kullanıcı adı, şifre.
2. Aracınızın ayarlarını açın → "Proxy" veya "Network" bölümüne gidin.
3. Protokol türünü seçin: HTTPS (çoğu görev için) veya SOCKS5 (daha düşük seviyeli çalışma gerekiyorsa).
4. Bağlantı verilerini yapıştırın. Format genellikle şöyledir: login:password@host:port
5. Proxy rotasyonunu etkinleştirin - çoğu araç bunu otomatik olarak adres havuzu varsa yapar.
6. Hedef siteye test isteği gönderin ve IP'nin değiştiğini kontrol edin.

Seçenek 2: Playwright / Puppeteer ile proxy

Karmaşık siteler için (Google Flights, Skyscanner) headless tarayıcı gereklidir. Playwright'ta proxy'yi nasıl bağlayacağınız:

const { chromium } = require('playwright');

const browser = await chromium.launch({
  proxy: {
    server: 'http://your-proxy-host:port',
    username: 'your_login',
    password: 'your_password'
  }
});

const page = await browser.newPage();
await page.goto('https://www.skyscanner.com/...');
// Sonra veri çıkarma mantığınız
await browser.close();

Her yeni istekte proxy'yi döndürmek için, havuzunuzdan yeni bir proxy ile yeni bir tarayıcı bağlamı oluşturun. Bu, farklı kullanıcıların davranışını taklit eder.

Seçenek 3: Python + requests/httpx

JavaScript render'ı olmayan siteler için (veya uçak bileti sitelerinin API'leri ile çalışmak için) Python uygundur:

import requests
import random

proxies_pool = [
    "http://login:[email protected]:port",
    "http://login:[email protected]:port",
    "http://login:[email protected]:port",
]

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
    "Accept-Language": "ru-RU,ru;q=0.9",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
}

proxy = {"http": random.choice(proxies_pool), "https": random.choice(proxies_pool)}

response = requests.get(
    "https://www.aviasales.ru/search/...",
    proxies=proxy,
    headers=headers,
    timeout=15
)

print(response.status_code)

IP rotasyonu ve oturum yönetimi: temel kurallar

Doğru IP rotasyonu, uçak bileti taramasında başarı için yarı yoldur. Sadece IP değiştirmek yeterli değildir: bunu akıllıca yapmak gerekir.

Kural 1: Bir IP - bir oturum

Birden fazla paralel istek için tek bir IP kullanmayın. Anti-bot sistemleri, bir adresten anormal derecede yüksek yük gördüğünde onu engeller. Her istek akışı ayrı bir proxy üzerinden çalışmalıdır.

Kural 2: İstekler arasında rastgele gecikmeler

Gerçek bir kullanıcı, istekleri eşit zaman aralıklarıyla yapmaz. İstekler arasında 2 ila 8 saniye arasında rastgele bir gecikme ekleyin. Bu, bot tarafından tespit edilme olasılığını, eşit aralıklı isteklere göre 3-4 kat azaltır.

Kural 3: Coğrafi konum ve dil uyumu

Eğer Almanya IP'si ile proxy kullanıyorsanız, tarayıcı başlıklarında Almanca dilinin olması gerekir (Accept-Language: de-DE). Uyuşmazlık, anti-bot sistemleri için açık bir sinyaldir. Bu, özellikle Google Flights için önemlidir.

Kural 4: Çok aşamalı istekler için oturum proxy'leri

Bazı uçak bileti siteleri birden fazla adım gerektirir: arama → uçuş seçimi → detayları görüntüleme. Tüm bu adımlar tek bir IP üzerinden gerçekleştirilmelidir. Sticky oturumlar kullanın - bir IP'nin belirli bir süre (genellikle 10-30 dakika) boyunca akışınıza bağlı kalmasını sağlayan bir mod.

Kural 5: Proxy kalitesini izleme

Havuzdaki hangi IP'lerin engellendiğini düzenli olarak kontrol edin. 403, 429 kodu döndüren adresleri otomatik olarak hariç tutun. Çoğu profesyonel tarama çerçevesi (Scrapy, Apify) bunu otomatik olarak yapar.

Uçak bileti fiyatlarını taramak için hazır araçlar

Sıfırdan bir tarayıcı yazmak istemiyorsanız, proxy ile çalışmayı destekleyen ve uçak bileti fiyatlarını izlemek için uygun olan araçlar:

Apify

Web taraması için bulut tabanlı bir platform. Skyscanner ve Google Flights için hazır aktörler (botlar) içerir. Dış proxy'lerin bağlanmasını ayarlarda destekler. Proxy'lerinizi bağlamak için: aktör ayarlarına gidin → "Proxy and browser configuration" sekmesine tıklayın → "Custom proxies" seçeneğini seçin → proxy URL'lerinizi http://user:pass@host:port formatında yapıştırın.

Octoparse

Görsel arayüze sahip no-code tarayıcı. Kod yazmayanlar için uygundur. Proxy rotasyonu destekler: Ayarlar → Bulut Çıkarma → Proxy Ayarları → Özel Proxy Ekle. Proxy listesini ekleyebilirsiniz ve Octoparse bunları otomatik olarak döndürecektir.

Scrapy + Scrapy-Rotating-Proxies

Profesyonel tarama için Python çerçevesi. Scrapy-rotating-proxies eklentisi, listenizden IP'leri otomatik olarak döndürür ve engellenen adresleri hariç tutar. Yüksek yükleme görevleri için uygundur - günde yüz binlerce istek.

ParseHub

JavaScript render'ı destekleyen bir başka no-code araç. Aviasales ile iyi çalışır. Proxy'ler, Ayarlar → Gelişmiş → Proxy bölümünde bağlanır.

Kontrol listesi: uçak bileti fiyatlarını toplarken yasaklanmamak için

Bu listeyi kaydedin - tarama ayarları sırasında çoğu sorunu önlemeye yardımcı olacaktır:

Yasaklara yol açan yaygın hatalar

• Ücretsiz proxy kullanımı. IP'leri çoktan tüm büyük uçak bileti sitelerinin kara listesine alınmıştır. İlk istekte yasaklanacaksınız.
• Aşırı istek sıklığı. İyi proxy'lerle bile, bir IP'den dakikada 100 istek, yasaklanmanın kesin yoludur.
• Tüm istekler için aynı User-Agent kullanımı. Gerçek kullanıcılar farklı tarayıcılar ve sürümler kullanır - tarayıcınız bunu taklit etmelidir.
• Çerezlerin göz ardı edilmesi. Birçok site, oturumu çerezler aracılığıyla izler. İstekler arasında çerezleri saklamaz ve iletmezseniz, davranış anormal görünür.
• Coğrafi konum ve istek içeriği uyumsuzluğu. Rusça versiyonu Amerikan IP'si üzerinden talep etmek, anti-bot sistemleri için kırmızı bayraktır.

Sonuç

Uçak bileti fiyatları hakkında veri toplamak, tarama alanındaki en teknik zorlu görevlerden biridir. Uçak bileti siteleri botlara karşı önemli kaynaklar yatırmakta ve bunu doğru araçlar olmadan aşmak imkansızdır. Bu makaleden çıkan ana sonuçlar:

• Veri merkezi proxy'leri uçak bileti siteleri için çalışmaz - anında engellenirler.
• Konut proxy'leri, farklı pazarlardan fiyatları büyük ölçekte izlemek için en iyi seçimdir.
• Mobil proxy'ler, en korumalı platformlar (Kayak, Skyscanner) ve kritik veriler için gereklidir.
• IP rotasyonu, rastgele gecikmeler ve gerçek bir tarayıcı taklidi, istikrarlı çalışma için zorunlu koşullardır.
• Proxy'nin coğrafi konumu hedef pazarla eşleşmelidir, aksi takdirde fiyatlar hatalı olacaktır.

Eğer uçak bileti fiyatlarını izleme sistemi kurmayı veya bir agregatör için veri toplamayı planlıyorsanız, konut proxy'leri ile başlayın - bunlar koruma aşma, coğrafi kapsama ve maliyet arasında gerekli dengeyi sağlar. En karmaşık siteler için, agresif anti-bot koruması ile mobil proxy'leri göz önünde bulundurun - bunlar, anti-bot sistemleri tarafından maksimum güven düzeyi sağlar ve doğru ayarlandığında engellemeleri neredeyse tamamen ortadan kaldırır.