Eğer bir kez bile Selenium ile proxy türünde
--proxy-server=http://user:password@ip:port
ile Chrome'u başlatmaya çalıştıysanız, muhtemelen tarayıcının ya hiç proxy olmadan açıldığını ya da tüm scripti engelleyen bir kimlik doğrulama penceresi ile karşılaştığınızı fark etmişsinizdir. Bu, kodunuzun bir hatası değil — bu, Selenium'un doğrudan çözmediği Chromium'un mimari bir kısıtlamasıdır. Bu makalede, bunun neden böyle olduğunu inceleyecek ve Chrome'a kullanıcı adı ve şifreyi manuel giriş olmadan iletmenin 4 işlevsel yolunu vereceğiz.
Neden --proxy-server user:pass'i kabul etmiyor
--proxy-server
bayrağı, Chromium'da başlangıçta yalnızca proxy sunucusunun protokolünü, IP adresini ve portunu belirtmek için tasarlanmıştır.
user:password@host:port biçimindeki kimlik bilgileri ile kullanılan sözdizimi curl, wget ve birçok diğer yardımcı programda çalışır, ancak Chromium bu URL parçasını bayrağı ayrıştırırken atar. Bu, Chromium hata izleyicisinde 50'li sürümlerden beri belgelenmiş bir davranıştır ve yıllar içinde geliştiriciler komut satırı üzerinden kimlik doğrulama desteği eklememiştir — güvenlik nedenleriyle: süreç argümanlarındaki şifre ps aux veya görev yöneticisi aracılığıyla görünür, bu da bir sızıntı olarak kabul edilir.
Sonuç olarak, Chrome proxy sunucusuna düzgün bir şekilde bağlanır, ancak sunucu 407 Proxy Authentication Required kodu ile yanıt verdiğinde, tarayıcı "Kullanıcı Adı" ve "Şifre" alanları ile yerel bir diyalog penceresi gösterir. Selenium, işletim sisteminin sistem diyaloglarıyla çalışamaz — yalnızca sayfanın DOM ağacını yönetir, bu nedenle bu pencereyi standart WebDriver API aracılığıyla otomatik olarak kapatmak veya doldurmak mümkün değildir. Script, birisi manuel olarak veri girmedikçe veya zaman aşımı dolmadıkça beklemede kalır.
Önemli olan: sorun, yalnızca kimlik doğrulaması olan HTTP/HTTPS ve SOCKS5 proxy'leri için geçerlidir. Eğer proxy IP-whitelist ile korunuyorsa (kullanıcı adı olmadan), kimlik doğrulama diyalogu hiç görünmez ve --proxy-server bayrağı normal çalışır. Bu nedenle, veri merkezi proxy'leri ile ayrıştırma ve otomasyon için birçok geliştirici başlangıçta IP ile ilişkilendirilmiş bir tarifeyi, şifre ile değil, seçer — bu, sorunu kökünden çözer. Ancak, eğer dönen rezidans proxy'leriniz varsa, IP ile ilişkilendirme genellikle elverişsizdir ve sorunu programatik olarak çözmek zorunda kalırsınız.
Yöntem 1: Kimlik doğrulamalı Chrome uzantısı
En güvenilir ve uzun ömürlü yöntem, onAuthRequired olayını yakalayan ve sistem diyalogunu atlayarak otomatik olarak kullanıcı adı ve şifreyi ekleyen küçük bir Chrome uzantısı oluşturmaktır. Uzantı, Python kodunda anlık olarak oluşturulur ve add_extension seçeneği ile Chrome'a eklenir.
import zipfile
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
def create_proxy_extension(proxy_host, proxy_port, proxy_user, proxy_pass, plugin_path="proxy_auth.zip"):
manifest_json = """
{
"version": "1.0.0",
"manifest_version": 2,
"name": "Chrome Proxy Auth",
"permissions": [
"proxy", "tabs", "unlimitedStorage", "storage",
"<all_urls>", "webRequest", "webRequestBlocking"
],
"background": {"scripts": ["background.js"]},
"minimum_chrome_version":"22.0.0"
}
"""
background_js = f"""
var config = {{
mode: "fixed_servers",
rules: {{
singleProxy: {{
scheme: "http",
host: "{proxy_host}",
port: parseInt({proxy_port})
}},
bypassList: ["localhost"]
}}
}};
chrome.proxy.settings.set({{value: config, scope: "regular"}}, function() {{}});
chrome.webRequest.onAuthRequired.addListener(
function(details) {{
return {{
authCredentials: {{username: "{proxy_user}", password: "{proxy_pass}"}}
}};
}},
{{urls: ["<all_urls>"]}},
["blocking"]
);
"""
with zipfile.ZipFile(plugin_path, "w") as zp:
zp.writestr("manifest.json", manifest_json)
zp.writestr("background.js", background_js)
return plugin_path
plugin = create_proxy_extension("gate.example.com", 7000, "login123", "pass456")
options = Options()
options.add_extension(plugin)
driver = webdriver.Chrome(options=options)
driver.get("https://httpbin.org/ip")
print(driver.page_source)
driver.quit()
Bu yöntem, kimlik doğrulama diyalogunu tamamen ortadan kaldırır — Chrome, her 407 isteğinde kimlik bilgilerini otomatik olarak ekler. Yöntemin dezavantajı: yalnızca görünür tarayıcı ile çalışır (eski Chrome sürümlerinde headless modda uzantılar bazen kararsız olabilir) ve her yeni proxy için zip arşivini yeniden oluşturmak gerekir. 20-50 farklı proxy ile toplu başlatma için, her profil için döngüde benzersiz bir uzantı oluşturmakla çözülür.
Yöntem 2: Selenium Wire
Uzantı oluşturmakla uğraşmak istemiyorsanız, selenium-wire kütüphanesini kullanabilirsiniz — bu, normal Selenium'u sarar ve tarayıcı ile hedef sunucu arasında kendi proxy katmanını ekler. Kullanıcı adı ve şifre doğrudan seçeneklerde iletilir, diyaloglar ve uzantılar olmadan.
from seleniumwire import webdriver
proxy_options = {
'proxy': {
'http': 'http://login123:[email protected]:7000',
'https': 'http://login123:[email protected]:7000',
'no_proxy': 'localhost,127.0.0.1'
}
}
driver = webdriver.Chrome(seleniumwire_options=proxy_options)
driver.get("https://httpbin.org/ip")
print(driver.page_source)
driver.quit()
Artıları: minimum kod, SOCKS5 desteği, istekler arasında proxy'yi anlık olarak değiştirmek kolaydır — bu, Wildberries veya Ozon'da her N. sayfada IP rotasyonu yapıyorsanız önemlidir. Eksisi: Selenium Wire, sayfa yükleme süresini biraz yavaşlatan ve sıkı HSTS ve sertifika pinleme kullanan sitelerle bazen çelişen kendi yerel MITM proxy'sini ekler. Proje, ana Selenium kadar aktif olarak güncellenmediği için, yeni Chrome sürümleriyle uyumluluğunu üretim kullanımı öncesinde kontrol etmek gerekir.
Yöntem 3: CDP ve Network.setBasicAuth (Selenium 4 BiDi)
Selenium 4 ile birlikte, Chrome DevTools Protocol (CDP) aracılığıyla doğrudan çalışma imkanı ortaya çıktı; bu, kimlik doğrulama isteklerini üçüncü taraf kütüphaneler olmadan yakalamayı sağlar. Chrome, DevTools oturumu aracılığıyla abone olunabilecek Fetch.authRequired olayını destekler ve programatik olarak kimlik bilgileri ile yanıt verebilir.
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument("--proxy-server=gate.example.com:7000")
driver = webdriver.Chrome(options=options)
# CDP üzerinden ağ olaylarını yakalamayı etkinleştiriyoruz
driver.execute_cdp_cmd("Network.enable", {})
driver.execute_cdp_cmd("Network.setExtraHTTPHeaders", {"headers": {}})
# Selenium 4.10+ ile basitleştirilmiş kimlik doğrulama API'si mevcut
driver.execute_cdp_cmd("Fetch.enable", {
"handleAuthRequests": True,
"patterns": [{"urlPattern": "*"}]
})
# Örnek bir işleyici (gerçek kodda CDP oturumu websockets üzerinden bir dinleyici gerektirir)
# driver.on_auth_required(lambda: {"username": "login123", "password": "pass456"})
driver.get("https://httpbin.org/ip")
driver.quit()
Pratikte, bu işleyicinin tam uygulanması, CDP'nin düşük seviyeli WebSocket bağlantısıyla çalışmayı gerektirir
(pycdp kütüphanesi veya
yerleşik BiDi istemcisi Selenium 4.10+), bu da hızlı bir scriptten ziyade mühendislik görevine daha yakındır. Bu yöntemi, kendi otomasyon çerçevenizi inşa ediyorsanız ve selenium-wire veya uzantı oluşturma bağımlılığından kurtulmak istiyorsanız seçmelisiniz. Çoğu SMM otomasyonu ve pazar yerleri için ayrıştırma görevlerinde Yöntem 1 veya 2'yi kullanmak daha kolaydır.
Yöntem 4: IP-whitelist ile şifresiz proxy
En basit çözüm, Chrome'a kullanıcı adı ve şifre iletmemektir. Birçok proxy sağlayıcısı,
mobil proxy'ler dahil,
sunucu veya makinenin IP adresine göre kimlik doğrulamasını destekler. Kendi dış IP'nizi sağlayıcının kontrol panelinde whitelist'e ekliyorsunuz ve sonrasında
--proxy-server=http://ip:port
bayrağı, tek bir kimlik doğrulama diyalogu olmadan çalışır — çünkü proxy sunucusu, isteğin izin verilen IP'den geldiğini kendisi belirler ve 407 kodunu göndermez.
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument("--proxy-server=http://45.12.34.56:7000") # şifresiz proxy, IP zaten whitelist'te
driver = webdriver.Chrome(options=options)
driver.get("https://httpbin.org/ip")
print(driver.page_source)
driver.quit()
Bu yaklaşım, sunucu senaryoları için mükemmel bir çözümdür — script, sabit bir dış IP ile ayrılmış bir VPS üzerinde çalışıyorsa ve bir kez whitelist'e yazıyorsanız. Dezavantajı, makinenin IP'sinin sık sık değiştiği yerlerde (örneğin, dinamik IP'ye sahip ev interneti veya geçici adreslere sahip bulut işlevleri) ortaya çıkar — bu durumda whitelist'i her çalıştırmada manuel olarak güncellemek zorunda kalırsınız, bu da otomasyon için elverişsizdir.
Yöntemlerin karşılaştırılması
| Yöntem | Zorluk | Headless mod | Ne zaman kullanılmalı |
|---|---|---|---|
| Chrome uzantısı | Orta | Sınırlı | Hesap çiftliği, görsel otomasyon |
| Selenium Wire | Düşük | Evet | Ayrıştırma, hızlı proxy rotasyonu |
| CDP / Fetch.authRequired | Yüksek | Evet | Kendi otomasyon çerçeveniz |
| Şifresiz IP-whitelist | Minimum | Evet | Sabit IP'li sunucular |
Proxy kimlik doğrulama sorunları için hata ayıklama kontrol listesi
- Headless mod olmadan başlatıldığında sistem diyalogunun görünüp görünmediğini kontrol edin — bu, 407 ile ilgili bir sorunun %100 işareti.
- Proxy portunun doğru belirtildiğinden emin olun: HTTP ve SOCKS5 genellikle aynı sağlayıcıda farklı portlarda çalışır.
- Selenium Wire kullanıyorsanız, sürümü kontrol edin — eski sürümler Chrome 115+ ile çelişebilir.
- Chrome uzantısı için, proxy'nin kullanıcı adı/şifresi değiştiğinde zip arşivinin yeniden oluşturulduğundan emin olun.
- SOCKS5 kimlik doğrulaması ile çalışırken şunu unutmayın: Chrome'daki yerel SOCKS5, kullanıcı adı/şifreyi hiç desteklemez — HTTP tüneli veya Selenium Wire gerekir.
- Proxy sağlayıcısının günlüklerini kontrol edin: bazen 407, koddan değil, süresi dolmuş bir tarifeden veya yanlış formatta bir kullanıcı adından (oturum/geo ekleri ile) kaynaklanır.
Sonuç
Chrome'daki --proxy-server bayrağı, kullanıcı adı ve şifreyi doğrudan iletmeyi asla desteklemedi — bu, Chromium'un mimarisinin bir özelliğidir, Selenium'un hatası değil. Dört işlevsel çözüm var: onAuthRequired ile yakalanmış kendi uzantınız, Selenium Wire kütüphanesi, CDP üzerinden düşük seviyeli çalışma veya IP-whitelist ile şifreyi tamamen atlama. Çoğu ayrıştırma ve test otomasyonu görevleri için Selenium Wire yeterlidir; görsel olarak anti-detect profilleri ile çalışmak için Chrome uzantısı daha uygundur.
Eğer sabit IP'li sunucularda otomasyonu ayarlıyorsanız, veri merkezi proxy'lerini whitelist ile kullanmayı düşünün — bu, Chrome'daki kimlik doğrulama sorununu tamamen ortadan kaldırır. Ve kullanıcı adı ve şifreyi anlık olarak değiştirmek ve geo rotasyonu gerektiren görevler için, rezidans proxy'leri ile Selenium Wire kombinasyonu daha iyi bir çözüm sunar — böylece hem esneklik hem de kimlik doğrulama diyalog pencereleri olmadan bağlantı istikrarı elde edersiniz.