Wenn Sie jemals versucht haben, Chrome über Selenium mit einem Proxy wie
--proxy-server=http://user:password@ip:port
zu starten, sind Sie wahrscheinlich auf das Problem gestoßen, dass der Browser entweder gar nicht mit dem Proxy verbunden wird oder ein System-Authentifizierungsfenster anzeigt,
das das gesamte Skript blockiert. Das ist kein Bug in Ihrem Code — es ist eine architektonische Einschränkung von Chromium, die Selenium
nicht direkt löst. In diesem Artikel werden wir untersuchen, warum das passiert, und 4 funktionierende Möglichkeiten anbieten, um den Benutzernamen und das Passwort
des Proxys in Chrome ohne manuelle Eingabe zu übergeben.
Warum --proxy-server user:pass nicht akzeptiert
Das Flag --proxy-server
in Chromium war ursprünglich nur für die Angabe des Protokolls, der IP-Adresse und des Ports des Proxy-Servers vorgesehen.
Der Syntax mit Anmeldedaten wie user:password@host:port
funktioniert in curl, wget und vielen anderen Tools, aber Chromium ignoriert diesen Teil der URL einfach beim Parsen des Flags.
Dieses Verhalten ist dokumentiert und wurde im Bug-Tracker von Chromium seit den Versionen der 50er Jahre beschrieben, und über die Jahre haben die Entwickler
keine Unterstützung für die Authentifizierung über die Befehlszeile hinzugefügt — aus Sicherheitsgründen: Das Passwort in den Argumenten
des Prozesses ist über ps aux
oder den Task-Manager sichtbar, was als Sicherheitsrisiko betrachtet wird.
Infolgedessen verbindet sich Chrome ehrlich mit dem Proxy-Server, aber sobald dieser mit dem Code
407 Proxy Authentication Required
antwortet, zeigt der Browser ein natives Dialogfenster mit den Feldern „Benutzername“ und „Passwort“ an. Selenium kann nicht mit
den Systemdialogen des Betriebssystems umgehen — es steuert nur den DOM-Baum der Seite, daher ist es unmöglich, dieses Fenster automatisch zu schließen oder auszufüllen
über die Standard-WebDriver-API. Das Skript hängt einfach, während es darauf wartet, dass jemand manuell
die Daten eingibt oder der Timeout abläuft.
Es ist wichtig zu verstehen: Das Problem betrifft speziell HTTP/HTTPS- und SOCKS5-Proxys mit Authentifizierung über Benutzername und Passwort.
Wenn der Proxy durch eine IP-Whitelist geschützt ist (ohne Login), erscheint das Authentifizierungsdialogfenster überhaupt nicht, und das Flag
--proxy-server funktioniert einwandfrei.
Daher wählen viele Entwickler für das Scraping und die Automatisierung über Rechenzentrumsproxies
von Anfang an einen Tarif mit IP-Bindung anstelle von Passwortbindung — das löst das Problem von Grund auf.
Aber wenn Sie einen Pool von rotierenden residential Proxys haben,
ist die IP-Bindung oft unpraktisch, und das Problem muss programmatisch gelöst werden.
Methode 1: Chrome-Erweiterung mit Proxy-Authentifizierung
Die zuverlässigste und langlebigste Methode ist die Erstellung einer Mini-Chrome-Erweiterung (Manifest V2 oder V3), die
das Ereignis onAuthRequired
abfängt und automatisch den Benutzernamen und das Passwort einfügt, ohne das Systemdialogfenster zu verwenden. Die Erweiterung wird dynamisch im Python-Code erstellt
und über die Option add_extension mit Chrome verbunden.
import zipfile
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
def create_proxy_extension(proxy_host, proxy_port, proxy_user, proxy_pass, plugin_path="proxy_auth.zip"):
manifest_json = """
{
"version": "1.0.0",
"manifest_version": 2,
"name": "Chrome Proxy Auth",
"permissions": [
"proxy", "tabs", "unlimitedStorage", "storage",
"<all_urls>", "webRequest", "webRequestBlocking"
],
"background": {"scripts": ["background.js"]},
"minimum_chrome_version":"22.0.0"
}
"""
background_js = f"""
var config = {{
mode: "fixed_servers",
rules: {{
singleProxy: {{
scheme: "http",
host: "{proxy_host}",
port: parseInt({proxy_port})
}},
bypassList: ["localhost"]
}}
}};
chrome.proxy.settings.set({{value: config, scope: "regular"}}, function() {{}});
chrome.webRequest.onAuthRequired.addListener(
function(details) {{
return {{
authCredentials: {{username: "{proxy_user}", password: "{proxy_pass}"}}
}};
}},
{{urls: ["<all_urls>"]}},
["blocking"]
);
"""
with zipfile.ZipFile(plugin_path, "w") as zp:
zp.writestr("manifest.json", manifest_json)
zp.writestr("background.js", background_js)
return plugin_path
plugin = create_proxy_extension("gate.example.com", 7000, "login123", "pass456")
options = Options()
options.add_extension(plugin)
driver = webdriver.Chrome(options=options)
driver.get("https://httpbin.org/ip")
print(driver.page_source)
driver.quit()
Diese Methode entfernt das Authentifizierungsdialogfenster vollständig — Chrome fügt die Anmeldedaten automatisch bei jedem 407-Request ein. Nachteil des Ansatzes: Er funktioniert nur mit sichtbarem Browser (der Headless-Modus bei älteren Chrome-Versionen mit Erweiterungen kann instabil sein), und für jeden neuen Proxy muss das ZIP-Archiv neu erstellt werden. Für den massenhaften Start von 20-50 Profilen mit unterschiedlichen Proxys wird dies durch die Generierung eines einzigartigen Plugins für jedes Profil in einer Schleife gelöst.
Methode 2: Selenium Wire
Wenn Sie sich nicht mit der Generierung von Erweiterungen herumschlagen möchten, können Sie die Bibliothek
selenium-wire verwenden —
sie umschließt das normale Selenium und fügt eine eigene Proxy-Schicht zwischen dem Browser und dem Zielserver hinzu.
Der Benutzername und das Passwort werden direkt in den Optionen übergeben, ohne Dialoge und Erweiterungen.
from seleniumwire import webdriver
proxy_options = {
'proxy': {
'http': 'http://login123:[email protected]:7000',
'https': 'http://login123:[email protected]:7000',
'no_proxy': 'localhost,127.0.0.1'
}
}
driver = webdriver.Chrome(seleniumwire_options=proxy_options)
driver.get("https://httpbin.org/ip")
print(driver.page_source)
driver.quit()
Vorteile: minimaler Code, Unterstützung für SOCKS5, einfaches Wechseln der Proxys zwischen den Anfragen — das ist wichtig, wenn Sie die IP bei jeder N-ten Seite beim Scraping von Wildberries oder Ozon rotieren. Nachteil: Selenium Wire fügt einen eigenen lokalen MITM-Proxy hinzu, der das Laden von Seiten etwas verlangsamt und manchmal mit Websites in Konflikt steht, die strenges HSTS und Certificate Pinning verwenden. Das Projekt wurde auch nicht so aktiv aktualisiert wie das Haupt-Selenium, daher sollte die Kompatibilität mit neuen Chrome-Versionen vor der Verwendung in der Produktion überprüft werden.
Methode 3: CDP und Network.setBasicAuth (Selenium 4 BiDi)
Seit Selenium 4 gibt es die Möglichkeit, direkt über das Chrome DevTools-Protokoll (CDP) zu arbeiten, was es ermöglicht,
Authentifizierungsanfragen ohne externe Bibliotheken abzufangen. Chrome unterstützt das Ereignis
Fetch.authRequired,
auf das man sich über eine DevTools-Sitzung abonnieren und programmatisch mit Anmeldedaten antworten kann.
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument("--proxy-server=gate.example.com:7000")
driver = webdriver.Chrome(options=options)
# Aktivieren Sie das Abfangen von Netzwerkereignissen über CDP
driver.execute_cdp_cmd("Network.enable", {})
driver.execute_cdp_cmd("Network.setExtraHTTPHeaders", {"headers": {}})
# In Selenium 4.10+ ist eine vereinfachte Authentifizierungs-API verfügbar
driver.execute_cdp_cmd("Fetch.enable", {
"handleAuthRequests": True,
"patterns": [{"urlPattern": "*"}]
})
# Beispiel für einen Handler (im echten Code ist ein Listener über die CDP-WebSocket-Sitzung erforderlich)
# driver.on_auth_required(lambda: {"username": "login123", "password": "pass456"})
driver.get("https://httpbin.org/ip")
driver.quit()
In der Praxis erfordert die vollständige Implementierung dieses Handlers die Arbeit mit einer Low-Level-WebSocket-Verbindung zu CDP
(die Bibliothek pycdp oder
der integrierte BiDi-Client von Selenium 4.10+), was näher an einer Ingenieuraufgabe als an einem schnellen Skript ist. Diese Methode
sollte gewählt werden, wenn Sie ein eigenes Automatisierungsframework aufbauen und die Abhängigkeit
von selenium-wire oder die Generierung von Erweiterungen loswerden möchten. Für die meisten Aufgaben der SMM-Automatisierung und des Scraping von Marktplätzen
ist es einfacher, Methode 1 oder 2 zu verwenden.
Methode 4: Proxy ohne Passwort über IP-Whitelist
Der einfachste Ausweg ist, den Benutzernamen und das Passwort überhaupt nicht an Chrome zu übergeben. Viele Proxy-Anbieter, einschließlich
mobiler Proxys, unterstützen
die Authentifizierung über die IP-Adresse des Servers oder des Geräts, von dem die Anfrage kommt. Sie fügen Ihre externe IP in die Whitelist
im persönlichen Bereich des Anbieters ein, und danach funktioniert das Flag
--proxy-server=http://ip:port
ohne ein einziges Authentifizierungsdialogfenster — weil der Proxy-Server selbst erkennt, dass die Anfrage von einer erlaubten IP stammt,
und keinen Code 407 sendet.
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument("--proxy-server=http://45.12.34.56:7000") # Proxy ohne Login, IP bereits in der Whitelist
driver = webdriver.Chrome(options=options)
driver.get("https://httpbin.org/ip")
print(driver.page_source)
driver.quit()
Dieser Ansatz eignet sich perfekt für Serverszenarien — wenn das Skript auf einem dedizierten VPS mit einer festen externen IP läuft und Sie diese einmal in die Whitelist eintragen. Nachteile treten dort auf, wo sich die IP des Geräts häufig ändert (z.B. Heim-Internet mit dynamischer IP oder Cloud-Funktionen mit flüchtigen Adressen) — dann muss die Whitelist bei jedem Start manuell aktualisiert werden, was für die Automatisierung unpraktisch ist.
Vergleich der Methoden
| Methode | Schwierigkeit | Headless-Modus | Wann verwenden |
|---|---|---|---|
| Chrome-Erweiterung | Mittel | Eingeschränkt | Account-Farming, visuelle Automatisierung |
| Selenium Wire | Niedrig | Ja | Scraping, schnelle Proxy-Rotation |
| CDP / Fetch.authRequired | Hoch | Ja | Eigenes Automatisierungsframework |
| IP-Whitelist ohne Passwort | Minimal | Ja | Server mit fester IP |
Checkliste zur Fehlersuche bei Proxy-Authentifizierungsproblemen
- Überprüfen Sie, ob der Systemdialog beim Start ohne Headless-Modus erscheint — das ist ein 100%iges Zeichen für ein Problem mit 407.
- Stellen Sie sicher, dass der Proxy-Port korrekt angegeben ist: HTTP und SOCKS5 funktionieren oft auf unterschiedlichen Ports bei einem Anbieter.
- Wenn Sie Selenium Wire verwenden, überprüfen Sie die Version — alte Releases können mit Chrome 115+ in Konflikt stehen.
- Für die Chrome-Erweiterung stellen Sie sicher, dass das ZIP-Archiv bei jeder Änderung des Benutzernamens/Passworts des Proxys neu erstellt wird.
- Bei der Arbeit mit SOCKS5-Authentifizierung beachten Sie: Natives SOCKS5 in Chrome unterstützt überhaupt keine Anmeldedaten — ein HTTP-Tunnel oder Selenium Wire ist erforderlich.
- Überprüfen Sie die Protokolle des Proxy-Anbieters: Manchmal tritt 407 nicht aufgrund des Codes auf, sondern wegen eines abgelaufenen Tarifs oder eines falschen Anmeldeformats (mit Sitzungs-/Geo-Suffixen).
Fazit
Das Flag --proxy-server in Chrome
hat niemals die direkte Übertragung von Benutzernamen und Passwort in der Zeile unterstützt — das ist eine Eigenschaft der Architektur von Chromium,
kein Fehler von Selenium. Es gibt vier funktionierende Umgehungen: eine selbstgemachte Erweiterung mit dem Abfangen von
onAuthRequired,
die Selenium Wire-Bibliothek, die Low-Level-Arbeit über CDP oder die vollständige Vermeidung des Passworts zugunsten einer IP-Whitelist.
Für die meisten Aufgaben des Scraping und der Testautomatisierung reicht Selenium Wire aus; für die visuelle Arbeit mit
Anti-Detect-Profilen ist die Chrome-Erweiterung bequemer.
Wenn Sie die Automatisierung auf Servern mit fester IP einrichten, ziehen Sie in Betracht, Rechenzentrumsproxies mit Whitelist-Bindung zu verwenden — das löst das Problem der Authentifizierung in Chrome vollständig. Und für Aufgaben, bei denen eine Änderung von Benutzernamen und Passwort zur Laufzeit mit Geo-Rotation erforderlich ist, sind residential Proxys in Kombination mit Selenium Wire besser geeignet — so erhalten Sie sowohl Flexibilität als auch Stabilität der Verbindung ohne Authentifizierungsdialoge.