如果您曾尝试通过 Selenium 使用如下格式的代理启动 Chrome
--proxy-server=http://user:password@ip:port,
那么您肯定遇到过浏览器要么完全不使用代理,要么弹出系统认证窗口,
这会阻塞整个脚本。这不是您代码的错误——这是 Chromium 的架构限制,Selenium
并不能直接解决。在本文中,我们将分析为什么会发生这种情况,并提供 4 种有效的方法
在 Chrome 中传递代理的用户名和密码,而无需手动输入。
为什么 --proxy-server 不接受 user:pass
在 Chromium 中,--proxy-server
标志最初仅用于指定代理服务器的协议、IP 地址和端口。
形式为 user:password@host:port
的凭据语法在 curl、wget 和许多其他工具中有效,但 Chromium 在解析标志时会直接丢弃
这一部分 URL。这种行为在 Chromium 的 bug 跟踪器中得到了确认,自 50 版本以来就一直存在,开发者
多年来并未添加通过命令行进行认证的支持——出于安全考虑:进程参数中的密码可以通过
ps aux
或任务管理器查看,这被视为泄露。
最终,Chrome 诚实地连接到代理服务器,但一旦代理服务器返回
407 Proxy Authentication Required
代码,浏览器会显示一个本地对话框,要求输入“用户名”和“密码”。Selenium 无法处理
操作系统的系统对话框——它仅管理页面的 DOM 树,因此无法通过标准的 WebDriver API
自动关闭或填写此窗口。脚本会挂起,等待有人手动输入数据或超时。
重要的是要理解:此问题确实存在于需要用户名和密码认证的 HTTP/HTTPS 和 SOCKS5 代理中。
如果代理通过 IP 白名单保护(无用户名),则根本不会出现认证对话框,并且
--proxy-server
正常工作。因此,许多开发者在通过 数据中心代理
进行爬取和自动化时,最初选择基于 IP 而不是密码的套餐——这从根本上解决了问题。
但是,如果您有一个轮换的 住宅代理池,
基于 IP 的绑定往往不方便,因此需要通过编程解决这个问题。
方法 1: 带认证的 Chrome 扩展
最可靠且持久的方法是生成一个迷你 Chrome 扩展(Manifest V2 或 V3),该扩展
拦截 onAuthRequired
事件,并自动插入用户名和密码,绕过系统对话框。扩展在 Python 代码中动态创建,
并通过 add_extension 选项连接到 Chrome。
import zipfile
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
def create_proxy_extension(proxy_host, proxy_port, proxy_user, proxy_pass, plugin_path="proxy_auth.zip"):
manifest_json = """
{
"version": "1.0.0",
"manifest_version": 2,
"name": "Chrome Proxy Auth",
"permissions": [
"proxy", "tabs", "unlimitedStorage", "storage",
"<all_urls>", "webRequest", "webRequestBlocking"
],
"background": {"scripts": ["background.js"]},
"minimum_chrome_version":"22.0.0"
}
"""
background_js = f"""
var config = {{
mode: "fixed_servers",
rules: {{
singleProxy: {{
scheme: "http",
host: "{proxy_host}",
port: parseInt({proxy_port})
}},
bypassList: ["localhost"]
}}
}};
chrome.proxy.settings.set({{value: config, scope: "regular"}}, function() {{}});
chrome.webRequest.onAuthRequired.addListener(
function(details) {{
return {{
authCredentials: {{username: "{proxy_user}", password: "{proxy_pass}"}}
}};
}},
{{urls: ["<all_urls>"]}},
["blocking"]
);
"""
with zipfile.ZipFile(plugin_path, "w") as zp:
zp.writestr("manifest.json", manifest_json)
zp.writestr("background.js", background_js)
return plugin_path
plugin = create_proxy_extension("gate.example.com", 7000, "login123", "pass456")
options = Options()
options.add_extension(plugin)
driver = webdriver.Chrome(options=options)
driver.get("https://httpbin.org/ip")
print(driver.page_source)
driver.quit()
此方法完全消除了认证对话框——Chrome 在每次 407 请求时自动插入凭据。 方法的缺点是:它仅在可见浏览器中工作(旧版本 Chrome 的无头模式与扩展有时不稳定), 并且每个新代理都需要重新创建 zip 压缩文件。对于同时启动 20-50 个不同代理的配置, 可以通过循环为每个配置生成唯一的插件来解决。
方法 2: Selenium Wire
如果不想处理生成扩展的麻烦,可以使用库
selenium-wire —
它封装了普通的 Selenium,并在浏览器和目标服务器之间添加了自己的代理层。
用户名和密码直接在选项中传递,无需对话框和扩展。
from seleniumwire import webdriver
proxy_options = {
'proxy': {
'http': 'http://login123:[email protected]:7000',
'https': 'http://login123:[email protected]:7000',
'no_proxy': 'localhost,127.0.0.1'
}
}
driver = webdriver.Chrome(seleniumwire_options=proxy_options)
driver.get("https://httpbin.org/ip")
print(driver.page_source)
driver.quit()
优点:代码量少,支持 SOCKS5,方便在请求之间动态更换代理——这在进行 Wildberries 或 Ozon 的爬取时, 如果您在每 N 页上进行 IP 轮换,这一点非常重要。缺点:Selenium Wire 添加了自己的本地 MITM 代理, 这会稍微减慢页面加载速度,并且有时会与使用严格 HSTS 和证书钉扎的网站发生冲突。该项目的更新频率也没有主流 Selenium 那么活跃,因此 在生产使用前需要检查与新版本 Chrome 的兼容性。
方法 3: CDP 和 Network.setBasicAuth (Selenium 4 BiDi)
从 Selenium 4 开始,可以通过 Chrome DevTools Protocol (CDP) 直接工作,这允许
在不使用第三方库的情况下拦截认证请求。Chrome 支持
Fetch.authRequired 事件,
可以通过 DevTools 会话进行订阅,并以编程方式响应凭据。
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument("--proxy-server=gate.example.com:7000")
driver = webdriver.Chrome(options=options)
# 启用通过 CDP 拦截网络事件
driver.execute_cdp_cmd("Network.enable", {})
driver.execute_cdp_cmd("Network.setExtraHTTPHeaders", {"headers": {}})
# 在 Selenium 4.10+ 中提供了简化的认证 API
driver.execute_cdp_cmd("Fetch.enable", {
"handleAuthRequests": True,
"patterns": [{"urlPattern": "*"}]
})
# 示例处理程序(在实际代码中需要通过 CDP 会话 websockets 监听器)
# driver.on_auth_required(lambda: {"username": "login123", "password": "pass456"})
driver.get("https://httpbin.org/ip")
driver.quit()
实际上,完整实现此处理程序需要与 CDP 的低级 WebSocket 连接进行交互
(使用 pycdp 库或
内置的 Selenium 4.10+ BiDi 客户端),这更接近于工程任务,而不是快速脚本。如果您正在构建自己的自动化框架并希望摆脱
selenium-wire 或生成扩展的依赖关系,则应选择此方法。对于大多数 SMM 自动化和市场爬取任务,
使用方法 1 或 2 更为简单。
方法 4: 通过 IP 白名单使用无密码代理
最简单的解决方案是根本不将用户名和密码传递给 Chrome。许多代理提供商,包括
移动代理,支持
基于服务器或机器的 IP 地址进行认证。您在提供商的个人账户中将自己的外部 IP 添加到白名单中,
然后 --proxy-server=http://ip:port
标志就可以正常工作,而无需任何认证对话框——因为代理服务器会自动识别请求来自被允许的 IP,
并且不会发送 407 代码。
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument("--proxy-server=http://45.12.34.56:7000") # 无用户名的代理,IP 已在白名单中
driver = webdriver.Chrome(options=options)
driver.get("https://httpbin.org/ip")
print(driver.page_source)
driver.quit()
该方法非常适合服务器场景——当脚本在具有固定外部 IP 的 VPS 上运行时,您只需一次将其写入白名单。 缺点出现在机器的 IP 经常变化的地方(例如,动态 IP 的家庭互联网或具有短暂地址的云功能)—— 在这种情况下,您需要在每次运行时手动更新白名单,这对自动化来说并不方便。
方法比较
| 方法 | 复杂性 | 无头模式 | 何时使用 |
|---|---|---|---|
| Chrome 扩展 | 中等 | 有限 | 账号农场,视觉自动化 |
| Selenium Wire | 低 | 是 | 爬取,快速轮换代理 |
| CDP / Fetch.authRequired | 高 | 是 | 自定义自动化框架 |
| 无密码的 IP 白名单 | 最低 | 是 | 具有固定 IP 的服务器 |
调试检查清单
- 检查在无头模式下启动时是否出现系统对话框——这是 407 问题的 100% 征兆。
- 确保代理端口正确:HTTP 和 SOCKS5 在同一提供商下通常使用不同的端口。
- 如果使用 Selenium Wire,请检查版本——旧版本可能与 Chrome 115+ 冲突。
- 对于 Chrome 扩展,请确保在每次更改代理的用户名/密码时重新构建 zip 压缩文件。
- 在使用 SOCKS5 认证时,请注意:Chrome 的原生 SOCKS5 根本不支持用户名/密码——需要 HTTP 隧道或 Selenium Wire。
- 检查代理提供商的日志:有时 407 并不是由于代码,而是由于过期的套餐或错误的用户名格式(带有会话/地理后缀)。
结论
Chrome 中的 --proxy-server
标志从未支持直接在字符串中传递用户名和密码——这是 Chromium 架构的特性,
而不是 Selenium 的错误。有效的绕过方法有四种:自制扩展以拦截
onAuthRequired,
Selenium Wire 库,通过 CDP 进行低级工作,或者完全放弃密码,转而使用 IP 白名单。
对于大多数爬取和测试自动化任务,Selenium Wire 足够使用;对于需要与
反检测配置文件进行视觉交互的任务,Chrome 扩展更为方便。
如果您在具有固定 IP 的服务器上设置自动化,请考虑使用 数据中心代理, 通过白名单绑定——这完全消除了 Chrome 中的认证问题。而对于需要动态更改用户名和密码 的任务,结合使用 住宅代理 和 Selenium Wire 更为合适——这样您既能获得灵活性,又能在没有认证对话框的情况下保持连接的稳定性。