← 返回博客

Selenium与Chrome:为什么--proxy-server忽略登录密码以及如何修复

分析Chrome不通过--proxy-server标志接受代理授权的原因,并提供4种在Selenium中绕过限制的有效方法。

📅2026年11月14日

如果您曾尝试通过 Selenium 使用如下格式的代理启动 Chrome --proxy-server=http://user:password@ip:port, 那么您肯定遇到过浏览器要么完全不使用代理,要么弹出系统认证窗口, 这会阻塞整个脚本。这不是您代码的错误——这是 Chromium 的架构限制,Selenium 并不能直接解决。在本文中,我们将分析为什么会发生这种情况,并提供 4 种有效的方法 在 Chrome 中传递代理的用户名和密码,而无需手动输入。

为什么 --proxy-server 不接受 user:pass

在 Chromium 中,--proxy-server 标志最初仅用于指定代理服务器的协议、IP 地址和端口。 形式为 user:password@host:port 的凭据语法在 curl、wget 和许多其他工具中有效,但 Chromium 在解析标志时会直接丢弃 这一部分 URL。这种行为在 Chromium 的 bug 跟踪器中得到了确认,自 50 版本以来就一直存在,开发者 多年来并未添加通过命令行进行认证的支持——出于安全考虑:进程参数中的密码可以通过 ps aux 或任务管理器查看,这被视为泄露。

最终,Chrome 诚实地连接到代理服务器,但一旦代理服务器返回 407 Proxy Authentication Required 代码,浏览器会显示一个本地对话框,要求输入“用户名”和“密码”。Selenium 无法处理 操作系统的系统对话框——它仅管理页面的 DOM 树,因此无法通过标准的 WebDriver API 自动关闭或填写此窗口。脚本会挂起,等待有人手动输入数据或超时。

重要的是要理解:此问题确实存在于需要用户名和密码认证的 HTTP/HTTPS 和 SOCKS5 代理中。 如果代理通过 IP 白名单保护(无用户名),则根本不会出现认证对话框,并且 --proxy-server 正常工作。因此,许多开发者在通过 数据中心代理 进行爬取和自动化时,最初选择基于 IP 而不是密码的套餐——这从根本上解决了问题。 但是,如果您有一个轮换的 住宅代理池, 基于 IP 的绑定往往不方便,因此需要通过编程解决这个问题。

方法 1: 带认证的 Chrome 扩展

最可靠且持久的方法是生成一个迷你 Chrome 扩展(Manifest V2 或 V3),该扩展 拦截 onAuthRequired 事件,并自动插入用户名和密码,绕过系统对话框。扩展在 Python 代码中动态创建, 并通过 add_extension 选项连接到 Chrome。

import zipfile
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

def create_proxy_extension(proxy_host, proxy_port, proxy_user, proxy_pass, plugin_path="proxy_auth.zip"):
    manifest_json = """
    {
      "version": "1.0.0",
      "manifest_version": 2,
      "name": "Chrome Proxy Auth",
      "permissions": [
        "proxy", "tabs", "unlimitedStorage", "storage",
        "<all_urls>", "webRequest", "webRequestBlocking"
      ],
      "background": {"scripts": ["background.js"]},
      "minimum_chrome_version":"22.0.0"
    }
    """

    background_js = f"""
    var config = {{
        mode: "fixed_servers",
        rules: {{
          singleProxy: {{
            scheme: "http",
            host: "{proxy_host}",
            port: parseInt({proxy_port})
          }},
          bypassList: ["localhost"]
        }}
      }};

    chrome.proxy.settings.set({{value: config, scope: "regular"}}, function() {{}});

    chrome.webRequest.onAuthRequired.addListener(
        function(details) {{
            return {{
                authCredentials: {{username: "{proxy_user}", password: "{proxy_pass}"}}
            }};
        }},
        {{urls: ["<all_urls>"]}},
        ["blocking"]
    );
    """

    with zipfile.ZipFile(plugin_path, "w") as zp:
        zp.writestr("manifest.json", manifest_json)
        zp.writestr("background.js", background_js)
    return plugin_path

plugin = create_proxy_extension("gate.example.com", 7000, "login123", "pass456")

options = Options()
options.add_extension(plugin)

driver = webdriver.Chrome(options=options)
driver.get("https://httpbin.org/ip")
print(driver.page_source)
driver.quit()

此方法完全消除了认证对话框——Chrome 在每次 407 请求时自动插入凭据。 方法的缺点是:它仅在可见浏览器中工作(旧版本 Chrome 的无头模式与扩展有时不稳定), 并且每个新代理都需要重新创建 zip 压缩文件。对于同时启动 20-50 个不同代理的配置, 可以通过循环为每个配置生成唯一的插件来解决。

方法 2: Selenium Wire

如果不想处理生成扩展的麻烦,可以使用库 selenium-wire — 它封装了普通的 Selenium,并在浏览器和目标服务器之间添加了自己的代理层。 用户名和密码直接在选项中传递,无需对话框和扩展。

from seleniumwire import webdriver

proxy_options = {
    'proxy': {
        'http': 'http://login123:[email protected]:7000',
        'https': 'http://login123:[email protected]:7000',
        'no_proxy': 'localhost,127.0.0.1'
    }
}

driver = webdriver.Chrome(seleniumwire_options=proxy_options)
driver.get("https://httpbin.org/ip")
print(driver.page_source)
driver.quit()

优点:代码量少,支持 SOCKS5,方便在请求之间动态更换代理——这在进行 Wildberries 或 Ozon 的爬取时, 如果您在每 N 页上进行 IP 轮换,这一点非常重要。缺点:Selenium Wire 添加了自己的本地 MITM 代理, 这会稍微减慢页面加载速度,并且有时会与使用严格 HSTS 和证书钉扎的网站发生冲突。该项目的更新频率也没有主流 Selenium 那么活跃,因此 在生产使用前需要检查与新版本 Chrome 的兼容性。

方法 3: CDP 和 Network.setBasicAuth (Selenium 4 BiDi)

从 Selenium 4 开始,可以通过 Chrome DevTools Protocol (CDP) 直接工作,这允许 在不使用第三方库的情况下拦截认证请求。Chrome 支持 Fetch.authRequired 事件, 可以通过 DevTools 会话进行订阅,并以编程方式响应凭据。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
options.add_argument("--proxy-server=gate.example.com:7000")

driver = webdriver.Chrome(options=options)

# 启用通过 CDP 拦截网络事件
driver.execute_cdp_cmd("Network.enable", {})
driver.execute_cdp_cmd("Network.setExtraHTTPHeaders", {"headers": {}})

# 在 Selenium 4.10+ 中提供了简化的认证 API
driver.execute_cdp_cmd("Fetch.enable", {
    "handleAuthRequests": True,
    "patterns": [{"urlPattern": "*"}]
})

# 示例处理程序(在实际代码中需要通过 CDP 会话 websockets 监听器)
# driver.on_auth_required(lambda: {"username": "login123", "password": "pass456"})

driver.get("https://httpbin.org/ip")
driver.quit()

实际上,完整实现此处理程序需要与 CDP 的低级 WebSocket 连接进行交互 (使用 pycdp 库或 内置的 Selenium 4.10+ BiDi 客户端),这更接近于工程任务,而不是快速脚本。如果您正在构建自己的自动化框架并希望摆脱 selenium-wire 或生成扩展的依赖关系,则应选择此方法。对于大多数 SMM 自动化和市场爬取任务, 使用方法 1 或 2 更为简单。

方法 4: 通过 IP 白名单使用无密码代理

最简单的解决方案是根本不将用户名和密码传递给 Chrome。许多代理提供商,包括 移动代理,支持 基于服务器或机器的 IP 地址进行认证。您在提供商的个人账户中将自己的外部 IP 添加到白名单中, 然后 --proxy-server=http://ip:port 标志就可以正常工作,而无需任何认证对话框——因为代理服务器会自动识别请求来自被允许的 IP, 并且不会发送 407 代码。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
options.add_argument("--proxy-server=http://45.12.34.56:7000")  # 无用户名的代理,IP 已在白名单中

driver = webdriver.Chrome(options=options)
driver.get("https://httpbin.org/ip")
print(driver.page_source)
driver.quit()

该方法非常适合服务器场景——当脚本在具有固定外部 IP 的 VPS 上运行时,您只需一次将其写入白名单。 缺点出现在机器的 IP 经常变化的地方(例如,动态 IP 的家庭互联网或具有短暂地址的云功能)—— 在这种情况下,您需要在每次运行时手动更新白名单,这对自动化来说并不方便。

方法比较

方法 复杂性 无头模式 何时使用
Chrome 扩展 中等 有限 账号农场,视觉自动化
Selenium Wire 低 是 爬取,快速轮换代理
CDP / Fetch.authRequired 高 是 自定义自动化框架
无密码的 IP 白名单 最低 是 具有固定 IP 的服务器

调试检查清单

  • 检查在无头模式下启动时是否出现系统对话框——这是 407 问题的 100% 征兆。
  • 确保代理端口正确:HTTP 和 SOCKS5 在同一提供商下通常使用不同的端口。
  • 如果使用 Selenium Wire,请检查版本——旧版本可能与 Chrome 115+ 冲突。
  • 对于 Chrome 扩展,请确保在每次更改代理的用户名/密码时重新构建 zip 压缩文件。
  • 在使用 SOCKS5 认证时,请注意:Chrome 的原生 SOCKS5 根本不支持用户名/密码——需要 HTTP 隧道或 Selenium Wire。
  • 检查代理提供商的日志:有时 407 并不是由于代码,而是由于过期的套餐或错误的用户名格式(带有会话/地理后缀)。

结论

Chrome 中的 --proxy-server 标志从未支持直接在字符串中传递用户名和密码——这是 Chromium 架构的特性, 而不是 Selenium 的错误。有效的绕过方法有四种:自制扩展以拦截 onAuthRequired, Selenium Wire 库,通过 CDP 进行低级工作,或者完全放弃密码,转而使用 IP 白名单。 对于大多数爬取和测试自动化任务,Selenium Wire 足够使用;对于需要与 反检测配置文件进行视觉交互的任务,Chrome 扩展更为方便。

如果您在具有固定 IP 的服务器上设置自动化,请考虑使用 数据中心代理, 通过白名单绑定——这完全消除了 Chrome 中的认证问题。而对于需要动态更改用户名和密码 的任务,结合使用 住宅代理 和 Selenium Wire 更为合适——这样您既能获得灵活性,又能在没有认证对话框的情况下保持连接的稳定性。