もしあなたが一度でも、--proxy-server=http://user:password@ip:port の形式のプロキシを使って Selenium 経由で Chrome を起動しようとしたことがあるなら、ブラウザがプロキシなしで開かれるか、システムの認証ウィンドウが表示されてスクリプトがブロックされるという問題に直面したことでしょう。これはあなたのコードのバグではなく、Selenium が直接解決できない Chromium のアーキテクチャ的制限です。この記事では、なぜこのようなことが起こるのかを解説し、手動入力なしで Chrome にプロキシのログインとパスワードを渡すための 4 つの実用的な方法を紹介します。
なぜ --proxy-server は user:pass を受け入れないのか
Chromium の --proxy-server フラグは、元々プロキシサーバーのプロトコル、IP アドレス、ポートを指定するためのものでした。user:password@host:port の形式の認証情報は curl や wget など多くのユーティリティで機能しますが、Chromium はフラグの解析時にこの部分の URL を単に無視します。この動作は、バグトラッカーの Chromium でバージョン 50 以降から確認されているもので、開発者たちはセキュリティ上の理由からコマンドラインからの認証サポートを追加していません。プロセスの引数にパスワードが表示されるため、ps aux やタスクマネージャーを通じて見えることが、情報漏洩と見なされています。
結果として、Chrome はプロキシサーバーに正しく接続しますが、プロキシが 407 Proxy Authentication Required コードで応答すると、ブラウザは「ユーザー名」と「パスワード」のフィールドを持つネイティブダイアログを表示します。Selenium は OS のシステムダイアログを操作することができず、ページの DOM ツリーのみを管理するため、標準の WebDriver API を通じてこのウィンドウを自動的に閉じたり入力したりすることは不可能です。スクリプトは、誰かが手動でデータを入力するか、タイムアウトが切れるまで待機してしまいます。
重要なのは、問題が HTTP/HTTPS および SOCKS5 プロキシのログインとパスワードによる認証に特有であるということです。プロキシが IP ホワイトリストで保護されている場合(ログインなし)、認証ダイアログはまったく表示されず、--proxy-server フラグは正常に機能します。したがって、データセンターのプロキシ を通じてパースや自動化を行うために、多くの開発者は最初にパスワードではなく IP にバインドされたプランを選択します。これにより、問題が根本的に解決されます。しかし、回転する レジデンシャルプロキシ のプールを持っている場合、IP にバインドすることはしばしば不便であり、プログラム的に問題を解決する必要があります。
方法 1: 認証付き Chrome 拡張機能
最も信頼性が高く、長期にわたって使用できる方法は、認証が必要なイベント onAuthRequired をキャッチし、システムダイアログを回避して自動的にログインとパスワードを挿入するミニ Chrome 拡張機能を生成することです。この拡張機能は Python コード内で動的に作成され、add_extension オプションを通じて Chrome に接続されます。
import zipfile
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
def create_proxy_extension(proxy_host, proxy_port, proxy_user, proxy_pass, plugin_path="proxy_auth.zip"):
manifest_json = """
{
"version": "1.0.0",
"manifest_version": 2,
"name": "Chrome Proxy Auth",
"permissions": [
"proxy", "tabs", "unlimitedStorage", "storage",
"<all_urls>", "webRequest", "webRequestBlocking"
],
"background": {"scripts": ["background.js"]},
"minimum_chrome_version":"22.0.0"
}
"""
background_js = f"""
var config = {{
mode: "fixed_servers",
rules: {{
singleProxy: {{
scheme: "http",
host: "{proxy_host}",
port: parseInt({proxy_port})
}},
bypassList: ["localhost"]
}}
}};
chrome.proxy.settings.set({{value: config, scope: "regular"}}, function() {{}});
chrome.webRequest.onAuthRequired.addListener(
function(details) {{
return {{
authCredentials: {{username: "{proxy_user}", password: "{proxy_pass}"}}
}};
}},
{{urls: ["<all_urls>"]}},
["blocking"]
);
"""
with zipfile.ZipFile(plugin_path, "w") as zp:
zp.writestr("manifest.json", manifest_json)
zp.writestr("background.js", background_js)
return plugin_path
plugin = create_proxy_extension("gate.example.com", 7000, "login123", "pass456")
options = Options()
options.add_extension(plugin)
driver = webdriver.Chrome(options=options)
driver.get("https://httpbin.org/ip")
print(driver.page_source)
driver.quit()
この方法は認証ダイアログを完全に回避します — Chrome は 407 のリクエストごとに自動的にクレデンシャルを挿入します。欠点は、この方法が可視ブラウザでのみ機能することです(古いバージョンの Chrome ではヘッドレスモードで拡張機能が不安定になることがあります)し、新しいプロキシごとに zip アーカイブを再生成する必要があることです。20-50 の異なるプロキシを持つプロファイルを一括で起動する場合は、各プロファイルのためにユニークなプラグインを生成することで解決できます。
方法 2: Selenium Wire
拡張機能の生成に手間をかけたくない場合は、selenium-wire ライブラリを使用できます — これは通常の Selenium をラップし、ブラウザとターゲットサーバーの間に独自のプロキシレイヤーを追加します。ログインとパスワードはダイアログや拡張機能なしで直接オプションに渡されます。
from seleniumwire import webdriver
proxy_options = {
'proxy': {
'http': 'http://login123:[email protected]:7000',
'https': 'http://login123:[email protected]:7000',
'no_proxy': 'localhost,127.0.0.1'
}
}
driver = webdriver.Chrome(seleniumwire_options=proxy_options)
driver.get("https://httpbin.org/ip")
print(driver.page_source)
driver.quit()
利点: コードが最小限で、SOCKS5 をサポートし、リクエスト間でプロキシを動的に変更するのが便利です — これは、Wildberries や Ozon のパース時に N ページごとに IP をローテーションする場合に重要です。欠点: Selenium Wire は独自のローカル MITM プロキシを追加し、ページの読み込みを少し遅くし、厳格な HSTS や証明書ピンニングを使用しているサイトと時折競合することがあります。また、プロジェクトは主な Selenium よりも活発に更新されていないため、新しいバージョンの Chrome との互換性を確認する必要があります。
方法 3: CDP と Network.setBasicAuth (Selenium 4 BiDi)
Selenium 4 からは、Chrome DevTools Protocol (CDP) を介して直接作業することが可能になり、外部ライブラリなしで認証リクエストをキャッチできます。Chrome は Fetch.authRequired イベントをサポートしており、DevTools セッションを通じてサブスクライブし、プログラムで認証情報に応答できます。
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument("--proxy-server=gate.example.com:7000")
driver = webdriver.Chrome(options=options)
# CDP を通じてネットワークイベントのキャッチを有効にする
driver.execute_cdp_cmd("Network.enable", {})
driver.execute_cdp_cmd("Network.setExtraHTTPHeaders", {"headers": {}})
# Selenium 4.10+ では簡略化された認証 API が利用可能
driver.execute_cdp_cmd("Fetch.enable", {
"handleAuthRequests": True,
"patterns": [{"urlPattern": "*"}]
})
# 例のハンドラー(実際のコードでは CDP セッションの websockets を通じてリスナーが必要)
# driver.on_auth_required(lambda: {"username": "login123", "password": "pass456"})
driver.get("https://httpbin.org/ip")
driver.quit()
実際には、このハンドラーの完全な実装には CDP の低レベル WebSocket 接続を扱う必要があり(pycdp ライブラリまたは組み込みの BiDi クライアント Selenium 4.10+)、これは迅速なスクリプトよりもエンジニアリングタスクに近いです。この方法は、独自の自動化フレームワークを構築し、selenium-wire や拡張機能の生成から依存を排除したい場合に選択すべきです。ほとんどの SMM 自動化やマーケットプレイスのパースタスクには、方法 1 または 2 を使用する方が簡単です。
方法 4: IP ホワイトリストを使用したパスワードなしのプロキシ
最も簡単な解決策は、Chrome にログインとパスワードをまったく渡さないことです。多くのプロキシプロバイダー、特に モバイルプロキシ は、リクエストを送信するサーバーまたはマシンの IP アドレスによる認証をサポートしています。プロバイダーのダッシュボードで自分の外部 IP をホワイトリストに追加すると、その後 --proxy-server=http://ip:port フラグは認証ダイアログなしで機能します — プロキシサーバーがリクエストが許可された IP から来たことを自動的に判断し、407 コードを送信しないからです。
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument("--proxy-server=http://45.12.34.56:7000") # ログインなしのプロキシ、IP はすでにホワイトリストに登録済み
driver = webdriver.Chrome(options=options)
driver.get("https://httpbin.org/ip")
print(driver.page_source)
driver.quit()
このアプローチは、スクリプトが固定された外部 IP を持つ VPS で実行されているサーバーシナリオに最適です。1 回だけホワイトリストに登録すれば済みます。欠点は、マシンの IP が頻繁に変わる場合(例えば、動的 IP の家庭用インターネットやエフェメラルアドレスを持つクラウドファンクション)には、毎回手動でホワイトリストを更新する必要があるため、自動化には不便です。
方法の比較
| 方法 | 難易度 | ヘッドレスモード | 使用するタイミング |
|---|---|---|---|
| Chrome 拡張機能 | 中程度 | 制限あり | アカウントの農業、視覚的自動化 |
| Selenium Wire | 低い | はい | パース、迅速なプロキシローテーション |
| CDP / Fetch.authRequired | 高い | はい | 独自の自動化フレームワーク |
| パスワードなしの IP ホワイトリスト | 最小限 | はい | 固定 IP のサーバー |
プロキシ認証の問題をデバッグするためのチェックリスト
- ヘッドレスモードなしで起動したときにシステムダイアログが表示されるか確認してください — これは 407 の問題の 100% の兆候です。
- プロキシのポートが正しく指定されていることを確認してください: HTTP と SOCKS5 は、同じプロバイダーで異なるポートで動作することがよくあります。
- Selenium Wire を使用している場合は、バージョンを確認してください — 古いリリースは Chrome 115+ と競合する可能性があります。
- Chrome 拡張機能の場合、プロキシのログイン/パスワードが変更されるたびに zip アーカイブが再構築されることを確認してください。
- SOCKS5 認証を使用する場合は、ネイティブ SOCKS5 が Chrome でログイン/パスワードをサポートしていないことを考慮してください — HTTP トンネルまたは Selenium Wire が必要です。
- プロキシプロバイダーのログを確認してください: 時には 407 がコードの問題ではなく、期限切れのプランや不正なログイン形式(セッション/地理的サフィックス付き)によって発生することがあります。
結論
Chrome の --proxy-server フラグは、ログインとパスワードを直接渡すことを決してサポートしていません — これは Chromium のアーキテクチャの特性であり、Selenium のバグではありません。実用的な回避策は 4 つあります: 自作の拡張機能による onAuthRequired のキャッチ、Selenium Wire ライブラリ、CDP を介した低レベルの操作、またはパスワードなしで IP ホワイトリストを使用することです。ほとんどのパースやテスト自動化のタスクには Selenium Wire で十分です; 視覚的にアンチデテクトプロファイルを操作するには Chrome 拡張機能が便利です。
固定 IP のサーバーで自動化を設定している場合は、ホワイトリストに基づく データセンターのプロキシ を検討してください — これにより Chrome での認証問題が完全に解消されます。また、ログインとパスワードを動的に変更し、地理的にローテーションする必要があるタスクには、レジデンシャルプロキシ と Selenium Wire の組み合わせが最適です — これにより、認証ダイアログなしで接続の柔軟性と安定性を得ることができます。