← ブログに戻る
RUENZHESARPTDEFRJAKOITTRIDVIFAHI

Selenium WebDriverにおけるプロキシ設定：PythonとJavaのコード例付き完全ガイド

Selenium WebDriverにプロキシを統合するための詳細な手順と、ChromeおよびFirefox用のPythonとJavaのコード例。

📅2026年2月13日
```html

Selenium WebDriverは、ブラウザの自動化とデータのスクレイピングに最も人気のあるツールの1つです。大量のリクエストを処理する場合や地理的制限を回避する必要がある場合、プロキシを正しく設定することが非常に重要です。このガイドでは、さまざまなブラウザやプログラミング言語におけるSeleniumへのプロキシ統合のすべての方法を解説し、開発者が直面する一般的な問題を解決します。

Seleniumでプロキシが必要な理由

Seleniumを使用したウェブスクレイピングやテストの自動化では、プロキシなしでは解決できないいくつかの課題が発生します：

  • レート制限の回避 — 多くのサイトは、1つのIPアドレスからのリクエスト数を制限しています。プロキシなしでは、スクリプトは50〜100リクエスト後にすぐにブロックされます。
  • 地理的制限 — 特定の国からのみアクセス可能なコンテンツをスクレイピングする必要がある場合、必要な地理的位置のIPを持つプロキシがこの問題を解決します。
  • 負荷分散 — 大量のデータをスクレイピングする際、プロキシを介してIPアドレスをローテーションすることでリクエストを分散させ、ボットの検出を回避できます。
  • ローカリゼーションのテスト — サイトが異なる国のユーザーにどのように表示されるかを確認するには、対応する地域のプロキシが必要です。
  • アンチボットシステムの回避 — 現代の保護（Cloudflare、DataDome）はIPの評判を分析します。質の高いプロキシは、通常のユーザーのように見えるのに役立ちます。

プロキシを正しく設定しないと、Seleniumスクリプトは不安定に動作し、CAPTCHAや一時的なバン、完全なアクセスブロックを受けることになります。特に、eコマースサイト、ソーシャルメディア、またはボットに対する攻撃的な保護を持つサイトをスクレイピングする際には、これが非常に重要です。

使用するプロキシの種類

プロキシの種類の選択は、タスクによって異なります。Seleniumの自動化には、各々の利点を持つ3つの主要なプロキシタイプが使用されます：

プロキシの種類 速度 匿名性 最適なシナリオ
データセンターのプロキシ 非常に高い（100+ Mbps） 中程度 公開データのスクレイピング、パフォーマンステスト、大量チェック
住宅用プロキシ 中程度（10-50 Mbps） 非常に高い アンチボットシステムの回避、ソーシャルメディアのスクレイピング、eコマース、厳しい保護を持つサイト
モバイルプロキシ 中程度（5-30 Mbps） 最大 モバイル版サイト、ソーシャルメディア、モバイルIPを確認するアプリケーションとの作業

選択に関する推奨事項：

  • ニュースサイト、オープンAPI、シンプルなカタログのスクレイピングには、データセンターのプロキシが適しています。これらは安価で高速です。
  • Amazon、eBay、Google、ソーシャルメディアとの作業には、住宅用プロキシのみを使用してください。これらのプラットフォームは、データセンターのIPを積極的にブロックします。
  • モバイルユーザーのエミュレーションやInstagram、TikTokとの作業には、モバイルプロキシが不可欠です。
  • ジオロケーションのテストには、特定の国や都市を選択できるプロキシを選択してください。

SeleniumでのChrome用プロキシ設定

Chrome WebDriverは、Selenium自動化の最も人気のある選択肢です。プロキシの設定は、ChromeOptionsオブジェクトを介して行います。いくつかの方法を見てみましょう。

方法1：認証なしのHTTP/HTTPSプロキシ（Python）

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# プロキシの設定
PROXY = "123.45.67.89:8080"  # あなたのプロキシサーバーに置き換えてください

chrome_options = Options()
chrome_options.add_argument(f'--proxy-server=http://{PROXY}')

# 安定性のための追加オプション
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')

# ドライバーの起動
driver = webdriver.Chrome(options=chrome_options)

# IPの確認
driver.get('https://httpbin.org/ip')
print(driver.page_source)

driver.quit()

方法2：SOCKS5プロキシ（Python）

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

PROXY = "123.45.67.89:1080"

chrome_options = Options()
# SOCKS5の場合はプロトコルを明示的に指定
chrome_options.add_argument(f'--proxy-server=socks5://{PROXY}')

driver = webdriver.Chrome(options=chrome_options)
driver.get('https://httpbin.org/ip')
print(driver.page_source)
driver.quit()

重要： ChromeはHTTP、HTTPS、SOCKS5プロキシをサポートしています。SOCKS4の場合は、追加の設定や拡張機能の使用が必要です。

JavaでのChrome用プロキシ設定

import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;
import org.openqa.selenium.Proxy;

public class ChromeProxyExample {
    public static void main(String[] args) {
        // プロキシの設定
        Proxy proxy = new Proxy();
        proxy.setHttpProxy("123.45.67.89:8080");
        proxy.setSslProxy("123.45.67.89:8080");
        
        ChromeOptions options = new ChromeOptions();
        options.setProxy(proxy);
        options.addArguments("--no-sandbox");
        
        WebDriver driver = new ChromeDriver(options);
        driver.get("https://httpbin.org/ip");
        
        System.out.println(driver.getPageSource());
        driver.quit();
    }
}

SeleniumでのFirefox用プロキシ設定

Firefox WebDriverは、ブラウザプロファイルを介してプロキシの設定を行う別のアプローチを使用します。これにより柔軟性が増しますが、設定パラメータを理解する必要があります。

Firefox用のHTTP/HTTPSプロキシ（Python）

from selenium import webdriver
from selenium.webdriver.firefox.options import Options

PROXY_HOST = "123.45.67.89"
PROXY_PORT = 8080

firefox_options = Options()

# preferencesを介してプロキシの設定
firefox_options.set_preference("network.proxy.type", 1)
firefox_options.set_preference("network.proxy.http", PROXY_HOST)
firefox_options.set_preference("network.proxy.http_port", PROXY_PORT)
firefox_options.set_preference("network.proxy.ssl", PROXY_HOST)
firefox_options.set_preference("network.proxy.ssl_port", PROXY_PORT)

# ローカルアドレスのプロキシを無効にする
firefox_options.set_preference("network.proxy.no_proxies_on", "localhost,127.0.0.1")

driver = webdriver.Firefox(options=firefox_options)
driver.get('https://httpbin.org/ip')
print(driver.page_source)
driver.quit()

Firefox用のSOCKS5プロキシ（Python）

from selenium import webdriver
from selenium.webdriver.firefox.options import Options

PROXY_HOST = "123.45.67.89"
PROXY_PORT = 1080

firefox_options = Options()

firefox_options.set_preference("network.proxy.type", 1)
firefox_options.set_preference("network.proxy.socks", PROXY_HOST)
firefox_options.set_preference("network.proxy.socks_port", PROXY_PORT)
firefox_options.set_preference("network.proxy.socks_version", 5)

# SOCKS5でDNSをプロキシ経由で行う
firefox_options.set_preference("network.proxy.socks_remote_dns", True)

driver = webdriver.Firefox(options=firefox_options)
driver.get('https://httpbin.org/ip')
print(driver.page_source)
driver.quit()

Firefoxの利点： network.proxy.socks_remote_dnsパラメータを使用すると、プロキシ経由でDNSリクエストを実行でき、匿名性が向上し、DNSレベルのブロックを回避できます。

認証が必要なプロキシの扱い

ほとんどの質の高いプロキシサービスは、ユーザー名とパスワードによる認証を使用しています。Seleniumは、Chrome用のプロキシのURLに直接資格情報を渡すことをサポートしていないため、回避策が必要です。

方法1：認証用のChrome拡張機能（推奨）

プロキシに接続する際に自動的にユーザー名とパスワードを挿入する一時的なChrome拡張機能を作成します： 

import os
import zipfile
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

PROXY_HOST = "123.45.67.89"
PROXY_PORT = 8080
PROXY_USER = "username"
PROXY_PASS = "password"

# 拡張機能のマニフェストを作成
manifest_json = """
{
    "version": "1.0.0",
    "manifest_version": 2,
    "name": "Chrome Proxy",
    "permissions": [
        "proxy",
        "tabs",
        "unlimitedStorage",
        "storage",
        "webRequest",
        "webRequestBlocking"
    ],
    "background": {
        "scripts": ["background.js"]
    }
}
"""

# 認証用のスクリプト
background_js = """
var config = {
    mode: "fixed_servers",
    rules: {
        singleProxy: {
            scheme: "http",
            host: "%s",
            port: parseInt(%s)
        },
        bypassList: ["localhost"]
    }
};

chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});

function callbackFn(details) {
    return {
        authCredentials: {
            username: "%s",
            password: "%s"
        }
    };
}

chrome.webRequest.onAuthRequired.addListener(
    callbackFn,
    {urls: [""]},
    ['blocking']
);
""" % (PROXY_HOST, PROXY_PORT, PROXY_USER, PROXY_PASS)

# 拡張機能の作成
plugin_path = 'proxy_auth_plugin.zip'
with zipfile.ZipFile(plugin_path, 'w') as zp:
    zp.writestr("manifest.json", manifest_json)
    zp.writestr("background.js", background_js)

# 拡張機能付きでChromeを起動
chrome_options = Options()
chrome_options.add_extension(plugin_path)

driver = webdriver.Chrome(options=chrome_options)
driver.get('https://httpbin.org/ip')
print(driver.page_source)

driver.quit()
os.remove(plugin_path)  # 一時ファイルを削除

方法2：認証付きFirefox（簡単）

Firefoxは、プロファイル設定を介して資格情報を渡すことができます： 

from selenium import webdriver
from selenium.webdriver.firefox.options import Options

PROXY_HOST = "123.45.67.89"
PROXY_PORT = 8080
PROXY_USER = "username"
PROXY_PASS = "password"

firefox_options = Options()

firefox_options.set_preference("network.proxy.type", 1)
firefox_options.set_preference("network.proxy.http", PROXY_HOST)
firefox_options.set_preference("network.proxy.http_port", PROXY_PORT)
firefox_options.set_preference("network.proxy.ssl", PROXY_HOST)
firefox_options.set_preference("network.proxy.ssl_port", PROXY_PORT)

# 認証（常に機能するわけではなく、Firefoxのバージョンによります）
firefox_options.set_preference("network.proxy.username", PROXY_USER)
firefox_options.set_preference("network.proxy.password", PROXY_PASS)

# 認証要求を無効にする
firefox_options.set_preference("network.automatic-ntlm-auth.trusted-uris", PROXY_HOST)

driver = webdriver.Firefox(options=firefox_options)
driver.get('https://httpbin.org/ip')
print(driver.page_source)
driver.quit()

注意： プロキシプロバイダーがIPのホワイトリストをサポートしている場合は、サーバーのIPをホワイトリストに追加し、認証なしでプロキシを使用する方が簡単です。

Seleniumでのプロキシのローテーション

大量のデータをスクレイピングする際には、ブロックを避けるためにプロキシを変更することが非常に重要です。2つのアプローチがあります：コードレベルでのローテーションとローテーションプロキシの使用です。

コードレベルでのローテーション（新しいドライバーの作成）

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import random

# プロキシのリスト
PROXY_LIST = [
    "123.45.67.89:8080",
    "98.76.54.32:8080",
    "11.22.33.44:8080",
]

def create_driver_with_proxy(proxy):
    """指定されたプロキシでドライバーを作成"""
    chrome_options = Options()
    chrome_options.add_argument(f'--proxy-server=http://{proxy}')
    chrome_options.add_argument('--no-sandbox')
    return webdriver.Chrome(options=chrome_options)

# ローテーションを伴うスクレイピング
urls_to_parse = [
    'https://example.com/page1',
    'https://example.com/page2',
    'https://example.com/page3',
]

for url in urls_to_parse:
    # ランダムなプロキシを選択
    current_proxy = random.choice(PROXY_LIST)
    
    # プロキシ付きの新しいドライバーを作成
    driver = create_driver_with_proxy(current_proxy)
    
    try:
        driver.get(url)
        # スクレイピングのロジック
        print(f"{url}を{current_proxy}経由で解析しました")
        print(driver.title)
    except Exception as e:
        print(f"{current_proxy}でエラーが発生しました: {e}")
    finally:
        driver.quit()  # ドライバーを閉じることが重要です

ローテーションプロキシの使用（簡単）

多くのプロキシプロバイダーは、リクエストごとに自動的にIPを変更するローテーションエンドポイントを提供しています。これにより、コードが簡素化されます： 

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# ローテーションプロキシエンドポイント（IPが自動的に変更されます）
ROTATING_PROXY = "rotating.proxycove.com:8080"

chrome_options = Options()
chrome_options.add_argument(f'--proxy-server=http://{ROTATING_PROXY}')

driver = webdriver.Chrome(options=chrome_options)

# 各リクエストは新しいIPから行われます
urls = ['https://httpbin.org/ip'] * 5

for url in urls:
    driver.get(url)
    print(driver.find_element("tag name", "body").text)
    # 各出力は異なるIPを示します

driver.quit()

推奨： 大規模なプロジェクトにはローテーションプロキシを使用してください。これによりリソースが節約され（ドライバーを再作成する必要がなくなります）、コードが簡素化されます。住宅用プロキシは通常、標準でローテーションをサポートしています。

一般的なエラーとその解決策

エラー："ERR_PROXY_CONNECTION_FAILED"

原因： Seleniumがプロキシサーバーに接続できません。

解決策：

  • プロキシのIPとポートが正しいか確認してください
  • プロキシがアクティブであることを確認してください（curlで確認：curl -x http://123.45.67.89:8080 https://httpbin.org/ip）
  • ファイアウォールを確認してください — プロキシへのアウトバウンド接続がブロックされている可能性があります
  • 認証を使用している場合は、ユーザー名/パスワードが正しいか確認してください

エラー："ERR_TUNNEL_CONNECTION_FAILED"

原因： プロキシ経由のHTTPS接続に問題があります。

解決策：

  • プロキシがHTTPSをサポートしていることを確認してください（CONNECTメソッド）
  • HTTPSサイトにはHTTPSプロキシまたはSOCKS5を使用してください
  • SSLエラーを無視するオプションを追加してください：chrome_options.add_argument('--ignore-certificate-errors')

エラー：プロキシは動作しているが、サイトがボットを検出する

原因： サイトが高度な検出方法（フィンガープリンティング、行動分析）を使用しています。

解決策： 

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument(f'--proxy-server=http://{PROXY}')

# webdriverフラグを無効にする（自動化の主要な特徴）
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option('useAutomationExtension', False)

driver = webdriver.Chrome(options=chrome_options)

# navigator.webdriverを削除
driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
    'source': '''
        Object.defineProperty(navigator, 'webdriver', {
            get: () => undefined
        })
    '''
})

driver.get('https://bot.sannysoft.com/')  # 検出を確認するためのサイト

さらに、さまざまなアンチ検出技術を自動的に適用するライブラリundetected-chromedriverの使用をお勧めします。

問題：プロキシ経由でのページの読み込みが遅い

原因： プロキシが過負荷になっているか、地理的に遠いです。

解決策：

  • ターゲットサーバーに近いプロキシを選択してください（例えば、USサイトをスクレイピングする場合はUSプロキシを使用）
  • 速度が重要なタスクにはデータセンターのプロキシを使用してください
  • Seleniumのタイムアウトを設定して、ハングを回避してください：
from selenium.webdriver.support.ui import WebDriverWait

driver.set_page_load_timeout(30)  # 最大30秒の読み込み時間
driver.implicitly_wait(10)  # 要素の暗黙的な待機

プロキシ使用時のベストプラクティス

1. プロキシプールを使用する
1つのプロキシサーバーに依存しないでください。10〜50のプロキシからなるプールを作成し、それらをローテーションしてください。1つのプロキシがブロックされても、別のプロキシでスクレイピングを続けることができます。

2. ランダムな遅延を追加する
プロキシを使用していても、あまりにも速いリクエストは疑わしく見えます。リクエストの間に2〜5秒のランダムな遅延を追加してください： 

import time
import random

for url in urls:
    driver.get(url)
    # スクレイピング...
    time.sleep(random.uniform(2, 5))  # 2〜5秒のランダムな遅延

3. プロキシの品質を監視する
使用する前にプロキシをチェックしてください。応答しないかエラーを返すものはプールから除外してください： 

import requests

def check_proxy(proxy):
    """プロキシの動作確認"""
    try:
        response = requests.get(
            'https://httpbin.org/ip',
            proxies={'http': f'http://{proxy}', 'https': f'http://{proxy}'},
            timeout=10
        )
        return response.status_code == 200
    except:
        return False

# 動作するプロキシのフィルタリング
working_proxies = [p for p in PROXY_LIST if check_proxy(p)]
print(f"動作するプロキシ: {len(working_proxies)}/{len(PROXY_LIST)}")

4. ヘッドレスモードは注意して使用する
ヘッドレスブラウザは検出されやすいです。複雑なサイトには、ブラウザを通常モードで起動するか、--window-sizeを使用して、--headlessの代わりにしてください。

5. すべてのリクエストをログに記録する
各リクエストに使用されたプロキシに関する情報を保存してください。これにより、問題のあるプロキシを特定し、エラーをデバッグするのに役立ちます。

6. robots.txtとレート制限を遵守する
プロキシを使用していても、サイトのルールを尊重してください。攻撃的なスクレイピングは、プロキシのサブネット全体がブロックされる原因となり、他のユーザーに影響を与える可能性があります。

結論

Selenium WebDriverでのプロキシの正しい設定は、安定したスクレイピングと自動化の基盤です。ChromeとFirefoxのためのプロキシ統合の主要な方法、認証の扱い、IPアドレスのローテーション、一般的な問題の解決策をすべて解説しました。重要なのは、タスクに適したプロキシの種類を選択することです：シンプルなスクレイピングにはデータセンターのプロキシで十分ですが、保護されたプラットフォームでの作業には住宅用またはモバイルプロキシが必要です。

ベストプラクティスを忘れないでください：プロキシプールを使用し、ランダムな遅延を追加し、接続の品質を監視し、アンチ検出技術を適用してください。これにより、スクリプトの安定性が向上し、ブロックのリスクが大幅に減少します。

高い匿名性とアンチボットシステムの回避が求められるスクレイピングの自動化を計画している場合は、住宅用プロキシを試してみることをお勧めします。これにより、ソーシャルメディア、eコマースプラットフォーム、先進的な保護を持つサービスを含む、あらゆるサイトでの作業が最大限に安定します。大量のデータを迅速に処理する必要があるタスクには、データセンターのプロキシが価格対性能の最適な選択肢となります。

```