만약 당신이 한 번이라도 다음과 같은 프록시를 사용하여 Selenium을 통해 Chrome을 실행하려고 시도했다면
--proxy-server=http://user:password@ip:port,
아마도 브라우저가 프록시 없이 열리거나 시스템 인증 창이 나타나서 스크립트 전체가 차단되는 문제에 직면했을 것입니다. 이것은 코드의 버그가 아니라 — Selenium이 직접 해결하지 않는 Chromium의 아키텍처적 제한입니다. 이 기사에서는 왜 이런 일이 발생하는지 살펴보고, 수동 입력 없이 Chrome에 프록시 로그인과 비밀번호를 전달하는 4가지 작동 방법을 제시합니다.
왜 --proxy-server가 user:pass를 수용하지 않는가
Chromium에서 --proxy-server 플래그는 원래 프록시 서버의 프로토콜, IP 주소 및 포트를 지정하는 데만 사용되었습니다.
user:password@host:port 형식의 자격 증명 구문은 curl, wget 및 많은 다른 유틸리티에서 작동하지만, Chromium은 이 URL의 일부를 플래그를 파싱할 때 단순히 무시합니다.
이는 Chromium의 버그 추적기에서 50대 버전부터 확인된 동작이며, 수년 동안 개발자들은 보안상의 이유로 명령줄을 통한 인증 지원을 추가하지 않았습니다: 프로세스의 인수에서 비밀번호가 ps aux 또는 작업 관리자에서 볼 수 있어 유출로 간주됩니다.
결과적으로 Chrome은 프록시 서버에 정상적으로 연결되지만, 서버가 407 Proxy Authentication Required 코드로 응답하면,
브라우저는 "사용자 이름" 및 "비밀번호" 필드가 있는 기본 대화 상자를 표시합니다. Selenium은 OS의 시스템 대화 상자와 작업할 수 없으며 — 페이지의 DOM 트리만 관리하므로, 표준 WebDriver API를 통해 이 창을 자동으로 닫거나 채우는 것은 불가능합니다. 스크립트는 누군가 수동으로 데이터를 입력할 때까지 또는 타임아웃이 만료될 때까지 대기 상태에 빠집니다.
중요한 점은: 이 문제는 HTTP/HTTPS 및 로그인과 비밀번호로 인증된 SOCKS5 프록시에만 해당됩니다.
IP-whitelist로 보호된 프록시(로그인 없이)는 인증 대화 상자가 전혀 나타나지 않으며, --proxy-server 플래그는 정상적으로 작동합니다.
따라서 데이터 센터 프록시를 통한 파싱 및 자동화를 위해 많은 개발자들은 처음부터 비밀번호가 아닌 IP에 기반한 요금제를 선택합니다 — 이는 문제를 근본적으로 해결합니다.
그러나 회전하는 주거용 프록시 풀을 보유하고 있다면,
IP 기반의 요금제는 종종 불편하며, 프로그래밍적으로 문제를 해결해야 합니다.
방법 1: 인증이 있는 Chrome 확장
가장 신뢰할 수 있고 지속적인 방법은 onAuthRequired 이벤트를 가로채고
시스템 대화 상자를 우회하여 자동으로 로그인과 비밀번호를 입력하는 미니 Chrome 확장(Manifest V2 또는 V3)을 생성하는 것입니다. 이 확장은 Python 코드에서 즉석에서 생성되며,
add_extension 옵션을 통해 Chrome에 연결됩니다.
import zipfile
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
def create_proxy_extension(proxy_host, proxy_port, proxy_user, proxy_pass, plugin_path="proxy_auth.zip"):
manifest_json = """
{
"version": "1.0.0",
"manifest_version": 2,
"name": "Chrome Proxy Auth",
"permissions": [
"proxy", "tabs", "unlimitedStorage", "storage",
"<all_urls>", "webRequest", "webRequestBlocking"
],
"background": {"scripts": ["background.js"]},
"minimum_chrome_version":"22.0.0"
}
"""
background_js = f"""
var config = {{
mode: "fixed_servers",
rules: {{
singleProxy: {{
scheme: "http",
host: "{proxy_host}",
port: parseInt({proxy_port})
}},
bypassList: ["localhost"]
}}
}};
chrome.proxy.settings.set({{value: config, scope: "regular"}}, function() {{}});
chrome.webRequest.onAuthRequired.addListener(
function(details) {{
return {{
authCredentials: {{username: "{proxy_user}", password: "{proxy_pass}"}}
}};
}},
{{urls: ["<all_urls>"]}},
["blocking"]
);
"""
with zipfile.ZipFile(plugin_path, "w") as zp:
zp.writestr("manifest.json", manifest_json)
zp.writestr("background.js", background_js)
return plugin_path
plugin = create_proxy_extension("gate.example.com", 7000, "login123", "pass456")
options = Options()
options.add_extension(plugin)
driver = webdriver.Chrome(options=options)
driver.get("https://httpbin.org/ip")
print(driver.page_source)
driver.quit()
이 방법은 인증 대화 상자를 완전히 제거합니다 — Chrome은 407 요청이 있을 때마다 자격 증명을 자동으로 입력합니다. 단점은: 이 방법은 보이는 브라우저에서만 작동하며(구버전 Chrome에서의 headless 모드는 확장과 함께 불안정할 수 있음), 각 새로운 프록시에 대해 zip 아카이브를 다시 생성해야 합니다. 20-50개의 서로 다른 프록시로 프로필을 대량 실행할 경우, 각 프로필에 대해 고유한 플러그인을 생성하는 방법으로 해결할 수 있습니다.
방법 2: Selenium Wire
확장 생성에 신경 쓰고 싶지 않다면, selenium-wire 라이브러리를 사용할 수 있습니다 —
이 라이브러리는 일반 Selenium을 감싸고 브라우저와 대상 서버 사이에 자체 프록시 레이어를 추가합니다.
로그인과 비밀번호는 대화 상자나 확장 없이 직접 옵션으로 전달됩니다.
from seleniumwire import webdriver
proxy_options = {
'proxy': {
'http': 'http://login123:[email protected]:7000',
'https': 'http://login123:[email protected]:7000',
'no_proxy': 'localhost,127.0.0.1'
}
}
driver = webdriver.Chrome(seleniumwire_options=proxy_options)
driver.get("https://httpbin.org/ip")
print(driver.page_source)
driver.quit()
장점: 최소한의 코드, SOCKS5 지원, 요청 간에 프록시를 쉽게 변경할 수 있습니다 — 이는 Wildberries 또는 Ozon에서 파싱할 때 N번째 페이지마다 IP를 회전해야 하는 경우 중요합니다. 단점: Selenium Wire는 자체 로컬 MITM 프록시를 추가하여 페이지 로딩 속도를 약간 느리게 하고, 엄격한 HSTS 및 인증서 고정 기능을 사용하는 사이트와 충돌할 수 있습니다. 또한 이 프로젝트는 기본 Selenium만큼 활발하게 업데이트되지 않았으므로, 프로덕션 사용 전에 새로운 Chrome 버전과의 호환성을 확인해야 합니다.
방법 3: CDP와 Network.setBasicAuth (Selenium 4 BiDi)
Selenium 4부터는 Chrome DevTools Protocol (CDP)을 통해 직접 작업할 수 있는 기능이 생겼습니다. 이를 통해 외부 라이브러리 없이 인증 요청을 가로챌 수 있습니다. Chrome은 Fetch.authRequired 이벤트를 지원하며,
DevTools 세션을 통해 이를 구독하고 프로그래밍적으로 자격 증명으로 응답할 수 있습니다.
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument("--proxy-server=gate.example.com:7000")
driver = webdriver.Chrome(options=options)
# CDP를 통해 네트워크 이벤트 가로채기 활성화
driver.execute_cdp_cmd("Network.enable", {})
driver.execute_cdp_cmd("Network.setExtraHTTPHeaders", {"headers": {}})
# Selenium 4.10+에서 간소화된 인증 API 사용 가능
driver.execute_cdp_cmd("Fetch.enable", {
"handleAuthRequests": True,
"patterns": [{"urlPattern": "*"}]
})
# 예제 핸들러 (실제 코드에서는 CDP 세션 웹소켓을 통한 리스너 필요)
# driver.on_auth_required(lambda: {"username": "login123", "password": "pass456"})
driver.get("https://httpbin.org/ip")
driver.quit()
실제로 이 핸들러를 완전히 구현하려면 CDP의 저수준 WebSocket 연결 작업이 필요합니다
(pycdp 라이브러리 또는
내장된 BiDi 클라이언트 Selenium 4.10+), 이는 빠른 스크립트보다는 엔지니어링 작업에 더 가깝습니다. 이 방법은 자체 자동화 프레임워크를 구축하고 selenium-wire 또는 확장 생성에 대한 의존성을 없애고자 할 때 선택해야 합니다. 대부분의 SMM 자동화 및 마켓플레이스 파싱 작업에는 방법 1 또는 2를 사용하는 것이 더 간편합니다.
방법 4: IP-whitelist를 통한 비밀번호 없는 프록시
가장 간단한 해결책은 Chrome에 로그인과 비밀번호를 전혀 전달하지 않는 것입니다. 많은 프록시 제공업체, 특히
모바일 프록시는 서버 또는 요청을 보내는 머신의 IP 주소를 통한 인증을 지원합니다. 제공업체의 개인 계정에서 외부 IP를 whitelist에 추가하면,
이후 --proxy-server=http://ip:port 플래그가 인증 대화 상자 없이 작동합니다 — 프록시 서버가 요청이 허용된 IP에서 왔음을 스스로 인식하고 407 코드를 보내지 않기 때문입니다.
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument("--proxy-server=http://45.12.34.56:7000") # 비밀번호 없는 프록시, IP는 이미 whitelist에 있음
driver = webdriver.Chrome(options=options)
driver.get("https://httpbin.org/ip")
print(driver.page_source)
driver.quit()
이 접근 방식은 서버 측 시나리오에 완벽하게 적합합니다 — 스크립트가 고정된 외부 IP를 가진 전용 VPS에서 실행되고, 이를 한 번 whitelist에 입력하면 됩니다. 단점은 머신의 IP가 자주 변경되는 경우(예: 동적 IP를 가진 가정용 인터넷 또는 에페메랄 주소를 가진 클라우드 기능) 발생합니다 — 이 경우 매번 실행할 때마다 whitelist를 수동으로 업데이트해야 하며, 이는 자동화에 불편합니다.
방법 비교
| 방법 | 난이도 | 헤드리스 모드 | 언제 사용해야 하는가 |
|---|---|---|---|
| Chrome 확장 | 중간 | 제한적 | 계정 농사, 시각적 자동화 |
| Selenium Wire | 낮음 | 예 | 파싱, 빠른 프록시 회전 |
| CDP / Fetch.authRequired | 높음 | 예 | 자체 자동화 프레임워크 |
| 비밀번호 없는 IP-whitelist | 최소 | 예 | 고정 IP 서버 |
프록시 인증 문제 디버깅 체크리스트
- 헤드리스 모드 없이 실행할 때 시스템 대화 상자가 나타나는지 확인하세요 — 이는 407 문제의 100% 징후입니다.
- 프록시 포트가 올바르게 지정되었는지 확인하세요: HTTP와 SOCKS5는 동일한 제공업체에서 서로 다른 포트에서 작동할 수 있습니다.
- Selenium Wire를 사용하는 경우 버전을 확인하세요 — 이전 릴리스는 Chrome 115+와 충돌할 수 있습니다.
- Chrome 확장을 사용하는 경우, 프록시의 로그인/비밀번호가 변경될 때마다 zip 아카이브가 재구성되는지 확인하세요.
- SOCKS5 인증을 사용할 때 유의하세요: Chrome의 기본 SOCKS5는 로그인/비밀번호를 전혀 지원하지 않으며 — HTTP 터널 또는 Selenium Wire가 필요합니다.
- 프록시 제공업체의 로그를 확인하세요: 때때로 407은 코드 때문이 아니라 요금이 만료되었거나 로그인 형식이 잘못되었기 때문에 발생합니다(세션/지오 접미사 포함).
결론
Chrome의 --proxy-server 플래그는
로그인과 비밀번호를 직접 전달하는 것을 지원하지 않았습니다 — 이는 Chromium 아키텍처의 특징이지 Selenium의 오류가 아닙니다. 작동하는 우회 방법은 네 가지입니다:
onAuthRequired를 가로채는 자작 확장,
Selenium Wire 라이브러리, CDP를 통한 저수준 작업, 또는 비밀번호 없이 IP-whitelist를 사용하는 것입니다.
대부분의 파싱 및 테스트 자동화 작업에는 Selenium Wire가 충분하며, 시각적 작업을 위한 안티탐지 프로필에는 Chrome 확장이 더 편리합니다.
만약 고정 IP를 가진 서버에서 자동화를 설정하고 있다면, 데이터 센터 프록시를 whitelist에 기반하여 사용하는 것을 고려하세요 — 이는 Chrome에서의 인증 문제를 완전히 제거합니다. 그리고 로그인과 비밀번호를 실시간으로 변경해야 하고 지오 회전이 필요한 작업에는 주거용 프록시와 Selenium Wire의 조합이 더 적합합니다 — 이렇게 하면 인증 대화 상자 없이 유연성과 안정성을 모두 얻을 수 있습니다.