← بازگشت به وبلاگ

سلنیوم و کروم: چرا --proxy-server نام کاربری و رمز عبور را نادیده می‌گیرد و چگونه این مشکل را حل کنیم

دلایل عدم پذیرش احراز هویت پروکسی توسط Chrome از طریق پرچم --proxy-server را بررسی کرده و ۴ روش کارآمد برای دور زدن این محدودیت در Selenium ارائه می‌دهیم.

📅۲۳ آبان ۱۴۰۵

اگر شما هرگز سعی کرده‌اید Chrome را از طریق Selenium با پروکسی به شکل --proxy-server=http://user:password@ip:port اجرا کنید، حتماً با این مشکل مواجه شده‌اید که یا مرورگر بدون پروکسی باز می‌شود یا پنجره سیستم مجوز را نشان می‌دهد، که تمام اسکریپت را مسدود می‌کند. این یک باگ در کد شما نیست — این یک محدودیت معماری Chromium است که Selenium به طور مستقیم آن را حل نمی‌کند. در این مقاله بررسی می‌کنیم که چرا این اتفاق می‌افتد و 4 روش کارآمد برای ارسال نام کاربری و رمز عبور پروکسی به Chrome بدون وارد کردن دستی ارائه می‌دهیم.

چرا --proxy-server نام کاربری:رمز عبور را نمی‌پذیرد

پرچم --proxy-server در Chromium در ابتدا فقط برای مشخص کردن پروتکل، آدرس IP و پورت سرور پروکسی طراحی شده بود. سینتکس با اعتبارنامه‌هایی به شکل user:password@host:port در curl، wget و بسیاری از ابزارهای دیگر کار می‌کند، اما Chromium این بخش از URL را هنگام تجزیه پرچم به سادگی نادیده می‌گیرد. این رفتار تأیید شده است و در باگ‌تریکر Chromium از نسخه‌های 50 به بعد توصیف شده است و در طول سال‌ها توسعه‌دهندگان هیچ‌گاه پشتیبانی از مجوزدهی از طریق خط فرمان را اضافه نکرده‌اند — به دلایل امنیتی: رمز عبور در آرگومان‌های فرآیند از طریق ps aux یا مدیر وظایف قابل مشاهده است که به عنوان نشت اطلاعات تلقی می‌شود.

در نتیجه Chrome به درستی به سرور پروکسی متصل می‌شود، اما به محض اینکه آن پاسخ کد 407 Proxy Authentication Required را می‌دهد، مرورگر یک پنجره گفتگوی بومی با فیلدهای «نام کاربری» و «رمز عبور» را نمایش می‌دهد. Selenium نمی‌تواند با دیالوگ‌های سیستم عامل کار کند — فقط درخت DOM صفحه را مدیریت می‌کند، بنابراین به طور خودکار بسته را ببندد یا آن را پر کند از طریق API استاندارد WebDriver غیرممکن است. اسکریپت به سادگی در انتظار می‌ماند تا کسی به صورت دستی داده‌ها را وارد کند یا زمان‌سنج به پایان برسد.

مهم است که درک کنید: این مشکل به طور خاص برای پروکسی‌های HTTP/HTTPS و SOCKS5 با مجوزدهی به نام کاربری و رمز عبور وجود دارد. اگر پروکسی با IP-whitelist (بدون نام کاربری) محافظت شده باشد، دیالوگ مجوز به طور کلی ظاهر نمی‌شود و پرچم --proxy-server به طور عادی کار می‌کند. بنابراین برای تجزیه و خودکارسازی از طریق پروکسی‌های دیتا سنتر بسیاری از توسعه‌دهندگان در ابتدا طرحی با پیوند IP را انتخاب می‌کنند، نه رمز عبور — این مشکل را از ریشه حل می‌کند. اما اگر شما یک مجموعه پروکسی رسانه‌ای چرخشی دارید، پیوند IP اغلب نامناسب است و باید این مشکل را به صورت برنامه‌نویسی حل کنید.

روش 1: افزونه Chrome با مجوز پروکسی

مطمئن‌ترین و پایدارترین روش — تولید یک مینی افزونه Chrome (Manifest V2 یا V3) است که رویداد onAuthRequired را رهگیری کرده و به طور خودکار نام کاربری و رمز عبور را وارد می‌کند، بدون اینکه به دیالوگ سیستم نیاز داشته باشد. افزونه به صورت آنی در کد Python تولید می‌شود و از طریق گزینه add_extension به Chrome متصل می‌شود.

import zipfile
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

def create_proxy_extension(proxy_host, proxy_port, proxy_user, proxy_pass, plugin_path="proxy_auth.zip"):
    manifest_json = """
    {
      "version": "1.0.0",
      "manifest_version": 2,
      "name": "Chrome Proxy Auth",
      "permissions": [
        "proxy", "tabs", "unlimitedStorage", "storage",
        "<all_urls>", "webRequest", "webRequestBlocking"
      ],
      "background": {"scripts": ["background.js"]},
      "minimum_chrome_version":"22.0.0"
    }
    """

    background_js = f"""
    var config = {{
        mode: "fixed_servers",
        rules: {{
          singleProxy: {{
            scheme: "http",
            host: "{proxy_host}",
            port: parseInt({proxy_port})
          }},
          bypassList: ["localhost"]
        }}
      }};

    chrome.proxy.settings.set({{value: config, scope: "regular"}}, function() {{}});

    chrome.webRequest.onAuthRequired.addListener(
        function(details) {{
            return {{
                authCredentials: {{username: "{proxy_user}", password: "{proxy_pass}"}}
            }};
        }},
        {{urls: ["<all_urls>"]}},
        ["blocking"]
    );
    """

    with zipfile.ZipFile(plugin_path, "w") as zp:
        zp.writestr("manifest.json", manifest_json)
        zp.writestr("background.js", background_js)
    return plugin_path

plugin = create_proxy_extension("gate.example.com", 7000, "login123", "pass456")

options = Options()
options.add_extension(plugin)

driver = webdriver.Chrome(options=options)
driver.get("https://httpbin.org/ip")
print(driver.page_source)
driver.quit()

این روش به طور کامل دیالوگ مجوز را حذف می‌کند — Chrome به طور خودکار اعتبارنامه‌ها را در هر درخواست 407 وارد می‌کند. معایب این روش: این تنها با مرورگر قابل مشاهده کار می‌کند (حالت headless در نسخه‌های قدیمی Chrome با افزونه‌ها ممکن است ناپایدار باشد) و برای هر پروکسی جدید باید آرشیو zip را دوباره ایجاد کرد. برای اجرای انبوه 20-50 پروفایل با پروکسی‌های مختلف، این مشکل با تولید افزونه منحصر به فرد برای هر پروفایل در حلقه حل می‌شود.

روش 2: Selenium Wire

اگر نمی‌خواهید با تولید افزونه‌ها سر و کار داشته باشید، می‌توانید از کتابخانه selenium-wire استفاده کنید — این کتابخانه Selenium معمولی را دور می‌زند و یک لایه پروکسی اختصاصی بین مرورگر و سرور هدف اضافه می‌کند. نام کاربری و رمز عبور به طور مستقیم در گزینه‌ها ارسال می‌شوند، بدون دیالوگ‌ها و افزونه‌ها.

from seleniumwire import webdriver

proxy_options = {
    'proxy': {
        'http': 'http://login123:[email protected]:7000',
        'https': 'http://login123:[email protected]:7000',
        'no_proxy': 'localhost,127.0.0.1'
    }
}

driver = webdriver.Chrome(seleniumwire_options=proxy_options)
driver.get("https://httpbin.org/ip")
print(driver.page_source)
driver.quit()

مزایا: حداقل کد، پشتیبانی از SOCKS5، راحتی در تغییر پروکسی در حین درخواست‌ها — این مهم است اگر شما در حال چرخش IP در هر صفحه N در هنگام تجزیه Wildberries یا Ozon هستید. معایب: Selenium Wire یک پروکسی محلی MITM اختصاصی اضافه می‌کند که کمی بارگذاری صفحات را کند می‌کند و گاهی با سایت‌هایی که از HSTS سختگیرانه و certificate pinning استفاده می‌کنند، تداخل دارد. این پروژه همچنین به اندازه Selenium اصلی به طور فعال به‌روزرسانی نشده است، بنابراین سازگاری با نسخه‌های جدید Chrome باید قبل از استفاده در تولید بررسی شود.

روش 3: CDP و Network.setBasicAuth (Selenium 4 BiDi)

از نسخه Selenium 4، امکان کار مستقیم از طریق پروتکل Chrome DevTools (CDP) فراهم شده است که به شما اجازه می‌دهد درخواست‌های مجوز را بدون کتابخانه‌های خارجی رهگیری کنید. Chrome از رویداد Fetch.authRequired پشتیبانی می‌کند که می‌توان از طریق جلسه DevTools به آن مشترک شد و به صورت برنامه‌نویسی با اعتبارنامه‌ها پاسخ داد.

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
options.add_argument("--proxy-server=gate.example.com:7000")

driver = webdriver.Chrome(options=options)

# فعال‌سازی رهگیری رویدادهای شبکه از طریق CDP
driver.execute_cdp_cmd("Network.enable", {})
driver.execute_cdp_cmd("Network.setExtraHTTPHeaders", {"headers": {}})

# در Selenium 4.10+ API ساده‌تری برای احراز هویت در دسترس است
driver.execute_cdp_cmd("Fetch.enable", {
    "handleAuthRequests": True,
    "patterns": [{"urlPattern": "*"}]
})

# مثال از یک هندلر (در کد واقعی نیاز به یک شنونده از طریق جلسه CDP websockets دارید)
# driver.on_auth_required(lambda: {"username": "login123", "password": "pass456"})

driver.get("https://httpbin.org/ip")
driver.quit()

در عمل، پیاده‌سازی کامل این هندلر نیاز به کار با اتصال WebSocket سطح پایین CDP دارد (کتابخانه pycdp یا کلاینت BiDi داخلی Selenium 4.10+)، که به مهارت‌های مهندسی نزدیک‌تر از یک اسکریپت سریع است. این روش باید انتخاب شود اگر شما یک فریم‌ورک خودکارسازی می‌سازید و می‌خواهید از وابستگی selenium-wire یا تولید افزونه‌ها رهایی یابید. برای اکثر وظایف خودکارسازی SMM و تجزیه بازارها بهتر است از روش 1 یا 2 استفاده کنید.

روش 4: پروکسی بدون رمز عبور از طریق IP-whitelist

ساده‌ترین راه — به طور کلی نام کاربری و رمز عبور را به Chrome ارسال نکنید. بسیاری از ارائه‌دهندگان پروکسی، از جمله پروکسی‌های موبایل، از مجوزدهی بر اساس آدرس IP سرور یا دستگاهی که درخواست را ارسال می‌کند، پشتیبانی می‌کنند. شما آدرس IP خارجی خود را در whitelist در پنل کاربری ارائه‌دهنده اضافه می‌کنید و پس از آن پرچم --proxy-server=http://ip:port بدون هیچ دیالوگ مجوزی کار می‌کند — زیرا سرور پروکسی خود تشخیص می‌دهد که درخواست از IP مجاز آمده است و کد 407 را ارسال نمی‌کند.

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
options.add_argument("--proxy-server=http://45.12.34.56:7000")  # پروکسی بدون نام کاربری، IP در whitelist است

driver = webdriver.Chrome(options=options)
driver.get("https://httpbin.org/ip")
print(driver.page_source)
driver.quit()

این روش برای سناریوهای سروری ایده‌آل است — زمانی که اسکریپت روی یک VPS اختصاصی با IP خارجی ثابت کار می‌کند و شما یک بار آن را در whitelist وارد می‌کنید. معایب زمانی ظاهر می‌شود که IP دستگاه به طور مکرر تغییر کند (به عنوان مثال، اینترنت خانگی با IP دینامیک یا عملکردهای ابری با آدرس‌های موقتی) — در این صورت باید whitelist را به صورت دستی در هر بار اجرا به‌روزرسانی کنید که برای خودکارسازی نامناسب است.

مقایسه روش‌ها

روش پیچیدگی حالت Headless کی استفاده شود
افزونه Chrome متوسط محدود کشاورزی حساب‌ها، خودکارسازی بصری
Selenium Wire پایین بله تجزیه، چرخش سریع پروکسی
CDP / Fetch.authRequired بالا بله فریم‌ورک خودکارسازی اختصاصی
IP-whitelist بدون رمز عبور حداقل بله سرورها با IP ثابت

چک‌لیست برای اشکال‌زدایی مشکلات با مجوز پروکسی

  • بررسی کنید که آیا دیالوگ سیستم هنگام اجرای بدون حالت headless ظاهر می‌شود — این 100% نشانه‌ای از مشکل با 407 است.
  • اطمینان حاصل کنید که پورت پروکسی به درستی مشخص شده است: HTTP و SOCKS5 اغلب در پورت‌های مختلفی در یک ارائه‌دهنده کار می‌کنند.
  • اگر از Selenium Wire استفاده می‌کنید، نسخه را بررسی کنید — نسخه‌های قدیمی ممکن است با Chrome 115+ تداخل داشته باشند.
  • برای افزونه Chrome اطمینان حاصل کنید که آرشیو zip در هر بار تغییر نام کاربری/رمز عبور پروکسی دوباره ساخته می‌شود.
  • هنگام کار با مجوز SOCKS5 به یاد داشته باشید: SOCKS5 بومی در Chrome به طور کلی از نام کاربری/رمز عبور پشتیبانی نمی‌کند — به یک تونل HTTP یا Selenium Wire نیاز دارید.
  • لاگ‌های ارائه‌دهنده پروکسی را بررسی کنید: گاهی اوقات 407 به دلیل کد نیست، بلکه به دلیل منقضی شدن طرح یا فرمت نام کاربری نادرست (با پسوندهای جلسه/جغرافیایی) است.

نتیجه‌گیری

پرچم --proxy-server در Chrome هرگز پشتیبانی از ارسال نام کاربری و رمز عبور به طور مستقیم در خط را نداشته است — این یک ویژگی معماری Chromium است، نه یک خطای Selenium. چهار راهکار کارآمد وجود دارد: افزونه دست‌ساز با رهگیری onAuthRequired, کتابخانه Selenium Wire، کار با سطح پایین از طریق CDP، یا کامل کردن عدم استفاده از رمز عبور به نفع IP-whitelist. برای اکثر وظایف تجزیه و خودکارسازی تست‌ها، استفاده از Selenium Wire کافی است؛ برای کار بصری با پروفایل‌های ضد شناسایی، افزونه Chrome راحت‌تر است.

اگر شما خودکارسازی را در سرورهای با IP ثابت تنظیم می‌کنید، در نظر داشته باشید پروکسی‌های دیتا سنتر با پیوند به whitelist — این به طور کامل مشکل مجوز را در Chrome حل می‌کند. و برای وظایفی که نیاز به تغییر نام کاربری و رمز عبور به صورت آنی با چرخش جغرافیایی دارند، بهتر است از پروکسی‌های رسانه‌ای در ترکیب با Selenium Wire استفاده کنید — اینگونه شما هم انعطاف‌پذیری و هم ثبات اتصال بدون دیالوگ‌های مجوز را خواهید داشت.