← العودة إلى المدونة

سيلينيوم وكروم: لماذا يتجاهل --proxy-server تسجيل الدخول:كلمة المرور وكيفية إصلاح ذلك

نستعرض سبب عدم قبول Chrome لتسجيل الدخول عبر البروكسي باستخدام العلم --proxy-server، ونقدم 4 طرق فعالة لتجاوز هذا القيد في Selenium.

📅٤ جمادى الآخرة ١٤٤٨ هـ

إذا كنت قد حاولت يومًا تشغيل Chrome عبر Selenium باستخدام وكيل من النوع --proxy-server=http://user:password@ip:port, فمن المؤكد أنك واجهت مشكلة في أن المتصفح إما يفتح بدون وكيل على الإطلاق، أو يظهر نافذة تسجيل دخول النظام، التي تعطل البرنامج النصي بالكامل. هذه ليست مشكلة في كودك - إنها قيود معمارية في Chromium، والتي لا تحلها Selenium مباشرة. في هذه المقالة، سنحلل لماذا يحدث ذلك، وسنقدم 4 طرق فعالة لنقل اسم المستخدم وكلمة المرور للوكيل في Chrome بدون إدخال يدوي.

لماذا --proxy-server لا يقبل user:pass

تم تصميم علامة --proxy-server في Chromium في الأصل فقط لتحديد البروتوكول، عنوان IP، ورقم منفذ خادم الوكيل. يعمل بناء الجملة مع بيانات الاعتماد من النوع user:password@host:port في curl، wget والعديد من الأدوات الأخرى، لكن Chromium يتجاهل هذه الجزء من URL عند تحليل العلامة. هذا سلوك مؤكد، موصوف في تتبع الأخطاء في Chromium منذ إصدارات 50، وعلى مر السنين لم يضف المطورون دعمًا لتسجيل الدخول عبر سطر الأوامر - لأسباب تتعلق بالأمان: كلمة المرور في معلمات العملية مرئية عبر ps aux أو مدير المهام، وهو ما يعتبر تسربًا.

في النهاية، يتصل Chrome بصدق بخادم الوكيل، ولكن بمجرد أن يرد برمز 407 Proxy Authentication Required, يظهر المتصفح نافذة حوار أصلية مع حقول "اسم المستخدم" و"كلمة المرور". لا تستطيع Selenium التعامل مع الحوارات النظامية - إنها تدير فقط شجرة DOM للصفحة، لذلك من المستحيل إغلاق أو ملء هذه النافذة تلقائيًا عبر واجهة برمجة تطبيقات WebDriver القياسية. يتوقف البرنامج النصي ببساطة في الانتظار، حتى يقوم شخص ما بإدخال البيانات يدويًا أو ينتهي الوقت.

من المهم أن نفهم: المشكلة تتعلق فقط بالوكيل HTTP/HTTPS و SOCKS5 مع تسجيل الدخول وكلمة المرور. إذا كان الوكيل محميًا بـ IP-whitelist (بدون تسجيل دخول)، فلا تظهر نافذة تسجيل الدخول على الإطلاق، وتعمل العلامة --proxy-server بشكل طبيعي. لذلك، لعمليات الزحف والأتمتة عبر وكلاء مراكز البيانات يختار العديد من المطورين في البداية خطة مرتبطة بـ IP، وليس بكلمة مرور - وهذا يحل المشكلة من جذورها. ولكن إذا كان لديك مجموعة من الوكلاء السكنيين المتغيرة، فإن الربط بـ IP غالبًا ما يكون غير مريح، ويتعين حل المشكلة برمجيًا.

الطريقة 1: إضافة Chrome مع تسجيل دخول الوكيل

الطريقة الأكثر موثوقية وطويلة الأمد هي إنشاء إضافة صغيرة لـ Chrome (Manifest V2 أو V3) تقوم باعتراض حدث onAuthRequired وتقوم تلقائيًا بإدخال اسم المستخدم وكلمة المرور، متجاوزة نافذة الحوار النظامية. يتم إنشاء الإضافة في الوقت الفعلي في كود Python وتوصيلها بـ Chrome عبر خيار add_extension.

import zipfile
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

def create_proxy_extension(proxy_host, proxy_port, proxy_user, proxy_pass, plugin_path="proxy_auth.zip"):
    manifest_json = """
    {
      "version": "1.0.0",
      "manifest_version": 2,
      "name": "Chrome Proxy Auth",
      "permissions": [
        "proxy", "tabs", "unlimitedStorage", "storage",
        "<all_urls>", "webRequest", "webRequestBlocking"
      ],
      "background": {"scripts": ["background.js"]},
      "minimum_chrome_version":"22.0.0"
    }
    """

    background_js = f"""
    var config = {{
        mode: "fixed_servers",
        rules: {{
          singleProxy: {{
            scheme: "http",
            host: "{proxy_host}",
            port: parseInt({proxy_port})
          }},
          bypassList: ["localhost"]
        }}
      }};

    chrome.proxy.settings.set({{value: config, scope: "regular"}}, function() {{}});

    chrome.webRequest.onAuthRequired.addListener(
        function(details) {{
            return {{
                authCredentials: {{username: "{proxy_user}", password: "{proxy_pass}"}}
            }};
        }},
        {{urls: ["<all_urls>"]}},
        ["blocking"]
    );
    """

    with zipfile.ZipFile(plugin_path, "w") as zp:
        zp.writestr("manifest.json", manifest_json)
        zp.writestr("background.js", background_js)
    return plugin_path

plugin = create_proxy_extension("gate.example.com", 7000, "login123", "pass456")

options = Options()
options.add_extension(plugin)

driver = webdriver.Chrome(options=options)
driver.get("https://httpbin.org/ip")
print(driver.page_source)
driver.quit()

هذه الطريقة تلغي تمامًا نافذة تسجيل الدخول - يقوم Chrome بإدخال بيانات الاعتماد تلقائيًا مع كل طلب 407. عيب هذه الطريقة: إنها تعمل فقط مع المتصفح المرئي (وضع headless في إصدارات Chrome القديمة مع الإضافات قد يكون غير مستقر)، ولكل وكيل جديد يجب إعادة إنشاء ملف zip. لتشغيل جماعي من 20-50 ملف تعريف مع وكلاء مختلفة، يتم حل ذلك من خلال إنشاء إضافة فريدة لكل ملف تعريف في حلقة.

الطريقة 2: Selenium Wire

إذا كنت لا ترغب في التعامل مع إنشاء الإضافات، يمكنك استخدام مكتبة selenium-wire - فهي تغلف Selenium العادية وتضيف طبقة وكيل خاصة بها بين المتصفح والخادم المستهدف. يتم تمرير اسم المستخدم وكلمة المرور مباشرة في الخيارات، بدون حوارات أو إضافات.

from seleniumwire import webdriver

proxy_options = {
    'proxy': {
        'http': 'http://login123:[email protected]:7000',
        'https': 'http://login123:[email protected]:7000',
        'no_proxy': 'localhost,127.0.0.1'
    }
}

driver = webdriver.Chrome(seleniumwire_options=proxy_options)
driver.get("https://httpbin.org/ip")
print(driver.page_source)
driver.quit()

الإيجابيات: الحد الأدنى من الكود، دعم SOCKS5، من السهل تغيير الوكيل في الوقت الفعلي بين الطلبات - وهذا مهم إذا كنت تقوم بتدوير IP في كل صفحة N عند الزحف إلى Wildberries أو Ozon. العيب: تضيف Selenium Wire وكيل MITM محلي خاص بها، مما يبطئ تحميل الصفحات قليلاً وأحيانًا يتعارض مع المواقع التي تستخدم HSTS الصارم وتثبيت الشهادات. كما أن المشروع لم يتم تحديثه بنشاط مثل Selenium الرئيسي، لذلك يجب التحقق من التوافق مع الإصدارات الجديدة من Chrome قبل الاستخدام في الإنتاج.

الطريقة 3: CDP و Network.setBasicAuth (Selenium 4 BiDi)

بدءًا من Selenium 4، ظهرت إمكانية العمل مباشرة عبر بروتوكول أدوات تطوير Chrome (CDP)، مما يسمح باعتراض طلبات تسجيل الدخول بدون مكتبات خارجية. يدعم Chrome حدث Fetch.authRequired, الذي يمكن الاشتراك فيه عبر جلسة DevTools والرد برمجيًا ببيانات الاعتماد.

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
options.add_argument("--proxy-server=gate.example.com:7000")

driver = webdriver.Chrome(options=options)

# تفعيل اعتراض الأحداث الشبكية عبر CDP
driver.execute_cdp_cmd("Network.enable", {})
driver.execute_cdp_cmd("Network.setExtraHTTPHeaders", {"headers": {}})

# في Selenium 4.10+، يتوفر واجهة برمجة التطبيقات المبسطة للمصادقة
driver.execute_cdp_cmd("Fetch.enable", {
    "handleAuthRequests": True,
    "patterns": [{"urlPattern": "*"}]
})

# مثال على المعالج (في الكود الحقيقي، تحتاج إلى مستمع عبر جلسة CDP websockets)
# driver.on_auth_required(lambda: {"username": "login123", "password": "pass456"})

driver.get("https://httpbin.org/ip")
driver.quit()

في الممارسة العملية، تتطلب التنفيذ الكامل لهذا المعالج العمل مع اتصال WebSocket منخفض المستوى لـ CDP (مكتبة pycdp أو عميل BiDi المدمج في Selenium 4.10+)، مما يجعل هذا الخيار أقرب إلى مهمة هندسية من كونه برنامج نصي سريع. يجب اختيار هذه الطريقة إذا كنت تبني إطار عمل خاص بك للأتمتة وترغب في التخلص من الاعتماد على selenium-wire أو إنشاء الإضافات. لمعظم مهام أتمتة SMM وزحف الأسواق، من الأسهل استخدام الطريقة 1 أو 2.

الطريقة 4: وكيل بدون كلمة مرور عبر IP-whitelist

الحل الأبسط هو عدم تمرير اسم المستخدم وكلمة المرور إلى Chrome على الإطلاق. العديد من مزودي الوكلاء، بما في ذلك الوكلاء المتنقلين، يدعمون المصادقة عبر عنوان IP للخادم أو الجهاز الذي يتم منه الطلب. تقوم بإضافة عنوان IP الخارجي الخاص بك إلى القائمة البيضاء في لوحة التحكم الخاصة بمزود الخدمة، وبعد ذلك تعمل العلامة --proxy-server=http://ip:port بدون أي نافذة تسجيل دخول - لأن خادم الوكيل يحدد بنفسه أن الطلب جاء من IP المسموح به، ولا يرسل رمز 407.

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
options.add_argument("--proxy-server=http://45.12.34.56:7000")  # وكيل بدون تسجيل دخول، IP موجود بالفعل في القائمة البيضاء

driver = webdriver.Chrome(options=options)
driver.get("https://httpbin.org/ip")
print(driver.page_source)
driver.quit()

هذه الطريقة مثالية للسيناريوهات الخدمية - عندما يعمل البرنامج النصي على VPS مخصص مع عنوان IP ثابت، وتقوم بكتابته مرة واحدة في القائمة البيضاء. تظهر المشكلة حيث يتغير عنوان IP للجهاز بشكل متكرر (مثل الإنترنت المنزلي مع IP ديناميكي أو وظائف سحابية مع عناوين عابرة) - في هذه الحالة، سيتعين تحديث القائمة البيضاء يدويًا في كل مرة، مما يكون غير مريح للأتمتة.

مقارنة الطرق

الطريقة الصعوبة وضع headless متى تستخدم
إضافة Chrome متوسطة محدودة تربية الحسابات، الأتمتة المرئية
Selenium Wire منخفضة نعم الزحف، تدوير الوكلاء بسرعة
CDP / Fetch.authRequired عالية نعم إطار عمل خاص للأتمتة
IP-whitelist بدون كلمة مرور حد أدنى نعم الخوادم ذات IP الثابت

قائمة التحقق لاستكشاف الأخطاء وإصلاحها لمشاكل تسجيل دخول الوكيل

  • تحقق مما إذا كانت نافذة النظام تظهر عند التشغيل بدون وضع headless - هذه علامة 100% على وجود مشكلة مع 407.
  • تأكد من أن منفذ الوكيل محدد بشكل صحيح: غالبًا ما تعمل HTTP و SOCKS5 على منافذ مختلفة لدى نفس المزود.
  • إذا كنت تستخدم Selenium Wire، تحقق من الإصدار - قد تتعارض الإصدارات القديمة مع Chrome 115+.
  • بالنسبة لإضافة Chrome، تأكد من أن ملف zip يتم إعادة بنائه عند كل تغيير في اسم المستخدم/كلمة مرور الوكيل.
  • عند العمل مع مصادقة SOCKS5، ضع في اعتبارك: SOCKS5 الأصلي في Chrome لا يدعم تسجيل الدخول/كلمة المرور على الإطلاق - تحتاج إلى نفق HTTP أو Selenium Wire.
  • تحقق من سجلات مزود الوكيل: أحيانًا تحدث 407 ليس بسبب الكود، ولكن بسبب انتهاء صلاحية الخطة أو تنسيق اسم المستخدم غير الصحيح (مع لواحق الجلسة/الجيوب).

الخاتمة

لم تدعم علامة --proxy-server في Chrome أبدًا تمرير اسم المستخدم وكلمة المرور مباشرة في السلسلة - هذه ميزة معمارية في Chromium، وليست خطأ في Selenium. هناك أربعة طرق فعالة: إضافة مخصصة مع اعتراض onAuthRequired, مكتبة Selenium Wire، العمل منخفض المستوى عبر CDP، أو التخلي الكامل عن كلمة المرور لصالح IP-whitelist. لمعظم مهام الزحف والأتمتة، يكفي استخدام Selenium Wire؛ للعمل المرئي مع ملفات تعريف مضادة للكشف، فإن إضافة Chrome تكون أكثر ملاءمة.

إذا كنت تقوم بإعداد الأتمتة على الخوادم ذات IP الثابت، فكر في وكلاء مراكز البيانات المرتبطة بالقائمة البيضاء - فهذا يحل تمامًا مشكلة تسجيل الدخول في Chrome. أما بالنسبة للمهام التي تتطلب تغيير اسم المستخدم وكلمة المرور في الوقت الفعلي مع تدوير الجيوب، فإن الوكلاء السكنيين أفضل في الربط مع Selenium Wire - بحيث تحصل على كل من المرونة واستقرار الاتصال بدون نوافذ تسجيل دخول.