सेलेनियम वेबड्राइवर में प्रॉक्सी सेटअप: पायथन और जावा के लिए कोड उदाहरणों के साथ पूर्ण मार्गदर्शिका

Selenium WebDriver — ब्राउज़र स्वचालन और डेटा स्क्रैपिंग के लिए सबसे लोकप्रिय उपकरणों में से एक है। बड़े पैमाने पर अनुरोधों के साथ काम करते समय या भौगोलिक प्रतिबंधों को बायपास करने की आवश्यकता होने पर प्रॉक्सी को सही तरीके से सेट करना महत्वपूर्ण है। इस गाइड में, हम विभिन्न ब्राउज़रों और प्रोग्रामिंग भाषाओं के लिए Selenium में प्रॉक्सी को एकीकृत करने के सभी तरीकों पर चर्चा करेंगे, साथ ही उन सामान्य समस्याओं का समाधान करेंगे जिनका सामना डेवलपर्स करते हैं।

Selenium में प्रॉक्सी की आवश्यकता क्यों है

जब Selenium के माध्यम से वेब स्क्रैपिंग या परीक्षण स्वचालित किया जाता है, तो कई कार्य होते हैं जिन्हें प्रॉक्सी के बिना हल नहीं किया जा सकता:

• रेट लिमिटिंग को बायपास करना — कई वेबसाइटें एक IP पते से अनुरोधों की संख्या को सीमित करती हैं। प्रॉक्सी के बिना, आपका स्क्रिप्ट 50-100 अनुरोधों के बाद जल्दी से ब्लॉक हो जाएगा।
• भौगोलिक प्रतिबंध — यदि आपको केवल एक निश्चित देश से उपलब्ध सामग्री को स्क्रैप करना है, तो आवश्यक भौगोलिक स्थान के IP के साथ प्रॉक्सी इस कार्य को हल करती है।
• लोड का वितरण — डेटा के बड़े पैमाने पर स्क्रैपिंग के दौरान, प्रॉक्सी के माध्यम से IP पते का रोटेशन अनुरोधों को वितरित करने और बॉट का पता लगाने से बचने में मदद करता है।
• स्थानीयकरण का परीक्षण — यह जांचने के लिए कि वेबसाइट विभिन्न देशों के उपयोगकर्ताओं के लिए कैसे प्रदर्शित होती है, संबंधित क्षेत्रों के प्रॉक्सी की आवश्यकता होती है।
• एंटी-बॉट सिस्टम को बायपास करना — आधुनिक सुरक्षा (Cloudflare, DataDome) IP की प्रतिष्ठा का विश्लेषण करती हैं। उच्च गुणवत्ता वाले प्रॉक्सी सामान्य उपयोगकर्ता के रूप में दिखने में मदद करते हैं।

प्रॉक्सी की सही सेटिंग के बिना, आपका Selenium स्क्रिप्ट अस्थिर रूप से काम करेगा: कैप्चा प्राप्त करना, अस्थायी प्रतिबंध या पूर्ण पहुंच ब्लॉक करना। यह विशेष रूप से ई-कॉमर्स प्लेटफार्मों, सामाजिक नेटवर्क या बॉट के खिलाफ आक्रामक सुरक्षा वाले साइटों के स्क्रैपिंग के दौरान महत्वपूर्ण है।

कौन से प्रकार के प्रॉक्सी का उपयोग करें

प्रॉक्सी के प्रकार का चयन कार्य पर निर्भर करता है। Selenium स्वचालन के लिए तीन मुख्य प्रकार के प्रॉक्सी का उपयोग किया जाता है, प्रत्येक के अपने लाभ हैं:

चुनने के लिए सिफारिशें:

• समाचार वेबसाइटों, ओपन API, सरल निर्देशिकाओं का स्क्रैपिंग करने के लिए — डेटा सेंटर प्रॉक्सी उपयुक्त हैं। ये सस्ते और तेज हैं।
• Amazon, eBay, Google, सोशल मीडिया के साथ काम करने के लिए — केवल रिज़िडेंटियल प्रॉक्सी। ये प्लेटफार्म IP डेटा सेंटर को सक्रिय रूप से ब्लॉक करते हैं।
• मोबाइल उपयोगकर्ताओं का अनुकरण करने या Instagram, TikTok के साथ काम करने के लिए — मोबाइल प्रॉक्सी अनिवार्य हैं।
• भौगोलिक स्थान का परीक्षण करने के लिए — ऐसे प्रॉक्सी चुनें जिनमें विशिष्ट देश और शहर का चयन करने की क्षमता हो।

Selenium में Chrome के लिए प्रॉक्सी सेटअप

Chrome WebDriver — Selenium स्वचालन के लिए सबसे लोकप्रिय विकल्प है। प्रॉक्सी सेटअप ChromeOptions ऑब्जेक्ट के माध्यम से किया जाता है। आइए कुछ तरीकों पर चर्चा करें।

तरीका 1: HTTP/HTTPS प्रॉक्सी बिना प्रमाणीकरण (Python)

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# प्रॉक्सी सेटअप
PROXY = "123.45.67.89:8080"  # अपने प्रॉक्सी सर्वर से बदलें

chrome_options = Options()
chrome_options.add_argument(f'--proxy-server=http://{PROXY}')

# स्थिरता के लिए अतिरिक्त विकल्प
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')

# ड्राइवर शुरू करें
driver = webdriver.Chrome(options=chrome_options)

# IP की जांच करें
driver.get('https://httpbin.org/ip')
print(driver.page_source)

driver.quit()

तरीका 2: SOCKS5 प्रॉक्सी (Python)

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

PROXY = "123.45.67.89:1080"

chrome_options = Options()
# SOCKS5 के लिए प्रोटोकॉल को स्पष्ट रूप से निर्दिष्ट करें
chrome_options.add_argument(f'--proxy-server=socks5://{PROXY}')

driver = webdriver.Chrome(options=chrome_options)
driver.get('https://httpbin.org/ip')
print(driver.page_source)
driver.quit()

महत्वपूर्ण: Chrome HTTP, HTTPS और SOCKS5 प्रॉक्सी का समर्थन करता है। SOCKS4 के लिए अतिरिक्त सेटिंग्स या एक्सटेंशन का उपयोग करने की आवश्यकता होगी।

Java में Chrome के लिए प्रॉक्सी सेटअप

import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;
import org.openqa.selenium.Proxy;

public class ChromeProxyExample {
    public static void main(String[] args) {
        // प्रॉक्सी सेटअप
        Proxy proxy = new Proxy();
        proxy.setHttpProxy("123.45.67.89:8080");
        proxy.setSslProxy("123.45.67.89:8080");
        
        ChromeOptions options = new ChromeOptions();
        options.setProxy(proxy);
        options.addArguments("--no-sandbox");
        
        WebDriver driver = new ChromeDriver(options);
        driver.get("https://httpbin.org/ip");
        
        System.out.println(driver.getPageSource());
        driver.quit();
    }
}

Selenium में Firefox के लिए प्रॉक्सी सेटअप

Firefox WebDriver प्रॉक्सी सेटअप के लिए ब्राउज़र प्रोफ़ाइल के माध्यम से एक अलग दृष्टिकोण का उपयोग करता है। यह अधिक लचीलापन प्रदान करता है, लेकिन कॉन्फ़िगरेशन विकल्पों को समझने की आवश्यकता होती है।

HTTP/HTTPS प्रॉक्सी के लिए Firefox (Python)

from selenium import webdriver
from selenium.webdriver.firefox.options import Options

PROXY_HOST = "123.45.67.89"
PROXY_PORT = 8080

firefox_options = Options()

# प्रॉक्सी को preferences के माध्यम से सेटअप करें
firefox_options.set_preference("network.proxy.type", 1)
firefox_options.set_preference("network.proxy.http", PROXY_HOST)
firefox_options.set_preference("network.proxy.http_port", PROXY_PORT)
firefox_options.set_preference("network.proxy.ssl", PROXY_HOST)
firefox_options.set_preference("network.proxy.ssl_port", PROXY_PORT)

# स्थानीय पते के लिए प्रॉक्सी बंद करें
firefox_options.set_preference("network.proxy.no_proxies_on", "localhost,127.0.0.1");

driver = webdriver.Firefox(options=firefox_options)
driver.get('https://httpbin.org/ip')
print(driver.page_source)
driver.quit()

SOCKS5 प्रॉक्सी के लिए Firefox (Python)

from selenium import webdriver
from selenium.webdriver.firefox.options import Options

PROXY_HOST = "123.45.67.89"
PROXY_PORT = 1080

firefox_options = Options()

firefox_options.set_preference("network.proxy.type", 1)
firefox_options.set_preference("network.proxy.socks", PROXY_HOST)
firefox_options.set_preference("network.proxy.socks_port", PROXY_PORT)
firefox_options.set_preference("network.proxy.socks_version", 5)

# SOCKS5 के लिए DNS प्रॉक्सी के माध्यम से
firefox_options.set_preference("network.proxy.socks_remote_dns", True)

driver = webdriver.Firefox(options=firefox_options)
driver.get('https://httpbin.org/ip')
print(driver.page_source)
driver.quit()

Firefox का लाभ: network.proxy.socks_remote_dns विकल्प DNS अनुरोधों को प्रॉक्सी के माध्यम से करने की अनुमति देता है, जो गोपनीयता बढ़ाता है और DNS स्तर पर ब्लॉकों को बायपास करने में मदद करता है।

प्रॉक्सी के साथ काम करना, जिन्हें प्रमाणीकरण की आवश्यकता होती है

अधिकांश उच्च गुणवत्ता वाले प्रॉक्सी सेवाएँ लॉगिन और पासवर्ड द्वारा प्रमाणीकरण का उपयोग करती हैं। Selenium Chrome के लिए प्रॉक्सी URL में सीधे क्रेडेंशियल्स को पास करने का समर्थन नहीं करता है, इसलिए बायपास समाधान की आवश्यकता होती है।

तरीका 1: प्रमाणीकरण के लिए Chrome एक्सटेंशन (अनुशंसित)

हम एक अस्थायी Chrome एक्सटेंशन बनाते हैं, जो प्रॉक्सी से कनेक्ट करते समय स्वचालित रूप से लॉगिन और पासवर्ड को सम्मिलित करता है:

import os
import zipfile
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

PROXY_HOST = "123.45.67.89"
PROXY_PORT = 8080
PROXY_USER = "username"
PROXY_PASS = "password"

# एक्सटेंशन का मैनिफेस्ट बनाना
manifest_json = """
{
    "version": "1.0.0",
    "manifest_version": 2,
    "name": "Chrome Proxy",
    "permissions": [
        "proxy",
        "tabs",
        "unlimitedStorage",
        "storage",
        "webRequest",
        "webRequestBlocking"
    ],
    "background": {
        "scripts": ["background.js"]
    }
}
"""

# प्रमाणीकरण के लिए स्क्रिप्ट
background_js = """
var config = {
    mode: "fixed_servers",
    rules: {
        singleProxy: {
            scheme: "http",
            host: "%s",
            port: parseInt(%s)
        },
        bypassList: ["localhost"]
    }
};

chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});

function callbackFn(details) {
    return {
        authCredentials: {
            username: "%s",
            password: "%s"
        }
    };
}

chrome.webRequest.onAuthRequired.addListener(
    callbackFn,
    {urls: [""]},
    ['blocking']
);
""" % (PROXY_HOST, PROXY_PORT, PROXY_USER, PROXY_PASS)

# एक्सटेंशन बनाना
plugin_path = 'proxy_auth_plugin.zip'
with zipfile.ZipFile(plugin_path, 'w') as zp:
    zp.writestr("manifest.json", manifest_json)
    zp.writestr("background.js", background_js)

# एक्सटेंशन के साथ Chrome शुरू करें
chrome_options = Options()
chrome_options.add_extension(plugin_path)

driver = webdriver.Chrome(options=chrome_options)
driver.get('https://httpbin.org/ip')
print(driver.page_source)

driver.quit()
os.remove(plugin_path)  # अस्थायी फ़ाइल हटाना

तरीका 2: प्रमाणीकरण के साथ Firefox (सरल)

Firefox प्रोफ़ाइल सेटिंग्स के माध्यम से क्रेडेंशियल्स को पास करने की अनुमति देता है:

from selenium import webdriver
from selenium.webdriver.firefox.options import Options

PROXY_HOST = "123.45.67.89"
PROXY_PORT = 8080
PROXY_USER = "username"
PROXY_PASS = "password"

firefox_options = Options()

firefox_options.set_preference("network.proxy.type", 1)
firefox_options.set_preference("network.proxy.http", PROXY_HOST)
firefox_options.set_preference("network.proxy.http_port", PROXY_PORT)
firefox_options.set_preference("network.proxy.ssl", PROXY_HOST)
firefox_options.set_preference("network.proxy.ssl_port", PROXY_PORT)

# प्रमाणीकरण (हमेशा काम नहीं करता, Firefox के संस्करण पर निर्भर करता है)
firefox_options.set_preference("network.proxy.username", PROXY_USER)
firefox_options.set_preference("network.proxy.password", PROXY_PASS)

# प्रमाणीकरण अनुरोध को बंद करें
firefox_options.set_preference("network.automatic-ntlm-auth.trusted-uris", PROXY_HOST)

driver = webdriver.Firefox(options=firefox_options)
driver.get('https://httpbin.org/ip')
print(driver.page_source)
driver.quit()

नोट: यदि आपका प्रॉक्सी प्रदाता IP की व्हाइटलिस्ट का समर्थन करता है, तो अपने सर्वर के IP को व्हाइटलिस्ट में जोड़ना और बिना प्रमाणीकरण के प्रॉक्सी का उपयोग करना आसान है।

Selenium में प्रॉक्सी का रोटेशन

बड़े पैमाने पर डेटा के स्क्रैपिंग के दौरान, प्रॉक्सी को बदलना महत्वपूर्ण है ताकि ब्लॉकों से बचा जा सके। दो दृष्टिकोण हैं: कोड स्तर पर रोटेशन और रोटेटिंग प्रॉक्सी का उपयोग।

कोड स्तर पर रोटेशन (नया ड्राइवर बनाना)

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import random

# प्रॉक्सी की सूची
PROXY_LIST = [
    "123.45.67.89:8080",
    "98.76.54.32:8080",
    "11.22.33.44:8080",
]

def create_driver_with_proxy(proxy):
    """निर्धारित प्रॉक्सी के साथ ड्राइवर बनाना"""
    chrome_options = Options()
    chrome_options.add_argument(f'--proxy-server=http://{proxy}')
    chrome_options.add_argument('--no-sandbox')
    return webdriver.Chrome(options=chrome_options)

# रोटेशन के साथ स्क्रैपिंग
urls_to_parse = [
    'https://example.com/page1',
    'https://example.com/page2',
    'https://example.com/page3',
]

for url in urls_to_parse:
    # एक यादृच्छिक प्रॉक्सी चुनें
    current_proxy = random.choice(PROXY_LIST)
    
    # प्रॉक्सी के साथ नया ड्राइवर बनाएं
    driver = create_driver_with_proxy(current_proxy)
    
    try:
        driver.get(url)
        # आपकी स्क्रैपिंग लॉजिक
        print(f"Parsed {url} via {current_proxy}")
        print(driver.title)
    except Exception as e:
        print(f"Error with {current_proxy}: {e}")
    finally:
        driver.quit()  # ड्राइवर को बंद करना महत्वपूर्ण है

रोटेटिंग प्रॉक्सी का उपयोग (सरल)

कई प्रॉक्सी प्रदाता रोटेटिंग एंडपॉइंट प्रदान करते हैं — एक URL, जो प्रत्येक अनुरोध पर या निश्चित अंतराल पर IP को स्वचालित रूप से बदलता है। यह कोड को सरल बनाता है:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# रोटेटिंग प्रॉक्सी एंडपॉइंट (IP स्वचालित रूप से बदलता है)
ROTATING_PROXY = "rotating.proxycove.com:8080"

chrome_options = Options()
chrome_options.add_argument(f'--proxy-server=http://{ROTATING_PROXY}')

driver = webdriver.Chrome(options=chrome_options)

# प्रत्येक अनुरोध नए IP के साथ होगा
urls = ['https://httpbin.org/ip'] * 5

for url in urls:
    driver.get(url)
    print(driver.find_element("tag name", "body").text)
    # प्रत्येक आउटपुट अलग IP दिखाएगा

driver.quit()

सिफारिश: बड़े प्रोजेक्ट्स के लिए रोटेटिंग प्रॉक्सी का उपयोग करें — यह संसाधनों की बचत करता है (ड्राइवर को फिर से बनाने की आवश्यकता नहीं) और कोड को सरल बनाता है। रिज़िडेंटियल प्रॉक्सी आमतौर पर बॉक्स से बाहर रोटेशन का समर्थन करते हैं।

सामान्य त्रुटियाँ और उनका समाधान

त्रुटि: "ERR_PROXY_CONNECTION_FAILED"

कारण: Selenium प्रॉक्सी सर्वर से कनेक्ट नहीं कर सकता।

समाधान:

• प्रॉक्सी के IP और पोर्ट की सहीता की जाँच करें
• सुनिश्चित करें कि प्रॉक्सी सक्रिय है (curl के माध्यम से जांचें: curl -x http://123.45.67.89:8080 https://httpbin.org/ip)
• फायरवॉल की जाँच करें — संभवतः प्रॉक्सी के लिए आउटगोइंग कनेक्शन ब्लॉक किए गए हैं
• यदि आप प्रमाणीकरण का उपयोग कर रहे हैं, तो लॉगिन/पासवर्ड की सहीता की जाँच करें

त्रुटि: "ERR_TUNNEL_CONNECTION_FAILED"

कारण: प्रॉक्सी के माध्यम से HTTPS कनेक्शन में समस्या।

समाधान:

• सुनिश्चित करें कि प्रॉक्सी HTTPS का समर्थन करता है (CONNECT विधि)
• HTTPS साइटों के लिए HTTPS प्रॉक्सी या SOCKS5 का उपयोग करें
• SSL त्रुटियों को अनदेखा करने के लिए विकल्प जोड़ें: chrome_options.add_argument('--ignore-certificate-errors')

त्रुटि: प्रॉक्सी काम कर रहा है, लेकिन साइट बॉट का पता लगाती है

कारण: साइट उन्नत पहचान विधियों (फिंगरप्रिंटिंग, व्यवहार विश्लेषण) का उपयोग करती है।

समाधान:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument(f'--proxy-server=http://{PROXY}')

# webdriver फ्लैग को बंद करना (स्वचालन का मुख्य संकेत)
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option('useAutomationExtension', False)

driver = webdriver.Chrome(options=chrome_options)

# navigator.webdriver को हटाना
driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
    'source': '''
        Object.defineProperty(navigator, 'webdriver', {
            get: () => undefined
        })
    '''
})

driver.get('https://bot.sannysoft.com/')  # पहचान परीक्षण के लिए साइट

अतिरिक्त रूप से, undetected-chromedriver पुस्तकालय का उपयोग करने की सिफारिश की जाती है, जो स्वचालित रूप से कई एंटी-डिटेक्ट तकनीकों को लागू करता है।

समस्या: प्रॉक्सी के माध्यम से पृष्ठों की धीमी लोडिंग

कारण: प्रॉक्सी ओवरलोडेड है या भौगोलिक रूप से दूर है।

समाधान:

• लक्ष्य सर्वर के करीब प्रॉक्सी चुनें (उदाहरण के लिए, US साइटों के लिए US प्रॉक्सी का उपयोग करें)
• उन कार्यों के लिए डेटा सेंटर प्रॉक्सी का उपयोग करें जहाँ गति गोपनीयता से अधिक महत्वपूर्ण है
• Selenium में टाइमआउट सेट करें ताकि लटकने से बचा जा सके:

from selenium.webdriver.support.ui import WebDriverWait

driver.set_page_load_timeout(30)  # लोडिंग के लिए अधिकतम 30 सेकंड
driver.implicitly_wait(10)  # तत्वों के लिए निहित प्रतीक्षा

प्रॉक्सी के साथ काम करते समय सर्वोत्तम प्रथाएँ

import time
import random

for url in urls:
    driver.get(url)
    # स्क्रैपिंग...
    time.sleep(random.uniform(2, 5))  # यादृच्छिक देरी 2-5 सेकंड

import requests

def check_proxy(proxy):
    """प्रॉक्सी की कार्यक्षमता की जांच करें"""
    try:
        response = requests.get(
            'https://httpbin.org/ip',
            proxies={'http': f'http://{proxy}', 'https': f'http://{proxy}'},
            timeout=10
        )
        return response.status_code == 200
    except:
        return False

# कार्यशील प्रॉक्सी को फ़िल्टर करना
working_proxies = [p for p in PROXY_LIST if check_proxy(p)]
print(f"Working proxies: {len(working_proxies)}/{len(PROXY_LIST)}")

निष्कर्ष

Selenium WebDriver में प्रॉक्सी की सही सेटिंग स्थिर स्क्रैपिंग और स्वचालन की नींव है। हमने Chrome और Firefox के लिए प्रॉक्सी को एकीकृत करने के सभी मुख्य तरीकों, प्रमाणीकरण के साथ काम करने, IP पते के रोटेशन और सामान्य समस्याओं के समाधान पर चर्चा की। सबसे महत्वपूर्ण बात यह है कि आपकी आवश्यकता के अनुसार प्रॉक्सी का सही प्रकार चुनें: सरल स्क्रैपिंग के लिए डेटा सेंटर प्रॉक्सी पर्याप्त हैं, जबकि सुरक्षित प्लेटफार्मों के साथ काम करने के लिए रिज़िडेंटियल या मोबाइल प्रॉक्सी की आवश्यकता होती है।

सर्वोत्तम प्रथाओं को ध्यान में रखें: प्रॉक्सी पूल का उपयोग करें, यादृच्छिक देरी जोड़ें, कनेक्शन की गुणवत्ता की निगरानी करें और एंटी-डिटेक्ट तकनीकों को लागू करें। यह आपके स्क्रिप्ट की स्थिरता को बढ़ाएगा और ब्लॉकों के जोखिम को कई गुना कम करेगा।

यदि आप उच्च गोपनीयता और एंटी-बॉट सिस्टम को बायपास करने की उच्च आवश्यकताओं के साथ स्क्रैपिंग का स्वचालन करने की योजना बना रहे हैं, तो रिज़िडेंटियल प्रॉक्सी आज़माने की सिफारिश की जाती है — वे किसी भी साइट के साथ काम करने के लिए अधिकतम स्थिरता प्रदान करते हैं, जिसमें सामाजिक नेटवर्क, ई-कॉमर्स प्लेटफार्म और उन्नत सुरक्षा वाले सेवाएँ शामिल हैं। उन कार्यों के लिए जहाँ बड़े पैमाने पर डेटा के प्रसंस्करण की गति महत्वपूर्ण है, डेटा सेंटर प्रॉक्सी मूल्य-प्रदर्शन अनुपात के लिए सबसे अच्छा विकल्प बनेंगे।