यदि पार्सर एक प्राधिकृत खाते के तहत काम कर रहा है, तो आईपी बदलना लगभग हमेशा तात्कालिक लॉगआउट, कैप्चा या सत्र का प्रतिबंधित होना का अर्थ है। प्लेटफ़ॉर्म कनेक्शन के "फिंगरप्रिंट" में असंगति और टूटे हुए सत्र को देखता है - और कुकीज़ को रीसेट कर देता है। इस लेख में हम 4 परीक्षण की गई योजनाओं का विश्लेषण करेंगे, जो आईपी बदलने की अनुमति देती हैं और साथ ही प्राधिकरण को नहीं खोती हैं, साथ ही पायथन में कार्यशील कोड।
आईपी बदलने पर सत्र क्यों टूटता है
प्राधिकृत सत्र केवल session_id के साथ कुकी नहीं है। आधुनिक प्लेटफ़ॉर्म (मार्केटप्लेस, सोशल नेटवर्क, बैंकिंग कैबिनेट) सत्र को कई पैरामीटर से जोड़ते हैं: आईपी पता, यूजर-एजेंट, टीएलएस फिंगरप्रिंट, आईपी के माध्यम से भू-स्थान, कभी-कभी ब्राउज़र के कैनवास/वेबजीएल फिंगरप्रिंट के साथ। जैसे ही इनमें से कोई एक पैरामीटर अचानक बदलता है - उदाहरण के लिए, आईपी मास्को डेटा सेंटर से किसी अन्य देश के आईपी पर कूदता है - एंटी-फ्रॉड सिस्टम इसे संदिग्ध व्यवहार मानता है और सत्र को रीसेट कर देता है, पुनः लॉगिन की मांग करता है या कैप्चा दिखाता है।
यह विशेष रूप से उन कार्यों के लिए महत्वपूर्ण है जहाँ पार्सिंग एक प्राधिकृत खाते से होती है: विक्रेता के व्यक्तिगत खाते के माध्यम से वाइल्डबेरीज़ पर कीमतों का संग्रह, ओज़ोन पर प्राधिकरण के साथ प्रतिस्पर्धियों की निगरानी, अविटो के बंद अनुभागों की पार्सिंग, इंस्टाग्राम या वीके से डेटा संग्रहण एपीआई के माध्यम से टोकन के साथ। इन प्रत्येक मामलों में "खाता + आईपी + कुकीज़" का संयोजन पूरे सत्र के दौरान स्थिर रहना चाहिए, और हर अनुरोध पर नहीं बदलना चाहिए, जैसा कि सामान्य प्राधिकरण रहित पार्सिंग में अक्सर होता है।
यहाँ से मुख्य नियम निकलता है: प्राधिकृत पार्सिंग के दौरान आईपी का रोटेशन नियंत्रित होना चाहिए, न कि यादृच्छिक। नीचे चार योजनाएँ हैं जो इस कार्य को विभिन्न जटिलता और विश्वसनीयता के संतुलन के साथ हल करती हैं।
योजना 1: स्टिकी-सत्र (खाते के लिए आईपी बाइंडिंग)
सबसे सरल और सबसे विश्वसनीय योजना है कि एक ही आईपी को एक खाते या एक सत्र के लिए पूरे कार्यकाल के लिए (कुछ मिनटों से लेकर कुछ घंटों तक) सुरक्षित किया जाए, और केवल तब आईपी बदला जाए जब सत्र स्वाभाविक रूप से समाप्त हो रहा हो (लॉगआउट, टोकन की समाप्ति, खाते का नियोजित परिवर्तन)।
तकनीकी रूप से, यह प्रॉक्सी प्रदाता के स्टिकी पोर्ट के माध्यम से लागू किया जाता है: आप एक एंडपॉइंट प्राप्त करते हैं, जो निर्धारित समय (आमतौर पर 1 से 30 मिनट, कभी-कभी कुछ घंटों तक) के लिए एक ही आउटगोइंग आईपी को बनाए रखता है, और फिर आईपी स्वचालित रूप से बदल जाता है। प्राधिकरण के साथ कार्यों के लिए सबसे उपयुक्त हैं रेसिडेंशियल प्रॉक्सी - ये घरेलू प्रदाताओं के वास्तविक आईपी प्रदान करते हैं, जो डेटा केंद्रों की काली सूचियों में नहीं होते हैं और सामान्य उपयोगकर्ता के रूप में दिखते हैं, जो बैंकिंग कैबिनेट, मार्केटप्लेस के व्यक्तिगत खातों और सोशल नेटवर्क के लिए महत्वपूर्ण है।
नियम सरल है: एक खाता = एक स्टिकी-आईपी पूरे सत्र के जीवन चक्र के लिए। यदि आपको एक साथ 50 खातों को पार्स करना है - तो आप विभिन्न आईपी के साथ 50 स्टिकी सत्र उठाते हैं, प्रत्येक अपने कुकीज़ के सेट के साथ काम करता है और दूसरों के साथ ओवरलैप नहीं करता है। यह वही सिद्धांत है जिसका उपयोग एसएमएम विशेषज्ञ एंटी-डिटेक्ट ब्राउज़रों डॉल्फिन एंटी या एड्सपावर में ग्राहकों के दर्जनों खातों का प्रबंधन करते समय करते हैं: एक ब्राउज़र प्रोफ़ाइल = एक स्थायी आईपी = अपने कुकीज़ का सेट, जो अन्य के साथ मिश्रित नहीं होता है।
योजना 2: कुकीज़ का पूल + आईपी एकल जोड़ी के रूप में
यदि कार्य को आईपी के रोटेशन की आवश्यकता है (उदाहरण के लिए, एक सत्र की दर-सीमा में नहीं फंसने के लिए),
लेकिन साथ ही कई समानांतर प्राधिकृत स्थितियों को बनाए रखना आवश्यक है - "जोड़ी पूल" योजना लागू होती है।
विचार: आप विभिन्न क्रेडेंशियल्स के तहत (या विभिन्न प्रारंभिक आईपी से) पहले से N बार लॉगिन करते हैं,
प्रत्येक सत्र के लिए कुकीज़ + आईपी + यूजर-एजेंट
का संयोजन सहेजते हैं, और प्रत्येक अगली अनुरोध पर उसी जोड़ी का उपयोग करते हैं, जिससे सत्र मूलतः बनाया गया था।
व्यवहार में यह इस तरह दिखता है: डेटाबेस या रेडिस में "सत्र आईडी → कुकीज़ → प्रॉक्सी आईपी → यूजर-एजेंट → अंतिम उपयोग का समय" जैसे तालिका संग्रहीत होती है। प्रत्येक अनुरोध से पहले, पार्सर पूल से एक मुक्त जोड़ी लेता है, उसी आईपी के माध्यम से अनुरोध करता है, प्रतिक्रिया से कुकीज़ को अपडेट करता है और उन्हें उसी रिकॉर्ड में वापस रखता है। यदि सत्र समाप्त हो गया (सर्वर ने लॉगिन पर रीडायरेक्ट लौटाया) - जोड़ी को अमान्य के रूप में चिह्नित किया जाता है, पूल से हटा दिया जाता है, और पुनः लॉगिन के माध्यम से एक नया बनाया जाता है।
यह योजना क्षैतिज रूप से अच्छी तरह से स्केल करती है: जितनी अधिक "कुकीज़ + आईपी" जोड़ी पूल में होती है, उतनी ही अधिक कुल पार्सर की थ्रूपुट बिना प्रतिबंध के। इस कार्य के लिए उपयोग करना सुविधाजनक है डेटा सेंटर प्रॉक्सी जहाँ गति गुमनामी से अधिक महत्वपूर्ण है - उदाहरण के लिए, प्राधिकरण के बाद खुले कैटलॉग की पार्सिंग में, जब स्वयं प्लेटफ़ॉर्म फिंगरप्रिंट को इतना आक्रामक रूप से नहीं देखता है, और संकीर्ण स्थान कैटलॉग के обход की गति बन जाता है।
योजना 3: एंटी-डिटेक्ट के माध्यम से फिंगरप्रिंट बाइंडिंग
तीसरी योजना तब आवश्यक होती है जब प्लेटफ़ॉर्म केवल आईपी और कुकीज़ की जांच नहीं करता है, बल्कि ब्राउज़र का पूर्ण फिंगरप्रिंट भी: कैनवास, वेबजीएल, फ़ॉन्ट, समय क्षेत्र, सिस्टम की भाषा, स्क्रीन का रिज़ॉल्यूशन। यह सोशल नेटवर्क (इंस्टाग्राम, टिकटोक, वीके) और कुछ मार्केटप्लेस के लिए सामान्य है जिनमें उन्नत एंटी-फ्रॉड है। इस मामले में, संयोजन को "आईपी + कुकीज़ + फिंगरप्रिंट" तक विस्तारित करना आवश्यक है और उन्हें एक एकल इकाई के रूप में संग्रहीत करना - अन्यथा सही आईपी और मान्य कुकीज़ के साथ भी सत्र ब्राउज़र के फिंगरप्रिंट में असंगति के कारण टूट जाएगा।
व्यवहार में, यह हेडलेस ब्राउज़रों के माध्यम से प्रबंधित फिंगरप्रिंट (प्लेव्राइट, पुपीटर के साथ स्टेल्थ प्लगइन) या एंटी-डिटेक्ट ब्राउज़रों जैसे डॉल्फिन एंटी, मल्टीलॉगिन, गो-लॉगिन या ऑक्टो ब्राउज़र के माध्यम से हल किया जाता है, जहाँ प्रत्येक प्रोफ़ाइल को अपने फिंगरप्रिंट पैरामीटर्स का एक सेट, प्रॉक्सी के माध्यम से एक स्थायी आईपी और अपने कुकीज़ का संग्रहण दिया जाता है। प्रोफ़ाइल एक बार लॉगिन करती है, और फिर बस उसी पैरामीटर्स के साथ फिर से शुरू होती है - सत्र जीवित रहता है, क्योंकि प्लेटफ़ॉर्म एक ही "डिवाइस" को एक ही आईपी पर देखता है।
सोशल नेटवर्क और मोबाइल ऐप्स की पार्सिंग के लिए एपीआई के माध्यम से इस चरण पर अक्सर मोबाइल प्रॉक्सी पर स्विच किया जाता है - ऑपरेटर आईपी के साथ CGNAT सिस्टम में संदेह कम करते हैं, जो ट्रैफ़िक की अपेक्षा करते हैं, और आईपी को आवश्यक फिंगरप्रिंट के साथ मिलाना सत्र की सर्वोत्तम स्थिरता प्रदान करता है।
योजना 4: नियंत्रित पुनः प्राधिकरण
चौथी योजना - एक सत्र को हमेशा बनाए रखने की कोशिश न करें, बल्कि आईपी बदलने पर पुनः प्राधिकरण की योजना को पहले से ही पार्सर में शामिल करें। यह सबसे श्रम-गहन, लेकिन सबसे विफलता-प्रतिरोधी विकल्प है: पुराने कुकीज़ को नए आईपी पर स्थानांतरित करने के बजाय (जो लगभग हमेशा प्रतिबंधित होने की ओर ले जाता है), पार्सर आईपी बदलने पर स्वयं एक नया लॉगिन शुरू करता है - लॉगिन/पासवर्ड दर्ज करता है (या रिफ्रेश-टोकन का उपयोग करता है), नए आईपी के तहत ताजगी कुकीज़ प्राप्त करता है और शुद्ध पृष्ठ से काम करना जारी रखता है।
यह योजना उन जगहों पर अनिवार्य है जहाँ एपीआई OAuth2 के साथ रिफ्रेश-टोकन का समर्थन करता है (कई मार्केटप्लेस और विज्ञापन कैबिनेट, जैसे Google Ads API, TikTok Ads API): आईपी बदलने पर आप बस रिफ्रेश-टोकन को नए एक्सेस-टोकन में बदलते हैं, बिना पासवर्ड फिर से दर्ज किए। यदि रिफ्रेश-टोकन नहीं है - तो पूर्ण लॉगिन-फ्लो का अनुकरण करना पड़ता है: लॉगिन पृष्ठ से CSRF-टोकन प्राप्त करना, लॉगिन/पासवर्ड भेजना, संभावित कैप्चा या 2FA पार करना, नए कुकीज़ को सहेजना।
योजना का नकारात्मक पक्ष - लॉगिन का जोखिम खुद संदिग्ध लग सकता है और खाते के प्रतिबंध को उत्तेजित कर सकता है, इसलिए इसे आमतौर पर योजना 1 के साथ संयोजित किया जाता है: आईपी शायद ही कभी बदलता है और केवल नियोजित पुनः प्राधिकरण के साथ समन्वयित होता है, न कि प्रत्येक अनुरोध पर।
4 योजनाओं की तुलना
| योजना | जटिलता | विश्वसनीयता | कब लागू करें |
|---|---|---|---|
| स्टिकी-सत्र | कम | उच्च | 1 खाता - 1 आईपी, छोटे वॉल्यूम |
| कुकीज़ का पूल + आईपी | मध्यम | मध्यम-उच्च | कई खातों के साथ बड़े पैमाने पर पार्सिंग |
| फिंगरप्रिंट-बाइंडिंग | उच्च | उच्च | सोशल नेटवर्क, उन्नत एंटी-फ्रॉड |
| पुनः प्राधिकरण | उच्च | बहुत उच्च | रिफ्रेश-टोकन के साथ एपीआई, आईपी का बार-बार रोटेशन |
कोड: सत्र + स्टिकी प्रॉक्सी पायथन में
नीचे एक बुनियादी उदाहरण है requests.Session,
जो कुकीज़ को सहेजता है और पूरे सत्र के दौरान एक ही स्टिकी प्रॉक्सी के माध्यम से काम करता है।
सत्र स्वचालित रूप से कुकीज़ को सहेजता है, और आईपी के लिए बाइंडिंग प्रॉक्सी प्रदाता के स्टिकी पोर्ट के माध्यम से
प्राप्त की जाती है, जो निर्धारित समय के भीतर सभी अनुरोधों के लिए एक ही आउटगोइंग आईपी लौटाता है।
import requests
# स्टिकी पोर्ट सत्र जीवित रहने तक एक ही आईपी को बनाए रखता है
PROXY = {
"http": "http://login:[email protected]:8000",
"https": "http://login:[email protected]:8000",
}
session = requests.Session()
session.proxies.update(PROXY)
session.headers.update({
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/124.0.0.0 Safari/537.36"
})
# लॉगिन - कुकीज़ स्वचालित रूप से session.cookies में सहेजी जाएंगी
login_payload = {"login": "[email protected]", "password": "secret"}
resp = session.post("https://example.com/login", data=login_payload)
assert resp.status_code == 200
# आगे के अनुरोध उसी कुकीज़ और उसी आईपी के साथ होते हैं
page = session.get("https://example.com/cabinet/orders")
print(page.status_code, len(page.text))
कुकीज़ + आईपी जोड़ी के पूल के साथ योजना के लिए स्थिति को रेडिस में सहेजना सुविधाजनक है - यह पार्सर को कई कार्यकर्ताओं पर स्केल करने की अनुमति देता है बिना सत्रों के ओवरलैप के:
import json
import redis
import requests
r = redis.Redis(host="localhost", port=6379, db=0)
def get_session_pair(account_id):
raw = r.get(f"session:{account_id}")
if raw:
data = json.loads(raw)
session = requests.Session()
session.cookies.update(data["cookies"])
session.proxies.update({"http": data["proxy"], "https": data["proxy"]})
return session
return None
def save_session_pair(account_id, session, proxy_url):
data = {
"cookies": session.cookies.get_dict(),
"proxy": proxy_url,
}
r.set(f"session:{account_id}", json.dumps(data), ex=3600)
फिंगरप्रिंट-बाइंडिंग के माध्यम से प्लेव्राइट के लिए एक बार लॉगिन करना और स्टोरेज_स्टेट को सहेजना पर्याप्त है - इसमें केवल कुकीज़ ही नहीं, बल्कि स्थानीय संग्रह/सत्र संग्रह भी शामिल है, जो मार्केटप्लेस और सोशल नेटवर्क के एसपीए साइटों के लिए महत्वपूर्ण है:
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(proxy={"server": "http://gate.proxycove.com:8000",
"username": "login", "password": "password"})
context = browser.new_context()
page = context.new_page()
page.goto("https://example.com/login")
page.fill("#login", "[email protected]")
page.fill("#password", "secret")
page.click("#submit")
page.wait_for_selector("#cabinet")
context.storage_state(path="session_state.json") # सत्र को पूरी तरह से सहेजें
browser.close()
# अगले लॉन्च पर - वही आईपी + वही सत्र
with sync_playwright() as p:
browser = p.chromium.launch(proxy={"server": "http://gate.proxycove.com:8000",
"username": "login", "password": "password"})
context = browser.new_context(storage_state="session_state.json")
page = context.new_page()
page.goto("https://example.com/cabinet")
आम गलतियाँ
1. एक ही प्राधिकृत सत्र के भीतर प्रत्येक अनुरोध पर आईपी का रोटेशन। यह तात्कालिक प्रतिबंधों का मुख्य कारण है - सिस्टम देखता है कि एक session_id को एक मिनट में दर्जनों विभिन्न आईपी के साथ उपयोग किया जा रहा है, और इसे स्पष्ट स्वचालन के संकेत के रूप में प्रतिबंधित करता है।
2. यूजर-एजेंट और अन्य हेडर के बिना केवल session_id को सहेजना। यदि कुकीज़ को एक यूजर-एजेंट के साथ प्राप्त किया गया था, और दूसरे के साथ उपयोग किया जाता है - यह भी एंटी-फ्रॉड के लिए ट्रिगर है, भले ही आईपी न बदला हो।
3. आईपी के भू-स्थान की अनदेखी। यदि खाता मास्को से लॉगिन करता है, और अगला अनुरोध किसी अन्य देश के आईपी से जाता है - सत्र लगभग हमेशा रीसेट हो जाएगा, कुकीज़ की वैधता की परवाह किए बिना।
4. समाप्त सत्रों की प्रक्रिया का अभाव। पार्सर को "सर्वर ने लॉगिन पृष्ठ लौटाया" और "सर्वर ने आवश्यक डेटा लौटाया" के बीच अंतर करना चाहिए और स्वचालित रूप से पुनः प्राधिकरण शुरू करना चाहिए, न कि त्रुटि के साथ गिरना चाहिए।
5. बिना बाइंडिंग के विभिन्न खातों के लिए एक ही प्रॉक्सी पूल का उपयोग करना। यदि दो विभिन्न खाते गलती से एक ही आउटगोइंग आईपी प्राप्त करते हैं, तो प्लेटफ़ॉर्म उन्हें आपस में जोड़ सकता है - यह विशेष रूप से एसएमएम एजेंसियों के लिए खतरनाक है, जो एक साथ दर्जनों ग्राहक खातों का प्रबंधन करती हैं।
लॉन्च से पहले चेकलिस्ट
- योजना का चयन किया गया है, जो प्लेटफ़ॉर्म के सुरक्षा स्तर के अनुरूप है (स्टिकी / पूल / फिंगरप्रिंट / पुनः प्राधिकरण)
- प्रत्येक खाते को सत्र के जीवनकाल के लिए स्थायी आईपी सौंपा गया है
- कुकीज़ और session_id को आईपी, यूजर-एजेंट और हेडर के साथ एक साथ सहेजा जाता है, न कि अलग-अलग
- प्रत्येक महत्वपूर्ण अनुरोध से पहले सत्र की वैधता की जांच की गई है
- सत्र टूटने की स्थिति में स्वचालित पुनः प्राधिकरण को कॉन्फ़िगर किया गया है
- प्रॉक्सी को प्लेटफ़ॉर्म के प्रकार के अनुसार चुना गया है: बैंकिंग कैबिनेट और ई-कॉमर्स के लिए रेसिडेंशियल, सोशल नेटवर्क के लिए मोबाइल, खुले अनुभागों की तेज़ पार्सिंग के लिए डेटा सेंटर
- प्रतिबंधों के विश्लेषण के लिए सभी आईपी परिवर्तन और पुनः प्राधिकरण के क्षणों को लॉग किया गया है
निष्कर्ष
मुख्य निष्कर्ष सरल है: प्राधिकरण के साथ पार्सिंग के दौरान आईपी और सत्र को समन्वयित रूप से बदलना चाहिए, न कि एक-दूसरे से स्वतंत्र रूप से। सबसे विश्वसनीय शुरुआत - स्टिकी सत्र योजना है, जहाँ एक खाता पूरे कार्यकाल के लिए एक आईपी से बंधा होता है। बड़े पैमाने पर पार्सिंग के लिए कई खातों के तहत कुकीज़ + आईपी जोड़ी का पूल उपयुक्त है, उन्नत एंटी-फ्रॉड के साथ सोशल नेटवर्क के लिए - एंटी-डिटेक्ट ब्राउज़र के माध्यम से फिंगरप्रिंट बाइंडिंग, और टोकनों के साथ एपीआई के लिए - आईपी बदलने पर नियोजित पुनः प्राधिकरण।
यदि आप केवल मार्केटप्लेस या व्यक्तिगत खातों के लिए प्राधिकरण के साथ पार्सर सेट कर रहे हैं, तो रेसिडेंशियल प्रॉक्सी के साथ स्टिकी पोर्ट से शुरू करें - वे आवश्यक समय पर स्थिर आईपी और सत्र के प्रतिबंध का न्यूनतम जोखिम प्रदान करते हैं। प्राधिकृत एपीआई के माध्यम से सोशल नेटवर्क की पार्सिंग के लिए मोबाइल आईपी पर ध्यान दें, और लॉगिन के बाद खुले कैटलॉग के तेज़ обход के लिए डेटा सेंटर प्रॉक्सी पर ध्यान दें, जो ऊपर पाठ में वर्णित हैं।