← بازگشت به وبلاگ

پارسینگ با احراز هویت: ۴ روش کاربردی برای ذخیره کوکی و سشن هنگام تغییر IP

چهار روش اثبات‌شده برای حفظ جلسه مجاز هنگام تغییر آدرس IP در حین پارس کردن را بررسی می‌کنیم - همراه با کد پایتون و تحلیل اشتباهات رایج.

📅۲۷ مهر ۱۴۰۵

اگر تجزیه‌گر تحت حساب احراز شده کار کند، تغییر IP تقریباً همیشه به معنای خروج فوری، کپچا یا مسدود شدن جلسه است. پلتفرم عدم تطابق «اثر انگشت» اتصال و جلسه از دست رفته را مشاهده می‌کند و کوکی‌ها را حذف می‌کند. در این مقاله 4 طرح معتبر را بررسی خواهیم کرد که به شما امکان می‌دهد IP را تغییر دهید و در عین حال احراز هویت را از دست ندهید، به علاوه کد کاری در Python.

چرا جلسه هنگام تغییر IP از دست می‌رود

جلسه احراز شده فقط کوکی با session_id نیست. پلتفرم‌های مدرن (بازارها، شبکه‌های اجتماعی، حساب‌های بانکی) جلسه را به مجموعه‌ای از پارامترها متصل می‌کنند: آدرس IP، User-Agent، اثر انگشت TLS، موقعیت جغرافیایی بر اساس IP، و گاهی اوقات به اثر انگشت Canvas/WebGL مرورگر. به محض اینکه یکی از این پارامترها به طور ناگهانی تغییر کند — به عنوان مثال، IP از مرکز داده مسکو به IP کشور دیگری تغییر کند — سیستم ضد تقلب این رفتار را مشکوک می‌داند و جلسه را صفر می‌کند و از کاربر می‌خواهد دوباره وارد شود یا کپچا را نشان می‌دهد.

این موضوع به ویژه برای وظایفی که تجزیه و تحلیل از حساب احراز شده انجام می‌شود، بحرانی است: جمع‌آوری قیمت‌ها در Wildberries از طریق حساب کاربری فروشنده، نظارت بر رقبای Ozon با احراز هویت، تجزیه و تحلیل بخش‌های بسته Avito، جمع‌آوری داده‌ها از Instagram یا VK از طریق API با توکن. در هر یک از این موارد، پیوند «حساب + IP + کوکی‌ها» باید در طول کل جلسه ثابت بماند و نه اینکه در هر درخواست تغییر کند، همانطور که معمولاً در تجزیه و تحلیل عادی بدون احراز هویت انجام می‌شود.

از اینجا قاعده اصلی نتیجه می‌شود: چرخش IP در حین تجزیه و تحلیل احراز شده باید مدیریت شده باشد و نه تصادفی. در زیر چهار طرح وجود دارد که این مشکل را با تعادل متفاوتی از پیچیدگی و قابلیت اطمینان حل می‌کند.

طرح 1: جلسات چسبنده (پیوند IP به حساب)

ساده‌ترین و در عین حال قابل اعتمادترین طرح — پیوند یک IP ثابت به یک حساب یا یک جلسه در طول دوره کار (از چند دقیقه تا چند ساعت) و تغییر IP فقط زمانی که جلسه به طور طبیعی به پایان می‌رسد (خروج، انقضای توکن، تغییر برنامه‌ریزی شده حساب).

از نظر فنی، این از طریق پورت چسبنده در ارائه‌دهنده پروکسی پیاده‌سازی می‌شود: شما یک endpoint دریافت می‌کنید که یک IP خروجی ثابت را در طول زمان مشخصی (معمولاً از 1 تا 30 دقیقه، گاهی تا چند ساعت) نگه می‌دارد و سپس IP به طور خودکار تغییر می‌کند. برای وظایف با احراز هویت، بهترین گزینه‌ها پروکسی‌های مسکونی هستند — آنها IP‌های واقعی ارائه‌دهندگان خانگی را ارائه می‌دهند که در لیست سیاه مراکز داده نیستند و به عنوان کاربر عادی به نظر می‌رسند، که برای حساب‌های بانکی، حساب‌های شخصی بازارها و شبکه‌های اجتماعی بحرانی است.

قاعده ساده است: یک حساب = یک IP چسبنده در طول چرخه زندگی جلسه. اگر نیاز به تجزیه و تحلیل 50 حساب به طور همزمان دارید — 50 جلسه چسبنده با IP‌های مختلف راه‌اندازی می‌کنید، هر کدام با مجموعه کوکی‌های خود کار می‌کند و با دیگران تداخل ندارد. این همان اصولی است که متخصصان SMM در مرورگرهای ضد شناسایی Dolphin Anty یا AdsPower هنگام مدیریت ده‌ها حساب مشتری استفاده می‌کنند: یک پروفایل مرورگر = یک IP ثابت = مجموعه کوکی‌های خود که با دیگران مخلوط نمی‌شود.

اگر وظیفه نیاز به چرخش IP داشته باشد (به عنوان مثال، برای جلوگیری از برخورد با محدودیت نرخ یک جلسه)، اما در عین حال نیاز به حفظ چندین وضعیت احراز شده موازی باشد — طرح «استخر جفت‌ها» اعمال می‌شود. ایده: شما به طور پیش‌فرض N بار با اطلاعات حساب مختلف (یا از IP‌های شروع مختلف) وارد می‌شوید، برای هر جلسه پیوند کوکی‌ها + IP + User-Agent را ذخیره می‌کنید و در هر درخواست بعدی از همان جفت استفاده می‌کنید که جلسه در ابتدا ایجاد شده است.

در عمل، این به این صورت است: در پایگاه داده یا در Redis، جدولی از نوع "id جلسه → کوکی‌ها → IP پروکسی → User-Agent → زمان آخرین استفاده" ذخیره می‌شود. قبل از هر درخواست، تجزیه‌گر یک جفت آزاد از استخر می‌گیرد، درخواست را دقیقاً از طریق IP مربوطه انجام می‌دهد، کوکی‌ها را از پاسخ به‌روزرسانی می‌کند و آنها را دوباره در همان ورودی قرار می‌دهد. اگر جلسه منقضی شده باشد (سرور یک تغییر مسیر به صفحه ورود را برمی‌گرداند) — جفت به عنوان نامعتبر علامت‌گذاری می‌شود، از استخر حذف می‌شود و یک جفت جدید از طریق ورود مجدد ایجاد می‌شود.

این طرح به خوبی به صورت افقی مقیاس‌پذیر است: هرچه تعداد جفت‌های «کوکی‌ها + IP» در استخر بیشتر باشد، ظرفیت کلی تجزیه‌گر بدون خطر مسدود شدن بالاتر است. برای این وظیفه، استفاده از پروکسی‌های مراکز داده در جایی که سرعت مهم‌تر از ناشناس بودن است، مناسب است — به عنوان مثال، هنگام تجزیه و تحلیل فهرست‌های عمومی پس از احراز هویت، زمانی که خود پلتفرم به اندازه کافی به اثر انگشت توجه نمی‌کند و گلوگاه سرعت مرور فهرست می‌شود.

طرح 3: پیوند اثر انگشت از طریق ضد شناسایی

طرح سوم زمانی نیاز است که پلتفرم نه تنها IP و کوکی‌ها، بلکه اثر انگشت کامل مرورگر را نیز بررسی کند: Canvas، WebGL، فونت‌ها، منطقه زمانی، زبان سیستم، وضوح صفحه نمایش. این موضوع به طور معمول برای شبکه‌های اجتماعی (Instagram، TikTok، VK) و برخی از بازارها با ضد تقلب پیشرفته است. در این حالت، پیوند باید به «IP + کوکی‌ها + اثر انگشت» گسترش یابد و آنها را به عنوان یک کل ذخیره کند — در غیر این صورت، حتی با IP صحیح و کوکی‌های معتبر، جلسه به دلیل عدم تطابق اثر انگشت مرورگر از دست می‌رود.

در عمل، این از طریق مرورگرهای بدون سر (headless) با اثر انگشت قابل مدیریت (Playwright، Puppeteer با افزونه stealth) یا از طریق مرورگرهای ضد شناسایی مانند Dolphin Anty، Multilogin، GoLogin یا Octo Browser حل می‌شود، جایی که به هر پروفایل مجموعه‌ای از پارامترهای اثر انگشت اختصاص داده می‌شود، یک IP ثابت از طریق ادغام داخلی پروکسی و یک ذخیره‌سازی کوکی اختصاصی. پروفایل یک بار وارد می‌شود و سپس فقط با همان پارامترها دوباره راه‌اندازی می‌شود — جلسه ادامه می‌یابد، زیرا پلتفرم همان «دستگاه» را در همان IP می‌بیند.

برای تجزیه و تحلیل شبکه‌های اجتماعی و برنامه‌های موبایل از طریق API، در این مرحله معمولاً به پروکسی‌های موبایل منتقل می‌شوند — IP‌های اپراتوری با CGNAT کمتر مشکوک به نظر می‌رسند و ترکیب IP با اثر انگشت مورد نیاز بهترین پایداری جلسه را فراهم می‌کند.

طرح 4: احراز هویت مجدد کنترل شده

طرح چهارم — تلاش نکردن برای حفظ یک جلسه به طور نامحدود، بلکه از قبل منطق احراز هویت مجدد برنامه‌ریزی شده را هنگام تغییر IP در تجزیه‌گر گنجاندن. این گزینه پرهزینه‌ترین، اما مقاوم‌ترین است: به جای اینکه کوکی‌های قدیمی را به IP جدید منتقل کنید (که تقریباً همیشه منجر به مسدود شدن می‌شود)، تجزیه‌گر هنگام تغییر IP به طور خودکار یک ورود جدید را آغاز می‌کند — نام کاربری/رمز عبور را وارد می‌کند (یا از refresh-token استفاده می‌کند)، کوکی‌های جدید را تحت IP جدید دریافت می‌کند و کار را از نو شروع می‌کند.

این طرح در جایی که API از OAuth2 با refresh-token پشتیبانی می‌کند (بسیاری از بازارها و حساب‌های تبلیغاتی، به عنوان مثال Google Ads API، TikTok Ads API) الزامی است: هنگام تغییر IP، شما فقط refresh-token را با access-token جدید تعویض می‌کنید، بدون نیاز به وارد کردن دوباره رمز عبور. اگر refresh-token وجود نداشته باشد — باید یک جریان ورود کامل را شبیه‌سازی کنید: دریافت CSRF-token از صفحه ورود، ارسال نام کاربری/رمز عبور، عبور از کپچا یا 2FA، و ذخیره کوکی‌های جدید.

نقطه ضعف این طرح — خطر ورودهای مکرر ممکن است خود به طور مشکوکی به نظر برسد و منجر به مسدود شدن حساب شود، بنابراین معمولاً با طرح 1 ترکیب می‌شود: IP به ندرت تغییر می‌کند و فقط به صورت همزمان با احراز هویت مجدد برنامه‌ریزی شده، و نه در هر درخواست.

مقایسه 4 طرح

طرح پیچیدگی قابلیت اطمینان کی زمانی استفاده شود
جلسات چسبنده پایین بالا 1 حساب — 1 IP، حجم‌های کوچک
استخر کوکی‌ها + IP متوسط متوسط-بالا تجزیه و تحلیل انبوه با چندین حساب
پیوند اثر انگشت بالا بالا شبکه‌های اجتماعی، ضد تقلب پیشرفته
احراز هویت مجدد بالا بسیار بالا API با refresh-token، چرخش مکرر IP

کد: جلسه + پروکسی چسبنده در Python

در زیر یک مثال پایه‌ای از requests.Session وجود دارد که کوکی‌ها را ذخیره می‌کند و از طریق یک پروکسی چسبنده ثابت در طول کل جلسه کار می‌کند. جلسه به طور خودکار کوکی‌ها را ذخیره می‌کند و پیوند به IP از طریق پورت چسبنده ارائه‌دهنده پروکسی حاصل می‌شود که یک IP خروجی ثابت را برای تمام درخواست‌ها در چارچوب یک پنجره زمانی مشخص برمی‌گرداند.

import requests

# پورت چسبنده یک IP ثابت را در حالی که جلسه زنده است نگه می‌دارد
PROXY = {
    "http": "http://login:[email protected]:8000",
    "https": "http://login:[email protected]:8000",
}

session = requests.Session()
session.proxies.update(PROXY)
session.headers.update({
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/124.0.0.0 Safari/537.36"
})

# ورود — کوکی‌ها به طور خودکار در session.cookies ذخیره می‌شوند
login_payload = {"login": "[email protected]", "password": "secret"}
resp = session.post("https://example.com/login", data=login_payload)
assert resp.status_code == 200

# درخواست‌های بعدی با همان کوکی‌ها و همان IP انجام می‌شوند
page = session.get("https://example.com/cabinet/orders")
print(page.status_code, len(page.text))

برای طرح با استخر جفت‌های کوکی‌ها + IP، راحت است که وضعیت را در Redis ذخیره کنید — این امکان را می‌دهد که تجزیه‌گر را بر روی چندین کارگر بدون تداخل جلسات مقیاس‌پذیر کنید:

import json
import redis
import requests

r = redis.Redis(host="localhost", port=6379, db=0)

def get_session_pair(account_id):
    raw = r.get(f"session:{account_id}")
    if raw:
        data = json.loads(raw)
        session = requests.Session()
        session.cookies.update(data["cookies"])
        session.proxies.update({"http": data["proxy"], "https": data["proxy"]})
        return session
    return None

def save_session_pair(account_id, session, proxy_url):
    data = {
        "cookies": session.cookies.get_dict(),
        "proxy": proxy_url,
    }
    r.set(f"session:{account_id}", json.dumps(data), ex=3600)

برای گزینه با پیوند اثر انگشت از طریق Playwright، کافی است یک بار وارد شوید و storage_state را ذخیره کنید — این شامل نه تنها کوکی‌ها، بلکه localStorage/sessionStorage نیز می‌شود که برای سایت‌های SPA بازارها و شبکه‌های اجتماعی بحرانی است:

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(proxy={"server": "http://gate.proxycove.com:8000",
                                        "username": "login", "password": "password"})
    context = browser.new_context()
    page = context.new_page()
    page.goto("https://example.com/login")
    page.fill("#login", "[email protected]")
    page.fill("#password", "secret")
    page.click("#submit")
    page.wait_for_selector("#cabinet")

    context.storage_state(path="session_state.json")  # ذخیره جلسه به طور کامل
    browser.close()

# در راه‌اندازی بعدی — همان IP + همان جلسه
with sync_playwright() as p:
    browser = p.chromium.launch(proxy={"server": "http://gate.proxycove.com:8000",
                                        "username": "login", "password": "password"})
    context = browser.new_context(storage_state="session_state.json")
    page = context.new_page()
    page.goto("https://example.com/cabinet")

اشتباهات رایج

1. چرخش IP در هر درخواست درون یک جلسه احراز شده. این اصلی‌ترین دلیل مسدود شدن‌های فوری است — سیستم می‌بیند که یک session_id با ده‌ها IP مختلف در یک دقیقه استفاده می‌شود و آن را به عنوان نشانه‌ای واضح از اتوماسیون مسدود می‌کند.

2. ذخیره فقط session_id بدون User-Agent و سایر هدرها. اگر کوکی‌ها با یک User-Agent به دست آمده باشند و با دیگری استفاده شوند — این نیز یک محرک برای ضد تقلب است، حتی اگر IP تغییر نکرده باشد.

3. نادیده گرفتن موقعیت جغرافیایی IP. اگر حساب از مسکو وارد شده باشد و درخواست بعدی از IP کشور دیگری ارسال شود — جلسه تقریباً همیشه از دست خواهد رفت، صرف نظر از اعتبار کوکی‌ها.

4. عدم پردازش جلسات منقضی شده. تجزیه‌گر باید بتواند "سرور صفحه ورود را برگرداند" را از "سرور داده‌های مورد نیاز را برگرداند" تشخیص دهد و به طور خودکار احراز هویت مجدد را آغاز کند، نه اینکه با خطا سقوط کند.

5. استفاده از یک استخر پروکسی یکسان برای حساب‌های مختلف بدون پیوند. اگر دو حساب مختلف به طور تصادفی یک IP خروجی یکسان دریافت کنند، پلتفرم ممکن است آنها را به یکدیگر مرتبط کند — این به ویژه برای آژانس‌های SMM که ده‌ها حساب مشتری را به طور همزمان مدیریت می‌کنند، خطرناک است.

چک لیست قبل از راه اندازی تجزیه‌گر با احراز هویت

  • طرحی انتخاب شده است که با سطح امنیت پلتفرم مطابقت دارد (چسبنده / استخر / اثر انگشت / احراز هویت مجدد)
  • به هر حساب یک IP ثابت در طول عمر جلسه اختصاص داده شده است
  • کوکی‌ها و session_id به همراه IP، User-Agent و هدرها ذخیره می‌شوند، نه به صورت جداگانه
  • بررسی اعتبار جلسه قبل از هر درخواست مهم پیاده‌سازی شده است
  • احراز هویت مجدد خودکار در صورت شناسایی جلسه از دست رفته تنظیم شده است
  • پروکسی‌ها با نوع پلتفرم مطابقت دارند: مسکونی برای حساب‌های بانکی و تجارت الکترونیک، موبایل برای شبکه‌های اجتماعی، مراکز داده برای تجزیه و تحلیل سریع بخش‌های عمومی
  • تمام تغییرات IP و لحظات احراز هویت مجدد برای تجزیه و تحلیل مسدود شدن‌ها ثبت می‌شوند

نتیجه‌گیری

نتیجه اصلی ساده است: هنگام تجزیه و تحلیل با احراز هویت، IP و جلسه باید به طور همزمان تغییر کنند و نه به صورت مستقل از یکدیگر. مطمئن‌ترین شروع — طرح جلسات چسبنده است، جایی که یک حساب به یک IP در طول دوره کار متصل است. برای تجزیه و تحلیل انبوه تحت چندین حساب، استخر جفت‌های کوکی‌ها + IP مناسب است، برای شبکه‌های اجتماعی با ضد تقلب پیشرفته — پیوند اثر انگشت از طریق مرورگر ضد شناسایی، و برای API با توکن‌ها — احراز هویت مجدد برنامه‌ریزی شده هنگام تغییر IP.

اگر شما فقط در حال تنظیم تجزیه‌گر با احراز هویت برای بازارها یا حساب‌های شخصی هستید، با پروکسی‌های مسکونی با پورت چسبنده شروع کنید — آنها IP ثابتی را برای زمان مورد نیاز و حداقل خطر مسدود شدن جلسه فراهم می‌کنند. برای تجزیه و تحلیل شبکه‌های اجتماعی از طریق API‌های احراز شده، بهتر است به IP‌های موبایل توجه کنید، و برای عبور سریع از فهرست‌های عمومی پس از ورود — به پروکسی‌های مراکز داده که در متن بالا توضیح داده شده‌اند.