← 返回博客

带认证的爬虫:4种在更换IP时保存Cookie和会话的有效方案

我们分析了4种在解析过程中更改IP地址时保持授权会话的有效方案,包括Python代码和常见错误的解析。

📅2026年10月19日

如果解析器在授权账户下工作,更换IP几乎总是意味着立即登出、验证码或会话被封禁。平台会检测到连接的“指纹”不匹配和会话失效——并重置cookie。本文将探讨4种经过验证的方案,这些方案允许更换IP而不丢失授权,同时提供Python代码示例。

为什么会话在更换IP时失效

授权会话不仅仅是带有session_id的cookie。现代平台(市场、社交网络、银行账户)将会话绑定到一整套参数:IP地址、User-Agent、TLS指纹、基于IP的地理位置,有时还包括浏览器的Canvas/WebGL指纹。一旦这些参数中的任何一个突然变化——例如,IP从莫斯科的数据中心跳到其他国家的IP——反欺诈系统会认为这是可疑行为并重置会话,要求重新登录或显示验证码。

这对于从授权账户进行解析的任务尤其关键:通过卖家个人账户在Wildberries上收集价格、在Ozon上监控竞争对手、解析Avito的封闭部分、通过API和令牌从Instagram或VK收集数据。在每种情况下,“账户 + IP + cookies”的组合必须在整个会话期间保持稳定,而不是在每个请求中变化,就像在没有授权的普通解析中那样。

因此,主要规则是:在授权解析中,IP的轮换必须是可控的,而不是随机的。以下是四种方案,它们以不同的复杂性和可靠性解决这个问题。

方案1:粘性会话(将IP绑定到账户)

最简单且最可靠的方案是将同一个IP固定在一个账户或一个会话上,持续整个工作周期(从几分钟到几小时),并仅在会话自然结束时(登出、令牌过期、计划更换账户)更换IP。

从技术上讲,这是通过代理提供商的粘性端口实现的:您获得一个端点,在指定时间内保持相同的出站IP(通常从1到30分钟,有时长达几小时),然后IP会自动更换。对于授权任务,最适合使用住宅代理——它们提供真实的家庭提供商的IP,这些IP不在数据中心的黑名单上,并且看起来像普通用户,这对于银行账户、市场个人账户和社交网络至关重要。

规则很简单:一个账户 = 一个粘性IP在整个会话生命周期内。如果需要同时解析50个账户——则启动50个粘性会话,每个会话使用不同的IP,每个会话使用自己的cookie集,并且不与其他会话重叠。这与SMM专家在反检测浏览器Dolphin Anty或AdsPower中管理数十个客户账户时使用的原则相同:一个浏览器配置文件 = 一个固定IP = 自己的cookie集,不与其他配置文件混合。

如果任务确实需要IP的轮换(例如,为了不在单个会话的速率限制中受阻),但同时需要保持多个并行的授权状态——则使用“对池”方案。其理念是:您提前使用不同的凭据(或从不同的起始IP)登录N次,为每个会话保存组合cookies + IP + User-Agent,并在每个后续请求中使用最初创建会话时的那一对。

在实践中,这样的操作方式是:在数据库或Redis中存储“会话ID → cookies → 代理IP → User-Agent → 最后使用时间”的表格。在每个请求之前,解析器从池中获取一个可用的对,通过绑定的IP发起请求,更新响应中的cookies,并将其放回同一条记录中。如果会话过期(服务器返回登录页面的重定向)——该对被标记为无效,从池中删除,并通过重新登录创建一个新对。

这种方案在水平上扩展良好:池中“cookies + IP”的对越多,解析器的总带宽就越高,而不必担心被封禁。对于这个任务,方便使用数据中心代理,在速度比匿名性更重要的地方——例如,在授权后解析开放目录时,平台本身并不那么积极地检测指纹,而瓶颈在于目录的遍历速度。

方案3:通过反检测的指纹绑定

第三种方案在平台不仅检查IP和cookies,还检查完整的浏览器指纹时需要:Canvas、WebGL、字体、时区、系统语言、屏幕分辨率。这在社交网络(Instagram、TikTok、VK)和某些具有高级反欺诈的市场中是典型的。在这种情况下,需要将组合扩展到“IP + cookies + 指纹”,并将其作为一个整体存储——否则即使IP正确且cookies有效,浏览器指纹不匹配也会导致会话失效。

在实践中,这可以通过具有可控指纹的无头浏览器(Playwright、Puppeteer与隐身插件)或通过反检测浏览器如Dolphin Anty、Multilogin、GoLogin或Octo Browser来解决,其中每个配置文件都有自己的指纹参数集、通过内置代理集成的固定IP和自己的cookie存储。配置文件登录一次,然后只需使用相同的参数重新启动——会话继续存在,因为平台看到的是同一“设备”在同一IP上。

对于通过API解析社交网络和移动应用程序,在此阶段通常会转向移动代理——运营商的IP与CGNAT更少引起系统的怀疑,这些系统期望流量来自移动网络,并且将IP与所需的指纹结合起来可以提供最佳的会话稳定性。

方案4:受控的重新授权

第四种方案是不要试图永远保持一个会话,而是提前在解析器中嵌入在更换IP时的计划重新授权逻辑。这是最耗费精力但也是最具容错性的选项:解析器在更换IP时主动发起新的登录——输入用户名/密码(或使用refresh-token),在新的IP下获取新的cookies,并从头开始继续工作。

这种方案在API支持OAuth2和refresh-token的情况下是必需的(许多市场和广告账户,例如Google Ads API、TikTok Ads API):在更换IP时,您只需将refresh-token交换为新的access-token,而无需重新输入密码。如果没有refresh-token——则需要模拟完整的登录流程:获取登录页面的CSRF-token,发送用户名/密码,经过可能的验证码或双因素认证,保存新的cookies。

该方案的缺点是频繁登录的风险可能本身看起来可疑,并引发账户封锁,因此通常与方案1结合使用:IP很少更换,并且仅在计划重新授权时同步更换,而不是在每个请求时。

4种方案比较

方案 复杂性 可靠性 何时应用
粘性会话 低 高 1个账户 — 1个IP,小规模
cookie池 + IP 中等 中高 大规模解析,多个账户
指纹绑定 高 高 社交网络,高级反欺诈
重新授权 高 非常高 支持refresh-token的API,频繁的IP轮换

代码:session + Python中的粘性代理

以下是一个基于requests.Session的基本示例,它保存cookies并在整个会话期间通过同一个粘性代理工作。会话会自动保存cookies,而IP的绑定是通过代理提供商的粘性端口实现的,该端口在指定时间窗口内返回相同的出站IP。

import requests

# 粘性端口在会话存活期间保持相同的IP
PROXY = {
    "http": "http://login:[email protected]:8000",
    "https": "http://login:[email protected]:8000",
}

session = requests.Session()
session.proxies.update(PROXY)
session.headers.update({
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/124.0.0.0 Safari/537.36"
})

# 登录 — cookies会自动保存在session.cookies中
login_payload = {"login": "[email protected]", "password": "secret"}
resp = session.post("https://example.com/login", data=login_payload)
assert resp.status_code == 200

# 后续请求使用相同的cookies和相同的IP
page = session.get("https://example.com/cabinet/orders")
print(page.status_code, len(page.text))

对于cookie + IP对池的方案,方便将状态存储在Redis中——这允许将解析器扩展到多个工作者而不交叉会话:

import json
import redis
import requests

r = redis.Redis(host="localhost", port=6379, db=0)

def get_session_pair(account_id):
    raw = r.get(f"session:{account_id}")
    if raw:
        data = json.loads(raw)
        session = requests.Session()
        session.cookies.update(data["cookies"])
        session.proxies.update({"http": data["proxy"], "https": data["proxy"]})
        return session
    return None

def save_session_pair(account_id, session, proxy_url):
    data = {
        "cookies": session.cookies.get_dict(),
        "proxy": proxy_url,
    }
    r.set(f"session:{account_id}", json.dumps(data), ex=3600)

对于通过Playwright进行指纹绑定的方案,只需登录一次并保存storage_state——它不仅包括cookies,还包括localStorage/sessionStorage,这对于市场和社交网络的SPA网站至关重要:

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(proxy={"server": "http://gate.proxycove.com:8000",
                                        "username": "login", "password": "password"})
    context = browser.new_context()
    page = context.new_page()
    page.goto("https://example.com/login")
    page.fill("#login", "[email protected]")
    page.fill("#password", "secret")
    page.click("#submit")
    page.wait_for_selector("#cabinet")

    context.storage_state(path="session_state.json")  # 保存整个会话
    browser.close()

# 在下次启动时 — 相同的IP + 相同的会话
with sync_playwright() as p:
    browser = p.chromium.launch(proxy={"server": "http://gate.proxycove.com:8000",
                                        "username": "login", "password": "password"})
    context = browser.new_context(storage_state="session_state.json")
    page = context.new_page()
    page.goto("https://example.com/cabinet")

常见错误

1. 在同一授权会话内每个请求都更换IP。 这是导致即时封禁的主要原因——系统会看到一个session_id在一分钟内使用了十几个不同的IP,并将其封锁,作为自动化的明显迹象。

2. 仅保存session_id而不保存User-Agent和其他头部。 如果cookies是用一个User-Agent获取的,而用另一个User-Agent使用——这也是反欺诈的触发器,即使IP没有变化。

3. 忽略IP的地理位置。 如果账户是从莫斯科登录的,而下一个请求是从其他国家的IP发出的——会话几乎总会被重置,无论cookies的有效性如何。

4. 未处理过期的会话。 解析器必须能够区分“服务器返回登录页面”和“服务器返回所需数据”,并自动启动重新授权,而不是因错误而崩溃。

5. 在不同账户之间使用相同的代理池而不进行绑定。 如果两个不同的账户意外获得相同的出站IP,平台可能会将它们关联起来——这对同时管理数十个客户账户的SMM代理机构尤其危险。

启动前检查清单

  • 选择与平台保护级别相匹配的方案(粘性/池/指纹/重新授权)
  • 为每个账户分配一个在会话生命周期内固定的IP
  • cookies和session_id与IP、User-Agent和头部一起保存,而不是单独保存
  • 在每个重要请求之前实现会话有效性检查
  • 在检测到会话失效时设置自动重新授权
  • 根据平台类型选择代理:银行账户和电子商务使用住宅代理,社交网络使用移动代理,快速解析开放部分使用数据中心代理
  • 记录所有IP更换和重新授权的时刻以分析封禁情况

结论

主要结论很简单:在带授权的解析中,IP和会话必须同步更换,而不是彼此独立。最可靠的起点是粘性会话方案,其中一个账户在整个工作期间固定在一个IP上。对于多个账户的大规模解析,cookie + IP对池方案适用,对于具有高级反欺诈的社交网络,指纹绑定通过反检测浏览器适用,而对于支持令牌的API,则在更换IP时进行计划重新授权。

如果您只是为市场或个人账户设置带授权的解析器,请从住宅代理开始,使用粘性端口——它们提供所需时间内的稳定IP,并且会话被封禁的风险最低。对于通过授权API解析社交网络,最好考虑移动IP,而对于在登录后快速遍历开放目录的高速度解析,则使用上述描述的数据中心代理。