如何通过代理修复cookies问题

Cookies是通过代理工作时最常见的错误来源。会话中断、授权失败、数据丢失。在本文中，我们将了解为什么会发生这种情况，以及如何正确配置cookies处理以确保稳定工作。

为什么使用代理时cookies会丢失

当您通过代理发送请求时，您的客户端和目标服务器之间会出现一个中间节点。这会产生几个问题：

• 同一会话的不同IP地址。服务器可能会注意到请求来自不同的地址，并将cookies作为可疑内容拒绝。
• Set-Cookie头丢失。代理配置不当可能无法将Set-Cookie头传递给客户端。
• 域和路径不匹配。如果代理重写Host头，由于域不匹配，cookies可能无法保存。
• 缺少状态保存。如果您单独发送每个请求而不保存cookies，会话将丢失。

什么是cookie jar以及如何使用它

Cookie jar是一个存储库，可以自动管理cookies的发送和接收。您无需在每个请求中手动添加Cookie头，而是让库自动执行此操作。

大多数HTTP客户端都内置了cookie jar支持：

import requests
from requests.cookies import RequestsCookieJar

# 创建jar来存储cookies
jar = RequestsCookieJar()

# 第一个请求 — 服务器将发送Set-Cookie
response1 = requests.get(
    'https://example.com/login',
    cookies=jar,
    proxies={'https': 'http://proxy.example.com:8080'}
)

# Cookies自动保存在jar中
print(jar)

# 第二个请求 — cookies将自动发送
response2 = requests.get(
    'https://example.com/dashboard',
    cookies=jar,
    proxies={'https': 'http://proxy.example.com:8080'}
)

没有jar，您必须手动解析Set-Cookie并将其添加到下一个请求中——这既不可靠又很繁琐。

在请求之间保存cookies

如果您的脚本运行时间较长或需要在重新启动后恢复会话，请将cookies保存到文件：

import requests
from http.cookiejar import LWPCookieJar

# 创建jar并保存到文件
jar = LWPCookieJar('cookies.txt')

# 如果存在旧cookies则加载
try:
    jar.load(ignore_discard=True, ignore_expires=True)
except FileNotFoundError:
    pass

# 在请求中使用jar
response = requests.get(
    'https://example.com/login',
    cookies=jar,
    proxies={'https': 'http://proxy.example.com:8080'}
)

# 保存更新的cookies
jar.save(ignore_discard=True, ignore_expires=True)

标志ignore_discard=True和ignore_expires=True允许保存临时cookies。

Cookies域名绑定问题

Cookies具有Domain属性，该属性确定将为哪些域发送它们。如果出现以下情况，会出现问题：

• 代理重写Host。如果代理更改Host头，cookie jar可能会拒绝该cookie，因为它属于另一个域。
• 子域不匹配。example.com的cookie可能不会发送到api.example.com。
• 路径不匹配。/api的cookie不会发送到/admin。

像这样检查cookie属性：

import requests

response = requests.get(
    'https://example.com',
    proxies={'https': 'http://proxy.example.com:8080'}
)

# 输出所有cookies
for cookie in response.cookies:
    print(f"Name: {cookie.name}")
    print(f"Value: {cookie.value}")
    print(f"Domain: {cookie.domain}")
    print(f"Path: {cookie.path}")
    print(f"Secure: {cookie.secure}")
    print(f"HttpOnly: {cookie.has_nonstandard_attr('HttpOnly')}")
    print("---")

如果Domain太窄，请尝试显式指定cookies而不是自动管理：

headers = {
    'Cookie': 'session_id=abc123; user_token=xyz789'
}

response = requests.get(
    'https://example.com/api',
    headers=headers,
    proxies={'https': 'http://proxy.example.com:8080'}
)

Secure和HttpOnly标志

Secure标志意味着cookie仅通过HTTPS发送。如果您使用HTTP代理访问HTTPS资源，请确保到代理的连接受到保护，或者代理正确地代理HTTPS。

HttpOnly标志禁止从JavaScript访问cookie。这不会影响在请求中发送cookie，但重要的是要记住您无法从浏览器读取此类cookies。

使用住宅代理时，请确保：

• 代理支持HTTPS（CONNECT方法）
• 证书有效（在生产环境中不要使用verify=False）
• 代理不重写头

带代码的实际示例

示例1：登录并保存会话

import requests
from requests.cookies import RequestsCookieJar

jar = RequestsCookieJar()
proxy = 'http://proxy.example.com:8080'

# 登录
login_response = requests.post(
    'https://example.com/login',
    data={'username': 'user', 'password': 'pass'},
    cookies=jar,
    proxies={'https': proxy}
)

if login_response.status_code == 200:
    print("登录成功")
    
    # 使用保存的会话
    dashboard = requests.get(
        'https://example.com/dashboard',
        cookies=jar,
        proxies={'https': proxy}
    )
    print(dashboard.text)

示例2：处理多个请求

import requests
from http.cookiejar import LWPCookieJar
import time

jar = LWPCookieJar('session.txt')
try:
    jar.load(ignore_discard=True)
except:
    pass

proxy = 'http://proxy.example.com:8080'
urls = [
    'https://example.com/page1',
    'https://example.com/page2',
    'https://example.com/page3'
]

for url in urls:
    response = requests.get(
        url,
        cookies=jar,
        proxies={'https': proxy},
        timeout=10
    )
    print(f"{url}: {response.status_code}")
    jar.save(ignore_discard=True)
    time.sleep(1)  # 不要过度加载服务器

示例3：出现问题时显式传递cookies

import requests

proxy = 'http://proxy.example.com:8080'

# 如果自动管理不起作用
cookies_dict = {
    'session_id': 'abc123def456',
    'user_pref': 'dark_mode'
}

headers = {
    'User-Agent': 'Mozilla/5.0...',
    'Cookie': '; '.join([f"{k}={v}" for k, v in cookies_dict.items()])
}

response = requests.get(
    'https://example.com/api/data',
    headers=headers,
    proxies={'https': proxy}
)

print(response.json())

调试cookies问题

如果cookies不起作用，请使用这些工具：

启用日志记录进行调试：

import logging
import requests

logging.basicConfig(level=logging.DEBUG)

# 现在所有请求都将输出头和cookies
response = requests.get(
    'https://example.com',
    proxies={'https': 'http://proxy.example.com:8080'}
)

检查代理是否阻止cookies：

curl -v -x http://proxy.example.com:8080 https://example.com

# 查看头：
# Set-Cookie: ... (应该存在)
# Cookie: ... (应该在下一个请求中发送)

总结

通过代理工作时的cookies问题可以通过正确的配置来解决：

• 使用cookie jar自动管理cookies
• 保存cookies到文件以在请求之间保持
• 检查域绑定和Path属性
• 确保代理支持HTTPS
• 使用调试来识别问题

对于需要通过代理可靠处理会话的自动化和解析任务，住宅代理支持HTTPS和cookies管理是理想选择。从简单的cookie jar开始，只有在需要时才转向更复杂的方案。