Как исправить проблемы с cookies через прокси

Cookies — это один из самых частых источников ошибок при работе с прокси. Сессии разрываются, авторизация сбивается, данные теряются. В этой статье разберёмся, почему это происходит и как правильно настроить обработку cookies для стабильной работы.

Почему cookies теряются при использовании прокси

Когда вы отправляете запрос через прокси, между вашим клиентом и целевым сервером встаёт промежуточный узел. Это создаёт несколько проблем:

• Разные IP-адреса для одной сессии. Сервер может заметить, что запросы приходят с разных адресов, и отклонить cookies как подозрительные.
• Потеря заголовков Set-Cookie. Некорректная конфигурация прокси может не передавать заголовки Set-Cookie клиенту.
• Несоответствие домена и пути. Если прокси переписывает Host-заголовок, cookies могут не сохраниться из-за несовпадения домена.
• Отсутствие сохранения состояния. Если вы отправляете каждый запрос отдельно без сохранения cookies, сессия будет потеряна.

Что такое cookie jar и как его использовать

Cookie jar — это хранилище cookies, которое автоматически управляет их отправкой и получением. Вместо ручного добавления заголовков Cookie в каждый запрос, вы позволяете библиотеке делать это автоматически.

Большинство HTTP-клиентов имеют встроенную поддержку cookie jar:

import requests
from requests.cookies import RequestsCookieJar

# Создаём jar для хранения cookies
jar = RequestsCookieJar()

# Первый запрос — сервер отправит Set-Cookie
response1 = requests.get(
    'https://example.com/login',
    cookies=jar,
    proxies={'https': 'http://proxy.example.com:8080'}
)

# Cookies автоматически сохранены в jar
print(jar)

# Второй запрос — cookies будут отправлены автоматически
response2 = requests.get(
    'https://example.com/dashboard',
    cookies=jar,
    proxies={'https': 'http://proxy.example.com:8080'}
)

Без jar пришлось бы вручную парсить Set-Cookie и добавлять их в следующий запрос — это ненадёжно и громоздко.

Сохранение cookies между запросами

Если ваш скрипт работает долго или вам нужно восстановить сессию после перезагрузки, сохраняйте cookies в файл:

import requests
from http.cookiejar import LWPCookieJar

# Создаём jar с сохранением в файл
jar = LWPCookieJar('cookies.txt')

# Загружаем старые cookies если они есть
try:
    jar.load(ignore_discard=True, ignore_expires=True)
except FileNotFoundError:
    pass

# Используем jar в запросах
response = requests.get(
    'https://example.com/login',
    cookies=jar,
    proxies={'https': 'http://proxy.example.com:8080'}
)

# Сохраняем обновленные cookies
jar.save(ignore_discard=True, ignore_expires=True)

Флаги ignore_discard=True и ignore_expires=True позволяют сохранять даже временные cookies.

Проблемы с доменной привязкой cookies

Cookies имеют атрибут Domain, который определяет, для каких доменов они будут отправлены. Проблемы возникают, если:

• Прокси переписывает Host. Если прокси меняет заголовок Host, cookie jar может отклонить cookie как принадлежащий другому домену.
• Поддомены не совпадают. Cookie для example.com может не отправиться на api.example.com.
• Путь не совпадает. Cookie для /api не отправится на /admin.

Проверьте атрибуты cookie так:

import requests

response = requests.get(
    'https://example.com',
    proxies={'https': 'http://proxy.example.com:8080'}
)

# Выводим все cookies
for cookie in response.cookies:
    print(f"Name: {cookie.name}")
    print(f"Value: {cookie.value}")
    print(f"Domain: {cookie.domain}")
    print(f"Path: {cookie.path}")
    print(f"Secure: {cookie.secure}")
    print(f"HttpOnly: {cookie.has_nonstandard_attr('HttpOnly')}")
    print("---")

Если Domain слишком узкий, попробуйте явно указать cookies вместо автоматического управления:

headers = {
    'Cookie': 'session_id=abc123; user_token=xyz789'
}

response = requests.get(
    'https://example.com/api',
    headers=headers,
    proxies={'https': 'http://proxy.example.com:8080'}
)

Флаги Secure и HttpOnly

Флаг Secure означает, что cookie отправляется только по HTTPS. Если вы используете HTTP-прокси для доступа к HTTPS-ресурсу, убедитесь, что соединение до прокси защищено или что прокси корректно пробрасывает HTTPS.

Флаг HttpOnly запрещает доступ к cookie из JavaScript. Это не влияет на отправку cookie в запросах, но важно помнить, что вы не сможете прочитать такие cookies из браузера.

При работе с резидентными прокси убедитесь, что:

• Прокси поддерживает HTTPS (CONNECT метод)
• Сертификаты валидны (не используйте verify=False в production)
• Заголовки не переписываются прокси

Практические примеры с кодом

Пример 1: Логин с сохранением сессии

import requests
from requests.cookies import RequestsCookieJar

jar = RequestsCookieJar()
proxy = 'http://proxy.example.com:8080'

# Логин
login_response = requests.post(
    'https://example.com/login',
    data={'username': 'user', 'password': 'pass'},
    cookies=jar,
    proxies={'https': proxy}
)

if login_response.status_code == 200:
    print("Логин успешен")
    
    # Используем сохранённую сессию
    dashboard = requests.get(
        'https://example.com/dashboard',
        cookies=jar,
        proxies={'https': proxy}
    )
    print(dashboard.text)

Пример 2: Обработка множественных запросов

import requests
from http.cookiejar import LWPCookieJar
import time

jar = LWPCookieJar('session.txt')
try:
    jar.load(ignore_discard=True)
except:
    pass

proxy = 'http://proxy.example.com:8080'
urls = [
    'https://example.com/page1',
    'https://example.com/page2',
    'https://example.com/page3'
]

for url in urls:
    response = requests.get(
        url,
        cookies=jar,
        proxies={'https': proxy},
        timeout=10
    )
    print(f"{url}: {response.status_code}")
    jar.save(ignore_discard=True)
    time.sleep(1)  # Не перегружайте сервер

Пример 3: Явная передача cookies при проблемах

import requests

proxy = 'http://proxy.example.com:8080'

# Если автоматическое управление не работает
cookies_dict = {
    'session_id': 'abc123def456',
    'user_pref': 'dark_mode'
}

headers = {
    'User-Agent': 'Mozilla/5.0...',
    'Cookie': '; '.join([f"{k}={v}" for k, v in cookies_dict.items()])
}

response = requests.get(
    'https://example.com/api/data',
    headers=headers,
    proxies={'https': proxy}
)

print(response.json())

Отладка проблем с cookies

Если cookies не работают, используйте эти инструменты:

Включите логирование для отладки:

import logging
import requests

logging.basicConfig(level=logging.DEBUG)

# Теперь все запросы будут выводить заголовки и cookies
response = requests.get(
    'https://example.com',
    proxies={'https': 'http://proxy.example.com:8080'}
)

Проверьте, что прокси не блокирует cookies:

curl -v -x http://proxy.example.com:8080 https://example.com

# Смотрите на заголовки:
# Set-Cookie: ... (должны быть)
# Cookie: ... (должны отправиться в следующем запросе)

Итоги

Проблемы с cookies при работе через прокси решаются правильной конфигурацией:

• Используйте cookie jar для автоматического управления cookies
• Сохраняйте cookies между запросами в файл
• Проверяйте доменную привязку и атрибуты Path
• Убедитесь в поддержке HTTPS прокси
• Используйте отладку для выявления проблем

Для задач автоматизации и парсинга, где нужна надёжная работа с сессиями через прокси, подходят резидентные прокси с поддержкой HTTPS и управлением cookies. Начните с простого cookie jar и переходите к более сложным схемам только если потребуется.