파서가 인증된 계정으로 작동할 경우, IP 변경은 거의 항상 즉각적인 로그아웃, CAPTCHA 또는 세션 차단을 의미합니다. 플랫폼은 연결의 "지문" 불일치와 세션 만료를 감지하고 쿠키를 초기화합니다. 이 기사에서는 IP를 변경하면서도 인증을 유지할 수 있는 4가지 검증된 방식을 살펴보고, Python 코드도 제공합니다.
IP 변경 시 세션이 만료되는 이유
인증된 세션은 단순히 session_id 쿠키만으로 이루어지지 않습니다. 현대 플랫폼(마켓플레이스, 소셜 미디어, 은행 계좌)은 세션을 IP 주소, User-Agent, TLS 지문, IP에 따른 지리적 위치, 때로는 브라우저의 Canvas/WebGL 지문 등 여러 매개변수에 연결합니다. 이러한 매개변수 중 하나라도 급격히 변경되면 — 예를 들어, IP가 모스크바 데이터 센터에서 다른 국가의 IP로 변경되면 — 시스템은 이를 의심스러운 행동으로 간주하고 세션을 초기화하여 재로그인을 요구하거나 CAPTCHA를 표시합니다.
이는 인증된 계정에서 파싱이 진행되는 작업에 특히 중요합니다: 판매자의 개인 계정을 통해 Wildberries의 가격 수집, Ozon에서의 경쟁자 모니터링, Avito의 비공식 섹션 파싱, Instagram 또는 VK의 API를 통한 데이터 수집 등입니다. 이러한 경우 "계정 + IP + 쿠키"의 조합은 세션 동안 안정적으로 유지되어야 하며, 일반적인 비인증 파싱처럼 요청마다 변경되어서는 안 됩니다.
따라서 주요 규칙은 다음과 같습니다: 인증된 파싱에서 IP 회전은 관리되어야 하며, 무작위적이어서는 안 됩니다. 아래에서는 이 문제를 다양한 복잡성과 신뢰성의 균형으로 해결하는 네 가지 방식을 소개합니다.
방식 1: 스티키 세션 (IP를 계정에 연결)
가장 간단하면서도 가장 신뢰할 수 있는 방식은 하나의 계정 또는 세션에 대해 동일한 IP를 작업 기간 동안(몇 분에서 몇 시간까지) 고정하고, 세션이 자연스럽게 종료될 때만 IP를 변경하는 것입니다(로그아웃, 토큰 만료, 계정 계획 변경 등).
기술적으로 이는 프록시 제공자의 스티키 포트를 통해 구현됩니다: 하나의 엔드포인트를 통해 지정된 시간 동안 동일한 출발 IP를 유지하며(보통 1분에서 30분, 때로는 몇 시간까지), 이후 IP는 자동으로 변경됩니다. 인증 작업에 가장 적합한 것은 주거용 프록시입니다 — 이들은 실제 가정용 제공자의 IP를 제공하며, 데이터 센터의 블랙리스트에 올라 있지 않고 일반 사용자처럼 보이기 때문에 은행 계좌, 마켓플레이스 개인 계정 및 소셜 미디어에 매우 중요합니다.
규칙은 간단합니다: 하나의 계정 = 세션의 전체 생애 주기 동안 하나의 스티키 IP. 동시에 50개의 계정을 파싱해야 할 경우 — 50개의 서로 다른 IP로 50개의 스티키 세션을 설정하고, 각 세션은 고유한 쿠키 세트를 사용하며 서로 겹치지 않습니다. 이는 SMM 전문가들이 Dolphin Anty 또는 AdsPower와 같은 안티탐지 브라우저에서 수십 개의 고객 계정을 관리할 때 사용하는 원칙과 동일합니다: 하나의 브라우저 프로필 = 하나의 고정 IP = 고유한 쿠키 세트, 다른 쿠키와 섞이지 않습니다.
방식 2: 쿠키 풀 + IP를 하나의 쌍으로
작업이 IP 회전을 요구하는 경우(예: 하나의 세션의 비율 제한을 피하기 위해), 그러나 여러 개의 병렬 인증 상태를 유지해야 할 경우 "쌍 풀" 방식이 적용됩니다. 아이디어는: 미리 여러 번(N회) 다른 계정 정보(또는 다른 시작 IP)로 로그인하고, 각 세션에 대해 쿠키 + IP + User-Agent의 조합을 저장한 다음, 다음 요청 시 세션이 처음 생성된 쌍을 사용합니다.
실제로는 다음과 같이 작동합니다: 데이터베이스 또는 Redis에 "세션 ID → 쿠키 → 프록시 IP → User-Agent → 마지막 사용 시간" 형태의 테이블이 저장됩니다. 각 요청 전에 파서는 풀에서 사용 가능한 쌍을 가져와 해당 IP를 통해 요청을 수행하고, 응답에서 쿠키를 업데이트하여 다시 같은 기록에 저장합니다. 세션이 만료된 경우(서버가 로그인 페이지로 리디렉션한 경우) — 쌍은 유효하지 않은 것으로 표시되고, 풀에서 삭제되며, 재로그인을 통해 새로운 쌍이 생성됩니다.
이 방식은 수평적으로 잘 확장됩니다: 풀에 있는 "쿠키 + IP" 쌍이 많을수록 파서의 총 처리량이 증가하며 차단 위험이 줄어듭니다. 이 작업에는 데이터 센터 프록시를 사용하는 것이 편리합니다. 속도가 익명성보다 더 중요한 경우 — 예를 들어, 인증 후 공개 카탈로그를 파싱할 때, 플랫폼이 지문을 그렇게 공격적으로 감지하지 않으며, 카탈로그를 탐색하는 속도가 병목 현상이 됩니다.
방식 3: 안티탐지 방식의 지문 연결
세 번째 방식은 플랫폼이 IP와 쿠키뿐만 아니라 브라우저의 완전한 지문(Canva, WebGL, 글꼴, 시간대, 시스템 언어, 화면 해상도)도 검사할 때 필요합니다. 이는 소셜 미디어(Instagram, TikTok, VK)와 고급 안티프로드가 있는 일부 마켓플레이스에서 일반적입니다. 이 경우 조합을 "IP + 쿠키 + 지문"으로 확장하고 이를 하나의 단위로 저장해야 합니다 — 그렇지 않으면 올바른 IP와 유효한 쿠키가 있더라도 브라우저 지문 불일치로 인해 세션이 만료됩니다.
실제로는 Playwright, Puppeteer와 같은 헤드리스 브라우저를 사용하여 제어된 지문을 관리하거나 Dolphin Anty, Multilogin, GoLogin 또는 Octo Browser와 같은 안티탐지 브라우저를 통해 해결됩니다. 각 프로필에 고유한 지문 매개변수 세트가 할당되며, 내장된 프록시 통합을 통해 고정 IP와 고유한 쿠키 저장소가 제공됩니다. 프로필은 한 번 로그인하고 이후 동일한 매개변수로 다시 시작됩니다 — 플랫폼은 동일한 IP에서 동일한 "장치"를 인식하므로 세션이 계속 유지됩니다.
소셜 미디어 및 모바일 애플리케이션의 API를 파싱할 때 이 단계에서 종종 모바일 프록시로 전환합니다 — 운영자 IP는 CGNAT로 인해 시스템에서 모바일 네트워크에서의 트래픽을 예상하기 때문에 의심을 덜 받으며, 필요한 지문과 IP를 결합하면 세션의 안정성이 극대화됩니다.
방식 4: 제어된 재인증
네 번째 방식은 세션을 영원히 유지하려고 하지 않고, IP 변경 시 계획된 재인증 로직을 파서에 미리 내장하는 것입니다. 이는 가장 많은 노력이 드는 방식이지만, 가장 높은 내결함성을 제공합니다: 이전 쿠키를 새로운 IP로 전송하는 대신(이는 거의 항상 차단으로 이어짐), IP 변경 시 파서는 스스로 새로운 로그인을 시작합니다 — 로그인/비밀번호를 입력하거나(refresh-token 사용), 새로운 IP에 대해 신선한 쿠키를 받아오고 처음부터 작업을 계속합니다.
이 방식은 API가 refresh-token을 지원하는 경우 필수적입니다(많은 마켓플레이스 및 광고 계정, 예: Google Ads API, TikTok Ads API): IP 변경 시 refresh-token을 새로운 access-token으로 교환하면 됩니다. 비밀번호를 다시 입력할 필요가 없습니다. refresh-token이 없다면 — 전체 로그인 흐름을 에뮬레이트해야 합니다: 로그인 페이지에서 CSRF 토큰을 받고, 로그인/비밀번호를 입력하고, 가능한 CAPTCHA 또는 2FA를 통과하고, 새로운 쿠키를 저장합니다.
이 방식의 단점은 빈번한 로그인이 스스로 의심스럽게 보일 수 있으며 계정 차단을 유발할 수 있으므로 일반적으로 방식 1과 결합하여 사용됩니다: IP는 드물게 변경되며 계획된 재인증과 동기화되어 변경되며, 각 요청마다 변경되지 않습니다.
4가지 방식 비교
| 방식 | 복잡성 | 신뢰성 | 언제 적용할지 |
|---|---|---|---|
| 스티키 세션 | 낮음 | 높음 | 1 계정 — 1 IP, 소량 처리 |
| 쿠키 풀 + IP | 중간 | 중간-높음 | 여러 계정으로 대량 파싱 |
| 지문 연결 | 높음 | 높음 | 소셜 미디어, 고급 안티프로드 |
| 재인증 | 높음 | 매우 높음 | refresh-token이 있는 API, 빈번한 IP 회전 |
코드: 세션 + Python의 스티키 프록시
아래는 requests.Session을 사용한 기본 예제입니다. 이 예제는 쿠키를 저장하고 세션 동안 동일한 스티키 프록시를 통해 작동합니다. 세션은 쿠키를 자동으로 저장하며, IP 연결은 프록시 제공자의 스티키 포트를 통해 이루어져, 지정된 시간 내 모든 요청에 대해 동일한 출발 IP를 반환합니다.
import requests
# 스티키 포트는 세션이 살아 있는 동안 동일한 IP를 유지합니다
PROXY = {
"http": "http://login:[email protected]:8000",
"https": "http://login:[email protected]:8000",
}
session = requests.Session()
session.proxies.update(PROXY)
session.headers.update({
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/124.0.0.0 Safari/537.36"
})
# 로그인 — 쿠키는 자동으로 session.cookies에 저장됩니다
login_payload = {"login": "[email protected]", "password": "secret"}
resp = session.post("https://example.com/login", data=login_payload)
assert resp.status_code == 200
# 이후 요청은 동일한 쿠키와 동일한 IP로 진행됩니다
page = session.get("https://example.com/cabinet/orders")
print(page.status_code, len(page.text))
쿠키 + IP 쌍 풀 방식의 경우 상태를 Redis에 저장하는 것이 편리합니다 — 이는 여러 작업자에서 파서를 확장할 수 있게 하여 세션 간의 충돌을 방지합니다:
import json
import redis
import requests
r = redis.Redis(host="localhost", port=6379, db=0)
def get_session_pair(account_id):
raw = r.get(f"session:{account_id}")
if raw:
data = json.loads(raw)
session = requests.Session()
session.cookies.update(data["cookies"])
session.proxies.update({"http": data["proxy"], "https": data["proxy"]})
return session
return None
def save_session_pair(account_id, session, proxy_url):
data = {
"cookies": session.cookies.get_dict(),
"proxy": proxy_url,
}
r.set(f"session:{account_id}", json.dumps(data), ex=3600)
지문 연결 방식의 경우 Playwright를 통해 한 번 로그인하고 storage_state를 저장하면 됩니다 — 이는 쿠키뿐만 아니라 localStorage/sessionStorage도 포함되어, 마켓플레이스와 소셜 미디어의 SPA 사이트에 매우 중요합니다:
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(proxy={"server": "http://gate.proxycove.com:8000",
"username": "login", "password": "password"})
context = browser.new_context()
page = context.new_page()
page.goto("https://example.com/login")
page.fill("#login", "[email protected]")
page.fill("#password", "secret")
page.click("#submit")
page.wait_for_selector("#cabinet")
context.storage_state(path="session_state.json") # 세션 전체를 저장합니다
browser.close()
# 다음 실행 시 — 동일한 IP + 동일한 세션
with sync_playwright() as p:
browser = p.chromium.launch(proxy={"server": "http://gate.proxycove.com:8000",
"username": "login", "password": "password"})
context = browser.new_context(storage_state="session_state.json")
page = context.new_page()
page.goto("https://example.com/cabinet")
자주 발생하는 오류
1. 하나의 인증된 세션 내에서 매 요청마다 IP 회전. 이는 즉각적인 차단의 주요 원인입니다 — 시스템은 하나의 session_id가 1분 내에 여러 개의 IP에서 사용되고 있음을 감지하고 이를 자동화의 명백한 징후로 차단합니다.
2. User-Agent 및 기타 헤더 없이 session_id만 저장. 쿠키가 하나의 User-Agent로 수집되었고 다른 User-Agent로 사용되면 — 이것도 안티프로드의 트리거가 됩니다, IP가 변경되지 않았더라도.
3. IP의 지리적 위치 무시. 계정이 모스크바에서 로그인했는데 다음 요청이 다른 국가의 IP에서 이루어지면 — 세션은 거의 항상 초기화됩니다, 쿠키의 유효성과 관계없이.
4. 만료된 세션 처리 누락. 파서는 "서버가 로그인 페이지를 반환함"과 "서버가 필요한 데이터를 반환함"을 구별할 수 있어야 하며, 자동으로 재인증을 시작해야 하며 오류로 중단되지 않아야 합니다.
5. 다른 계정에 대해 동일한 프록시 풀 사용. 두 개의 다른 계정이 우연히 동일한 출발 IP를 받으면 플랫폼은 이들을 서로 연결할 수 있습니다 — 이는 동시에 수십 개의 고객 계정을 관리하는 SMM 에이전시에게 특히 위험합니다.
시작 전 체크리스트
- 플랫폼의 보호 수준에 맞는 방식 선택 (스티키 / 풀 / 지문 / 재인증)
- 각 계정에 대해 세션 생애 동안 고정 IP 할당
- 쿠키와 session_id를 IP, User-Agent 및 헤더와 함께 저장, 별도로 저장하지 않음
- 중요한 요청 전에 세션 유효성 검사 구현
- 세션 만료 감지 시 자동 재인증 설정
- 플랫폼 유형에 맞는 프록시 선택: 은행 계좌 및 전자 상거래용 주거용, 소셜 미디어용 모바일, 공개 섹션의 고속 파싱을 위한 데이터 센터
- IP 변경 및 재인증 시점을 분석하기 위해 모든 변경 사항 기록
결론
주요 결론은 간단합니다: 인증된 파싱에서 IP와 세션은 서로 독립적으로 변경되지 않고 동기화되어야 합니다. 가장 신뢰할 수 있는 시작은 스티키 세션 방식으로, 하나의 계정이 작업 기간 동안 하나의 IP에 고정됩니다. 여러 계정으로 대량 파싱을 위해서는 쿠키 + IP 쌍 풀 방식이 적합하며, 고급 안티프로드가 있는 소셜 미디어의 경우 안티탐지 브라우저를 통한 지문 연결이 필요하고, 토큰이 있는 API의 경우 IP 변경 시 계획된 재인증이 필요합니다.
마켓플레이스나 개인 계정을 위한 인증된 파서를 설정하는 경우, 주거용 프록시와 스티키 포트를 사용하는 것으로 시작하세요 — 이는 필요한 시간 동안 안정적인 IP를 제공하고 세션 차단 위험을 최소화합니다. 소셜 미디어의 인증된 API를 파싱할 때는 모바일 IP를 고려하고, 로그인 후 공개 카탈로그를 고속으로 탐색할 때는 위에서 설명한 데이터 센터 프록시를 사용하는 것이 좋습니다.