← 블로그로 돌아가기
RUENZHESARPTDEFRJAKOITTRIDVIFAHI

세션 관리: 12시간 이상 세션 유지하기 위한 파싱 및 자동화 방법

장기 세션 설정에 대한 완벽한 가이드: 프록시 선택, 브라우저 구성, 연결 끊김 문제 해결.

📅2026년 2월 10일
```html

만약 당신이 마켓플레이스를 밤새 파싱하거나, Facebook Ads 계정을 8시간 동안 농사짓거나, Instagram에서 대량으로 게시물을 자동화하고 있다면, 세션 끊김 문제에 직면했을 것입니다. 프록시가 IP를 변경하고, 브라우저가 쿠키를 잃어버리며, 스크립트가 세 번째 시간에 중단됩니다. 이 가이드에서는 몇 시간에서 하루까지 중단 없이 작동하는 작업을 위한 안정적인 장기 세션을 설정하는 방법을 살펴보겠습니다.

세션 관리란 무엇이며 왜 필요한가

세션 관리는 도구(브라우저, 스크립트, 봇)와 대상 서비스 간의 연결 상태를 오랜 시간 동안 관리하는 것입니다. 짧은 작업(예: 5분 동안 100개 상품 파싱)에서는 중요하지 않지만, 작업이 몇 시간 동안 진행될 경우 다음을 유지하는 것이 중요합니다:

  • 같은 IP 주소 — 사이트가 장치 변경을 의심하지 않도록
  • 쿠키 및 localStorage — 인증 및 행동 추적을 위해
  • 브라우저 지문 — 장치의 특성 집합 (User-Agent, 화면 해상도, WebGL)
  • 스크립트 상태 — 어떤 페이지가 처리되었고, 오류 발생 시 어디에서 중단되었는지

프로세스 중 하나라도 변경되면 — 사이트가 계정을 차단하거나, CAPTCHA 파싱을 중단하거나, 인증 세션을 초기화할 수 있습니다.

일반적인 장기 작업: Facebook Ads 계정 농사(6-12시간 준비), Wildberries의 모든 상품 카테고리 파싱(3-8시간), 50개의 Instagram 계정에 대한 대량 게시(4-10시간 지연 포함), 경쟁자의 가격 모니터링 24/7.

긴 세션에서의 일반적인 문제

긴 세션을 중단시키고 작업을 멈추게 하는 일반적인 문제를 살펴보겠습니다:

1. 프록시의 IP 주소 변경

많은 프록시 서비스는 기본적으로 5-15분마다 IP를 변경합니다. 인증 없이 파싱하는 경우에는 괜찮지만, Facebook Ads 계정에 로그인한 경우 세션 중간에 모스크바에서 상트페테르부르크로 IP가 변경되면 의심을 받을 수 있습니다. 플랫폼은 로그인 확인을 요청하고, 전화로 코드를 전송하거나, 의심스러운 활동으로 계정을 차단할 수 있습니다.

해결책: 스티키 세션(Sticky Sessions)을 사용하세요 — 프록시가 10분, 1시간 또는 24시간 동안 같은 IP를 제공하는 모드입니다. 이에 대한 자세한 내용은 아래 섹션에서 다루겠습니다.

2. 프록시 측의 연결 타임아웃

일부 프록시 제공자는 10-30분 동안 활동이 없으면 연결을 끊습니다. 스크립트가 작업 사이에 잠시 멈추면(예: 사람이 되어 5분 동안 상품을 읽고 다음으로 넘어가는 경우) 프록시가 연결을 종료할 수 있습니다. 작업을 계속하려고 하면 스크립트가 오류를 발생시키고 중단됩니다.

해결책: keep-alive 요청을 설정하거나(2-3분마다 프록시 핑) 엄격한 타임아웃이 없는 제공자를 선택하세요. 주거용 및 모바일 프록시는 일반적으로 데이터 센터보다 더 오랫동안 연결을 유지합니다.

3. 브라우저 지문 변경

안티-디텍트 브라우저를 재시작하거나 스크립트가 새로운 브라우저 인스턴스를 생성하면 지문이 변경됩니다. 같은 IP를 사용하더라도 사이트는 User-Agent, 화면 해상도, 글꼴 목록 또는 캔버스 지문이 이전 세션과 다르다는 것을 인식합니다. 이는 안티-프로드 시스템을 트리거합니다.

해결책: 브라우저 프로필을 저장하세요(예: Dolphin Anty, AdsPower, Multilogin에서 자동으로 수행됨) 그리고 매번 새로 만들지 마세요. Selenium이나 Puppeteer를 사용하는 경우 — 쿠키와 설정이 포함된 User Data Directory를 저장하세요.

4. 오류 발생 시 스크립트 상태 손실

스크립트가 6시간 동안 10000개 중 8000개 상품을 처리하다가 네트워크 오류로 중단되었습니다. 진행 상황을 저장하지 않으면 처음부터 다시 시작해야 합니다. 이는 12시간 이상의 작업에 특히 중요합니다.

해결책: N회 반복마다 데이터베이스나 파일에 중간 결과를 저장하세요(예: 매 100개 상품마다). 스크립트를 재시작하면 마지막 저장된 위치에서 계속 진행합니다.

장기 작업에 적합한 프록시는 무엇인가

모든 유형의 프록시가 긴 세션에 동일하게 적합한 것은 아닙니다. 다음은 안정성과 IP 수명 기준으로 비교한 것입니다:

프록시 유형 IP 수명 안정성 적합한 용도
데이터 센터 무제한 (정적 IP) 높음, 그러나 쉽게 감지됨 인증 없는 파싱, 가격 모니터링
주거용 10분 — 24시간 (스티키 세션) 중간 (제공자에 따라 다름) 계정 농사, 인증 있는 파싱
모바일 5-30분 (운영자 타이머에 따라 변경) 낮음 (IP 자주 변경) 짧은 소셜 미디어 작업, 강력한 차단 우회
ISP 프록시 무제한 (정적 주거용 IP) 매우 높음 인증 있는 긴 작업, 프리미엄 계정 농사

선택 권장 사항:

  • 인증 없는 마켓플레이스 파싱 (Wildberries, Ozon, Yandex.Market) — 정적 IP를 가진 데이터 센터가 적합합니다. 저렴하고 빠르며, 사이트가 데이터 센터를 강하게 차단하지 않는다면 12시간 이상의 작업을 수행할 수 있습니다.
  • Facebook Ads, TikTok Ads, Google Ads 계정 농사 — 스티키 세션이 있는 주거용 또는 ISP 프록시만 사용하세요. 모바일은 IP가 자주 변경되기 때문에 적합하지 않습니다.
  • Instagram, TikTok 자동화 — 1-6시간 스티키 세션이 있는 주거용 프록시. 작업이 짧은 경우(1시간에 10개 계정에 게시) 모바일도 사용할 수 있습니다.
  • 24/7 모니터링 (경쟁자 가격 추적, 뉴스 파싱) — ISP 프록시 또는 데이터 센터, 사이트가 이를 차단하지 않는 경우.

중요: 모바일 프록시는 장기 작업에 적합하지 않습니다! IP는 모바일 운영자의 타이머에 따라 5-30분마다 변경되며, 이를 제어할 수 없습니다. 짧은 작업(계정 등록, 일회성 게시, CAPTCHA 우회)에만 사용하세요.

스티키 세션: IP를 24시간 고정하는 방법

스티키 세션(Sticky Sessions)은 프록시가 지정된 시간(10분, 1시간, 6시간 또는 24시간) 동안 같은 IP 주소를 제공하는 작업 모드입니다. 이는 인증이 필요한 작업에 매우 중요합니다.

스티키 세션은 어떻게 작동하는가

일반적으로 스티키 세션은 프록시 URL의 세션 ID를 통해 구현됩니다. 표준 형식 대신: 

http://username:password@proxy.example.com:8000

세션 매개변수를 추가합니다: 

http://username-session-mysession123:password@proxy.example.com:8000

이제 mysession123 식별자가 있는 모든 요청은 세션 수명이 만료될 때까지 같은 IP를 통해 진행됩니다(일반적으로 기본값은 10-30분). 더 긴 세션이 필요한 경우 제공자가 시간 매개변수를 제안할 수 있습니다: 

http://username-session-mysession123-lifetime-1440:password@proxy.example.com:8000

여기서 lifetime-1440는 1440분(24시간)을 의미합니다.

인기 서비스에서 스티키 세션 설정하기

주거용 프록시에서: 대부분의 제공자는 사용자 이름의 매개변수를 통해 스티키 세션을 지원합니다. 제공자의 문서에서 형식을 확인하세요. 일반적인 옵션은 다음과 같습니다:

  • username-session-ABC123 — 기본 시간(10-30분) 동안 IP를 고정합니다.
  • username-session-ABC123-sessionduration-60 — 60분 동안 고정합니다.
  • username-country-us-session-ABC123 — 고정된 IP를 가진 미국 IP입니다.

ISP 프록시에서: 일반적으로 기본적으로 IP가 정적이므로 스티키 세션이 필요하지 않습니다 — 수동으로 프록시를 변경할 때까지 항상 같은 주소를 받습니다.

데이터 센터에서: IP가 정적이며 추가 설정이 필요하지 않습니다.

안티-디텍트 브라우저에서 사용 예시

예를 들어, Dolphin Anty에서 Facebook Ads 계정을 농사짓고 있다고 가정해 보겠습니다. 작업은 8시간 동안 준비(웹사이트 탐색, 비디오 시청, 좋아요)입니다. 설정:

  1. Dolphin Anty에서 브라우저 프로필을 엽니다.
  2. "프록시" 섹션으로 이동합니다.
  3. 유형 선택: HTTP 또는 SOCKS5
  4. 프록시의 호스트와 포트를 입력합니다.
  5. "로그인" 필드에 다음을 입력합니다: username-session-farm001-sessionduration-480 (480분 = 8시간)
  6. 비밀번호를 입력합니다.
  7. "프록시 확인"을 클릭하여 IP가 인식되는지 확인합니다.
  8. 프로필을 저장합니다.

이제 8시간 동안 이 프로필에서 모든 요청이 같은 IP를 통해 진행됩니다. 브라우저를 닫고 한 시간 후에 다시 열어도 같은 세션 ID(farm001)를 사용하면 같은 IP를 받을 수 있습니다.

팁: 작업과 관련된 이해하기 쉬운 세션 ID를 사용하세요. 예를 들어, farm-fb-account-001, parse-wb-electronics. 이렇게 하면 여러 개의 병렬 작업이 있을 경우 디버깅이 더 쉬워집니다.

긴 세션을 위한 안티-디텍트 브라우저 설정

안티-디텍트 브라우저(Dolphin Anty, AdsPower, Multilogin, GoLogin, Octo Browser)는 긴 세션을 위해 설계되었습니다. 그러나 8시간 이상의 작업에 중요할 수 있는 설정의 뉘앙스가 있습니다.

1. 브라우저 프로필 저장

브라우저 프로필은 쿠키, localStorage, 지문(User-Agent, 캔버스, WebGL, 글꼴) 집합입니다. 모든 안티-디텍트 브라우저는 닫을 때 프로필을 자동으로 저장합니다. 중요한 것은 작업을 시작할 때마다 새 프로필을 만들지 않는 것입니다!

올바른 접근:

  • 특정 작업을 위해 한 번 프로필을 생성합니다(예: "FB 계정 농사 #1").
  • 스티키 세션으로 프록시를 설정합니다.
  • 첫 번째 실행을 수행하고 계정에 로그인합니다.
  • 브라우저를 닫습니다 — 프로필이 저장됩니다.
  • 다음 실행 시 동일한 프로필을 엽니다 — 인증 및 지문이 유지됩니다.

잘못된 접근:

  • 매일 같은 작업을 위해 새 프로필을 생성합니다.
  • 실행 간 쿠키를 수동으로 삭제합니다.
  • 작업 중간에 지문(User-Agent, 화면 해상도)을 변경합니다.

2. 안정성을 위한 지문 설정

긴 작업을 위해서는 프록시에 맞는 현실적인 지문을 선택하세요. 프록시가 러시아(모스크바)에서 오는 경우 — 영어 로케일의 MacBook Pro User-Agent를 설정하지 마세요. 대신:

  • 운영 체제: Windows 10 또는 11 (러시아에서 가장 인기 있는)
  • 브라우저: 최신 버전의 Chrome (안티-디텍트에서 자동으로 업데이트됨)
  • 화면 해상도: 1920x1080 (가장 일반적)
  • 언어: ru-RU, 시간대: Europe/Moscow
  • WebRTC: 비활성화하거나 프록시 IP로 변경 (실제 IP가 유출되지 않도록)

Dolphin Anty와 AdsPower에는 "무작위 지문 생성" 기능이 있어, 신뢰할 수 있는 매개변수 조합을 생성합니다. 긴 작업의 경우 수동으로 설정하는 것보다 안전합니다.

3. 자동 업데이트 및 재부팅 비활성화

작업이 12시간 동안 진행되는 경우, 다음을 확인하세요:

  • 컴퓨터가 절전 모드로 전환되지 않도록 합니다 (Windows/macOS 전원 설정에서 비활성화).
  • 안티바이러스가 업데이트를 위해 시스템을 재부팅하지 않도록 합니다 (업데이트 연기).
  • 안티-디텍트 브라우저가 작업 중간에 자동으로 업데이트되지 않도록 설정합니다 (설정에서 자동 업데이트 비활성화 또는 야간 시간으로 설정).

4. 자동화를 위한 안티-디텍트 브라우저 API 사용

Dolphin Anty, AdsPower, Multilogin은 스크립트에서 프로필을 관리하기 위한 API를 제공합니다. 이를 통해:

  • Python/Node.js 스크립트에서 브라우저 프로필을 실행합니다.
  • Selenium 또는 Puppeteer를 통해 연결합니다.
  • 긴 작업을 수행합니다.
  • 작업 완료 후 프로필을 자동으로 종료합니다.

API를 통해 Dolphin Anty 프로필을 시작하는 예시 (Python): 

import requests
from selenium import webdriver

# Dolphin Anty API를 통해 프로필 시작
profile_id = "123456"
response = requests.get(f"http://localhost:3001/v1.0/browser_profiles/{profile_id}/start")
data = response.json()

# Selenium을 통해 실행 중인 브라우저에 연결
options = webdriver.ChromeOptions()
options.debugger_address = data['automation']['port']
driver = webdriver.Chrome(options=options)

# 작업 수행
driver.get("https://example.com")
# ... 파싱 또는 자동화 코드 ...

# 프로필 종료
requests.get(f"http://localhost:3001/v1.0/browser_profiles/{profile_id}/stop")

이러한 접근 방식은 스크립트가 중단되더라도 지문과 쿠키가 유지되도록 보장합니다 — 재시작 시 동일한 프로필에 연결됩니다.

자동화 및 상태 유지

8시간 이상의 작업에서는 진행 상황을 저장하는 것이 중요합니다. 중단 시 처음부터 다시 시작하지 않도록 합니다. 다양한 도구에 대한 방법을 살펴보겠습니다.

1. 데이터베이스에 진행 상황 저장

Wildberries에서 10000개 상품을 파싱하는 경우, 매 50-100개 상품마다 결과를 SQLite, PostgreSQL 또는 MongoDB에 저장합니다. 테이블 구조: 

CREATE TABLE parsing_progress (
  id INTEGER PRIMARY KEY,
  url TEXT,
  status TEXT,  -- 'pending', 'completed', 'error'
  data TEXT,    -- 결과 JSON
  created_at TIMESTAMP
);

스크립트가 시작될 때 처리되지 않은 URL(status = 'pending')를 확인하고 그 지점에서 계속 진행합니다. 스크립트가 중단되면 재시작 시 이미 처리된 상품을 건너뜁니다.

2. 작업 큐 사용

복잡한 작업(예: Facebook Ads 계정 50개를 동시에 농사짓기)을 위해 큐 시스템을 사용하세요: Celery (Python), Bull (Node.js), RabbitMQ. 원칙:

  • 작업 목록을 생성합니다 (50개 계정)
  • 각 작업은 독립적입니다 (자신의 브라우저 프로필, 자신의 프록시)
  • 작업자가 큐에서 작업을 가져와 실행합니다.
  • 작업자가 중단되면 — 작업이 큐로 돌아가고 다른 작업자가 가져갑니다.

이는 어떤 작업도 잃지 않도록 보장합니다, 심지어 일부 프로세스가 중단되더라도.

3. 로깅 및 모니터링

12시간 이상의 작업을 위해 상세한 로깅을 설정하세요:

  • 각 행동을 로그에 기록합니다 (페이지를 열고, 버튼을 클릭하고, 데이터를 받음)
  • 오류 발생 시 스크린샷을 저장합니다 (Selenium에서: driver.save_screenshot('error.png'))
  • 로그 레벨을 사용합니다: INFO는 일반 행동, WARNING은 의심스러운 상황(캡차, 느린 로딩), ERROR는 오류를 위해 사용합니다.

Python에서 로깅 설정 예시: 

import logging

logging.basicConfig(
    level=logging.INFO,
    format='%(asctime)s - %(levelname)s - %(message)s',
    handlers=[
        logging.FileHandler('parsing.log'),
        logging.StreamHandler()
    ]
)

logger = logging.getLogger(__name__)

# 코드에서
logger.info(f"상품 {product_id} 처리됨")
logger.warning(f"페이지 로딩 느림: {url}")
logger.error(f"파싱 오류: {error}")

모니터링 및 연결 끊김 후 복구

올바른 프록시 및 브라우저 설정으로도 세션이 끊길 수 있습니다: 네트워크가 중단되거나, 프록시가 재부팅되거나, 사이트가 캡차를 표시할 수 있습니다. 문제를 신속하게 발견하고 작업을 복구하는 것이 중요합니다.

1. 프록시 가용성 확인

작업 시작 전 및 주기적으로(30-60분마다) 프록시가 작동하는지 확인하세요: 

import requests

def check_proxy(proxy_url):
    try:
        response = requests.get(
            'https://api.ipify.org?format=json',
            proxies={'http': proxy_url, 'https': proxy_url},
            timeout=10
        )
        if response.status_code == 200:
            ip = response.json()['ip']
            logger.info(f"프록시 작동 중, IP: {ip}")
            return True
    except Exception as e:
        logger.error(f"프록시 응답 없음: {e}")
        return False

# 시작 전 확인
if not check_proxy(proxy_url):
    logger.error("프록시 사용 불가, 작업 중단")
    exit(1)

2. 캡차 및 차단 처리

사이트가 캡차를 표시한 경우(Google reCAPTCHA, hCaptcha, Cloudflare Turnstile) — 작업이 중단됩니다. 해결 방법:

  • 캡차 자동 해결: 2Captcha, Anti-Captcha, CapMonster와 통합합니다. 이들은 10-30초 내에 캡차를 해결하고 스크립트는 작업을 계속합니다.
  • 프록시 변경: 의심스러운 IP로 인해 캡차가 발생한 경우 — 다른 프록시로 전환하고 계속 진행합니다.
  • 일시 중지 및 재시도: 때때로 캡차는 너무 빠른 행동으로 인해 발생합니다. 2-5분 동안 일시 중지한 후 요청을 반복합니다.

3. 오류 발생 시 자동 재시작

주요 코드를 try-except로 감싸고 오류 발생 시 작업을 재시작합니다: 

import time

max_retries = 3
retry_delay = 60  # 초

for attempt in range(max_retries):
    try:
        # 작업의 주요 코드
        run_parsing()
        break  # 성공하면 루프 종료
    except Exception as e:
        logger.error(f"{attempt + 1}번째 시도에서 오류 발생: {e}")
        if attempt < max_retries - 1:
            logger.info(f"{retry_delay}초 후 재시작...")
            time.sleep(retry_delay)
        else:
            logger.error("시도 횟수 초과, 중단")
            raise

4. 문제 알림 설정

밤이나 주말에 작업하는 경우, 심각한 오류 발생 시 알림을 설정하세요:

  • 텔레그램 봇: 오류 발생 시 메시지를 전송합니다 (python-telegram-bot 라이브러리 사용)
  • 이메일: SMTP를 통해 (Python의 smtplib 라이브러리 사용)
  • SMS: Twilio 또는 유사 서비스 사용

텔레그램에 알림을 전송하는 예시: 

import requests

def send_telegram_alert(message):
    bot_token = "YOUR_BOT_TOKEN"
    chat_id = "YOUR_CHAT_ID"
    url = f"https://api.telegram.org/bot{bot_token}/sendMessage"
    requests.post(url, data={'chat_id': chat_id, 'text': message})

# 오류 발생 시
try:
    run_parsing()
except Exception as e:
    send_telegram_alert(f"⚠️ 파싱 오류: {e}")

실제 사용 사례

특정 작업과 각 작업에 대한 최적의 세션 관리 설정을 살펴보겠습니다.

시나리오 1: Facebook Ads 계정 농사 (8시간 준비)

작업: 광고 시작 전에 새로운 Facebook Ads 계정을 준비합니다. 일반 사용자의 행동을 모방해야 합니다: Facebook에 로그인하고, 피드를 읽고, 비디오를 시청하고, 좋아요를 누르고, 광고를 클릭합니다. 총 8시간의 활동이 필요합니다.

설정:

  • 프록시: 8-12시간 스티키 세션이 있는 주거용 프록시, 국가 — 계정에 명시된 국가와 동일해야 합니다 (계정이 미국인 경우 — 미국 프록시 사용)
  • 브라우저: Dolphin Anty 또는 AdsPower, 이 계정을 위해 별도의 프로필 생성
  • 지문: 국가에 맞는 현실적인 지문 (Windows 10, Chrome, 해상도 1920x1080, 미국의 경우 언어 en-US)
  • 자동화: Selenium 스크립트에 무작위 지연(행동 사이 5-15분), 스크롤 및 마우스 움직임 모방
  • 진행 상황 저장: 모든 행동을 파일에 로깅하여 오류 발생 시 마지막 지점에서 계속 진행

위험: 세션 중간에 IP가 변경되면 Facebook이 로그인 확인을 요청할 수 있습니다. 너무 빠른 행동은 계정이 의심을 받을 수 있습니다.

시나리오 2: Wildberries에서 모든 상품 카테고리 파싱 (6시간)

작업: Wildberries의 "전자기기" 카테고리에서 모든 상품을 파싱합니다 (약 50000개 상품). 상품 이름, 가격, 평점, 리뷰 수를 얻어야 합니다. 인증 없이 파싱이 진행됩니다.

설정:

  • 프록시: 정적 IP를 가진 데이터 센터 (Wildberries는 일반적으로 데이터 센터를 강하게 차단하지 않음) 또는 6시간 이상의 스티키 세션이 있는 주거용 프록시
  • 브라우저: 필수는 아니며, requests + BeautifulSoup(더 빠름) 또는 Selenium(사이트가 JavaScript인 경우) 사용 가능
  • 진행 상황 저장: SQLite 데이터베이스에 매 100개 상품마다 저장. 재시작 시 이미 처리된 상품은 건너뜀.
  • 오류 처리: 상품이 로드되지 않은 경우 (404, 타임아웃) — 건너뛰고 계속 진행, 로그에 기록

위험: Wildberries는 너무 잦은 요청에 대해 캡차를 표시할 수 있습니다. 해결책 — 상품 사이에 1-3초의 지연 추가하거나 프록시 풀을 사용하여 로테이션.

시나리오 3: 30개의 Instagram 계정에 대한 대량 게시 (5시간)

작업: 고객의 30개 Instagram 계정에 동일한 게시물을 게시합니다. 각 계정에 대해 — 고유한 텍스트와 해시태그가 필요합니다. 스팸처럼 보이지 않도록 지연을 두고 진행해야 합니다.

설정:

  • 프록시: 1-2시간 스티키 세션이 있는 주거용 프록시, 각 계정에 대해 — 고유한 프록시 (계정이 IP로 연결되지 않도록)
  • 브라우저: Dolphin Anty, 30개의 프로필 생성 (각 계정마다 하나), 각 프로필에 고유한 프록시
  • 자동화: 스크립트가 프로필을 순차적으로 실행하여 Instagram 웹 또는 API를 통해 게시하고 프로필을 종료합니다. 계정 간 지연 — 10-15분.
  • 진행 상황 저장: CSV에 계정 목록을 저장하고 상태(게시됨/대기 중/오류)를 표시합니다.

위험: Instagram은 대량 작업으로 인해 계정을 차단할 수 있습니다. 해결책 — 무작위 지연 추가, 게시 전에 피드를 스크롤하여 인간 행동을 모방합니다.

시나리오 4: Ozon에서 경쟁자 가격 모니터링 24/7

작업: 매시간 Ozon에서 500개 경쟁자 상품의 가격을 추적하고 변경 사항을 데이터베이스에 기록합니다. 작업이 지속적으로 진행됩니다.

설정:

  • 프록시: 정적 IP를 가진 ISP 프록시 (변경되지 않음) 또는 데이터 센터
  • 자동화: Cron 작업 (Linux) 또는 작업 스케줄러 (Windows), 매시간 스크립트를 실행합니다.
  • 데이터 저장: PostgreSQL 또는 MySQL, 테이블 필드: product_id, price, timestamp
  • 오류 처리: Ozon이 사용 불가한 경우 (500 오류) — 반복을 건너뛰고 로그에 기록, 한 시간 후 다시 시도

위험: Ozon은 너무 잦은 요청에 대해 IP를 차단할 수 있습니다. 해결책 — 3-5개의 프록시 풀을 사용하여 로테이션.

결론

장기 작업을 위한 세션 관리는 적절한 프록시 선택, 안티-디텍트 브라우저 설정 및 진행 상황 저장을 위한 신뢰할 수 있는 자동화의 조합입니다. 주요 사항은 다음과 같습니다:

  • 인증이 필요한 작업(계정 농사, 광고 대시보드 작업)에는 6-24시간 스티키 세션이 있는 주거용 또는 ISP 프록시를 사용하세요.
  • 인증 없는 파싱에는 정적 IP를 가진 데이터 센터가 적합합니다 — 더 저렴하고 빠릅니다.
  • 모바일 프록시는 IP가 자주 변경되기 때문에 장기 작업에 적합하지 않습니다.
  • 브라우저 프로필을 저장하고 작업 중간에 지문을 변경하지 마세요.
  • 반드시 진행 상황을 로깅하고 오류 발생 시 자동 재시작을 설정하세요.
  • 중요한 작업의 경우 문제 알림을 설정하세요 (텔레그램, 이메일).

8시간 이상의 인증 작업(계정 농사, 소셜 미디어 자동화, 광고 대시보드 작업)을 계획하고 있다면, 스티키 세션을 지원하는 주거용 프록시를 사용해 보시기 바랍니다 — 이는 세션 전체에 걸쳐 안정적인 IP를 제공하고 차단 위험을 최소화합니다. 인증 없는 마켓플레이스 파싱 및 가격 모니터링에는 데이터 센터 프록시가 적합합니다 — 동일한 연결 안정성으로 더 빠르고 저렴합니다.

```