마켓플레이스에서 프록시를 통한 상품 재고 모니터링 설정 방법: 셀러를 위한 가이드

자동 재고 모니터링(stock availability)은 판매자와 소매업체에게 매우 중요한 작업입니다. Wildberries, Ozon, Amazon에서 경쟁사의 재고를 추적하면 가격과 구매를 신속하게 조정할 수 있습니다. 하지만 마켓플레이스는 하나의 IP에서 대량 요청을 엄격하게 차단합니다 — 프록시 없이는 10-50개의 요청 후 파서가 차단됩니다.

이 가이드에서는 프록시를 통한 안정적인 재고 가용성 모니터링 설정 방법을 다룹니다: 어떤 프록시 유형을 선택할지, IP 로테이션 설정 방법, 어떤 요청 매개변수를 사용할지, 인기 마켓플레이스에서 차단을 피하는 방법.

마켓플레이스가 재고 모니터링을 차단하는 이유

마켓플레이스는 여러 단계의 보호 기능으로 파싱으로부터 인프라를 보호합니다. 자동 재고 모니터링을 실행하면 스크립트가 마켓플레이스의 API나 웹 페이지에 수백 또는 수천 개의 요청을 보냅니다. 플랫폼 입장에서는 이것이 공격이나 부정한 데이터 수집처럼 보입니다.

파서 탐지의 주요 방법:

• 하나의 IP에서의 요청 빈도 — 하나의 주소에서 분당 100개 이상의 요청이 오면 명백한 봇의 징후입니다. 일반 사용자는 물리적으로 초당 2-3개의 상품 카드를 열 수 없습니다.
• 쿠키 및 세션 기록 부재 — 파서는 종종 메인 페이지 방문 없이 요청을 보내므로 자동화가 드러납니다.
• 동일한 User-Agent — 모든 요청이 동일한 브라우저 헤더로 전송되면 의심스럽습니다.
• 행동 패턴 — ID별 순차적 상품 열거, 무작위 일시 정지 부재, 완벽한 요청 규칙성.

차단은 IP 주소 수준에서 발생합니다. 처음에는 마켓플레이스가 캡차를 표시할 수 있고, 그 다음 일시적으로 접근을 제한(rate limiting)하며, 체계적인 위반 시 몇 시간 또는 며칠 동안 IP를 완전히 차단합니다.

재고 가용성 파싱을 위한 프록시 유형 선택

프록시 유형 선택은 모니터링 안정성과 차단 가능성에 직접적인 영향을 미칩니다. 다양한 마켓플레이스는 다양한 유형의 IP 주소에 다르게 반응합니다. 재고 파싱을 위한 세 가지 주요 옵션과 그 적용을 살펴보겠습니다.

주거용 프록시 — 대부분의 재고 가용성 모니터링 작업에 최적의 선택입니다. 실제 가정 사용자의 IP 주소를 사용하므로 마켓플레이스는 요청을 합법적인 것으로 인식합니다. Wildberries와 Ozon의 경우 이는 거의 필수 요구 사항입니다 — 이러한 플랫폼은 데이터센터를 공격적으로 차단합니다.

데이터센터 프록시는 보호 기능이 약한 사이트나 최대 파싱 속도가 필요할 때 적합합니다. 예를 들어, 지역 마켓플레이스나 소규모 온라인 상점 모니터링에 적합합니다. 주요 장점은 높은 속도와 연결 안정성입니다. 하지만 대형 플랫폼에서는 더 자주 차단됩니다.

모바일 프록시 — 가장 신뢰할 수 있지만 가장 비싼 옵션입니다. 중요한 상품이나 주거용 프록시가 차단되기 시작할 때 사용하세요. 모바일 IP는 하나의 주소 뒤에 수천 명의 실제 통신사 사용자가 있을 수 있으므로 차단이 거의 불가능합니다.

IP 로테이션 설정: 주소 변경 빈도

IP 로테이션은 차단 방지를 위한 핵심 매개변수입니다. 주소 변경 빈도를 올바르게 설정하면 각 IP에서 최소한의 요청이 오도록 부하를 분산하여 일반 사용자의 행동을 모방할 수 있습니다.

로테이션에 대한 두 가지 주요 접근 방식:

1. 시간 기반 로테이션 (Time-based rotation)
IP 주소는 요청 수와 관계없이 설정된 시간 간격 후에 변경됩니다. 이는 일정한 빈도로 정기적인 모니터링에 적합한 간단하고 예측 가능한 방법입니다.

• 5-10분마다 — 중요한 상품의 빈번한 모니터링 (최상위 포지션, 경쟁이 치열한 상품)
• 15-30분마다 — 대부분의 재고 가용성 모니터링 작업을 위한 표준 모드
• 매시간 — 높은 업데이트 빈도가 필요하지 않은 대규모 제품군의 백그라운드 모니터링

2. 요청 기반 로테이션 (Request-based rotation)
IP는 특정 수의 요청이 실행된 후 변경됩니다. 이 방법은 각 주소의 부하에 대한 보다 정확한 제어를 제공합니다.

• 10-20개 요청마다 — Wildberries와 Ozon (강력한 보호)
• 50-100개 요청마다 — Amazon, eBay (중간 보호)
• 200-500개 요청마다 — 보호 기능이 약한 플랫폼

결합 접근 방식 (권장):
시간 기반 로테이션을 주요 방법으로 설정하되 추가 보호로 요청 제한을 추가하세요. 예: IP는 10분마다 또는 50개 요청 후 변경됩니다 — 먼저 도달하는 것. 이는 우발적인 활동 급증으로부터 보호합니다.

다양한 마켓플레이스 모니터링의 특징

각 마켓플레이스는 파싱 방지를 위한 고유한 보호 기능이 있으며 재고 가용성 모니터링 설정에 대한 개별적인 접근이 필요합니다. 인기 있는 러시아 및 국제 플랫폼 작업의 세부 사항을 살펴보겠습니다.

Wildberries

Wildberries는 러시아 마켓플레이스 중 가장 공격적인 파싱 방지 시스템 중 하나를 가지고 있습니다. 플랫폼은 헤더, 쿠키, 요청 빈도 및 행동 패턴 분석을 포함한 다단계 요청 확인을 사용합니다.

주요 특징:

• 주거용 프록시 사용 필수 — 데이터센터는 거의 즉시 차단됨
• Referer 및 Accept-Language를 포함한 전체 브라우저 헤더 세트 전달 필요
• Wildberries API는 일부 요청에 특수 토큰 필요
• 빈번한 IP 변경(5-10분마다)이 매우 중요
• 요청 간 무작위 지연 추가: 2-5초

Wildberries에서 상품 재고 모니터링을 위해 공개 API 또는 상품 카드 파싱을 사용하세요. API가 더 안정적이지만 엄격한 제한이 있습니다. HTML 파싱 시 실제 브라우저 동작을 모방해야 합니다: 이미지 로드, JavaScript 실행, 요청 간 쿠키 저장.

Ozon

Ozon은 Wildberries에 비해 덜 공격적인 보호를 사용하지만 여전히 신중한 접근이 필요합니다. 플랫폼은 봇으로부터 보호하기 위해 Cloudflare를 적극적으로 사용하여 추가적인 복잡성을 더합니다.

• 주거용 프록시 권장, 하지만 낮은 요청 빈도에서 고품질 데이터센터 작동 가능
• Cloudflare challenge는 JavaScript 실행 필요 — headless 브라우저 또는 특수 라이브러리 사용
• 10-15분마다 IP 로테이션이 일반적으로 충분
• 요청 간 지연: 3-7초
• Cloudflare 통과 후 쿠키 저장 필수

Amazon

Amazon은 많은 요청 매개변수를 분석하는 복잡한 보호 시스템을 가지고 있습니다. 플랫폼은 특히 요청 빈도와 IP 주소의 지리적 위치에 민감합니다.

• 대상 마켓플레이스와 동일한 국가의 주거용 프록시 사용 (amazon.com — 미국, amazon.de — 독일)
• Amazon은 의심스러운 활동 시 자주 캡차 표시 — 해결 시스템 준비
• 15-20분마다 또는 50-100개 요청마다 IP 로테이션
• 요청 간 지연: 5-10초 (Amazon은 속도에 매우 민감)
• 인기 브라우저의 최신 User-Agent 사용 필수

Avito

Avito는 특정 기능이 있습니다 — 광고의 지리적 연결. 특정 도시에서 상품 재고를 올바르게 모니터링하려면 해당 지역의 프록시가 필요합니다.

• 필요한 도시의 지리적 위치가 있는 주거용 프록시 사용
• Avito는 다른 지역에 대해 다른 결과 표시 — 하나의 IP는 광고의 일부만 볼 수 있음
• 10-15분마다 로테이션으로 충분
• 요청 간 지연: 3-5초
• 플랫폼은 세션 추적을 위해 쿠키 사용 — 반드시 저장

요청 제한 및 확인 간 지연

요청 빈도의 올바른 설정은 데이터 관련성과 차단 위험 사이의 균형입니다. 너무 빈번한 확인은 차단으로 이어지고, 너무 드문 확인은 경쟁 우위 상실로 이어집니다. 다양한 시나리오에 대한 최적의 빈도를 찾는 방법을 살펴보겠습니다.

하나의 상품에 대한 요청 간 권장 지연:

연속 요청 간 지연 (여러 상품을 연속으로 파싱할 때):

• 최소 지연: 2-3초 — 인간 행동 모방을 위한 절대 최소값. 실제 사용자는 더 빠르게 상품 카드를 열 수 없습니다.
• 최적 지연: 4-7초 — 대부분의 작업에 권장. 무작위성 추가: random(4000, 7000) 밀리초.
• 안전 지연: 8-15초 — 특히 보호된 플랫폼이나 제한 초과 경고를 받은 후 사용.

중요한 원칙 — 무작위성: 고정 간격을 절대 사용하지 마세요. 정확히 5초 지연 대신 4~6초 사이의 무작위 지연을 만드세요. 이는 인간 행동 모방에 매우 중요합니다. 실제 사용자는 완벽한 규칙성으로 클릭하지 않습니다.

시간대별 부하 분산:
마켓플레이스는 보호 시스템이 특히 민감한 피크 부하 시간(일반적으로 저녁 18:00-22:00)이 있습니다. 이 기간 동안 요청 빈도를 줄이거나 데이터가 중요하지 않은 경우 모니터링을 일시 중지하는 것이 좋습니다.

프록시를 통한 모니터링을 위한 기성 도구

재고 가용성 모니터링을 위해 처음부터 파서를 작성할 필요는 없습니다. 프록시를 통한 작업을 지원하고 차단 방지를 위한 내장 메커니즘이 있는 많은 기성 솔루션이 있습니다. 다양한 기술 준비 수준을 위한 인기 도구를 살펴보겠습니다.

기성 SaaS 서비스 (프로그래밍 불필요)

1. Keepa (Amazon용)
Amazon 모니터링 전문 서비스. 가격, 상품 재고, 평점 추적. 내장 프록시 시스템이 있으며 기술 지식이 필요하지 않습니다. 단점 — Amazon에서만 작동.

2. Parsehub
그래픽 인터페이스를 통해 데이터 수집을 설정할 수 있는 시각적 파서. 프록시 설정, IP 로테이션, 요청 간 지연 지원. 프로그래밍 기술이 없는 사용자에게 적합.

3. Octoparse
더 고급 자동화 기능을 갖춘 Parsehub의 대안. Amazon, eBay를 포함한 인기 마켓플레이스용 내장 템플릿 보유. 클라우드 작업 실행 및 자동 프록시 로테이션 지원.

프로그램 솔루션 (설정 필요)

1. Scrapy (Python)
Python용 강력한 파싱 프레임워크. 프록시, 로테이션용 미들웨어, 오류 처리에 대한 내장 지원. 프로그래밍 기술이 필요하지만 최대한의 설정 유연성 제공.

Scrapy의 프록시 설정 예제는 settings.py 파일에 있습니다 — 로테이션용 미들웨어와 프록시 서버 목록을 추가합니다. 프레임워크는 사용 가능한 IP 간에 요청을 자동으로 분산합니다.

2. Puppeteer / Playwright (JavaScript)
Chrome/Firefox 자동화를 위한 Headless 브라우저. JavaScript 및 복잡한 보호 기능이 있는 사이트 파싱에 이상적. 브라우저 수준에서 프록시 설정, 실제 사용자 행동 에뮬레이션 지원.

3. Selenium
클래식 브라우저 자동화 도구. Puppeteer보다 느리게 작동하지만 더 많은 기성 솔루션과 예제 보유. 초보 개발자에게 적합.

마켓플레이스용 전문 솔루션

1. МойСклад (Wildberries, Ozon 통합)
러시아 마켓플레이스와의 내장 통합이 있는 회계 시스템. 재고를 자동으로 동기화하지만 공식 API를 통해서만 작동 — 경쟁사 모니터링에는 적합하지 않음.

2. Mpstats
Wildberries 및 Ozon용 분석 서비스. 상품, 가격, 재고에 대한 데이터 수집. 자체 프록시 인프라 보유, 추가 설정 불필요. 유료이지만 안정적.

3. SellerFox
러시아 마켓플레이스 판매자를 위한 종합 솔루션. 경쟁사 모니터링, 분석, 가격 자동화 포함. 자체 프록시를 통해 작동.

파서용 프록시 단계별 설정

일반적인 시나리오를 예로 들어 재고 가용성 모니터링을 위한 프록시의 실제 설정을 살펴보겠습니다: 30분마다 확인하는 Wildberries의 상품 100개 모니터링. 이 지침은 대부분의 기성 파서 및 자체 제작 솔루션에 적합합니다.

1단계: 프록시 선택 및 구매

Wildberries에는 주거용 프록시가 필요합니다. 필요한 수량을 계산해 봅시다:
- 상품 100개 × 시간당 확인 2회 = 시간당 요청 200개
- Wildberries의 안전 제한: IP당 요청 20개
- 필요: 200 ÷ 20 = 최소 IP 주소 10개

여유를 두고 구매하는 것이 좋습니다: 안정적인 작동을 위해 15-20개 IP. 프록시 구매 시 공급자가 시간 또는 요청 기반 로테이션을 지원하는지 확인하세요.

2단계: 연결 데이터 받기

구매 후 다음 형식의 데이터를 받게 됩니다:

호스트: proxy.example.com
포트: 8080
로그인: user123
비밀번호: pass456
유형: HTTP/HTTPS 또는 SOCKS5

일부 공급자는 자동 로테이션을 위한 URL을 제공합니다:

http://user123:[email protected]:8080

이 URL은 대부분의 파서에서 직접 사용할 수 있습니다 — 프록시 서버가 설정에 따라 자동으로 IP를 변경합니다.

3단계: 기성 도구에서 설정 (Octoparse)

1. 파싱 작업 설정 열기
Octoparse에서 "Advanced Options" → "Proxy Settings" 섹션으로 이동

2. 프록시 데이터 입력:

• Proxy Type: HTTP 또는 SOCKS5 선택 (프록시에 따라)
• Server: proxy.example.com
• Port: 8080
• Username: user123
• Password: pass456

3. 로테이션 설정:
공급자가 자동 로테이션을 지원하는 경우 — "Use rotating proxy" 옵션을 활성화하기만 하면 됩니다. 그렇지 않은 경우 — IP 목록을 수동으로 추가하고 10분 간격으로 "Rotate IP addresses"를 활성화합니다.

4. 지연 설정:
"Speed Settings" 섹션에서 요청 간 지연 설정: 4-7초 (4000~7000ms 사이의 무작위 지연).

4단계: 설정 테스트

본격적인 모니터링을 시작하기 전에 반드시 설정을 테스트하세요:

• 프록시 연결 확인 — 대부분의 도구에 "Test connection" 버튼이 있음
• 5-10개 상품 파싱 실행 — 데이터가 올바르게 수집되는지 확인
• 로그에서 오류 확인 — 403, 429, 503 코드는 프록시 문제 또는 너무 높은 빈도를 나타냄
• IP가 변경되는지 확인 — 로그에 로테이션 설정에 따라 다른 주소가 나타나야 함

5단계: 모니터링 및 최적화

시작 후 정기적으로 확인:

• Success rate — 성공적인 요청 비율이 95% 이상이어야 함
• 응답 코드 — 429 또는 503이 5% 이상 나타나면 부하 감소
• 프록시 작업 속도 — 지연이 2-3초를 초과하면 공급자 변경 고려
• 데이터 관련성 — 받은 데이터를 마켓플레이스 사이트의 실제 데이터와 비교

점진적으로 설정 최적화: 일주일 동안 모든 것이 안정적으로 작동하면 확인 빈도를 약간 높이거나 지연을 줄일 수 있습니다. 하지만 단계적으로 점진적으로 수행하세요.

일반적인 실수와 피하는 방법

프록시를 올바르게 설정해도 초보자는 종종 차단이나 불안정한 파서 작동으로 이어지는 실수를 합니다. 가장 일반적인 문제와 해결 방법을 살펴보겠습니다.

실수 1: 모든 요청에 하나의 User-Agent 사용

문제: 파서가 IP를 변경해도 동일한 User-Agent 헤더로 모든 요청을 보냅니다. 이는 의심스럽게 보입니다 — 동일한 "브라우저"가 다른 주소에서 나타납니다.

해결책: IP 주소와 함께 User-Agent를 로테이션하세요. 인기 브라우저(다양한 버전의 Chrome, Firefox, Safari) 목록을 만들고 각 프록시 변경 시 무작위로 선택하세요. 대부분의 파싱 라이브러리에는 User-Agent 로테이션에 대한 내장 지원이 있습니다.

실수 2: 너무 빈번한 IP 로테이션

문제: 일부는 각 요청 후 IP 변경을 설정하여 이것이 최대한 안전하다고 생각합니다. 실제로 이는 부자연스럽게 보입니다 — 실제 사용자는 매초 IP를 변경하지 않습니다.

해결책: 합리적인 로테이션 간격 사용: 5-15분 또는 하나의 IP당 20-100개 요청. 이는 한 장치에서 일정 시간 동안 머물다가 전환하는 실제 사용자의 행동을 모방합니다.

실수 3: 쿠키 무시

문제: 파서가 요청 간 쿠키 저장 없이 요청을 보냅니다. 마켓플레이스는 세션 추적을 위해 쿠키를 사용합니다 — 저장하지 않으면 각 요청이 새 세션처럼 보입니다.

해결책: 첫 번째 요청 후 항상 쿠키를 저장하고 후속 요청에서 전달하세요. IP를 변경할 때 새 쿠키로 새 세션을 만드세요 — 이는 새 사용자를 모방합니다.

실수 4: 요청 간 고정 지연

문제: 모든 요청 간에 정확히 5초 지연이 설정되어 있습니다. 이는 안티봇 시스템이 쉽게 감지할 수 있는 완벽한 패턴을 만듭니다.

해결책: 범위 내에서 무작위 지연을 사용하세요. 5초 대신 random(4, 7)초를 사용하세요. 때때로 더 긴 일시 정지(10-20초)를 추가하여 사용자의 주의 산만을 모방하세요.

실수 5: 저렴한 공개 프록시 사용

문제: 무료 또는 매우 저렴한 공개 목록을 사용하여 프록시를 절약하려는 시도. 이러한 IP는 수천 명의 다른 파서가 사용하므로 대부분의 마켓플레이스에서 이미 차단되었습니다.

해결책: 신뢰할 수 있는 공급자의 고품질 주거용 프록시에 투자하세요. 이것이 안정적인 작동의 기초입니다. 프록시 절약은 차단과의 싸움에 시간 낭비와 잠재적인 데이터 손실로 이어집니다.

실수 6: 오류 처리 부재

문제: 파서가 오류를 처리하지 않고 429 (Too Many Requests) 또는 503 (Service Unavailable)을 받은 후에도 계속 서버에 요청을 보냅니다.

해결책: 스마트 오류 처리 구현:

• 429를 받으면 — 지연을 2배로 늘리고 IP 변경
• 503을 받으면 — 5-10분 일시 정지
• 403을 받으면 — 즉시 IP 변경 및 설정 확인
• exponential backoff 사용: 반복 오류 시 일시 정지를 기하급수적으로 증가

결론

프록시를 통한 재고 가용성 모니터링은 전자상거래에서 경쟁 우위를 유지하는 데 필수적인 도구입니다. 올바른 프록시 유형 선택, IP 로테이션의 적절한 설정, 요청 빈도 최적화를 통해 차단 없이 안정적인 데이터 수집 시스템을 구축할 수 있습니다.

핵심 요점:

• Wildberries, Ozon, Amazon과 같은 주요 마켓플레이스에는 주거용 프록시가 필수
• IP 로테이션은 5-15분 간격 또는 20-100개 요청마다 설정
• 항상 무작위 지연을 사용하여 실제 사용자 행동 모방
• 쿠키 저장 및 User-Agent 로테이션 필수
• 오류 처리 및 응답 코드 모니터링 구현
• 보수적인 설정으로 시작하여 점진적으로 최적화

품질 프록시에 대한 투자는 안정적인 모니터링의 기초입니다. 프록시 절약은 차단, 데이터 손실, 시간 낭비로 이어집니다. 신뢰할 수 있는 공급자를 선택하고, 설정을 올바르게 구성하고, 파서 작동을 정기적으로 모니터링하면 장기적으로 안정적인 재고 데이터 수집 시스템을 얻을 수 있습니다.

기억하세요: 성공적인 모니터링의 핵심은 속도가 아니라 안정성입니다. 빠르게 차단당하는 것보다 느리지만 안정적으로 데이터를 수집하는 것이 낫습니다. 인내심을 가지고 설정을 최적화하면 결과가 오래 기다리지 않을 것입니다.