블로그로 돌아가기

eBay에서 경쟁사 가격 추적하기: 차단 없이 파싱을 위한 프록시 설정 방법

eBay에서 경쟁업체 모니터링을 위한 프록시 설정 완벽 가이드: 차단 없이 가격을 크롤링하는 방법, 어떤 유형의 프록시를 선택해야 하는지, 데이터 수집을 자동화하는 방법.

📅2026년 1월 22일
```html

eBay에서 판매하고 있다면, 성공은 올바른 가격 책정에 달려 있다는 것을 알고 있을 것입니다. 그러나 eBay는 자동 데이터 수집을 적극적으로 차단합니다. 경쟁자의 가격을 대량으로 확인하려고 하면 CAPTCHA를 받거나 IP가 일시적으로 차단될 수 있습니다. 이 가이드에서는 안전하게 경쟁자를 모니터링하고 차단 위험 없이 데이터 수집을 자동화하는 방법을 설명합니다.

eBay가 파싱을 차단하는 이유와 작동 방식

eBay는 자동 데이터 수집에 대한 다단계 보호 시스템을 사용합니다. 플랫폼은 사용자가 실제 구매자처럼 사이트와 상호작용하기를 원하며, 경쟁 분석을 위한 정보를 수집하는 봇처럼 행동하는 것을 원하지 않습니다.

eBay에서 파싱을 감지하는 주요 방법:

  • IP 주소 추적: 하나의 IP에서 짧은 시간에 너무 많은 요청이 들어오면(보통 시간당 50-100개 이상의 상품 조회) 시스템이 이를 의심스럽게 표시합니다.
  • 행동 분석: 봇은 페이지를 너무 빠르게 열고(페이지당 2-3초 미만), 마우스를 움직이지 않으며 페이지를 스크롤하지 않습니다.
  • User-Agent 확인: 구식이거나 의심스러운 브라우저 헤더는 추가 검사를 유발합니다.
  • 브라우저 지문 인식: eBay는 화면 해상도, 설치된 글꼴, 시간대에 대한 데이터를 수집합니다. 불일치가 있으면 봇 사용을 나타냅니다.
  • CAPTCHA 및 챌린지: 의심스러운 경우 시스템은 CAPTCHA를 표시하거나 당신이 로봇이 아님을 확인하도록 요청합니다.

중요: eBay는 요청 빈도뿐만 아니라 행동 패턴도 추적합니다. 프록시를 사용하더라도 매일 동일한 순서로 상품 페이지를 열면 시스템이 자동화를 인식할 수 있습니다.

파싱 감지의 결과:

  • IP 주소의 일시적 차단(몇 시간에서 하루까지)
  • 각 페이지에서 CAPTCHA 표시
  • 검색 결과 접근 제한(최초 10-20개 상품만 표시)
  • 극단적인 경우 — 인증된 계정에서 파싱이 이루어질 경우 판매자 계정 차단

따라서 정기적으로 경쟁자를 모니터링하기 위해서는 프록시를 사용하는 것이 매우 중요합니다. 프록시는 여러 IP 주소 간에 요청을 분산시켜 다양한 위치의 사용자 행동을 모방할 수 있게 해줍니다.

eBay 모니터링을 위한 프록시 유형 선택

프록시 유형 선택은 모니터링 규모, 예산 및 데이터 수집 속도 요구 사항에 따라 달라집니다. eBay 작업을 위한 세 가지 주요 옵션과 그 적용 방법을 살펴보겠습니다.

프록시 유형 속도 eBay 신뢰도 최적의 용도
데이터 센터 매우 높음 (50-200 ms) 낮음 (자주 차단됨) 테스트, 일회성 수집
주거용 중간 (300-1500 ms) 높음 (실제 IP) 정기 모니터링, 대량 수집
모바일 중간 (400-2000 ms) 매우 높음 보호된 계정 작업

데이터 센터 프록시: 빠르지만 위험

데이터 센터는 가장 빠르고 저렴한 옵션이지만, eBay는 인기 호스팅 제공자의 IP 범위를 잘 알고 있습니다. 이러한 주소는 종종 이미 블랙리스트에 올라 있거나 사기 방지 시스템의 주목을 받습니다.

사용할 수 있는 경우:

  • 작은 상품 목록에 대한 일회성 데이터 수집(최대 100-200개 항목)
  • 주거용 프록시에서 실행하기 전에 파서 테스트
  • 자신의 리스팅 모니터링(경쟁자 아님)
  • eBay API 작업(공식 접근 권한이 있는 경우)

정기적으로 경쟁자를 모니터링하기 위해서는 데이터 센터가 적합하지 않습니다. "깨끗한" IP 풀을 빠르게 소진하고 차단을 받기 시작할 것입니다.

주거용 프록시: 모니터링을 위한 최적의 선택

주거용 프록시는 실제 인터넷 제공업체(Comcast, AT&T, Verizon 등)의 IP 주소를 사용합니다. eBay에 대한 이러한 요청은 일반 사용자가 집에서 상품을 탐색하는 것처럼 보입니다.

eBay 파싱의 장점:

  • 차단 위험 최소화: 주거용 IP는 일반 사용자 주소이기 때문에 블랙리스트에 올라가는 일이 드뭅니다.
  • 지리적 정확성: 특정 도시나 주의 프록시를 선택할 수 있습니다. 이는 지역 상품을 판매하는 경우 중요합니다.
  • 광범위한 주소 풀: 품질 좋은 제공업체는 수백만 개의 IP를 제공하여 모니터링을 확장할 수 있습니다.
  • 자동 회전: 각 요청 후 또는 타이머에 따라 IP를 변경하도록 설정할 수 있습니다.

eBay에 대한 최적의 설정:

  • IP 회전: 매 20-30 요청 후 또는 매 5-10분마다
  • 지리적 위치: 미국(주요 eBay 시장) 또는 목표 고객의 국가
  • 스티키 세션: 5-15분(상품 페이지 간 이동 시 IP가 변경되지 않도록)
  • 요청 간 지연: 3-8초(실제 사용자 모방)

조언: 500-1000개의 경쟁자 상품을 모니터링하려면 회전이 있는 주거용 프록시 풀로 충분합니다. 이를 통해 차단 위험 없이 하루에 2-3번 데이터를 수집할 수 있으며, 비용은 모바일 프록시보다 훨씬 저렴합니다.

모바일 프록시: 최대 신뢰도, 그러나 비쌈

모바일 프록시는 모바일 통신사의 IP(4G/5G)를 사용합니다. eBay에 대해 이는 가장 신뢰할 수 있는 트래픽 유형으로, 대부분의 구매자가 스마트폰으로 플랫폼에 접속하기 때문입니다.

모바일 프록시를 사용할 때:

  • 기본 IP 또는 주거용 프록시가 이미 eBay 블랙리스트에 올라간 경우
  • 인증된 판매자 계정에서 경쟁자를 모니터링하는 경우(최대 보안 필요)
  • 모바일 버전의 eBay에서 데이터를 수집해야 하는 경우(때때로 다른 가격과 프로모션을 표시함)
  • 매우 보호된 상품 카테고리(전자제품, 프리미엄 브랜드)에서 작업하는 경우

모바일 프록시의 단점은 높은 가격(주거용 프록시보다 3-5배 비쌈)과 낮은 속도입니다. 대부분의 경쟁자 모니터링 작업에는 과도합니다.

모니터링할 수 있는 항목: 가격, 재고, 판매자 평점

eBay에서 경쟁자를 모니터링하는 것은 단순히 가격을 추적하는 것만이 아닙니다. 올바른 비즈니스 결정을 내리기 위해서는 시장에 대한 종합적인 데이터를 수집해야 합니다. 어떤 메트릭을 추적하고 어떻게 활용할 수 있는지 살펴보겠습니다.

1. 가격 및 변동 추적

이는 대부분의 판매자에게 주요 작업입니다. 경쟁자가 유사한 상품을 어떤 가격에 판매하는지 알아야 경쟁력을 유지할 수 있습니다.

추적할 항목:

  • 현재 Buy It Now 가격: 확인 시점의 상품 가격
  • 경매 가격: 시작 입찰가 및 현재 가격(상품이 경매로 판매되는 경우)
  • 배송비: 많은 판매자가 상품 가격을 낮추지만 배송비를 높게 설정합니다. 전체 비용을 계산해야 합니다.
  • 할인 및 프로모션: "10% 할인" 또는 "2개 구매 시 1개 무료"와 같은 일시적인 프로모션
  • 변경 이력: 경쟁자가 가격을 얼마나 자주 변경하는지(매일, 매주)

데이터 활용 방법: 경쟁자가 금요일 저녁에 가격을 15% 인하한 것을 보면, 이는 주말 세일을 준비하는 것일 수 있습니다. 미리 반응하여 세일을 시작하면 판매를 잃지 않을 수 있습니다.

2. 재고 및 판매 속도 추적

eBay는 상품의 사용 가능한 수량과 판매된 수량을 표시합니다. 이러한 데이터는 경쟁자의 상품이 얼마나 잘 판매되고 있는지를 이해하는 데 도움이 됩니다.

수집할 항목:

  • 사용 가능한 수량: 재고에 남아 있는 상품 수
  • 판매 수량: 이미 판매된 수량(eBay는 인기 리스팅에 대해 이를 표시함)
  • 관심 상품 수: 몇 명의 사용자가 상품을 즐겨찾기에 추가했는지(관심 지표)
  • 리스팅 게시 날짜: 상품이 판매되기 위해 얼마나 오래 전 게시되었는지

사용 예: 경쟁자의 리스팅을 추적하고 지난 3일 동안 50개의 상품이 $29.99에 판매된 것을 보면, 이는 상품에 대한 수요가 높다는 것을 의미하며, 구매량을 늘릴 수 있습니다. 반면 판매된 수량이 몇 주 동안 변하지 않으면, 이는 수요가 낮거나 잘못된 포지셔닝을 나타냅니다.

3. 판매자 평점 및 리뷰 분석

판매자 평점은 전환율에 직접적인 영향을 미칩니다. 구매자는 높은 피드백 점수와 Top Rated Seller 상태를 가진 판매자를 선호합니다.

추적할 메트릭:

  • 피드백 점수: 총 긍정적인 리뷰 수
  • 긍정적인 피드백 비율: 긍정적인 리뷰의 비율(기준 — 98% 이상)
  • 상세 판매자 평점: 카테고리별 평가(배송 속도, 설명 일치, 소통)
  • Top Rated Seller 배지: 상위 판매자 배지의 유무
  • 지난 12개월간 리뷰 수: 판매자의 활동성을 나타냅니다.

왜 필요한가: 만약 당신의 주요 경쟁자가 Top Rated 상태이고 5000개 이상의 리뷰를 가지고 있으며, 당신은 단지 200개만 가지고 있다면, 같은 가격일지라도 구매자는 그를 선택할 것입니다. 당신은 신뢰도 차이를 보상하기 위해 가격을 낮추거나 리뷰를 쌓기 위해 적극적으로 노력해야 합니다.

4. 검색 및 카테고리에서의 위치 모니터링

eBay 검색 결과에서 상품의 위치는 판매에 매우 중요합니다. 첫 페이지에 있는 상품은 80%의 클릭을 받습니다.

추적할 항목:

  • 주요 검색어에 대한 경쟁자의 검색 위치(예: "무선 헤드폰 블루투스")
  • 추천 상품에 포함 여부(Featured items)
  • 카테고리 내 위치(예: 전자제품 → 헤드폰 → 인이어)
  • Promoted Listings 사용 여부(유료 프로모션)

위치를 추적하기 위해서는 주요 검색어에 대한 검색 결과를 파싱하고 각 경쟁자가 어떤 위치에 있는지를 기록해야 합니다. 이는 누가 SEO와 광고에 투자하고 있는지, 누가 유기적 트래픽에만 의존하고 있는지를 이해하는 데 도움이 됩니다.

파싱을 위한 프록시 설정: 단계별 안내

eBay 모니터링을 위한 프록시 설정을 실용적으로 살펴보겠습니다. 준비된 파서를 사용하든 자신만의 스크립트를 작성하든, 작동 원리는 동일합니다.

단계 1: 프록시 선택 및 구매

eBay 모니터링을 위해서는 미국 지리적 위치의 주거용 프록시를 추천합니다(이곳이 플랫폼의 주요 시장이기 때문입니다). 제공업체를 선택할 때 주의할 점은:

  • IP 풀 크기: 편안한 회전을 위해 최소 1-2백만 개의 주소
  • 스티키 세션 지원: 5-15분 동안 하나의 IP를 유지할 수 있는 기능
  • 지리적 정확성: 특정 도시나 주를 선택할 수 있는 기능(지역 상품에 중요)
  • 인증 형식: IP 화이트리스트보다 username:password로 작업하는 것이 더 편리합니다.

구매 후 연결 정보를 다음 형식으로 받게 됩니다:

Host: proxy.example.com
Port: 12321
Username: user_abc123
Password: pass_xyz789

단계 2: 파서 또는 스크립트에서 프록시 설정

대부분의 준비된 파서(Octoparse, ParseHub, Apify)는 프록시 지원이 내장되어 있습니다. 설정에서 데이터를 입력하기만 하면 됩니다.

인기 도구에서 설정 예:

Octoparse (코드 없는 시각적 파서):

  1. 작업 설정(Task Settings)을 엽니다.
  2. "Proxy Settings" 섹션으로 이동합니다.
  3. "Use proxy server"를 선택합니다.
  4. 서버(host:port), 사용자 이름, 비밀번호를 입력합니다.
  5. 유형을 선택합니다: HTTP 또는 SOCKS5(둘 다 eBay에 적합함)
  6. 연결을 확인하기 위해 "Test"를 클릭합니다.

ParseHub (클라우드 파서):

  1. 프로젝트 설정에서 "Advanced Options"를 찾습니다.
  2. "Use Proxy"를 활성화합니다.
  3. 입력 형식: http://username:password@host:port
  4. 프록시 회전을 위해 "Rotating Proxy" 기능을 사용합니다(제공업체에서 지원하는 경우).

자신만의 스크립트를 사용하는 경우, 프록시 연결은 프로그래밍 언어에 따라 다릅니다. 대부분의 eBay 모니터링 작업에는 Python(라이브러리 requests, Selenium) 또는 Node.js(Puppeteer, Playwright)가 사용됩니다.

단계 3: User-Agent 및 헤더 설정

프록시를 사용하는 것은 일의 절반에 불과합니다. eBay는 또한 요청의 HTTP 헤더를 분석합니다. 구식 User-Agent를 사용하거나 표준 헤더 없이 요청을 보내면 의심을 받을 수 있습니다.

eBay 파싱을 위한 필수 헤더:

  • User-Agent: 최신 Chrome 또는 Firefox 버전을 사용합니다(2-3개월마다 업데이트).
  • Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
  • Accept-Language: en-US,en;q=0.9 (미국용) 또는 ru-RU,ru;q=0.9 (러시아용)
  • Accept-Encoding: gzip, deflate, br
  • Referer: https://www.ebay.com/ (후속 요청용)

조언: User-Agent 회전을 사용하세요 — 매 50-100 요청마다 변경하세요. 이는 다양한 브라우저를 사용하는 다양한 사용자처럼 보이게 합니다.

단계 4: 설정 테스트

본격적인 모니터링을 시작하기 전에 소규모 상품 샘플(10-20개 항목)에서 설정을 반드시 테스트하세요.

테스트 체크리스트:

  1. IP 주소 확인: 파서에서 https://api.ipify.org/ 페이지를 엽니다 — 현재 IP를 보여줍니다. 이것이 실제 IP가 아닌 프록시 IP인지 확인하세요.
  2. 지리적 위치 확인: https://www.ebay.com/를 열고 어떤 국가가 감지되는지 확인합니다(프록시의 지리적 위치와 일치해야 함).
  3. 20개 상품 데이터 수집: 파서를 실행하고 모든 데이터가 올바르게 수집되는지 확인합니다(가격, 재고, 평점).
  4. CAPTCHA 존재 여부 확인: 테스트 실행 중 CAPTCHA가 나타나면 설정이 충분히 안전하지 않음을 의미합니다.
  5. 속도 측정: 100개 상품 데이터 수집 시간을 측정하세요 — 이는 모니터링 빈도를 계획하는 데 도움이 됩니다.

중요: 테스트 중 CAPTCHA나 차단을 받았다면, 즉시 전체 모니터링을 시작하려고 하지 마세요. 먼저 요청 간 지연을 늘리고(10-15초까지) IP 회전 빈도를 줄이세요(예: 20번 요청마다 IP를 변경하는 대신 50번으로 변경).

경쟁자 모니터링 자동화를 위한 도구

eBay에서 경쟁자를 정기적으로 모니터링하기 위해 코드를 처음부터 작성할 필요는 없습니다. 데이터 수집을 간소화하고 프록시와 통합되는 준비된 도구들이 있습니다.

시각적 파서(no-code 솔루션)

이러한 도구는 그래픽 인터페이스를 통해 파싱을 설정할 수 있게 해줍니다 — 수집할 페이지 요소를 클릭하기만 하면 됩니다.

도구 특징 가격
Octoparse 프록시 지원, 클라우드 실행, eBay용 템플릿 월 $75부터
ParseHub 무료 플랜(200페이지까지), 간단한 인터페이스 월 $149부터
Apify eBay용 준비된 액터, 통합을 위한 API 월 $49부터
WebHarvy 데스크톱 애플리케이션, 일회성 구매 $139 (일회성)

추천: 초보자에게는 Octoparse가 가장 적합합니다 — eBay 파싱을 위한 준비된 템플릿이 있으며 설정하는 데 15-20분이 걸립니다. 더 경험이 있는 사용자에게는 Apify가 더 많은 유연성과 JavaScript를 통한 사용자 정의 가능성을 제공합니다.

가격 모니터링을 위한 전문 서비스

가격 모니터링만 필요하다면(다른 데이터 수집 없이) 준비된 SaaS 솔루션이 있습니다:

  • Keepa: 원래 Amazon용이지만 eBay도 지원합니다. 가격 이력을 추적하고 변동 그래프를 표시합니다.
  • PriceYak: 경쟁자 가격을 기반으로 자동 재가격 책정. eBay API와 통합됩니다.
  • Algopix: 판매자를 위한 시장 분석, 경쟁자 가격, 수요, 수익성 표시.

이러한 서비스는 이미 프록시 인프라를 내장하고 있으므로, 직접 설정할 필요가 없습니다. 단점은 제한된 사용자 정의와 더 높은 가격입니다.

모니터링 일정 설정

모니터링 빈도는 상품 카테고리와 시장 동향에 따라 달라집니다:

  • 고경쟁 틈새 시장 (전자제품, 의류): 하루 2-3회(아침, 점심, 저녁)
  • 중간 경쟁 (홈 상품, 스포츠): 하루 1회
  • 낮은 경쟁 (수집품, 희귀 부품): 주 2-3회

대부분의 클라우드 파서(Octoparse, ParseHub, Apify)는 일정에 따라 자동 실행을 설정할 수 있습니다. 데이터는 Google Sheets, Excel로 내보내거나 이메일로 보낼 수 있습니다.

IP 회전 전략 및 안전한 요청 한도

올바른 IP 회전은 차단 없이 장기적으로 모니터링하는 열쇠입니다. 회전을 설정하고 어떤 한도를 준수해야 하는지 살펴보겠습니다.

프록시 회전 유형

eBay 파싱 시 IP 회전에는 두 가지 주요 접근 방식이 있습니다:

1. 요청마다 회전(Rotating Proxies)

eBay에 대한 각 요청은 새로운 IP 주소로 진행됩니다. 이는 최대한 안전한 옵션이지만, 많은 프록시 풀이 필요하고 지속적인 재연결로 인해 느릴 수 있습니다.

사용할 때: 대량의 데이터를 수집할 때(하루 1000개 이상의 상품), 속도가 중요하지 않을 때.

2. 스티키 세션(세션 프록시)

IP 주소는 특정 시간(5-30분) 또는 특정 요청 수(20-50) 동안 유지됩니다. 이는 여러 페이지를 연속으로 탐색하는 실제 사용자를 모방합니다.

사용할 때: 중간 규모 모니터링(100-500개 상품) 시 안정적인 연결이 필요할 때.

eBay에 대한 권장 사항: 10-15분 동안 지속되는 스티키 세션을 사용하세요. 이는 안전성과 속도 간의 최적의 균형입니다. 15분 동안 실제 사용자는 20-30개의 상품을 탐색할 수 있으며, 이러한 패턴을 모방해야 합니다.

안전한 요청 한도

eBay는 파싱에 대한 공식 한도를 발표하지 않지만, 판매자의 경험을 바탕으로 안전한 경계를 정리할 수 있습니다:

파라미터 안전 한도 차단 위험
시간당 하나의 IP에서 요청 수 30-50페이지 낮음
시간당 하나의 IP에서 요청 수 100페이지 이상 높음
요청 간 지연 5-10초 낮음
요청 간 지연 1-2초 중간-높음
하루 총량(모든 IP) 최대 10,000페이지 낮음(올바른 회전 시)

IP 회전 수 계산 공식:

IP 수 = (모니터링할 상품 수 × 하루 확인 빈도) / 40

예: 500개의 상품을 하루에 3번 모니터링하면 = 1500개의 요청. 40(안전 한도)으로 나누면 = 하루에 최소 38개의 고유 IP가 필요합니다. 여유를 두고 50-60개의 IP를 확보해야 합니다.

사람을 모방하기 위한 무작위성 추가

봇은 너무 예측 가능하게 작동합니다. 파싱이 실제 사용자의 행동처럼 보이도록 무작위 요소를 추가하세요:

  • 무작위 지연: 고정된 5초 대신 4초에서 9초 사이의 지연을 설정합니다(random).
  • 상품 순서 다양화: 매번 동일한 순서로 상품을 파싱하지 마세요.
  • 클릭 모방: Selenium/Puppeteer를 사용하는 경우, 때때로 무작위 요소(카테고리, 필터)를 클릭하세요.
  • 페이지 스크롤: 데이터 수집 전에 페이지를 아래로 스크롤하세요(eBay는 스크롤 이벤트를 추적합니다).

이러한 작은 요소들이 자동화 탐지 가능성을 크게 줄입니다.

eBay 파싱 시 일반적인 실수 및 피하는 방법

올바르게 설정된 프록시를 사용하더라도 일반적인 실수를 저지르면 차단될 수 있습니다. 가장 흔한 문제를 살펴보겠습니다.

실수 1: 동일한 User-Agent 사용

많은 초보자들이 프록시를 설정하지만 User-Agent 회전을 잊어버립니다. 그 결과, 수천 개의 요청이 서로 다른 IP에서 동일한 브라우저 헤더로 들어오게 되어 eBay에 경고 신호가 됩니다.

해결책: 20-30개의 최신 User-Agent(Chrome, Firefox, Safari의 Windows 및 macOS 버전) 목록을 작성하고 무작위로 회전시킵니다. 브라우저의 새로운 버전이 출시될 때마다 2-3개월마다 목록을 업데이트하세요.

실수 2: 너무 빠른 파싱

가능한 한 빨리 데이터를 수집하려는 욕망은 차단으로 이어집니다. 실제 사용자는 초당 10페이지의 상품을 열 수 없습니다.

해결책: 요청 간 최소 4-5초의 지연을 설정하세요. 느리지만 더 안전합니다. 속도가 필요하다면 여러 IP를 사용하여 병렬 파싱을 진행하세요(시작).

```