월마트 파싱: 차단 없이 데이터 수집을 위한 프록시 선택 및 설정 방법

1. IP 평판 분석

PerimeterX는 각 IP 주소를 알려진 프록시 서버, 데이터 센터 및 VPN 데이터베이스와 비교합니다. 해당 IP가 데이터베이스에 있다면 차단되거나 CAPTCHA를 받게 됩니다. Walmart는 특히 인기 있는 클라우드 제공업체(AWS, Google Cloud, DigitalOcean)의 IP를 엄격하게 필터링합니다.

2. 행동 분석

시스템은 사용자가 페이지와 상호작용하는 방식을 추적합니다: 마우스 움직임, 스크롤 속도, 클릭. Selenium이나 Puppeteer를 사용하는 파서는 종종 여기서 적발됩니다. 페이지를 너무 빠르게 열고 자연스러운 간격 없이 마우스를 움직이지 않기 때문입니다.

3. TLS 및 HTTP 지문

PerimeterX는 연결의 TLS 지문(암호화 순서, 확장) 및 HTTP 요청 헤더를 분석합니다. 표준 Python 라이브러리(요청, urllib)는 쉽게 인식할 수 있는 고유한 지문을 가지고 있습니다. User-Agent를 변경하더라도 시스템은 헤더와 실제 브라우저 간의 불일치를 감지합니다.

4. JavaScript 챌린지

의심스러운 요청이 있을 경우 PerimeterX는 브라우저에서 확인을 수행하는 JavaScript 코드를 전송합니다: Canvas API 접근 가능 여부, WebGL, 화면 설정, 설치된 글꼴. 단순한 HTTP 파서는 이 코드를 실행할 수 없으므로 차단됩니다.

프록시 유형	Walmart에 대한 효과	속도	비용	추천
주거용 프록시	⭐⭐⭐⭐⭐ 우수 — 실제 사용자 IP, 최소 차단	중간 (200-800 ms)	높음 ($7-15/GB부터)	프로덕션에 최적
모바일 프록시	⭐⭐⭐⭐⭐ 우수 — 높은 신뢰 점수, 드문 차단	낮음 (500-1500 ms)	매우 높음 (IP당 $50-100/월부터)	복잡한 경우에 적합
데이터 센터 프록시	⭐⭐ 불량 — 높은 차단 확률 (70-90%)	높음 (50-150 ms)	낮음 (IP당 $1-3부터)	추천하지 않음
ISP 프록시	⭐⭐⭐⭐ 양호 — 정적 주거용 IP	높음 (80-200 ms)	중간 (IP당 $30-80/월부터)	장기 작업에 적합

주거용 프록시 — Walmart의 금본위제

이는 실제 가정용 인터넷 제공업체(미국의 Comcast, AT&T, Verizon)의 IP 주소입니다. Walmart는 이를 일반 구매자로 인식하므로 차단 비율이 최소화됩니다 — 올바른 설정 시 약 5-10%입니다. 주요 장점은 방대한 주소 풀(수백만 IP)로 효과적인 회전을 설정할 수 있다는 것입니다.

사용 시기: 수천 개 상품의 가격 모니터링, 일일 데이터 수집, 장기 프로젝트. Walmart 파싱을 위해 주거용 프록시는 효율성과 비용 측면에서 최적의 선택입니다.

모바일 프록시 — 최대의 신뢰성

모바일 통신사(IP T-Mobile, Verizon Wireless)는 봇 방지 시스템에서 가장 높은 신뢰 점수를 가지고 있습니다. 이유는 하나의 IP가 수천 명의 실제 사용자가 공유하기 때문입니다(NAT를 통해). 따라서 이를 차단하는 것은 수천 명의 구매자를 차단하는 것과 같습니다. Walmart는 모바일 IP를 거의 차단하지 않습니다.

사용 시기: 주거용 프록시가 효과가 없을 때, 특히 보호된 섹션(예: 특정 지역의 가격)을 파싱해야 할 때, 예산이 허용되는 경우. 모바일 프록시는 거의 100% 성공적인 요청을 제공하지만 비용이 더 비쌉니다.

데이터 센터 프록시 — Walmart에 적합하지 않음

데이터 센터(AWS, OVH, Hetzner)의 서버 IP 주소는 PerimeterX에 의해 즉시 인식됩니다. 파싱에 사용되지 않았던 "깨끗한" IP를 구매하더라도 시스템은 여전히 데이터 센터임을 인식합니다. 차단 비율은 70-90%입니다.

유일한 사용 시나리오: 소규모 데이터(10-50 페이지)에서 파서 테스트. 프로덕션에는 절대 적합하지 않습니다.

주거용 프록시 사용 시:

• Walmart 상품 페이지의 평균 크기: ~500 KB
• 10,000 상품 × 500 KB = 하루 5 GB 트래픽
• 월간 트래픽: 150 GB
• 비용: $10/GB 기준: $1,500/월
• 성공적인 요청 비율: 90-95%
• 재요청을 고려한 실제 비용: ~$1,650/월

데이터 센터 프록시 사용 시 (이론적으로):

• 100 IP 비용: ~$200/월
• 성공적인 요청 비율: 10-30% (나머지는 차단됨)
• 각 상품에 대해 3-10번의 시도를 해야 함
• 실제 트래픽: 15-50 GB (재요청으로 인해)
• 결론: 작업 수행 불가능 — IP가 빠르게 차단되고, 매 단계마다 CAPTCHA가 발생함

시장 분석이나 연구를 위해 데이터를 한 번 수집해야 하는 경우, 혼합 접근 방식을 시도할 수 있습니다:

• 상품 URL의 초기 수집을 위해 데이터 센터 프록시 사용
• 상품에 대한 상세 정보를 얻기 위해 주거용 프록시로 전환
• 비용: ~$50-100의 일회성 작업
• 소요 시간: 데이터 센터를 사용할 경우 10-20시간 대신 2-4시간

기준	주거용	데이터 센터
데이터 양	어떤 양이든 — 100페이지에서 수백만 페이지까지	소량만 가능 (1000페이지까지)
정기성	일일/주간 파싱	일회성 작업만 가능
실행 속도	안정적 — 재요청에 대한 지연 없음	예측 불가능 — 재요청이 많음
신뢰성	높음 — 90-95% 성공률	낮음 — 10-30% 성공률
오류 비용	낮음 — 성공적인 트래픽에 대해서만 비용 지불	높음 — 차단으로 인해 시간과 비용 손실

1. 요청마다 회전 (Rotating Proxies)

각 HTTP 요청은 새로운 IP 주소를 통해 전송됩니다. 이는 대부분의 주거용 프록시 제공업체의 표준 작동 모드입니다.

장점:

• 최소한의 차단 위험 — 각 IP는 1-2개의 요청만 수행
• 간단한 설정 — 제공업체가 풀을 관리
• 공격적으로 파싱 가능 — 분당 수백 개의 요청

단점:

• 세션 문제 — 사이트가 쿠키를 사용하면 각 요청이 새로운 세션으로 간주됨
• 느림 — 새로운 연결을 설정하는 데 200-500 ms 소요

사용 시기: Walmart 상품 페이지를 파싱할 때, 인증이나 세션이 필요하지 않은 경우. 이는 가격 모니터링 작업의 대부분에 최적의 전략입니다.

2. Sticky Sessions (고정 세션)

하나의 IP 주소가 일정 시간(보통 5-30분) 동안 일련의 요청에 사용되며, 이후 새로운 IP로 변경됩니다.

장점:

• 세션 및 쿠키 유지 — 장바구니, 인증 작업 가능
• 빠름 — TCP 연결 재사용
• 봇 방지 시스템에 더 "자연스러운" 행동

단점:

• 차단 위험 증가 — 하나의 IP가 10-50개의 요청을 수행
• 한도 관리 필요 — 하나의 IP에서 30-50개의 요청 초과 금지

사용 시기: 인증이 필요한 데이터를 파싱해야 할 때(예: 등록된 사용자 가격) 또는 실제 구매자 행동을 에뮬레이션하는 경우(카테고리 → 상품 → 장바구니 추가).

3. 수동 회전이 있는 정적 IP 풀

50-100개의 정적 주거용 IP(ISP 프록시)를 가져와 요청 분배를 직접 관리합니다.

장점:

• 완전한 제어 — 각 IP가 얼마나 많은 요청을 했는지 알 수 있음
• 최대 속도 — 정적 IP가 회전 IP보다 빠름
• IP "워밍업" 가능 — 평판을 높이기 위해 합법적인 요청 수행

단점:

• 복잡한 설정 — 요청 분배 로직을 작성해야 함
• 비쌈 — ISP 프록시 비용이 IP당 월 $30-80
• IP 손실 위험 — 하나가 차단되면 교체해야 함

사용 시기: 하루 100,000개 이상의 요청이 필요한 고부하 시스템에 적합하며, 속도와 안정성이 중요합니다. 파서 개발 경험이 필요합니다.

가격 모니터링을 위한 (상품 페이지 간단 파싱):

• 유형: 요청마다 회전하는 프록시
• 요청 간 지연: 2-5초
• 병렬성: 10-20 스레드
• 지리적 위치: 미국 (가능하면 Walmart의 실제 매장이 있는 주)

복잡한 파싱을 위한 (인증, 장바구니 포함):

• 유형: 10-15분 지속되는 고정 세션
• IP당 요청 한도: 최대 30-40
• 요청 간 지연: 3-7초 (인간 모방)
• 병렬성: 5-10 스레드 (공격성 감소)

1. User-Agent 및 HTTP 헤더

표준 라이브러리(Python requests, Node.js axios)는 즉시 봇을 드러내는 헤더를 보냅니다. 예를 들어, User-Agent: python-requests/2.28.1는 100% 차단됩니다.

변경해야 할 사항:

• User-Agent — 최신 Chrome/Firefox 버전 사용
• Accept — 콘텐츠 유형에 맞아야 함
• Accept-Language — Walmart 미국 파싱을 위해 en-US
• Accept-Encoding — gzip, deflate, br
• Referer — 이전 페이지 (카테고리 또는 메인)
• Sec-Fetch-* — CSRF 보호를 위한 Chrome 헤더

2. TLS 지문 (JA3)

각 HTTP 클라이언트는 고유한 TLS 지문(암호화 순서, TLS 확장, 프로토콜 버전)을 가지고 있습니다. PerimeterX는 이 지문을 User-Agent와 비교합니다: "Chrome 120"이라고 작성하고 TLS 지문이 Python에서 온 경우 — 차단됩니다.

해결책:

• 커스텀 TLS를 지원하는 라이브러리 사용: curl-impersonate (Python), tls-client (Go)
• 또는 Selenium/Puppeteer를 통해 실제 브라우저 사용 — 이들은 진짜 TLS 지문을 가지고 있습니다.

3. JavaScript 챌린지 및 Canvas 지문

PerimeterX는 Canvas API 접근 가능 여부, WebGL, 설치된 글꼴, 화면 크기, 시간대 등을 확인하는 JavaScript 코드를 보낼 수 있습니다. 단순한 HTTP 파서는 이 코드를 실행할 수 없습니다.

해결책:

• 헤드리스 브라우저 사용: Puppeteer, Playwright, Selenium
• 탐지 우회 모드 활성화: puppeteer-extra-plugin-stealth 사용
• 매개변수 랜덤화: 창 크기, 시간대, 브라우저 언어

GET /ip/Product-Name/12345678 HTTP/1.1
Host: www.walmart.com
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8
Accept-Language: en-US,en;q=0.9
Accept-Encoding: gzip, deflate, br
Referer: https://www.walmart.com/browse/electronics/tv-video/3944_1060825
Sec-Fetch-Dest: document
Sec-Fetch-Mode: navigate
Sec-Fetch-Site: same-origin
Sec-Fetch-User: ?1
Upgrade-Insecure-Requests: 1
Connection: keep-alive

요청 유형	요청 간 지연	하나의 IP에서 최대 요청 수	병렬성
상품 페이지	2-5초	30-50 페이지 (회전 사용 시)	10-20 스레드
카테고리 페이지	3-7초	20-30 페이지	5-10 스레드
검색	5-10초	10-15 요청	3-5 스레드
API 엔드포인트	1-3초	50-100 요청	20-30 스레드

요청을 정확히 3초마다(3.000, 6.000, 9.000...) 수행하면, 봇 방지 시스템이 패턴을 인식합니다. 실제 사람은 그렇게 정확할 수 없습니다 — 변동이 있을 것입니다: 2.8초, 3.4초, 2.9초.

지연 구현 예시 (Python):

import random
import time

# 잘못된 방법 — 고정 지연
time.sleep(3)

# 올바른 방법 — 랜덤화된 지연
delay = random.uniform(2.0, 5.0)  # 2초에서 5초 사이
time.sleep(delay)

1. 적응형 요청 제한

성공적인 요청 비율을 추적하십시오. 403 또는 CAPTCHA를 받기 시작하면 지연을 자동으로 늘리고 병렬성을 줄이십시오.

success_rate = successful_requests / total_requests

if success_rate < 0.8:  # 성공률 80% 미만
    delay_multiplier *= 1.5  # 지연 증가
    parallel_workers -= 2    # 스레드 감소
elif success_rate > 0.95:  # 성공률 95% 초과
    delay_multiplier *= 0.9  # 속도 증가 가능
    parallel_workers += 1

2. 시간대에 따른 분배

실제 사용자의 피크 활동 시간(미국 저녁, 18:00-22:00 EST)에 파싱하십시오. 이 시간 동안 귀하의 트래픽은 합법적인 트래픽과 섞이며, 봇 방지 시스템이 덜 공격적입니다. 밤(2:00-6:00 EST)에는 실제 사용자가 적어 방어가 더 엄격할 수 있습니다.

3. IP 주소 워밍업

대량 파싱을 시작하기 전에 IP 주소를 합법적인 요청으로 "워밍업"하십시오: 메인 페이지, 몇 개의 카테고리, 검색을 열어보십시오. 이는 활동 기록을 생성하고 IP의 신뢰 점수를 높입니다.

# 새로운 IP에 대한 워밍업 순서
1. GET https://www.walmart.com/  # 메인
2. 지연 3-5초
3. GET https://www.walmart.com/browse/electronics  # 카테고리
4. 지연 4-7초
5. GET https://www.walmart.com/search?q=laptop  # 검색
6. 지연 3-6초
# 이제 목표 상품을 파싱할 수 있습니다.