아마존 차단 없이 데이터 수집하기: 안전하게 경쟁 제품 가격 및 정보 수집하는 방법

아마존은 자동 데이터 수집에 적극적으로 대응하고 있습니다. 플랫폼은 의심스러운 활동이 감지되면 IP 주소를 차단하고, CAPTCHA를 표시하며, 일시적으로 접근을 제한합니다. 경쟁자의 가격을 추적하거나 품목을 분석하거나 리뷰를 수집해야 하는 판매자에게는 심각한 문제가 됩니다. 이 가이드에서는 차단 위험 없이 아마존을 안정적으로 파싱하는 방법을 살펴보겠습니다.

아마존에서 작업하기에 적합한 프록시 유형, IP 주소 회전 설정 방법, 자동화를 위한 도구 사용 방법 및 플랫폼의 보호 메커니즘을 우회하는 방법을 알게 될 것입니다. 모든 권장 사항은 판매자와 전자상거래 전문가의 실무 경험을 기반으로 합니다.

아마존이 파싱을 차단하는 이유와 보호 방법

아마존은 자동 데이터 수집을 방지하기 위해 다단계 보호 시스템을 사용합니다. 플랫폼은 매일 수백만 개의 요청을 처리하며, 안티봇 시스템의 임무는 실제 사용자와 봇을 구분하는 것입니다. 이러한 보호 메커니즘의 작동 원리를 이해하는 것은 성공적인 파싱을 조직하는 데 매우 중요합니다.

아마존에서 봇을 감지하는 주요 방법:

• 요청 빈도 분석: 하나의 IP 주소에서 짧은 시간 내에 너무 많은 요청이 들어오면(예: 분당 50개 이상의 요청) 시스템은 이를 의심스러운 것으로 자동 표시합니다.
• User-Agent 확인: 아마존은 사용자의 브라우저와 장치를 추적합니다. User-Agent가 없거나 구식 버전의 요청은 의심을 불러일으킵니다.
• 행동 분석: 실제 사용자는 2분 안에 100개의 상품 카드를 연속으로 열지 않습니다. 봇이 그렇게 행동합니다.
• 쿠키 및 세션 추적: 쿠키가 없거나 브라우저의 지문이 지속적으로 변경되는 것은 자동화의 징후입니다.
• IP 주소의 지리적 위치: IP가 데이터 센터나 VPN 서비스에 속하는 경우 차단될 확률이 높아집니다.
• CAPTCHA 및 챌린지 페이지: 의심스러운 활동이 감지되면 아마존은 CAPTCHA 또는 "로봇입니까?" 확인 페이지를 표시합니다.

차단에는 여러 유형이 있습니다: 30-60분 동안의 일시적 접근 제한, 각 요청에 대한 CAPTCHA 표시 또는 몇 시간 동안의 IP 주소 완전 차단. 상업적 파싱을 위해서는 이러한 모든 시나리오의 위험을 최소화하는 것이 중요합니다.

아마존 파싱에 적합한 프록시

프록시 유형의 선택은 파싱의 안정성과 차단 횟수에 직접적인 영향을 미칩니다. 아마존과 작업할 때는 플랫폼이 실제 사용자로 인식하는 IP 주소를 사용하는 것이 매우 중요합니다. 세 가지 주요 프록시 유형과 그 적용 가능성을 살펴보겠습니다.

주거용 프록시 — 아마존에 최적의 선택

주거용 프록시는 실제 가정 인터넷 제공업체의 IP 주소를 사용합니다. 아마존에 대해 이러한 주소는 일반 사용자처럼 보이므로 차단 위험이 최소화됩니다. 상업적 파싱을 위한 가장 신뢰할 수 있는 옵션입니다.

아마존을 위한 주거용 프록시의 장점:

• 높은 신뢰 점수 — 아마존은 주거용 IP를 가장 신뢰합니다.
• 하나의 IP로 20-30페이지까지 차단 없이 파싱 가능
• 지리적 타겟팅 지원 — 특정 국가 및 도시의 데이터를 수집할 수 있습니다.
• CAPTCHA에 걸릴 확률이 낮음 (요청의 5% 미만)
• 장기적인 가격 및 품목 모니터링에 적합

주거용 프록시는 다른 유형보다 비쌉니다. 그러나 아마존 파싱을 위한 합리적인 투자입니다. 차단 처리에 소요되는 시간을 절약하고 안정적인 데이터 흐름을 얻을 수 있습니다.

모바일 프록시 — 최대한의 익명성

모바일 프록시는 이동통신사의 IP 주소(4G/5G)를 사용합니다. 이러한 주소는 하나의 모바일 IP 뒤에 수백 명의 실제 사용자가 있을 수 있기 때문에 가장 높은 신뢰도를 가집니다. 아마존은 모바일 IP를 거의 차단하지 않습니다.

모바일 프록시를 사용할 때:

• 특히 보호된 상품 카테고리 파싱
• 공격적인 안티봇 보호가 있는 지역에서 데이터 수집
• 아마존 셀러 센트럴 계정 작업 (판매자의 입장에서 경쟁자 모니터링)
• 주거용 프록시에서 높은 차단 비율을 보일 때

모바일 프록시의 단점은 높은 비용과 사용 가능한 IP 주소 풀이 적다는 것입니다. 중요한 작업이나 백업 옵션으로 사용하는 것이 좋습니다.

데이터 센터 프록시 — 제한이 있는 예산 옵션

데이터 센터 프록시는 호스팅 제공업체의 서버 IP 주소입니다. 빠르고 저렴하지만 아마존은 이를 쉽게 인식하고 더 자주 차단합니다. 아마존 파싱에는 심각한 제한이 있는 경우에만 사용할 수 있습니다.

아마존을 위한 데이터 센터 프록시 사용 방법:

• 주거용 프록시에서 실행하기 전에 파서 테스트 용도로만 사용
• 낮은 빈도로 데이터 수집 — 하나의 IP에서 분당 5-10개 이하의 요청
• 차단으로 인한 중단이 허용되는 비판적이지 않은 데이터 파싱
• 10-15개의 요청 후 IP를 반드시 회전시켜야 함

상업적 아마존 파싱에는 데이터 센터 프록시를 주요 도구로 사용하는 것이 권장되지 않습니다. 차단 비율이 40-60%에 이를 수 있어 데이터 수집이 불안정해집니다.

아마존 파싱 도구: 준비된 솔루션 및 API

아마존 파싱을 위한 여러 유형의 도구가 있습니다. 준비된 SaaS 플랫폼부터 자체 스크립트까지 다양합니다. 선택은 데이터 양, 예산 및 팀의 기술 수준에 따라 다릅니다.

아마존 파싱을 위한 준비된 플랫폼

전문 서비스는 프로그래밍 없이 아마존에서 데이터를 수집하기 위한 준비된 솔루션을 제공합니다. 이들은 이미 프록시 제공업체와 통합되어 있으며 차단 우회 메커니즘이 내장되어 있습니다.

인기 플랫폼:

• Helium 10: 가격 파싱, 위치 추적 및 경쟁 분석 기능이 포함된 아마존 판매자를 위한 종합 도구
• Jungle Scout: 제품 연구를 위한 인기 플랫폼으로, 판매 및 트렌드 데이터 파서가 포함되어 있습니다.
• AMZScout: 가격 및 평점에 대한 자동 데이터 수집 기능이 있는 수익성 있는 제품 검색 도구
• Keepa: 아마존 제품 가격 이력 추적에 특화되어 있으며, 통합을 위한 API를 제공합니다.
• DataHawk: 아마존 시장 분석 및 경쟁자 모니터링 플랫폼

준비된 플랫폼의 장점은 프록시 및 보호 우회를 직접 설정할 필요가 없다는 것입니다. 단점은 구독 비용이 높고(월 $50에서 $500) 요청량에 제한이 있다는 것입니다.

아마존 제품 광고 API

아마존의 공식 API는 합법적으로 제품 데이터를 얻을 수 있지만, 심각한 제한이 있습니다. API는 아마존 어소시에이츠 파트너 프로그램의 회원만 사용할 수 있으며, 요청 수는 판매 수준에 따라 제한됩니다.

제품 광고 API의 제한:

• 등록된 아마존 파트너만 접근 가능
• 요청 한도는 파트너 링크를 통한 판매량에 따라 다름
• 모든 데이터가 API를 통해 제공되지 않음 (예: 경쟁자에 대한 상세 정보 없음)
• 데이터 업데이트 지연 — 정보가 최신이 아닐 수 있음

API는 기본적인 제품 모니터링에 적합하지만, 경쟁자 및 최신 가격에 대한 심층 분석을 위해서는 웹 파싱이 필요합니다.

Python 및 Node.js에서의 자체 파서

기술 전문가가 있는 기업에 최적의 옵션은 자체 파서를 개발하는 것입니다. 이를 통해 데이터 수집 프로세스를 완전히 제어하고 특정 작업에 맞게 로직을 조정할 수 있습니다.

아마존 파싱을 위한 인기 라이브러리:

• Python: Scrapy, BeautifulSoup, Selenium, Playwright — 정적 및 동적 페이지 파싱을 위한 라이브러리
• Node.js: Puppeteer, Cheerio, Axios — JavaScript 렌더링 작업을 위한 라이브러리
• 준비된 프레임워크: ScrapingBee, ScraperAPI — 내장된 프록시 회전 기능이 있는 클라우드 서비스

자체 파서를 개발할 때는 프록시 작업, 사용자 행동 모방 및 오류 처리 설정을 올바르게 하는 것이 매우 중요합니다. 이에 대한 자세한 내용은 다음 섹션에서 다루겠습니다.

파싱을 위한 프록시 설정: 회전 및 IP 풀

올바른 프록시 설정은 아마존 파싱의 성공적인 요소입니다. 품질이 좋은 주거용 프록시라도 잘못 사용하면 차단을 방지할 수 없습니다. 프록시 작업의 주요 전략을 살펴보겠습니다.

IP 주소 회전: 언제, 얼마나 자주 프록시를 변경할까

프록시 회전은 특정 간격이나 지정된 요청 수 후 IP 주소를 자동으로 변경하는 것입니다. 이는 다양한 사용자의 행동을 모방하고 봇 감지 위험을 줄입니다.

아마존을 위한 회전 전략:

• 요청에 따른 회전: 주거용 프록시는 15-20개의 요청마다 IP를 변경하고, 데이터 센터 프록시는 5-10개마다 변경하세요.
• 시간에 따른 회전: 요청 수와 관계없이 5-10분마다 IP를 변경하세요.
• 스티키 세션: 특정 상품 카테고리의 파싱 세션 동안 하나의 IP를 사용하고(10-15분), 그 후에 변경하세요.
• 지리적 회전: 여러 지역을 파싱할 경우 해당 국가의 프록시를 사용하세요.

최적의 전략은 파싱량에 따라 다릅니다. 하루에 100-500개의 상품을 모니터링하려면 20개 요청마다 회전하는 것이 적합합니다. 대규모 파싱(10,000개 이상의 상품)에는 시간 및 수량 회전의 조합을 사용하세요.

다양한 작업을 위한 프록시 풀 만들기

모든 작업에 동일한 프록시를 사용하지 마세요. 파싱 유형에 따라 IP 주소를 별도의 풀로 나누면 안정성을 높이고 문제 진단을 간소화할 수 있습니다.

추천하는 풀 구조:

• 가격 모니터링 풀: 20-50개의 주거용 IP, 요청마다 15회전
• 리뷰 수집 풀: 10-20개의 IP, 느린 회전(10분마다)
• 카테고리 파싱 풀: 대량 데이터 수집을 위한 30-100개의 IP
• 백업 풀: 차단 시 중요한 작업을 위한 10-15개의 모바일 프록시

이렇게 분리하면 문제를 격리할 수 있습니다. 하나의 풀이 차단되면 나머지는 계속 작동합니다. 또한 어떤 유형의 작업이 가장 많은 문제를 일으키는지 정확히 파악할 수 있습니다.

요청 간 타임아웃 및 지연 설정

너무 빠른 요청은 아마존 파싱 시 차단의 주요 원인입니다. 실제 사용자는 분당 50페이지를 열지 않으므로 자연스러운 속도를 모방하는 것이 중요합니다.

추천 지연:

• 하나의 IP에서 요청 간: 2-5초의 임의 지연
• CAPTCHA 수신 후: 30-60초의 대기, IP 변경, 요청 반복
• 503 오류(서비스 이용 불가) 발생 시: 지연 증가 — 5, 10, 20, 40초
• 야간 대기: 목표 지역의 00:00-06:00 동안 파싱 강도를 줄이세요.

지연을 무작위로 설정하세요. 요청을 정확히 3초마다 하지 마세요. 2초에서 5초 사이의 간격을 무작위로 변동시켜 패턴이 더 자연스럽게 보이도록 하세요.

안티봇 시스템 우회: User-Agent, 헤더, 지연

품질 좋은 프록시는 성공의 절반에 불과합니다. 아마존은 요청의 여러 매개변수를 분석하며, 잘못된 헤더나 브라우저 지문은 주거용 IP를 사용하더라도 봇으로 감지될 수 있습니다.

User-Agent 및 헤더 올바르게 설정하기

User-Agent는 서버에 사용자 브라우저 및 운영 체제에 대한 정보를 전달하는 문자열입니다. 아마존은 User-Agent가 요청의 다른 매개변수와 일치하는지 확인합니다.

User-Agent에 대한 권장 사항:

• 최신 브라우저 버전 사용 — Chrome 120+, Firefox 121+, Safari 17+
• IP 주소와 함께 User-Agent 회전 — 각 IP는 고유한 브라우저를 가져야 합니다.
• 데스크탑 페이지에 모바일 브라우저의 User-Agent를 사용하지 마세요.
• 전체 헤더 세트를 추가하세요: Accept, Accept-Language, Accept-Encoding

아마존 파싱을 위한 최소 헤더 세트의 예:

User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
Accept-Language: en-US,en;q=0.9
Accept-Encoding: gzip, deflate, br
Connection: keep-alive
Upgrade-Insecure-Requests: 1
Sec-Fetch-Dest: document
Sec-Fetch-Mode: navigate
Sec-Fetch-Site: none
Cache-Control: max-age=0

쿠키 및 세션 작업

아마존은 사용자의 세션을 추적하기 위해 쿠키를 사용합니다. 쿠키가 없는 파서는 의심스러워 보입니다. 실제 브라우저는 사이트를 처음 방문한 후 항상 쿠키를 저장합니다.

쿠키 작업 전략:

• 각 IP 주소에 대해 쿠키를 별도로 저장하세요.
• IP 변경 시 쿠키를 업데이트하세요 — 새로운 IP = 새로운 세션.
• 다양한 IP에 동일한 쿠키를 사용하지 마세요 — 이는 자동화를 즉시 감지합니다.
• 24시간마다 오래된 쿠키를 주기적으로 삭제하세요.

헤드리스 브라우저(Selenium, Puppeteer)를 사용할 때는 쿠키 자동 관리를 활성화하세요. 이는 개발 부담을 줄이고 오류 수를 줄입니다.

JavaScript 검증 및 지문 우회

아마존은 사용자의 브라우저에 대한 정보를 수집하기 위해 JavaScript를 사용합니다(화면 해상도, 설치된 글꼴, WebGL 지문). 헤드리스 브라우저는 종종 자동화를 감지하는 고유한 마커를 가집니다.

지문 우회 방법:

• 헤드리스 모드를 숨기기 위한 라이브러리 사용: Puppeteer용 puppeteer-extra-plugin-stealth
• 현실적인 뷰포트 매개변수 설정(화면 해상도): 1920x1080, 1366x768, 1440x900
• Canvas 지문에 무작위성을 추가하세요 — 각 IP는 고유한 지문을 가져야 합니다.
• WebDriver 플래그 비활성화: navigator.webdriver는 undefined를 반환해야 합니다.

고급 지문 우회를 위해 브라우저 프로필이 설정된 Playwright와 같은 준비된 솔루션이나 이 문제를 이미 해결한 클라우드 서비스인 ScrapingBee를 사용하세요.

CAPTCHA 및 챌린지 페이지 처리

프록시 및 헤더를 완벽하게 설정하더라도 아마존은 CAPTCHA를 표시할 수 있습니다. 이러한 상황을 올바르게 처리하는 것이 중요하여 데이터를 잃지 않고 장기 차단을 피할 수 있습니다.

CAPTCHA 처리 알고리즘:

• 페이지의 키워드를 통해 CAPTCHA를 감지하세요: "문자를 입력하세요", "문자를 입력하세요"
• 현재 IP 주소에서의 요청을 즉시 중지하세요.
• IP를 변경하고 다음 요청 전에 30-60초 대기하세요.
• 모든 CAPTCHA 발생 사례를 기록하여 분석하세요 — 파싱 속도를 줄여야 할 수도 있습니다.
• 중요한 데이터에 대해서는 CAPTCHA 해결 서비스를 사용하세요: 2Captcha, Anti-Captcha

요청의 10% 이상에서 CAPTCHA가 발생하면 파싱 전략을 재검토해야 한다는 신호입니다: 지연을 늘리거나 프록시 품질을 개선하거나 강도를 줄이세요.

아마존 파싱 시 일반적인 실수와 피하는 방법

많은 기업들이 파싱 설정에서 일반적인 실수로 시간과 돈을 낭비합니다. 가장 흔한 문제와 그 해결 방법을 살펴보겠습니다.

실수 #1: 모든 요청에 하나의 IP 사용

초보자들은 종종 하나 또는 몇 개의 프록시를 구매하고 회전 없이 모든 작업에 사용합니다. 아마존은 이러한 활동을 빠르게 감지하고 IP를 차단합니다.

해결책: 항상 최소 20-30개의 IP 주소로 구성된 풀을 사용하고 자동 회전을 설정하세요. 소량의 파싱(하루 100-200개 상품)에도 하나의 IP는 적합하지 않습니다.

실수 #2: 요청 간 지연 무시

데이터를 더 빨리 얻으려는 욕구는 지연 없이 공격적인 파싱으로 이어집니다. 결과는 대량 차단과 프로세스 재시작의 필요성입니다.

해결책: 항상 요청 간에 2-5초의 임의 지연을 추가하세요. 10분 후에 차단되는 것보다 2시간 동안 안정적으로 데이터를 수집하는 것이 더 좋습니다.

실수 #3: 저렴한 데이터 센터 프록시 사용

프록시에 대한 비용 절감 시도는 지속적인 차단과 문제 해결에 소요되는 시간 낭비로 이어집니다. 아마존에 대한 데이터 센터 프록시는 잘못된 경제입니다.

해결책: 첫날부터 품질 좋은 주거용 프록시에 투자하세요. 프록시 비용은 파싱 총 비용의 10-20%에 해당하지만, 성공의 80%를 결정합니다.

실수 #4: 오류 처리 및 재시도 없음

재시도 로직이 없는 파서는 네트워크의 일시적인 장애나 우연한 차단으로 인해 데이터를 잃게 됩니다. 이는 대규모 파싱에 특히 치명적입니다.

해결책: 지연을 두고 자동 재시도를 구현하세요. 요청이 실패하면 5초 대기 후 IP를 변경하고 다시 시도하세요. 한 상품에 대해 최대 3번의 시도를 하세요.

실수 #5: 피크 시간대에 파싱

아마존은 최대 트래픽 시간대(보통 현지 시간 18:00-22:00)에 안티봇 보호를 강화합니다. 이 시간에 파싱하면 더 많은 차단이 발생합니다.

해결책: 주요 파싱을 목표 지역의 야간 시간(02:00-06:00)에 계획하세요. 이 시간에는 아마존 서버의 부하가 최소화되고 안티봇 시스템이 덜 공격적입니다.

안정적인 파싱을 위한 실용적인 권장 사항

성공적인 아마존 파싱은 올바른 도구, 설정 및 프로세스의 조합입니다. 다음은 안정적인 데이터 수집을 위한 검증된 관행입니다.

파싱 프로세스 모니터링 및 로깅

상세한 로깅 없이는 문제가 발생하는 위치와 이를 수정하는 방법을 이해할 수 없습니다. 파서를 시작하는 첫날부터 모니터링 시스템을 설정하세요.

로깅할 내용:

• 각 요청: URL, IP 주소, 응답 상태, 실행 시간
• 모든 오류: 오류 유형, 차단된 IP, 사건 발생 시간
• CAPTCHA 발생 사례: 발생 빈도, 높은 CAPTCHA 비율의 IP 주소
• 성능 메트릭: 시간당 성공적인 요청 수, 오류 비율
• 프록시 상태: 안정적으로 작동하는 IP, 교체가 필요한 IP

로그 시각화 도구를 사용하세요 — Grafana, Kibana 또는 Google Sheets의 간단한 대시보드. 이를 통해 이상을 신속하게 발견하고 문제에 대응할 수 있습니다.

확장 전에 테스트하기

10,000개의 상품을 한 번에 파싱하지 마세요. 소량으로 시작하여 안정성을 확인한 후 점진적으로 부하를 늘리세요.

단계별 실행:

• 1-3일: 100-200개 상품 파싱, 차단 비율 분석
• 4-7일: 500-1000개 상품으로 증가, 지연 최적화
• 8-14일: 2000-5000개 상품 테스트, 안정성 모니터링
• 2주 후: 목표량으로 확장

이러한 접근 방식은 초기 단계에서 문제를 발견하고 전체 규모로 시작할 때 대량 차단을 피하는 데 도움이 됩니다.

차단 시 백업 전략

완벽한 설정에도 불구하고 대규모 차단 상황이 발생할 수 있습니다. 아마존은 특정 기간(예: 세일 기간) 동안 보호를 강화할 수 있습니다. Plan B를 준비하세요.

백업 옵션:

• 중요한 작업을 위한 모바일 프록시의 백업 풀 유지
• 여러 프록시 제공업체 사용 — 하나가 차단되면 다른 것으로 전환
• 높은 오류 비율 시 아마존 API로 자동 전환 설정(가능한 경우)
• 안티디텍트 브라우저(Dolphin Anty, AdsPower)를 통한 수동 파싱을 위한 준비된 스크립트 보유

프록시 비용 최적화

프록시는 파싱 시 주요 비용 항목 중 하나입니다. 올바른 최적화를 통해 데이터 품질을 유지하면서 비용을 30-50% 줄일 수 있습니다.

최적화 방법:

• 스티키 세션 사용 — 각 요청마다 변경하는 대신 15-20 요청에 하나의 IP 사용
• 변경된 상품만 파싱 — 페이지 해시를 추적하고 변경되지 않은 것은 건너뛰기
• 정적 데이터(설명, 특성)를 캐시하고 가격만 업데이트
• 스마트 회전 설정 — CAPTCHA가 발생할 때만 IP를 변경하고 타이머에 따라 변경하지 않기
• 중요한 데이터에는 주거용 프록시 사용, 비판적이지 않은 데이터에는 데이터 센터 프록시 사용

정기적으로 프록시 사용 통계를 분석하세요. 사용하지 않는 트래픽에 대해 과도한 비용을 지불하고 있거나 더 유리한 요금제로 전환할 수 있는지 확인하세요.