동남아시아는 가장 빠르게 성장하는 전자상거래 시장 중 하나가 되었으며, 점점 더 많은 CIS, 유럽 및 중국의 팀들이 Shopee, Lazada 및 Tokopedia에서 경쟁자의 가격, 재고 및 프로모션을 보고 싶어합니다. 문제는 "스크래퍼를 가져와서 아무 프록시나 연결했다"는 기존의 접근 방식이 거의 즉시 무너진다는 것입니다. 이러한 플랫폼은 국가별로 나뉘어 있으며, 로그인으로 데이터를 차단하고 타인의 IP를 차단합니다. 단계별로 작업 가능한 스킴을 수집하는 방법과 이에 필요한 프록시에 대해 알아보겠습니다.
왜 이 세 플랫폼인가
2026년 4월 14일에 발표된 Momentum Works의 보고서에 따르면, 2025년 동남아시아의 플랫폼 전자상거래는 22.8% 성장하여 $157.6억에 도달했습니다. 세 개의 주요 플레이어인 Shopee, Lazada 및 TikTok Shop과 Tokopedia는 이 시장의 약 98.8%를 차지하고 있습니다. Shopee는 53%의 점유율로 모든 여섯 개 주요 국가에서 1위를 차지하고 있으며, TikTok Shop + Tokopedia의 GMV는 Shopee의 GMV의 65.7%에 도달했습니다.
가장 빠른 성장은 태국(+51.8% 연간)과 말레이시아(+47.6%)에서 발생했으며, 여전히 인도네시아가 지역의 37% 매출을 차지하는 최대 시장입니다. 가격 모니터링을 위해 이것은 간단한 의미를 가집니다: 지역에서 판매하거나 상품을 구매하는 경우 여러 국가를 동시에 살펴봐야 하며, 각 국가마다 별도의 진열장이 있습니다.
동남아시아 마켓플레이스를 파싱하는 데 방해가 되는 것들
1. 각 국가는 별도의 사이트
Shopee는 단일 상점이 없습니다: 이는 shopee.co.id(인도네시아), shopee.com.my(말레이시아), shopee.ph(필리핀), shopee.sg(싱가포르), shopee.co.th(태국), shopee.vn(베트남)과 같은 국가 도메인의 집합입니다. 대만에는 별도의 진열장이 있으며, 라틴 아메리카에서는 shopee.com.br, shopee.com.mx, shopee.cl 및 shopee.com.co가 있습니다. Lazada는 싱가포르, 말레이시아, 인도네시아, 필리핀, 태국, 베트남의 여섯 개 국가에서 운영됩니다. 통화, 품목, 프로모션 및 심지어 상품의 가용성은 국가마다 다릅니다.
Tokopedia는 순수하게 인도네시아 플랫폼입니다. 2024년부터 TikTok Shop Indonesia와 통합되었습니다: 인도네시아 규제에 따라 소셜 미디어와 상거래를 분리하여 TikTok Shop의 거래를 Tokopedia 시스템으로 이전했습니다. 데이터 수집을 위해서는 인도네시아 IP와 인도네시아 로케일이 필요합니다.
2. 타인의 IP는 즉시 의심
Apify의 Lazada 인기 스크래퍼 설명서에는 다음과 같이 명시되어 있습니다: Lazada는 지역 외의 데이터 센터 IP를 안티봇 검사를 통해 차단하며, 신뢰할 수 있는 수집은 목표 국가의 거주자 프록시가 필요합니다. 저자에 따르면, 이러한 스킴에서 데이터 센터는 일반적으로 차단됩니다.
3. Shopee는 로그인으로 데이터를 차단
2026년 Shopee 가이드는 한 가지로 일치합니다: 제품에 대한 완전한 데이터는 인증된 세션에서만 제공됩니다. 인증되지 않은 요청은 빈 응답이나 오류를 받으며, 내부 응답에는 is_login: false라는 표시가 나타납니다. 따라서 많은 준비된 스크래퍼는 Shopee의 활성 세션 쿠키를 입력으로 요구하며, 이 세션을 잃지 않기 위해 거주자 프록시를 추천합니다.
4. 다층 보호
로그인 외에도 플랫폼은 브라우저 지문 인식, CAPTCHA, IP 및 계정에 대한 제한을 사용하며, 내부 API 및 레이아웃은 정기적으로 변경됩니다. ScrapeOps의 지침에 따르면 Shopee의 파싱 난이도는 10점 만점에 7점이며, Cloudflare 및 Akamai와 같은 보호 장치를 언급하고 있습니다. 준비된 API 공급자는 정직하게 경고합니다: Shopee가 내부 엔드포인트를 변경할 때 수집이 일시적으로 중단될 수 있습니다.
먼저 공식 API를 확인하세요
스크래퍼를 구축하기 전에 다음 질문에 답하십시오: 어떤 데이터가 필요합니까?
- 자신의 상점 데이터 (주문, 재고, 가격) — Shopee Open Platform 및 Lazada Open Platform을 통해 수집하세요. 접근은 특정 상점의 인증을 통해 제공됩니다: 판매자는 애플리케이션을 연결하고, 토큰을 얻으며, 자신의 데이터만 작업합니다.
- 퍼블리셔를 위한 제휴 링크 및 카탈로그 — Lazada는 쿠폰 및 가격 비교 사이트를 위한 별도의 제휴 API를 제공합니다.
- 경쟁자의 가격 및 품목 — 공식 접근은 없습니다. 이는 공개 페이지를 파싱하는 작업이며, 바로 여기에서 프록시가 필요합니다.
공식 API는 항상 더 안정적이고 안전합니다. 스크래핑은 API에 없는 것에 대해서만 구축해야 합니다.
수집 단계별 스킴
- “국가 × 작업” 매트릭스를 고정하세요. 예를 들어: shopee.co.id 및 shopee.co.th에서 500 SKU의 가격을 하루에 한 번, lazada.com.my에서 상위 50개의 재고를 6시간마다 수집합니다. 각 셀마다 고유한 도메인, 통화 및 IP 풀을 설정합니다.
- 진열장에 맞는 지리적 프록시를 선택하세요. 인도네시아 진열장은 인도네시아 IP, 태국 진열장은 태국 IP가 필요합니다. 혼합할 수 없습니다: shopee.vn에서 싱가포르 IP는 독일 IP처럼 의심스럽게 보입니다.
- 세션 유형에 따라 작업을 분리하세요. 로그인 없이 열 수 있는 공개 페이지(예: Lazada의 리스트, 상점 페이지)는 IP 회전을 통해 수집할 수 있습니다. Shopee에서 로그인이 필요한 모든 것은 고정된(sticky) 세션을 통해서만 가능합니다: 하나의 계정 = 세션 생애 동안 하나의 IP.
- 브라우저의 지문을 “현지화”하세요. 시간대, 인터페이스 언어 및 로케일은 IP 국가와 일치해야 합니다: 인도네시아의 경우 Asia/Jakarta 및 id-ID, 태국의 경우 Asia/Bangkok 및 th-TH입니다. 프로필 내에서 지문을 안정적으로 유지하고 세션 중간에 user-agent를 변경하지 마십시오 — 불안정한 시간대, 글꼴 및 UA는 “취약한” 세션의 주요 원인으로 지목됩니다.
- 낮은 속도에서 시작하세요. Pixelscan 가이드에서는 시작 기준으로 계정당 분당 30–100 요청(하한선에서 시작)과 프로필당 1–3개의 병렬 페이지, ±20–40%의 간격 변동을 제시합니다. 이는 저자의 대략적인 숫자이며, Shopee의 측정된 한계가 아니므로 자신의 데이터에 맞게 조정하십시오.
- 캐시하고 불필요한 요청을 하지 마세요. 가격이 하루에 한 번 변경되는 상품 카드는 10분마다 우회할 필요가 없습니다. 5–60분의 캐시는 부하와 트래픽 소비를 줄입니다.
- 보호 신호에 따라 롤백을 설정하세요. CAPTCHA, 로그인으로의 리디렉션 또는 302는 프로필을 중단할 이유입니다: 5–15초의 간격으로 3–5회의 반복 후, 15–60분의 “냉각” 시간을 두고 같은 IP로 계속 요청하지 마십시오.
- 메트릭을 모니터링하세요. CAPTCHA 비율이 0.5–2% 이상이고 로그인으로의 리디렉션 비율이 0.5–1% 이상이면 경고 신호입니다. CAPTCHA 비율이 5%를 초과하면 접근 방식을 변경해야 합니다. 연속으로 세 번 오류를 발생시킨 IP는 풀에서 제외하십시오; 이러한 검사를 자동화하는 방법은 프록시 풀의 건강 체크에 대한 기사에서 자세히 설명되어 있습니다.
주의할 점
- 쿠키는 계정의 열쇠입니다. Shopee의 세션 쿠키는 계정에 대한 완전한 접근을 제공합니다. 필요하지 않다면 외부 서비스에 전달하지 말고 공개 구성 파일에 저장하지 마십시오.
- 대만과 라틴 아메리카는 별도의 시장입니다. 브라질이나 멕시코에 대한 작업이라면 라틴 아메리카 프록시가 필요하며, 아시아 프록시는 필요하지 않습니다.
- 통화 및 가격 형식. 인도네시아 루피아, 베트남 동 및 태국 바트는 서로 다른 방식으로 형식화됩니다; 정규화 없이 국가별 가격 비교는 쓰레기가 됩니다.
- TLS 및 헤더. 완벽한 거주자 IP라도 HTTP 클라이언트가 TLS 지문을 통해 자신을 드러내면 소용이 없습니다. 브라우저 없이 작업하는 경우 JA4 및 curl_cffi 분석을 확인하십시오.
- 플랫폼의 규칙. 공개 데이터만 수집하고, 이용 약관 및 현지 법률을 준수하며, 구매자의 개인 정보를 다루지 마십시오. 로그인 영역으로 깊이 들어갈수록 법적 위험이 증가합니다.
어떤 프록시를 선택할까
국가 선택이 가능한 거주자 프록시는 세 플랫폼 모두에 대한 기본 선택입니다. 이들은 필요한 국가의 가정용 제공업체의 IP를 제공하며, 이는 Lazada와 Shopee가 요구하는 것입니다. 리스트를 위해서는 회전을 사용하고, 인증된 세션에는 IP 고정을 사용하세요. 국가 및 회전 모드를 선택할 수 있는 곳은 ProxyCove의 거주자 프록시 섹션입니다.
모바일 프록시는 계정의 최대 "인간성"이 중요한 곳에서 유용합니다: 오래 지속되는 판매자 프로필, 플랫폼의 모바일 버전을 통한 작업, 금지에 대한 민감도가 높은 작업. 이들은 기가바이트당 더 비쌉니다, 따라서 계정에만 특정하게 설정하세요, 대량으로 카탈로그를 우회하는 데는 사용하지 마십시오. 자세한 내용은 모바일 프록시 페이지에서 확인하세요.
데이터 센터 프록시는 이러한 플랫폼에 적합하지 않습니다: 스크래퍼 개발자의 경험에 따르면, Lazada는 입구에서 차단합니다. 이들은 보조 작업을 위해 남겨두세요 — 예를 들어, 자신의 서비스의 가용성을 확인하는 데 사용합니다.
결론
Shopee, Lazada 및 Tokopedia의 파싱은 단일 작업이 아니라 국가별 작업 세트입니다. 작업 가능한 스킴은 세 가지 규칙을 중심으로 구축됩니다: 진열장과 동일한 국가의 IP; 로그인이 필요한 모든 것에 대한 고정된 세션; 보호 신호가 나타날 경우 롤백과 함께 느린 시작. 먼저 공식 API가 귀하의 필요를 충족하지 않는지 확인하고, 경쟁자를 모니터링하기 위해 필요한 국가에 대한 거주자 프록시 풀을 수집하고 첫날부터 CAPTCHA 비율을 측정하세요.
