Wildberries에서 가격을 크롤링하거나 Instagram에서 20개의 계정을 운영하거나 Facebook Ads를 통해 광고를 진행하는 경우, 언젠가는 403 오류, 429 오류 또는 캡차 중 하나를 보게 될 것입니다. 대부분의 초보자는 동일하게 반응합니다 — 프록시를 다른 것으로 변경하고 작동하기를 희망합니다. 사실 각 오류 코드는 사이트에서 차단의 구체적인 원인에 대한 메시지이며, 이를 통해 어떤 유형의 프록시가 문제를 해결할 수 있는지 정확하게 파악할 수 있습니다: 데이터 센터, 거주형 또는 모바일.
왜 오류 코드가 차단 사실보다 더 중요한가
사이트가 요청을 차단할 때, 거의 항상 HTTP 상태 코드를 반환합니다 — 이는 브라우저나 크롤러가 페이지와 함께 받는 표준 "라벨"입니다. 문제는 많은 사용자들이 "열리지 않았다"는 사실만 보고 어떤 코드가 반환되었는지 확인하지 않는다는 것입니다. 그러나 차이는 큽니다: 403은 사이트가 당신을 원치 않는 손님으로 인식하고 의도적으로 접근을 차단했다는 것을 의미합니다. 429는 당신이 물리적으로 요청 한도를 초과했다는 것을 의미합니다 — 사이트는 당신 개인에 대해 반대하는 것이 아니라, 당신이 서버를 그렇게 자주 두드리지 않기를 원합니다. 캡차는 중간 상태입니다: 사이트는 당신이 사람인지 봇인지 의심하며, 반대의 증거를 제시할 기회를 제공합니다.
이러한 각 상황은 다른 해결책을 요구합니다. 403을 받고 단순히 하나의 데이터 센터 프록시를 다른 것으로 변경하면 다시 403을 받게 됩니다. 그 이유는 특정 IP가 아니라 IP의 범주에 있기 때문입니다. 429를 받고 요청 빈도를 줄이지 않고 비싼 모바일 프록시를 구매하면 예산을 낭비하게 됩니다. 문제는 IP 유형이 아니라 요청 속도에 있기 때문입니다. 오류 코드를 이해하는 것은 시간과 프록시에 대한 비용을 절약합니다.
403 Forbidden 오류: 사이트가 당신을 인식하고 들어오기를 원하지 않는다
403은 의도적인 거부입니다. 사이트는 당신의 요청을 받고 처리한 후, 이 IP 또는 이 특성 집합에 대한 접근이 허용되지 않는다고 결정했습니다. 대부분의 경우 403은 세 가지 이유로 발생합니다:
- "블랙리스트" 데이터 센터 IP. Wildberries, Ozon, Avito와 같은 사이트 및 대부분의 소셜 미디어는 클라우드 제공업체(AWS, Google Cloud, DigitalOcean 등)에 속하는 IP 주소 범위의 데이터베이스를 유지합니다. 만약 당신의 프록시가 데이터 센터 프록시이고 그 서브넷이 이미 다른 크롤러에 의해 "노출"되었다면, 첫 번째 요청에서도 즉시 403을 받을 것입니다.
- 지리적 제한(지오블록). 일부 콘텐츠 또는 광고 계정은 특정 국가에서만 접근할 수 있습니다. 잘못된 지역의 IP로 접근하는 것도 403입니다.
- 브라우저 지문이 예상과 일치하지 않음. 만약 당신이 프록시를 안티디텍트 브라우저(Dolphin Anty, AdsPower, Multilogin, GoLogin)와 함께 사용하고, 브라우저의 지문이 IP의 지리적 위치와 일치하지 않는다면 — 예를 들어, IP는 러시아에서 오지만 시간대와 시스템 언어가 영어인 경우 — 사이트는 특성의 조합으로 차단할 수 있습니다.
지속적인 403의 해결책: 데이터 센터 프록시에서 거주형 프록시로 전환합니다. 이는 실제 가정용 제공업체의 IP로, 클라우드 범위 목록에 없으며 사이트에 일반 방문자로 보입니다. 소셜 미디어 및 광고 플랫폼에서는 403이 장치 확인을 요구하는 경우가 많으며, 이 경우 모바일 프록시만이 구제할 수 있습니다 — 이들은 이동통신 사업자의 IP에 연결되어 있으며, 공격적인 검증에서도 최소한의 의심을 불러일으킵니다.
429 Too Many Requests 오류: 당신은 개인이 아닌 속도로 압박받고 있다
429는 당신이 누구인지에 대한 것이 아니라, 서버에 얼마나 자주 두드리는지에 대한 것입니다. 요청 속도 제한은 한 IP 또는 세션에서 허용된 시간 단위당 요청 수를 초과할 때 발생합니다. 전형적인 시나리오는: 당신이 Ozon에서 경쟁자의 가격 모니터링을 설정하고 동일한 IP로 5분마다 전체 카탈로그를 확인하기로 결정했을 때, 서버는 빠르게 제한을 설정하고 데이터 대신 429를 반환하기 시작합니다.
초보자들이 흔히 저지르는 실수는 429가 발생했을 때 즉시 더 비싼 프록시 유형으로 변경하는 것입니다. 그러나 문제는 다른 방식으로 해결됩니다:
- 요청 빈도를 줄입니다. 요청 간에 지연을 추가하세요 (마켓플레이스 크롤링의 경우 2-5초가 일반적으로 충분합니다).
- IP를 더 자주 회전합니다. 동일한 IP가 연속으로 100개의 요청을 보내면, 프록시 유형과 관계없이 제한이 발생합니다. 여기서는 각 요청마다 또는 N개의 요청마다 회전하는 것이 도움이 됩니다.
- IP 풀을 늘립니다. 데이터 수집 속도를 높이는 것이 목표라면, 더 많은 IP 주소가 필요하며, 더 "고급" 개별 IP가 아니라 부하를 분산시켜야 합니다.
대량 크롤링의 경우, 속도가 익명성보다 더 중요할 때 (예: 인증 없이 공개 가격 수집) 데이터 센터 프록시가 잘 맞습니다 — 이들은 더 빠르고 저렴하며, 속도 제한은 풀을 늘리고 올바른 회전으로 해결할 수 있습니다. IP 유형을 변경하는 것이 아닙니다.
캡차: 사이트는 당신에게 기회를 주지만 자동화 의심
캡차는 "모든 것이 정상"과 "접근이 차단됨" 사이의 중간 상태입니다. 사이트는 봇과 유사한 징후를 감지합니다: 너무 정확한 행동 간격, 마우스 움직임 없음, 비정상적인 HTTP 헤더 집합, 자동화와 자주 연관되는 범위의 IP. 강력한 403 대신, 당신이 사람임을 증명할 기회를 제공합니다.
자주 발생하는 캡차는 차단 문제 자체가 아니라 행동 패턴과 IP의 평판에 문제가 있음을 나타냅니다. Instagram이나 TikTok에서 새로운 계정을 등록할 때 캡차가 나타나면, 거의 항상 데이터 센터 IP + 새로운 계정 + "워밍업" 없이 급격한 행동의 조합 때문입니다. 이 경우, 거주형 또는 모바일 프록시로 변경하면 캡차 빈도가 크게 줄어듭니다. 왜냐하면 이러한 IP의 평판이 더 높기 때문입니다 — 실제 사용자들이 접속하기 때문이지, 단순히 봇만이 아닙니다.
두 번째 흔한 경우는 인증 없이 크롤링할 때 마켓플레이스에서 캡차가 발생하는 것입니다. 여기서는 프록시 유형을 변경하는 것뿐만 아니라 인간 행동을 모방하는 것도 도움이 됩니다: 무작위 지연, 클릭 전에 스크롤, 현실적인 User-Agent. 프록시는 일부 의심을 줄이지만, 안티디텍트 브라우저에서 스크립트나 시나리오의 올바른 행동을 대체하지는 않습니다.
표: 오류 코드 → 가능성 있는 원인 → 프록시 유형
| 코드 / 증상 | 가능성 있는 원인 | 변경할 사항 | 추천 프록시 유형 |
|---|---|---|---|
| 첫 요청에서 403 Forbidden | 데이터 센터 범위의 IP | 요청 수가 아닌 IP 유형 | 거주형 프록시 |
| 소셜 미디어 / 광고 계정 로그인 시 403 | 지문과 IP의 지리적 위치 불일치 | 안티디텍트 브라우저 + IP 설정 | 모바일 프록시 |
| 429 Too Many Requests | 한 IP에서 요청 한도 초과 | 요청 빈도, 회전, 풀 크기 | 데이터 센터 프록시 (회전 포함) |
| 새 계정 등록 시 캡차 | 낮은 IP 평판 + 새로운 계정 | IP 평판 및 계정 "워밍업" | 모바일 프록시 |
| 인증 없이 대량 크롤링 시 캡차 | 봇의 행동 패턴 | 행동 모방 + IP 변경 | 거주형 프록시 |
실제 사례: Wildberries, Ozon, Instagram, Facebook Ads
Wildberries 및 Ozon: 가격 모니터링
경쟁자의 가격을 모니터링하는 판매자들은 대개 403보다는 429에 더 자주 직면합니다. 마켓플레이스는 API 및 웹 인터페이스 수준에서 요청 속도를 제한합니다. 올바른 해결책은 "엘리트" 프록시 유형을 쫓는 것이 아니라, 수백 개의 데이터 센터 IP로 구성된 풀을 설정하고 각 요청마다 또는 몇 개의 요청마다 회전하며, 하나의 상품에 대한 요청 간에 1-3초의 지연을 추가하는 것입니다. 만약 그 후에 캡차가 발생하기 시작한다면, 그때는 거주형 IP를 연결하는 것이 좋습니다. 왜냐하면 이 경우 캡차는 속도 문제가 아니라 행동 문제를 신호하기 때문입니다.
Instagram 및 TikTok: 계정 농사 및 운영
Dolphin Anty 또는 AdsPower를 통해 20-30개의 고객 계정을 운영하는 SMM 전문가들은 일반적으로 데이터 센터 IP를 새로운 프로필에 연결한 직후에 403 또는 전화 확인 요청을 보게 됩니다. 이는 모바일 프록시로 전환해야 한다는 전형적인 신호입니다 — Instagram과 TikTok은 새로운 계정이나 "차가운" 계정과 작업할 때 IP 유형에 특히 민감합니다.
Facebook Ads: 광고 계정 농사
10-20개의 광고 계정을 운영하는 아비트라지 전문가들은 종종 네트워크 수준에서 명백한 403으로 차단되지 않고, 의심스러운 행동 시리즈 후에 계정 수준에서 차단됩니다. 여기서 오류 코드는 항상 직접적으로 보이지 않지만, 논리는 동일합니다: IP를 새로운 데이터 센터 범위로 변경한 직후에 차단이 발생하면 — 문제는 프록시 유형에 있습니다. 거주형 또는 모바일 IP로 전환하고 각 계정에 고유한 서브넷을 할당하면 cascade 차단(하나의 계정 차단이 동일한 IP에 연결된 다른 계정을 끌어내리는 경우)을 줄일 수 있습니다.
프록시 변경 전 진단 체크리스트
- 정확한 오류 코드(403, 429, 503) 또는 캡차 유형을 기록하세요 — 단순히 "열리지 않았다"고 하지 마세요.
- 첫 요청에서 코드가 반복되는지 확인하세요 (403의 경우 — IP 유형) 또는 일련의 요청 후에 (429의 경우 — 속도).
- 현재 프록시 유형을 확인하세요: 데이터 센터, 거주형 또는 모바일.
- 첫 요청에서 403이 발생하면 — 거주형 또는 모바일 IP로 전환하세요.
- 429가 발생하면 — 먼저 요청 빈도를 줄이고 IP 풀을 늘리세요, 유형을 변경하지 말고.
- 새 계정에서 캡차가 발생하면 — IP의 지리적 위치와 안티디텍트 브라우저 설정(시간대, 언어, 화면 해상도)의 일치를 확인하세요.
- 대량 도입 전에 2-3개의 계정 또는 요청에서 변경 사항을 테스트하세요.
결론 및 권장 사항
오류 코드는 단순한 기술적 세부 사항이 아니라 사이트에서 차단 원인에 대한 직접적인 힌트입니다. 403은 IP 유형이나 브라우저 지문과의 조합이 적합하지 않다는 것을 의미합니다. 429는 요청 속도를 나타내며, 회전 및 지연이 필요하다는 것을 의미하며, 프록시 범주를 변경할 필요는 없습니다. 캡차는 행동 및 평판 문제를 신호하며, 이는 프록시와 사용자 행동 모방의 조합으로 해결할 수 있습니다.
소셜 미디어나 광고 계정 작업 중 403을 자주 보게 된다면, 거주형 프록시로 전환하는 것부터 시작하세요 — 이는 실제 사용자 IP를 제공하며 즉각적인 차단 위험을 최소화합니다. 계정 농사 및 일반 모바일 트래픽과의 최대 유사성이 중요한 작업에는 모바일 프록시가 더 적합합니다. 만약 당신의 주요 문제가 마켓플레이스에서 대량 데이터 수집 시 429라면, 속도와 양이 중요한 경우 데이터 센터 프록시를 올바르게 설정된 회전으로 사용하는 것이 더 유리합니다. 특정 오류 코드에 맞는 프록시 유형을 올바르게 선택하면 예산을 절약하고 "프록시 변경 — 다시 차단"의 끝없는 사이클에서 벗어날 수 있습니다.