Wildberries에서 가격 스크래핑을 시작하거나 Avito에서 광고 모니터링을 시작했는데, 몇 분 후에 요청이 CAPTCHA 또는 403 오류를 반환하기 시작합니다. 아마도 사이트는 이전에 PerimeterX라는 이름으로 알려진 HUMAN Security 시스템으로 보호되고 있을 것입니다. 이는 세계에서 가장 공격적인 안티봇 시스템 중 하나이며, 표준 데이터 센터 프록시는 거의 무용지물입니다. 이 기사에서는 이 보호가 어떻게 작동하는지와 실제로 도움이 되는 방법을 알아보겠습니다.
HUMAN Security (PerimeterX)란 무엇이며 어디에서 발생하는가
HUMAN Security는 봇, 스크레이퍼 및 자동화된 트래픽으로부터 웹사이트를 보호하는 데 전문화된 미국 회사입니다. 2022년에는 가장 유명한 안티봇 플랫폼 중 하나인 PerimeterX를 인수하여 현재는 HUMAN 브랜드로 통합된 솔루션을 판매하고 있습니다. 그러나 전문 파서 및 아비트리지 커뮤니티에서는 여전히 "PerimeterX"라는 이름이 이 보호의 동의어로 사용되고 있습니다.
이 시스템은 JavaScript 스니펫과 클라우드 트래픽 필터의 형태로 웹사이트 측에 구현됩니다. HUMAN Security의 고객은 대형 소매업체, 마켓플레이스, 금융 플랫폼 및 미디어 사이트입니다. 다음의 분야 중 하나에서 작업하고 있다면, 거의 확실히 이 시스템을 이미 경험했을 것입니다:
- 마켓플레이스 스크래핑 — Ozon, Wildberries, Yandex.Market 및 그 해외 유사체(Amazon, eBay, Shopify 상점)는 안티봇 보호를 적극적으로 사용합니다.
- 경쟁업체 가격 모니터링 — 거의 모든 대형 온라인 상점은 동적 가격 책정을 통해 자동 요청으로부터 보호됩니다.
- 티켓 및 호텔 집계기 — Booking, Aviasales, Ticketmaster 및 유사체는 우선적으로 봇을 차단합니다.
- 광고 플랫폼 — Facebook Ads, TikTok Ads 및 Google Ads는 자체 탐지 시스템을 사용하며, 이는 HUMAN Security의 논리와 부분적으로 겹칩니다.
- 광고 사이트 — Avito 및 유사체는 콘텐츠의 대량 스크래핑으로부터 페이지를 보호합니다.
회사에 따르면, HUMAN Security는 매주 20조 개 이상의 요청을 처리하며 전 세계 수천 개의 대형 리소스를 보호합니다. 이는 자동화된 데이터 수집이나 멀티 계정 작업을 하는 모든 사람에게 이 시스템과의 충돌이 드문 일이 아니라는 것을 의미합니다.
보호가 작동하는 방식: 시스템이 분석하는 것
어떤 프록시와 도구가 도움이 되는지 이해하려면, 보호의 논리를 파악해야 합니다. HUMAN Security는 단순히 IP 주소를 확인하는 것이 아니라, 방문자의 전체 "디지털 초상화"를 수집하고 이를 실제 사람의 기준 행동과 비교합니다. 시스템이 분석하는 것은 다음과 같습니다:
1. IP 주소의 평판
첫 번째이자 가장 명백한 신호는 IP 자체입니다. 시스템은 이를 수십 개의 데이터베이스에서 확인합니다: 데이터 센터인지, 스팸 목록에 올라 있는지, 이전에 공격에 사용된 적이 있는지, 얼마나 많은 요청이 이미 들어왔는지. 데이터 센터의 IP(Amazon AWS, Hetzner, OVH 등)는 즉각적인 의심을 불러일으킵니다. 이러한 주소는 본래 가정용 인터넷을 위해 설계된 것이 아닙니다.
2. 행동 분석 (Behavioral Biometrics)
HUMAN Security의 JavaScript 스니펫은 마우스 움직임, 페이지 스크롤, 클릭 간의 간격, 타이핑 속도에 대한 데이터를 수집합니다. 봇은 커서를 완벽하게 직선으로 이동시키거나 아예 움직이지 않습니다 — 이는 즉각적으로 자동화를 드러냅니다. 실제 사람은 항상 "잡음"을 남깁니다: 작은 편차, 일시 정지, 우연한 움직임.
3. 브라우저 지문
시스템은 브라우저의 전체 지문을 수집합니다: 버전, 설치된 플러그인, 화면 해상도, 시간대, 지원되는 글꼴, WebGL 렌더링, Canvas 지문, 오디오 매개변수. Selenium 또는 Puppeteer를 추가 설정 없이 사용하면, 브라우저는 즉각적으로 자동화된 것으로 인식됩니다 — 실제 사용자에게 특유의 수십 개의 매개변수가 결여되어 있습니다.
4. HTTP 헤더 분석
헤더의 순서, User-Agent 값, Accept-Language, Accept-Encoding, Sec-Fetch-* 헤더의 존재 여부 — 이 모든 것이 분석되고 실제 브라우저의 기준 프로필과 비교됩니다. 몇 가지 매개변수라도 불일치가 발생하면 요청의 "봇 점수"가 즉시 상승합니다.
5. 요청의 속도 및 패턴
한 IP에서 1분에 500개의 요청이 들어온다면 — 이는 명백한 봇입니다. 그러나 HUMAN Security는 더 미세한 패턴도 인식할 수 있습니다: 요청 간의 너무 규칙적인 간격, 동일한 탐색 경로, 실제 브라우저가 일반적으로 요청하는 리소스(CSS, 이미지)의 로드가 없는 경우.
핵심 결론:
HUMAN Security는 신호의 집합을 기반으로 차단 결정을 내리며, 단일 매개변수에 의존하지 않습니다. 이는 단순히 IP를 변경하는 것으로는 "속일 수 없다"는 것을 의미합니다 — 종합적으로 작업해야 합니다: 올바른 IP + 현실적인 브라우저 지문 + 인간과 유사한 행동.
왜 데이터 센터 프록시가 HUMAN Security에 대해 작동하지 않는가
데이터 센터 프록시는 상업 데이터 센터(Hetzner, OVH, DigitalOcean, Amazon AWS 등)에서 임대된 IP 주소입니다. 이들은 빠르고 저렴하며 보호가 약하거나 없는 작업에 적합합니다. 그러나 HUMAN Security에 대해서는 여러 가지 이유로 거의 무력합니다:
즉각적인 ASN 식별. 각 IP 주소는 특정 자율 시스템(ASN)에 속합니다. 데이터 센터의 ASN(예: AS16276 — OVH, AS24940 — Hetzner)은 오래전부터 "비거주"로 데이터베이스에 등록되어 있습니다. HUMAN Security는 우선적으로 ASN을 확인하며, IP가 데이터 센터에 속하면 봇 점수가 즉시 최대치로 상승합니다.
대량 "소각" 풀. 데이터 센터 프록시는 유사한 작업을 위해 수천 명의 다른 사용자가 사용합니다. 그 중 한 명이라도 이전에 이 IP로 금지를 받았다면 — 주소의 평판은 모두에게 손상됩니다. 데이터 센터 프록시 풀은 심각한 보호가 있는 사이트에서 매우 빠르게 "소진"됩니다.
주소의 "전설" 부족. 실제 가정용 IP는 역사적 배경이 있습니다: 한 사용자가 몇 달 동안 사용하며 다양한 사이트에 접속하고, 활동 패턴이 있습니다. 데이터 센터 IP는 이러한 역사가 없습니다 — 어제 생겼고 즉시 수천 개의 요청을 시작했습니다.
이는 데이터 센터 프록시가 무용지물이라는 것을 의미하지 않습니다 — 공격적인 안티봇 보호가 없는 작업(공개 데이터 스크래핑, API 작업, 간단한 사이트의 SEO 모니터링)에는 여전히 빠르고 경제적인 솔루션입니다. 그러나 HUMAN Security가 있는 사이트에는 다른 도구가 필요합니다.
실제로 도움이 되는 프록시: 유형 비교
HUMAN Security에 대해 작동하는 두 가지 유형의 프록시가 있습니다 — 주거용 및 모바일. 각각을 자세히 살펴보고 특정 작업에 대한 적용을 비교해 보겠습니다.
주거용 프록시
주거용 프록시는 실제 가정용 사용자들이 자발적으로 자신의 장치를 풀에 제공한 IP 주소입니다. 모든 사이트의 관점에서 이러한 요청은 실제 제공업체(Ростелеком, МТС, Билайн 및 해외 유사체)와 함께하는 일반 가정용 사용자처럼 보입니다. 이러한 IP의 ASN은 데이터 센터가 아닌 ISP(인터넷 제공업체)에 속합니다 — 이것이 근본적인 차이점입니다.
주거용 프록시는 다음에 잘 맞습니다:
- 마켓플레이스 스크래핑(Wildberries, Ozon, Amazon) 중간 규모
- 경쟁업체 가격 모니터링 — 하루에 몇 천 개의 요청
- 다양한 지역에서 광고 노출 확인
- 안티디텍트 브라우저를 통한 소셜 미디어 계정 작업
- Avito 및 유사체의 광고 검증
모바일 프록시
모바일 프록시는 모바일 운영자(4G/5G)의 IP 주소입니다. 이들은 독특한 특성을 가지고 있습니다: 하나의 모바일 IP는 수백 명의 실제 사용자에 의해 동시에 사용되며, 이는 운영자가 NAT(주소 변환)를 적용하기 때문입니다. 이는 사이트가 하나의 모바일 IP에서 방대한 양의 이질적인 트래픽을 보는 데 익숙해져 있으며, 이를 차단하면 실제 고객도 차단하게 됩니다.
모바일 프록시는 다음의 1순위 선택입니다:
- Facebook Ads 및 TikTok Ads 계정의 농사 및 워밍업
- Instagram, TikTok의 자동화를 통한 작업
- IP의 최대 "신뢰성"이 필요한 작업
- HUMAN Security의 가장 공격적인 보호를 우회하는 작업
아래는 HUMAN Security와 관련된 작업에 대한 세 가지 유형의 프록시 비교 표입니다:
| 매개변수 | 데이터 센터 | 주거용 | 모바일 |
|---|---|---|---|
| HUMAN Security 우회 | ❌ 나쁨 | ✅ 좋음 | ✅✅ 훌륭함 |
| 연결 속도 | ⚡⚡⚡ 높음 | ⚡⚡ 보통 | ⚡⚡ 보통 |
| IP 신뢰성 | 낮음 | 높음 | 최고 |
| Facebook/TikTok Ads에 적합 | ❌ 아니오 | ✅ 예 | ✅✅ 최고의 선택 |
| 마켓플레이스 스크래핑 | ⚠️ 단순 사이트만 | ✅ 예 | ✅ 예 |
| GB당 트래픽 비용 | 💲 낮음 | 💲💲 보통 | 💲💲💲 높음 |
안티디텍트 브라우저 + 프록시: SMM 및 아비트리지용 조합
Facebook Ads, Instagram, TikTok 계정으로 작업하거나 SMM 에이전시의 고객을 위해 멀티 계정 작업을 수행하는 경우 — 단순한 프록시만으로는 충분하지 않습니다. HUMAN Security 및 유사한 시스템은 광고 플랫폼에서 IP뿐만 아니라 전체 브라우저 지문을 분석합니다. 바로 여기서 안티디텍트 브라우저가 도움이 됩니다.
안티디텍트 브라우저는 각 계정에 대해 고유한 지문을 가진 개별 격리 프로필을 생성합니다: 고유한 User-Agent, Canvas, WebGL, 시간대, 언어 설정, 화면 해상도. 품질 좋은 프록시와 결합하면 각 프로필은 개별 장치와 IP에서 온 개별 실제 사용자처럼 보입니다.
Dolphin Anty
Facebook Ads와 작업하는 아비트리지들 사이에서 인기가 높습니다. 팀 작업을 지원하며, 내장된 프록시 관리자가 있습니다. 프록시 연결을 위해: 프로필 열기 → "프록시" 탭 → 유형 선택 (HTTP/SOCKS5) → 호스트, 포트, 로그인 및 비밀번호 입력. 주거용 또는 모바일 프록시와 회전을 사용하는 것이 좋습니다.
AdsPower
Instagram 및 TikTok에서 고객 계정을 관리하는 SMM 에이전시에 잘 맞습니다. 프록시 설정은 Dolphin과 유사합니다: 프로필 생성 → "프록시" 섹션 → 데이터 입력 → 연결 확인을 위해 "확인" 클릭. 중요: 시간대와 브라우저 언어는 프록시의 지리적 위치와 일치해야 합니다.
GoLogin 및 Multilogin
GoLogin은 무료 기능이 잘 갖춰진 더 저렴한 옵션입니다. Multilogin은 대규모 팀을 위한 전문 솔루션으로, 지문을 맞춤 설정할 수 있는 확장된 기능을 제공합니다. 두 솔루션 모두 모든 유형의 프록시를 지원하며 수백 개의 격리된 프로필을 생성할 수 있습니다.
"1 계정 = 1 프록시" 규칙:
여러 계정에 대해 동일한 프록시를 동시에 사용하지 마십시오. 하나의 계정이 금지를 받으면 시스템은 자동으로 IP를 의심스럽게 표시합니다 — 그리고 이 IP의 모든 다른 계정이 위험에 처하게 됩니다. 이를 체인 금지(chain-ban)라고 하며, 이를 방지하기 위해 각 프로필에는 고유한 IP가 필요합니다.
가격 모니터링 및 스크래핑을 위한 프록시 설정
Wildberries, Ozon 또는 Yandex.Market에서 가격 모니터링을 하는 경우, 작업은 멀티 계정 작업과는 다소 다릅니다: 여기서는 요청의 양과 속도가 중요하며, 각 프로필의 독창성은 중요하지 않습니다. 최적의 접근 방식을 살펴보겠습니다.
1단계. 회전 주거용 프록시 선택
마켓플레이스 스크래핑에 최적화된 것은 회전 주거용 프록시입니다 — 새로운 요청이 있을 때마다 또는 설정된 간격(예: 5-10분마다)마다 IP가 자동으로 변경됩니다. 이는 다양한 사용자의 행동을 모방하며 시스템이 하나의 주소에 대한 통계를 축적하지 못하게 합니다.
2단계. 요청 간의 지연 설정
좋은 프록시를 사용하더라도 매초 요청을 보내는 것은 바람직하지 않습니다. HUMAN Security가 있는 사이트에 대한 권장 간격: 한 IP에서 요청 간 3-8초. 회전을 사용하는 경우 조금 더 빠르게 할 수 있지만 여전히 즉각적이지는 않아야 합니다. 간격에 무작위 "잡음"을 추가하십시오: 정확히 5초가 아니라 4.2초, 다음에 6.7초, 다음에 3.9초.
3단계. 실제 User-Agent 사용
파서 또는 모니터링 도구의 설정에서 항상 실제 브라우저의 최신 User-Agent를 지정하십시오. 2025년에 구식 Chrome 89는 모든 안티봇 시스템에 대한 빨간 깃발입니다. 최신 버전을 사용하십시오: Chrome 124+, Firefox 125+.
4단계. 지리적 위치 고려
러시아 마켓플레이스를 모니터링할 때는 러시아 IP가 있는 프록시를 사용하십시오. Wildberries와 Ozon은 지역에 따라 다른 가격과 품목을 표시할 수 있으므로 이를 설정할 때 고려해야 합니다. 시간대와 브라우저 언어가 선택한 지리적 위치와 일치하는지 확인하십시오.
5단계. 실행 전에 프록시 테스트
대규모 실행 전에 풀에서 몇 개의 IP를 수동으로 확인하십시오: 이를 통해 목표 사이트에 접속하고 페이지가 CAPTCHA 및 리디렉션 없이 로드되는지 확인하십시오. 20-30%의 IP가 즉시 CAPTCHA를 반환하면 — 풀은 "소진"되었으며 공급업체나 지리적 위치를 변경해야 합니다.
체크리스트: HUMAN Security의 차단을 피하는 방법
모든 것을 실용적인 체크리스트로 정리해 보겠습니다. HUMAN Security가 발생할 수 있는 모든 작업을 시작하기 전에 각 항목을 점검하십시오:
✅ 프록시 선택
- 주거용 또는 모바일 프록시 사용 (데이터 센터 프록시 아님)
- 프록시가 목표 사이트의 지리적 위치에 맞음
- IP 회전이 활성화됨 (작업이 스크래핑인 경우)
- 각 계정에 대해 별도의 IP 할당 (작업이 멀티 계정인 경우)
✅ 브라우저 지문
- 안티디텍트 브라우저 사용 (Dolphin Anty, AdsPower, GoLogin, Multilogin)
- 각 프로필/계정에 대한 지문이 고유함
- 시간대가 프록시의 지리적 위치와 일치함
- 브라우저 언어가 프록시의 지리적 위치와 일치함
- User-Agent — 최신 버전의 Chrome 또는 Firefox
✅ 사이트에서의 행동
- 요청 간의 지연 — 무작위적이고 균일하지 않음 (3-8초)
- 한 IP에서 의심스러울 정도로 높은 요청 빈도 없음
- 세션이 목표 URL로 바로 시작되지 않고 홈페이지에서 시작됨
- 페이지의 모든 리소스(CSS, 이미지)가 로드됨, HTML만 로드되지 않음
✅ 테스트 및 모니터링
- 프록시가 대규모 실행 전에 목표 사이트에서 테스트됨
- 성공적인 요청과 실패한 요청에 대한 모니터링 설정됨
- 차단 비율이 증가하면 즉시 풀이나 프록시 유형 변경
- 계정이 활성 작업 전에 워밍업됨 (멀티 계정의 경우)
아비트리지들을 위한 계정 워밍업에 대해 별도로 언급할 필요가 있습니다. Facebook Ads 또는 TikTok Ads의 새로운 계정이 즉시 큰 예산으로 광고를 시작하는 것은 플랫폼 관점에서 이상 현상입니다. 좋은 프록시와 안티디텍트가 있더라도, 이러한 계정은 보안 시스템의 주목을 받을 수 있습니다. 올바른 워밍업: 3-7일 동안의 활동(좋아요, 조회수, 소규모 비용), 그 후에야 확장합니다.
결론
HUMAN Security (PerimeterX)는 IP 평판, 브라우저 지문, 사용자 행동 및 요청 패턴을 동시에 분석하는 다층 시스템입니다. 데이터 센터 프록시를 사용하여 정면으로 우회하는 것은 불가능합니다 — 시스템은 이를 즉시 인식합니다. 그러나 이는 작업이 불가능하다는 의미는 아닙니다.
작업 공식은 다음과 같습니다: 실제 IP가 있는 품질 좋은 프록시 + 고유한 지문을 가진 안티디텍트 브라우저 + 인간과 유사한 행동. 이 요소 각각이 중요하며, 그 중 하나라도 소홀히 하면 성공 확률이 낮아집니다.
대부분의 작업 — 마켓플레이스 스크래핑, 가격 모니터링, 소셜 미디어 계정 작업 — 에는 주거용 프록시가 최적의 시작점입니다: 이들은 IP 신뢰성, 속도 및 비용 간의 좋은 균형을 제공합니다. Facebook Ads 또는 TikTok Ads 계정을 농사하고 최대 신뢰 수준이 필요한 경우 — 모바일 프록시를 고려하십시오: 이들의 IP 주소는 모든 유형 중에서 가장 높은 평판을 가지고 있으며, 가장 보호된 플랫폼에서도 차단될 확률이 가장 낮습니다.
```