어떤 사람들은 봇을 차단하는 반면, 다른 사람들은 그들에게 여권을 제시하도록 가르치고 있습니다. 2026년, Cloudflare, Google, Amazon, Akamai 및 OpenAI는 하나의 표준인 Web Bot Auth를 중심으로 모였습니다. 아이디어는 간단하고 급진적입니다: 자동 트래픽은 더 이상 IP 주소와 쉽게 위조할 수 있는 User-Agent 문자열로 확인되지 않습니다. 대신, 에이전트는 각 요청을 암호학적으로 서명하고, 사이트는 즉시 서명을 확인합니다. 2026년 3월 2일, 아키텍처 초안의 다섯 번째 버전(draft-meunier-web-bot-auth-architecture-05)이 발표되었고, 5월에 Google은 실전 테스트를 시작했으며, IETF 작업 그룹은 2026년 8월까지 표준을 발표할 계획입니다. 이 메커니즘이 무엇인지, 누가 이를 지지하는지, 그리고 스크래핑과 멀티 계정 작업을 하는 모든 사람들에게 왜 180도 전환이 필요한지 알아보겠습니다.
무슨 일이 일어났는가: 봇에게 암호학적 정체성이 생기다
웹에서 전통적인 "자기-타인" 검사는 두 개의 지주에 의존하고 있었습니다. 첫 번째는 User-Agent: 클라이언트가 자신에 대해 보고하는 문자열로, 어떤 스크립트도 이를 한 줄의 코드로 재작성합니다. 두 번째는 IP 주소 목록: 사이트는 Googlebot, Bingbot 등 "공식" 범위의 목록을 유지하고 역 DNS를 확인합니다. 두 접근 방식 모두 2026년에 완전히 무너졌습니다.
Cloudflare는 기술 문서에서 문제를 명확히 설명합니다: 동일한 IP가 여러 사용자 또는 서비스에 의해 동시에 사용될 수 있으며, 이러한 범위는 인프라에 따라 지속적으로 변경됩니다. User-Agent는 사실상 증거가 아닙니다 — 단순한 자기 표현일 뿐입니다. 저자들의 구상에 따르면, 암호학적 서명은 "영원히 변하는 IP 범위"나 "위조 가능한 User-Agent와 같은 헤더"에 의존하지 않고 인증을 제공합니다.
기술적으로 Web Bot Auth는 이미 채택된 표준인 HTTP Message Signatures (RFC 9421)에 기반합니다. 각 에이전트는 Ed25519 키 쌍을 부여받습니다. 요청을 전송하기 전에 에이전트는 모든 것을 서명하는 것이 아니라 목표 URI의 authority — 즉, 접근하는 도메인(예: example.com에 접근할 때는 example.com을 서명합니다)을 서명합니다. 요청에는 Signature-Input 헤더(생성된 시간과 만료 시간의 유효성 창, JWK Thumbprint 형식의 키 식별자 keyid 및 태그 web-bot-auth)와 Signature-Agent가 추가되어 공개 키 디렉토리(JWKS)를 가리킵니다. 사이트는 이 디렉토리에서 공개 키를 다운로드하고 서명을 검증합니다. 개인 키 없이 위조하는 것은 불가능하며, 유효성 창은 가로채인 요청의 재전송을 방지합니다.
표준을 지지하는 사람들
이것은 단일 회사의 실험이 아닙니다. Web Bot Auth는 Cloudflare, Amazon, Akamai 및 OpenAI의 지원을 받고 있습니다. 아키텍처 초안은 Thibaut Meunier(Cloudflare)와 Shandor Major(Google)가 공동 저자로 작성하고 있습니다. AWS WAF는 이미 서명 검증 지원을 추가했으며, Cloudflare는 이를 Verified Bots 프로그램에 통합하고 프로덕션에서 활성화했습니다. 2026년에는 Web Bot Auth에 대한 별도의 IETF 작업 그룹이 설립되었으며, 2026년 8월까지 사양을 표준화할 계획입니다.
Google이 참여하다 — 그리고 이것은 전환점이다
2026년 5월 6일, Google이 자체 봇 트래픽 검증을 위해 Web Bot Auth를 테스트하고 있다는 소식이 전해졌습니다. 그 의미는 사이트가 요청이 실제로 Google에서 오는 것인지, 단순히 Googlebot을 User-Agent에 입력한 누군가로부터 오는 것인지 확인할 수 있다는 것입니다. 서명된 Google의 AI 트래픽은 agent.bot.goog라는 정체성으로 전송되며, 사이트 소유자는 이 엔드포인트에서 Google의 공개 키를 가져와 Signature 및 Signature-Input 헤더를 검증합니다.
왜 지금이 중요한가. 우리가 에이전트 브라우저 차단에 대해 썼던 것과 같은 이유입니다: 2026년 9월 15일부터 Cloudflare는 기본적으로 새로운 도메인의 광고 페이지에서 "혼합된" AI 크롤러를 차단합니다. Cloudflare를 통해 약 5분의 1의 웹이 통과합니다. 웹이 닫히고 있습니다. 그리고 Web Bot Auth는 "어떻게 차단할 것인가"가 아니라 "누구를 허용할 것인가"에 관한 것입니다. 새로운 유형의 화이트리스트가 등장합니다: IP가 아니라 암호학적 정체성에 따라. 사이트는 "검증된 서명된 에이전트에게만 가격 및 상품 세부정보를 표시"하는 정책을 설정할 수 있으며, 나머지는 자동으로 외부에 남게 됩니다.
서명된 에이전트: 첫 번째 집단
특별한 카테고리는 signed agents (서명된 에이전트)입니다. 이는 최종 사용자가 관리하는 봇으로, 하나의 기업이 아닙니다: 플랫폼이나 에이전트가 작동하는 원격 브라우저가 그의 HTTP 요청을 서명하며, Cloudflare는 서명을 검증합니다. 첫 번째 집단에는 ChatGPT agent (OpenAI), Goose (Block), Browserbase, Anchor Browser 및 Cloudflare Browser Rendering이 포함됩니다. Block의 Dawe Osinga는 이점을 직접적으로 설명했습니다: "Web Bot Auth는 사이트가 Goose를 신뢰할 수 있게 하여 그 독특한 특성을 유지합니다."
핵심 차이점: signed agent는 사람을 대신하여 행동합니다(가상의 어시스턴트가 귀하의 요청에 따라 사이트에 접속하는 경우), 반면 "검색" 또는 "훈련" 크롤러는 회사를 위해 작동합니다. Cloudflare는 이미 보안 규칙에서 이러한 개체를 구분하고 있으며, 이 분기는 2026-2027년 웹에서 누가 문을 열고 누가 닫힐지를 결정할 것입니다.
스크래핑 및 프록시에 대한 의미
겉보기에는 암호 서명이 익명 스크래핑을 죽이는 것처럼 보입니다. 그러나 실제로는 더 미묘합니다 — 웹은 두 개의 차선으로 나뉘며, 우리 청중에게는 전술을 변경해야 하지만 폐지하지는 않습니다.
- 서명된 에이전트의 차선. 대형 플랫폼과 화이트리스트의 "사용자" 어시스턴트를 위한 좁고 특권적인 통로입니다. 여기에 들어가려면 개인 키, 공개 JWKS 디렉토리, CDN 등록 및 정책 준수가 필요합니다. 전형적인 파싱 프로젝트, 안티-디텍트 농장 또는 SMM 자동화의 경우 이 경로는 차단됩니다: 당신은 Google도 OpenAI도 아니므로 서명을 받을 수 없습니다.
- 모든 나머지의 차선. 여기에는 여전히 독립적인 스크래퍼, 가격 모니터링, 데이터 수집, 멀티 계정 작업이 존재합니다. 그리고 바로 여기서 프록시의 품질과 신뢰성의 중요성이 증가합니다. "합법적인" 트래픽이 서명을 통해 허용되므로, 서명되지 않은 모든 트래픽에 대한 기본적인 접근이 더 엄격해집니다.
다시 말해, Web Bot Auth는 프록시의 필요성을 없애지 않습니다 — 오히려 화이트리스트에 없는 사람들을 위한 기준을 높입니다. 이전에는 회색 User-Agent를 통해 통과할 수 있었지만, 이제 서명되지 않은 요청은 즉시 "당신이 살아 있는 사람임을 증명하라"는 범주에 들어갑니다. 이는 깨끗한 IP와 신뢰할 수 있는 행동의 조합으로 증명됩니다.
왜 레지던트 및 모바일 IP가 더욱 가치가 되는가
서명이 불가능할 때, 합법적으로 보이기 위한 유일한 방법은 일반 사용자와 구별되지 않는 것입니다. 데이터 센터 주소는 이러한 문제를 해결하지 못합니다: Cloudflare의 다양한 보호 측정에 따르면 데이터 센터 IP는 40-60%의 경우에만 통과되며, 반면 레지던트 프록시는 85-99%의 통과율을 제공합니다. 그 이유는 레지던트 주소가 실제 인터넷 서비스 제공자와 살아 있는 가입자에게 속하기 때문입니다 — IP의 평판으로는 같은 라우터 뒤에 있는 사람과 구별할 수 없습니다.
가장 보호된 플랫폼과 모바일 애플리케이션에서는 상황이 더욱 심각합니다. 여기서 이동통신 네트워크가 중요한 역할을 합니다. 모바일 프록시가 도움이 됩니다: 하나의 운영자 IP 뒤에는 수천 명의 실제 가입자가 있기 때문에, 이러한 주소를 대량으로 차단하는 것은 실제 고객을 차단하는 것이 됩니다. 바로 이러한 "공동 냄비" 효과가 모바일 IP를 모든 것이 투명해지는 세계에서 가장 안정적인 통화로 만듭니다.
하지만 깨끗한 IP만으로는 부족합니다. 개인 확인이 네트워크에서 암호학으로 이동함에 따라, 모든 서명되지 않은 봇 군대는 행동 및 브라우저 지문을 통과해야 합니다: TLS/JA4, 캔버스, WebGL, 글꼴, 타이밍. 프록시는 하나의 경고 신호(주소의 평판)를 제거하지만 나머지는 제거하지 않습니다. 2026년의 작업 조합은 레지던트 또는 모바일 IP 플러스 일관된 지문을 가진 안티-디텍트 환경입니다. 하나의 구성 요소만으로는 첫 번째 보호 수준에서 봇으로 드러납니다.
지금 어떻게 행동할 것인가
- 프로젝트를 차선별로 나누십시오. 공식적인 대형 제품의 통합이 목표라면, 서명된 에이전트 경로를 연구하십시오: CDN 등록 및 키 획득. 나머지 모든 것에 대해서는 "모든 나머지의 차선"에서 작업을 계획하고 그 규칙을 설정하십시오.
- 수량이 아니라 IP의 품질에 투자하십시오. 저렴한 데이터 센터 풀은 2026년에 점점 더 많은 차단 요인이 됩니다. 레지던트 및 모바일 주소에 베팅하고 작업에 맞게 회전하십시오.
- 지문을 네트워크와 동기화하십시오. 한 나라의 IP와 다른 나라의 브라우저 언어, 시간대 및 로케일은 전형적인 실패입니다. 지문은 프록시의 지리적 위치와 일관되게 일치해야 합니다.
- 표준을 주시하십시오. 2026년 8월까지 IETF는 사양을 최종화할 계획입니다. Web Bot Auth가 특정 플랫폼에 대한 접근의 필수 조건이 되는 즉시, 그에 대한 전술을 사전에 검토해야 합니다.
결론
Web Bot Auth는 또 다른 안티-봇이 아니라 웹에서 신뢰의 논리를 변화시키는 것입니다: "IP로 당신이 누구인지"에서 "암호로 당신이 누구인지 증명하라"로. Google과 OpenAI와 같은 거대 기업에게는 닫혀가는 인터넷에 대한 통행증입니다. 독립적인 스크래퍼와 멀티 계정 프로젝트에게는 회색 방법이 완전히 작동하지 않게 되었다는 신호이며, "사람처럼 보이기"와 "봇처럼 보이기" 사이의 간극이 결정적이 됩니다. 새로운 현실에서 승리하는 것은 더 많은 IP를 가진 사람이 아니라 깨끗한 레지던트 또는 모바일 주소와 완벽하게 일치하는 지문을 가진 사람이 될 것입니다. 암호 여권이 모든 사람에게 발급된 것은 아니므로, 나머지 모든 사람은 더 설득력이 있어야 합니다.
```