2026년 7월 1일 Cloudflare는 두 번째 "콘텐츠 독립의 날"을 개최하고 처음으로 AI 에이전트를 별도의 봇 카테고리로 공식 분류했습니다. 이제 트래픽은 세 가지 클래스로 나뉘며 — Search, Agent 및 Training — 2026년 9월 15일부터 광고가 있는 페이지에서는 Agent 및 Training 카테고리의 봇이 기본적으로 차단됩니다. 동시에 법원과 대형 소매업체들은 Perplexity Comet 및 ChatGPT Atlas와 같은 "에이전트 브라우저"에 대해 문을 닫고 있습니다. 에이전트 웹에서 무슨 일이 일어나고 있는지, 그리고 레지던트 프록시 없이 자율 AI 도우미들이 왜 점점 더 벽에 부딪히는지 알아보겠습니다.
무슨 일이 발생했는가: 봇에 세 번째 카스트가 생겼다
이전에는 웹이 두 가지 유형의 자동 트래픽을 알고 있었습니다: 페이지를 인덱싱하는 검색 크롤러와 모델 훈련을 위한 콘텐츠를 추출하는 학습 크롤러. 2026년에는 여기에 세 번째 유형인 에이전트가 추가되었습니다. Cloudflare는 전체 웹 트래픽의 약 20%가 통과하는 네트워크를 통해 이를 정확히 정의했습니다: 이는 "일반적으로 실시간으로 사람을 대신하여 무언가를 즉시 수행하는 자동화된 행동"입니다.
이 정의에는 사용자 요청에 따라 최신 정보를 가져오는 채팅 보조 봇(fetch-bots) (예: ChatGPT-User)와 실제 Chrome을 제어하는 완전한 브라우저 사용 에이전트 — Gemini 또는 Claude가 포함됩니다. 새로운 정책의 논리는 간단합니다: 광고는 웹사이트 소유자가 페이지를 사람에게 보여주고 그의 관심을 수익화하고 싶다는 신호입니다. 따라서 Cloudflare는 수익화되는 페이지에서 이 관심을 빼앗는 봇, 즉 학습 및 에이전트 봇을 기본적으로 차단합니다.
기억해야 할 날짜: 변경 사항은 2026년 9월 15일에 발효되며, Cloudflare에 연결되는 새로운 도메인에 적용됩니다. Search 봇은 여전히 허용됩니다 — 웹사이트는 여전히 검색 엔진에서 트래픽이 필요합니다. 그러나 Googlebot과 같은 다목적 크롤러는 모든 역할의 조합에 따라 평가됩니다: 소유자가 학습 차단을 활성화하면 이러한 혼합 봇도 전체적으로 차단됩니다.
에이전트 브라우저: 2년 동안 누가 등장했는가
2025년 초에 "AI 브라우저"는 실험처럼 들렸습니다. 2026년 중반에는 스스로 클릭하고 스크롤하며 양식을 작성하고 구매를 진행하는 자율 도우미의 과포화된 시장이 되었습니다. 주요 플레이어는 다음과 같습니다:
- Perplexity Comet — 2025년 7월 출시, 무료, 데스크톱, Android 및 iOS에서 작동;
- ChatGPT Atlas — OpenAI의 2025년 10월, 구독 기반, 별도의 "Agent Mode" 포함;
- Chrome + Gemini — Google의 통합, 2026년 1월, AI Pro 및 Ultra 구독자 전용;
- Claude for Chrome — 기존 브라우저에 대한 확장, 2025년 8월;
- Edge Copilot Mode — Microsoft의 무료 모드, 2025년 7월;
- Opera Neon — 2025년 9월, 12월에 공개 출시, 월 약 $19.90의 구독.
이들은 모두 비슷하게 작동합니다: 에이전트는 스크린샷과 입력 명령을 통해 인터페이스를 제어하며 — 페이지를 "보고", 클릭하고, 타이핑하며 링크를 대신 클릭합니다. 바로 이 인간과 유사한 메커니즘이 그들을 안티봇 시스템에 대한 골칫거리로 만듭니다: 형식적으로 이는 API를 호출하는 크롤러가 아니라 실제 사용자의 요청 뒤에 있는 실제 브라우저 세션입니다. Google은 2026년 3월에 웹사이트 소유자가 이러한 요청을 로그에서 구별할 수 있도록 Google-Agent라는 별도의 식별자를 도입했습니다.
법원은 이미 웹사이트 편에 서 있다
Cloudflare가 설정을 제공하는 동안, 에이전트에 대한 갈등은 법원으로 이어졌습니다. 가장 주목할 만한 사례는 Amazon 대 Perplexity입니다. Amazon은 2025년 11월에 소송을 제기하며 스타트업이 의도적으로 자신의 AI 에이전트의 본질을 "숨기고" 소매업체의 웹사이트를 허가 없이 스크랩했다고 비난했습니다.
2026년 3월 10일, 판사 맥신 체스니는 Amazon의 편에 섰습니다. 판결에서는 회사가 "설득력 있는 증거"를 제공했다고 명시했습니다: Comet 브라우저는 사용자의 지시에 따라 웹사이트에 접근했지만, 소매업체의 "승인 없이" 접근했습니다. Amazon의 주장에 따르면, Comet은 "자동화된 본질"을 숨기고 실제 구매자로 가장하여 탐지 시스템을 우회하려 했습니다. Amazon은 Comet이 내부 고객 데이터에 접근하지 못하도록 차단하는 도구 개발에 5,000달러 이상의 비용을 문서화했습니다. Perplexity는 이에 대해 "인터넷 사용자가 원하는 모든 AI를 선택할 권리를 위해 계속 싸울 것"이라고 밝혔습니다.
Amazon은 법원 없이도 행동하고 있습니다. robots.txt 파일을 통해 소매업체는 ChatGPT-User 및 OAI-SearchBot (SearchGPT 엔진) 봇의 접근을 차단했으며, 그보다 이전에 학습용 GPT-bot도 차단했습니다. Meta, Google 및 Perplexity와 관련된 크롤러도 차단되었습니다. 아이러니하게도 OpenAI는 동시에 자체 상업적 퍼널을 구축하고 있습니다: Instant Checkout 기능은 이미 Walmart, Etsy, Shopify 및 Target에서 ChatGPT를 통해 직접 상품을 구매할 수 있게 해줍니다. 소매업체들은 자율 AI를 통해 자신의 조건으로 판매하고 싶어하며, 타인의 에이전트가 그들의 진열장을 무제한으로 돌아다니는 것을 원하지 않습니다.
웹사이트가 에이전트를 어떻게 식별하는가 — 그리고 왜 IP만으로는 충분하지 않은가
에이전트를 사용자 에이전트 이름으로만 차단하는 것은 순진한 접근입니다: 이를 쉽게 위조할 수 있습니다. 따라서 Cloudflare와 유사한 서비스의 안티봇 스택은 신호의 조합을 살펴보며, 여기서 자율 브라우저는 어려움을 겪습니다:
- 헤드리스 브라우저의 핑거프린트. 헤드리스 환경은 불일치의 집합으로 자신을 드러냅니다: 화면 해상도 0x0, 설치된 글꼴 없음, "SwiftShader"라는 소프트웨어 렌더러로 보고되는 GPU. 실제 사용자는 이렇게 보이지 않으며 — 이는 밀리초 안에 포착됩니다.
- TLS 핑거프린팅. 완벽한 HTTP 헤더를 가지고 있더라도 TLS 핸드셰이크는 브라우저의 주장된 정체성과 실제 연결 특성 간의 단절을 드러냅니다. 이 벡터에 대해서는 JA4 및 TLS 핑거프린팅에 대한 자료에서 자세히 다뤘습니다 — 오늘날 이는 탐지의 주요 도구 중 하나입니다.
- 행동 분석. 사람은 간헐적으로 스크롤하고, 마우스를 완벽하게 움직이지 않습니다. 그러나 에이전트는 "잔인한 로봇화된 효율성"으로 행동하며 — 페이지를 밀리초 안에 로드하고 즉시 데이터를 추출하여 드러납니다.
- IP의 평판. AWS, Google Cloud, Azure와 같은 클라우드 제공업체의 범위는 이미 "봇 운영"으로 분류되어 있으며, 나머지 핑거프린트가 아무리 깨끗하더라도 평판 필터에서 심각한 벌점을 받습니다.
여기서 프록시가 등장합니다. IP 평판은 데이터 센터 주소에서 실행된 에이전트가 부딪히는 첫 번째 장벽입니다. 레지던트 프록시는 실제 가정용 장치의 IP 주소를 제공하며, 에이전트의 트래픽은 서버 랙에서 요청처럼 보이지 않게 됩니다. 모바일 시나리오 — 소셜 미디어, 강력한 탐지 기능이 있는 애플리케이션 — 에서는 통신사의 IP를 사용하는 모바일 프록시가 더욱 신뢰할 수 있습니다. 데이터 센터 주소는 여전히 존재하지만: 평판에 민감하지 않은 작업에는 데이터 센터 프록시가 레지던트보다 더 빠르고 저렴한 속도를 제공합니다.
중요한 주의 사항: 프록시는 단지 하나의 층일 뿐이다
레지던트 IP는 네 가지 장벽 중 하나만 제거합니다. 에이전트가 여전히 "SwiftShader" 핑거프린트를 가진 헤드리스 브라우저에서 실행되고 로봇처럼 행동한다면, 깨끗한 IP는 그를 구하지 못합니다 — 탐지는 나머지 신호에서 형성됩니다. 2026년의 작동하는 조합은 "프록시 또는 안티탐지"가 아니라 모두를 포함합니다: 레지던트 또는 모바일 출구 노드, 실제 장치에 맞춘 브라우저 및 TLS 핑거프린트 마스킹, 인간과 유사한 행동 타이밍. 스크래핑과 자동화는 이제 주소가 아닌 정체성의 게임으로 완전히 변모했습니다.
실제로 이것이 의미하는 바
비즈니스와 에이전트 브라우저 위에 자동화를 구축하는 개발자에게 다음과 같은 결론이 있습니다:
- 9월 15일 — 추상적인 날짜가 아니다. 에이전트가 광고가 있는 웹사이트에 접근한다면, 일부는 콘텐츠 대신 대체물을 제공하기 시작할 것입니다. 인프라를 미리 계획하십시오.
- 데이터 센터 에이전트 — 1순위 목표. 가장 먼저 해야 할 일은 에이전트 트래픽을 클라우드 범위에서 레지던트 또는 모바일 IP로 전환하는 것입니다. 이는 대량 차단 후 로직을 수정하는 것보다 저렴합니다.
- 법적 위험이 현실적이다. Amazon 대 Perplexity 사건은 에이전트를 사람으로 "위장하는" 것이 회색 지대가 아니라 법정에서의 주장이 될 수 있음을 보여줍니다. 이는 중요한 곳에서 robots.txt를 존중하고, 이를 명시적으로 금지하는 웹사이트에서 자동화를 실제 사용자로 가장하지 마십시오.
- 공식 채널이 증가하고 있다. Instant Checkout 및 소매업체와의 AI 파트너십은 일부 에이전트 시나리오가 합법적인 API로 이동할 것이라는 신호입니다. 그러나 현재 커버리지는 단편적이며, 자율 에이전트는 절반의 웹사이트가 그들을 환영하지 않는 세상에서 살아야 합니다.
결론
에이전트 웹은 더 이상 프레젠테이션의 개념이 아니라, 웹사이트가 필터링하는 법을 배우고 싶어하는 실제 트래픽입니다. Cloudflare는 소유자에게 수단을 제공하고, 법원은 선례를 제공하며, 소매업체는 사례를 제공합니다. 자율 AI 도우미에게 이것은 종말이 아니라 명확한 신호입니다: 에이전트가 목표에 도달하려면 모든 수준에서 사람처럼 보여야 합니다 — 출구 IP에서 클릭 타이밍까지. 레지던트 및 모바일 프록시는 여기서 사치가 아니라, 나머지 기법이 작동하지 않는 기본 층입니다. 웹은 에이전트에게 완전히 닫히지 않지만 — "나는 봇입니다"라는 표지판을 들고 오는 사람들을 더 이상 받아들이지 않습니다.
```