클라우드플레어가 AI 크롤러에 대한 규제를 강화하고 있습니다. 전체 웹 트래픽의 약 20%를 처리하는 이 회사는 2026년 9월 15일부터 광고 및 수익화된 페이지에서 "혼합" 크롤러를 기본적으로 차단한다고 발표했습니다. 이는 모든 신규 고객과 기존 계정의 모든 신규 사이트에 적용됩니다. 동시에, 봇의 콘텐츠 접근이 유료 서비스가 되는 Pay Per Crawl 모델이 확대됩니다. 데이터 수집에 종사하는 모든 이들에게 이는 출판사에 대한 추상적인 뉴스가 아니라, "회색 영역"의 열린 웹이 또 한 단계 축소되고 있다는 직접적인 신호입니다.
클라우드플레어의 발표 내용
주요 혁신은 “혼합 크롤러”라는 개념입니다. 클라우드플레어는 검색 인덱싱과 AI 모델 학습을 동시에 위해 데이터를 수집하는 봇을 이렇게 부릅니다. 이전에는 이러한 크롤러가 "검색" 봇으로 분류되어 트래픽을 대가로 콘텐츠에 접근할 수 있었습니다. 이제 클라우드플레어는 이 거래를 중단합니다: 사이트가 광고로 수익을 올리는 경우, 혼합 크롤러는 기본적으로 수익화된 페이지에 접근할 수 없습니다.
기술적으로 이는 관리되는 robots.txt 규칙과 업데이트된 봇 관리 알고리즘을 통해 구현됩니다. 사이트 소유자는 수동으로 아무것도 작성할 필요가 없으며, 클라우드플레어가 자체적으로 목록과 로직을 유지합니다. 신규 사이트의 시작 날짜는 2026년 9월 15일이며, 기존 프로젝트는 원할 경우 차단 기능을 활성화할 수 있습니다.
회사의 입장은 CEO 매튜 프린스가 요약했습니다: “이제 인터넷 트래픽의 대부분이 인간이 아닌 경우, 우리는 지속 가능한 생태계가 형성될 수 있도록 더 단호하고 빠르게 행동해야 합니다.” 이러한 변화는 AP 통신, 타임, 애틀랜틱, 레딧과 같은 대형 출판사들이 공개적으로 지지했습니다. 이들은 무료로 콘텐츠를 수집당하는 피해를 가장 많이 보고 있는 곳입니다.
모든 것을 설명하는 숫자들
클라우드플레어가 왜 인프라 제공업체로서 AI 회사들과의 전쟁에 뛰어들었는지 이해하기 위해서는, 클라우드플레어가 제시한 “크롤링 대 추천 비율”을 살펴보면 됩니다:
- 구글 — 14:1. 페이지를 14번 크롤링하면 검색 엔진이 사이트에 한 명의 실제 방문자를 보냅니다. 괜찮은 수준입니다: 이는 "우리는 콘텐츠를 가져가고, 당신은 트래픽을 얻습니다"라는 오래된 거래입니다.
- 오픈AI — 1,700:1. 1700번의 크롤링에 한 번의 클릭이 발생합니다. 교환이 더 이상 동등하지 않습니다.
- 앤트로픽 — 73,000:1. 73,000번의 크롤링에 한 번의 클릭이 발생합니다. 사실상 콘텐츠가 수집되고, 그에 대한 트래픽은 전혀 없습니다.
바로 이 비대칭이 "기본적으로 열려 있는" 웹의 오래된 모델을 무너뜨렸습니다. 분석가들이 정확히 표현했듯이: “웹이 예전에는 닫히기 전까지 열려 있었던 곳이 이제는 눈에 띄게 닫혀 있으며, 당신이 열기 전까지는 닫혀 있습니다.” 이는 기본 원칙의 180도 전환이며, AI 연구소뿐만 아니라 같은 기준에 해당하는 모든 자동화된 수집기에도 영향을 미칩니다.
Pay Per Crawl: 접근이 상품이 된다
발표의 두 번째 부분은 클라우드플레어가 2025년 7월 1일에 비공식 베타로 시작한 Pay Per Crawl의 확대입니다. 논리는 간단합니다: 이진적 "허용 / 차단" 대신 출판사는 세 번째 옵션인 각 크롤링에 대해 요금을 부과하는 것을 선택할 수 있습니다. 사이트 소유자는 요금을 설정하고, AI 회사는 이를 지불할지 여부를 결정합니다. 클라우드플레어는 봇의 신원을 확인하고 결제를 처리하는 중개자 역할을 합니다.
이는 시장에 큰 변화를 가져옵니다. 수년간 "공개적이기 때문에 무료"로 여겨졌던 데이터가 가격이 붙은 유료 자원으로 변모합니다. 클라우드플레어가 이 모델을 확장할수록, 계약을 체결하고 크롤링 당 비용을 지불할 준비가 되어 있지 않은 이들에게 콘텐츠에 대한 합법적이고 "정상적인" 접근은 점점 더 비싸고 복잡해집니다.
프록시 및 스크래핑과의 관계
여기서 주요 실용적인 결론이 도출됩니다. 대형 플랫폼이 User-Agent를 통해 "정직한" 크롤러에 대한 접근을 차단할 때, 수요는 불가피하게 트래픽을 인간과 구별할 수 없도록 만드는 도구로 이동합니다. 분석 회사 Synthient의 창립자 벤 브랜디지가 직접적으로 언급했습니다: “AI는 확실히 레지던트 프록시에 대한 수요를 증가시키고 있습니다.” 이는 기업들이 자신의 스크래퍼의 차단을 우회할 방법을 찾고 있기 때문입니다.
이 그림자 층의 규모는 이미 인상적입니다. IPInfo의 데이터에 따르면, 90일 동안 추적된 여섯 개의 공급자에서 거의 7900만 개의 고유 IP가 집계되었습니다. 이 시장은 매우 얽혀 있습니다: 약 46%의 레지던트 프록시 주소가 동시에 여러 공급자의 풀에 존재하며, 개별 IP는 100개 이상의 다양한 서비스에서 나타났습니다. 이는 "저렴한 레지던트 프록시"가 실제로는 이미 여러 캠페인에서 사용된 재판매된 주소일 가능성이 높으며, 블랙리스트에 올라 있을 수도 있음을 의미합니다.
우리는 이미 데이터 수집에 대한 규제 압력이 기술적 압력과 함께 증가하고 있음을 언급했습니다: 2026년 8월 2일 발효되는 EU AI 법안은 모델 학습을 위한 robots.txt 및 opt-out의 중요성을 부여합니다. 클라우드플레어의 조치는 같은 경향의 기술적 측면입니다: 법적 및 인프라 장벽이 결합되고 있으며, "단순히 데이터 센터 IP로 GET 요청을 보내는 것"은 점점 더 효과가 떨어지고 있습니다.
데이터 수집자들이 해야 할 일
조급해할 필요는 없지만, 스택을 재검토할 때입니다. 앞으로 몇 달 동안의 몇 가지 실용적인 방향성을 제시합니다.
- 보호 수준에 따라 작업을 분리하십시오. 여전히 빠르고 저렴한 데이터 센터 프록시가 필요한 공개적이고 약하게 보호된 소스에 대해 레지던트 트래픽을 사용하는 것은 낭비입니다.
- 클라우드플레어에 의해 보호되는 사이트에는 레지던트 IP를 사용하십시오. 목표가 봇 관리 시스템을 통해 요청을 전달할 때, 실제 가정용 공급자의 레지던트 프록시가 도움이 됩니다: 이들의 행동은 기본적으로 인간으로 간주됩니다. 핵심은 풀의 절대적인 크기가 아니라, 그 청결성과 다른 서비스와의 낮은 교차 비율입니다.
- 가장 까다로운 목표를 위해 모바일 IP를 사용하십시오. 소셜 미디어 및 공격적인 안티봇 시스템을 가진 플랫폼은 모바일 프록시를 통해 더 잘 통과합니다: 하나의 운영자 IP 뒤에는 수천 명의 실제 가입자가 있기 때문에, 전체를 차단하는 것은 플랫폼에 불리합니다.
- “양”이 아니라 “생존율”을 계산하십시오. 클라우드플레어가 "기본적으로 닫힘"으로 전환한 이후, 품질 메트릭은 기가바이트가 아니라 차단 없이 성공적으로 수집된 페이지의 비율이 됩니다. 46%의 주소 교차율을 가진 저렴한 재판매 풀은 멋진 트래픽 수치를 제공하지만, 성공률은 형편없습니다.
- 규칙이 있는 곳에서는 규칙을 준수하십시오. 소스가 공식 API나 Pay Per Crawl 조건을 제공하는 경우, 안정적인 생산 파이프라인을 위해 종종 무기 경쟁보다 저렴하고 신뢰할 수 있습니다. 프록시는 공개 데이터용 도구이지, 직접적인 계약 금지를 우회하는 도구가 아닙니다.
결론
클라우드플레어의 조치는 일회성 뉴스가 아니라 시스템적 전환의 일환입니다: 웹은 "닫기 전까지 열려 있음"에서 "열기 전까지 닫혀 있음"으로 전환되고 있습니다. 73,000:1과 같은 비율은 왜 이것이 불가피한지를 보여주며, Pay Per Crawl은 데이터 접근을 가격이 붙은 상품으로 변모시킵니다. 스크래핑에 있어 이는 하나의 의미를 가집니다: 데이터 센터 IP와 User-Agent 헤더만으로는 더 이상 충분하지 않습니다. 이기는 것은 미리 깨끗한 레지던트 및 모바일 네트워크에서 수집을 구축하고, 트래픽 양이 아니라 실제로 살아남은 데이터의 비율을 계산하는 이들입니다. 장벽은 계속 증가할 것이며, 프록시 인프라의 품질은 데이터를 얻을 수 있는지 여부를 결정짓는 중요한 요소가 됩니다.
```