“백만 페이지를 크롤링하는 데 드는 비용은 얼마인가?”라는 질문은 거의 항상 쓸모없는 대답을 받습니다: “사이트에 따라 다릅니다.” 다르긴 하지만 신비로운 것은 아닙니다. 비용은 네 가지 측정 가능한 요소로 나뉘며, 이들 중 어느 것도 트래픽 요금이 실제로 청구되기 전에 미리 계산할 수 있습니다. 아래는 작동하는 산술입니다: 기가바이트가 어디서 오는지, 왜 “기가바이트당 가격”이 예산에 대해 아무것도 말하지 않는지, 그리고 어떤 레버가 실제로 예산을 대폭 줄이는지에 대한 내용입니다.
주요 메트릭 — 기가바이트당 가격이 아니라 성공적인 요청당 가격
제공업체들은 진열장에서 숫자로 경쟁합니다: $1/GB, $3/GB, 1000 요청당 $0.30. 이러한 숫자는 페이지의 무게와 성공적인 응답 비율을 고려하지 않으면 서로 비교할 수 없습니다. 시장 리뷰에서 강조하는 점은 바로 이것입니다: “기가바이트당” 및 “1000 요청당”의 원시 숫자는 페이지의 무게와 성공적인 응답 비율을 고려하지 않으면 비교할 수 없습니다.
계획에 충분한 공식은 다음과 같습니다:
예산 = (목표 페이지 수 ÷ 성공 비율) × 평균 페이지 무게 × 기가바이트당 가격 + 고정 비용
첫 번째 부분에는 세 개의 변수가 있고, 두 번째 부분에는 하나가 있습니다. 각각을 살펴보겠습니다.
요소 1: 한 페이지의 무게
가장 과소평가된 변수입니다. 여기서의 차이는 퍼센트가 아니라 배수이며, 페이지를 가져오는 방법에 따라 달라집니다:
- 렌더링 없는 일반 HTTP 요청 — 50–150 KB. HTML 문서만 받습니다.
- 헤드리스 브라우저에서의 전체 렌더링 — 세심하게 설정하면 100–300 KB입니다.
- 필터 없는 브라우저 — 0.2–1 MB 이상. 이미지, 글꼴, 광고 스크립트, 분석 및 비디오 플레이어에 대해 비용을 지불하게 됩니다.
첫 번째와 세 번째 항목 간의 차이는 동일한 페이지에서 최대 20배까지 차이가 날 수 있습니다. 백만 페이지의 경우 이는 50 GB와 1000 GB 트래픽 간의 차이입니다.
요소 2: 프록시 유형별 기가바이트 가격
2026년 현재 시장 범위는 다음과 같습니다:
- 데이터 센터 — $0.50–3 per GB 또는 IP에 대한 월 요금.
- 주거용 — $1–8 per GB. 가격 품질 기준: 약 $1/GB — 훌륭한 제안, $3–4/GB — 시장 중간, $5–8/GB — 기업 부문.
- 모바일 (4G/5G) — $2–15 per GB.
- ISP / 정적 주거용 — 월 $1.5–5 per IP.
- 완성된 스크래핑 API — 1000 요청당 $0.30–12.
가장 저렴한 것을 선택하고 싶은 유혹은 이해할 수 있지만, 다음 요소에서 깨지게 됩니다.
요소 3: 성공 비율 — 예산의 숨겨진 곱셈기
차단된 요청은 여전히 비용을 지불해야 합니다: 트래픽이 소모되었지만 데이터는 없습니다. 따라서 실제 요청 수는 목표 수를 성공 비율로 나눈 값이며, 곱셈기는 비선형적으로 증가합니다:
- 성공률 95% — 5% 초과 지불;
- 성공률 70% — 목표 레코드 백만 개당 약 40만 개의 요청이 더 필요합니다;
- 성공률 60% — 요청이 2.5배 더 필요합니다.
따라서 $0.50/GB의 저렴한 데이터 센터가 보호된 사이트에서 $3/GB의 주거용보다 더 비쌉니다: Cloudflare, DataDome 및 Akamai는 기본적으로 데이터 센터 ASN을 차단하고, 당신은 거부 흐름에 대해 비용을 지불하게 됩니다. 2026년 7월 기준으로 모바일 프록시는 현대의 안티봇 시스템에 대해 90–95%의 성공률을 유지합니다 — 데이터 센터가 전혀 통과하지 못하는 곳에서 말입니다.
실용적인 결론: 프록시 유형은 가격이 아니라 목적에 따라 선택해야 합니다. 간단한 디렉토리와 공개 API는 데이터 센터입니다. 상점, 소셜 미디어, 보호된 집계기는 주거용입니다. 가장 공격적인 사이트와 모바일 버전은 모바일입니다.
백만 페이지에 대한 세 가지 시나리오
숫자를 함께 모아보겠습니다. 조건은 동일합니다: 유용한 페이지 백만 개.
시나리오 A — “규율 있는”. 브라우저 없는 HTTP 클라이언트, 페이지당 100 KB, 주거용 $2/GB, 성공률 95%. 총: 105만 요청 × 100 KB ≈ 105 GB ≈ $210.
시나리오 B — “전형적인”. 리소스 필터링이 있는 헤드리스 브라우저, 페이지당 250 KB, 주거용 $3/GB, 성공률 85%. 총: 118만 × 250 KB ≈ 295 GB ≈ $885.
시나리오 C — “설정 없이”. 브라우저가 모든 것을 로드합니다, 페이지당 800 KB, 주거용 $5/GB, 성공률 65%. 총: 154만 × 800 KB ≈ 1230 GB ≈ $6150.
A와 C 간의 차이는 거의 30배에 달하며, 결과는 동일합니다. 어떤 변수도 이국적이지 않았습니다: 모든 것이 기본 설정과 일반적인 주의의 차이입니다. 참고로, 중간 규모의 회사가 다양한 사이트에서 매달 백만 요청을 처리하는 데 드는 비용은 $1000–3000입니다 — 즉, 시나리오 B와 C 사이입니다.
트래픽에 포함되지 않지만 청구서에 포함되는 것들
프록시는 일반적으로 가장 큰 항목이지만 유일한 항목은 아닙니다:
- 캡차. 해결 비용은 1000개당 $0.50–3입니다. 백만 페이지 중 5%가 캡차인 경우 5만 개의 해결이 필요하며 — $25–150. 괜찮습니다. 50%인 경우 — 이미 $250–1500이며, 문제는 기술적인 것이 아닙니다.
- 인프라. 소규모에서는 월 $20–200; 소규모에서는 $200–500, 대규모에서는 $3000–10,000입니다.
- 저장소 및 아웃바운드 트래픽. 객체 저장소는 월 $0.023 per GB, 대형 클라우드는 아웃바운드에 대해 $0.09 per GB입니다 — 수백 기가바이트에서는 사소하지만 수십 테라바이트에서는 눈에 띄는 수치입니다.
- 사람들. 가장 비싼 항목입니다. 프로덕션 준비가 된 파서는 8–12주 개발이 필요하며, 간단한 사이트에서는 월 4–8시간, 보호된 사이트에서는 20시간 이상이 필요합니다. 시간당 $75의 요금으로 보호된 소스의 지원 비용은 월 $1500 이상입니다 — 시나리오 B의 모든 트래픽보다 더 많습니다.
예산을 실제로 줄이는 다섯 가지 레버
- 불필요한 곳에서는 브라우저를 제거하세요. 데이터가 HTML이나 내부 API에 있는 경우 — 렌더링은 불필요합니다. 이것이 주요 레버입니다: 트래픽을 60–80% 줄입니다.
- 브라우저가 필요한 경우 리소스를 차단하세요. 이미지, 글꼴, 미디어, 광고 및 분석 스크립트는 요청 가로채기 규칙 하나로 비활성화할 수 있으며, 상당한 절약을 제공합니다. 자세한 방법은 프록시를 통한 트래픽 소비 최적화에서 확인할 수 있습니다.
- 복잡성에 따라 목표를 분류하세요. 가장 비싼 채널을 통해 전체 목록을 처리하는 것은 예산에서 가장 흔한 실수입니다. 소스를 “공개”, “중간 보호” 및 “공격적”으로 분류하고 각 유형에 맞는 프록시를 지정하세요.
- 재시도 정책을 의식적으로 구축하세요. 실패한 요청에 대해 무작정 세 번 반복하면 문제 있는 목표에서 트래픽이 세 배로 증가합니다. 의미 있는 응답 코드만 반복하고, 같은 IP가 아닌 다른 IP로 반복해야 합니다.
- 캐시하고 같은 것을 두 번 가져가지 마세요. 목록, 페이지 매김, 디렉토리 반복 — 여기서 예산의 수십 퍼센트가 쉽게 소실됩니다.
완성된 API가 더 저렴할 때와 자체 스택이 더 저렴할 때
전체 소유 비용을 계산해야 하며, “기가바이트당 가격”만으로는 부족합니다. 시장 기준: 월 10만 페이지를 처리하는 자체 파서는 지원 비용을 포함하여 $700–1650가 들며, 동일한 양의 완성된 API는 $50–300입니다. 큰 숫자에서는 상황이 뒤바뀝니다: API를 통한 월 100만 요청은 $250–2490이며, 월 10 TB의 자체 인프라 구축은 연간 약 $230,000으로 평가됩니다. 서비스 구매 비용은 $100,000–150,000입니다.
거칠게 말하자면: 양이 적고 사이트가 많을 때는 완성된 솔루션을 선택하세요, 타인의 지원 비용을 지불하는 것입니다. 양이 안정적이고 목표가 적으며 잘 연구된 경우 — 프록시의 자체 스택이 더 저렴합니다, 왜냐하면 필요 없는 렌더링에 대한 추가 비용을 지불하지 않게 되기 때문입니다. 두 접근 방식의 자세한 비교는 프록시와 스크래핑 API 및 웹 언블로커에서 확인할 수 있습니다.
2026년 가을에 변화하는 것들
계산을 위로 밀어붙일 요인이 있습니다. 2026년 9월 15일부터 Cloudflare는 새로운 도메인을 기본적으로 Training 및 Agent 카테고리 차단으로 전환합니다 — 광고가 있는 페이지에서; 이 변경 사항은 새로운 고객, 기존 고객의 새로운 사이트 및 무료 요금제의 모든 고객에게 적용됩니다. 검색 크롤러는 여전히 허용됩니다. 동시에 Pay Per Crawl은 Pay Per Use로 전환됩니다: 발행자는 페이지를 우회한 사실이 아니라 AI 응답에서 콘텐츠 사용에 대해 비용을 받습니다.
맥락은 간단합니다: Cloudflare의 데이터에 따르면, 현재 그들의 네트워크에서 크롤러 요청의 52%가 AI 학습에 사용되며, 이는 2025년 봄의 22%에 비해 증가한 수치입니다. 네트워크가 닫히고, 예산에 대한 실용적인 의미는 다음과 같습니다 — 보호된 소스에서의 성공 비율이 평균적으로 감소할 것이며, 따라서 세 번째 요소의 숨겨진 곱셈기가 더 중요해질 것입니다. 이를 계획에 반영하고 청구서에서 알지 마세요.
간단히 정리하자면
파싱 비용은 기가바이트 가격이 아니라 페이지 무게, 채널 가격 및 성공 비율의 역수의 곱입니다. 백만 페이지에서 정밀한 파이프라인과 부주의한 파이프라인 간의 차이는 퍼센트가 아니라 차원의 차이로 측정됩니다. 공급자와 할인 협상하기 전에, 크롤링하지 않는 이미지 로드에 대해 얼마나 지불하는지, 발생하지 말아야 할 반복에 대해 얼마나 지불하는지 계산해보세요. 일반적으로 그곳에 있는 돈이 어떤 할인보다 더 많습니다.
```