Wildberries, Ozon, Amazon 또는 Google Maps에서 파싱을 위해 Apify에서 액터를 실행하는 경우, 언젠가는 내장형 Apify Proxy에 대한 비용을 지불할지 아니면 자신의 IP 주소 풀을 연결할지를 결정해야 합니다. 대량의 경우, 비용 차이는 매달 수만 루블에 이를 수 있습니다. 이 기사에서는 Apify에서 트래픽 가격이 어떻게 계산되는지, 언제 자신의 프록시가 유리한지, 그리고 기술적으로 액터에 연결하는 방법을 코드 예제와 함께 설명합니다.
Apify-액터란 무엇이며 프록시는 왜 필요한가
Apify는 자체 인프라를 구축할 필요 없이 준비된 스크레이퍼(액터)를 실행할 수 있는 플랫폼입니다. Apify Store에는 Amazon 파서, Google Maps Scraper, Instagram Scraper, Wildberries 및 Ozon에서 상품 카드 수집을 위한 액터 등 수백 개의 준비된 액터가 있습니다. 이들 대부분은 타겟 사이트가 대량 요청을 받을 경우 Apify 데이터 센터의 IP 주소를 빠르게 차단하기 때문에 프록시가 필요합니다.
액터에서 프록시는 세 가지 작업을 수행합니다: 지리적 제한을 우회하고(예: Wildberries에서 "모스크바" 지역의 가격을 수집해야 할 때), CAPTCHA와 일시적 차단 빈도를 줄이며, 여러 IP 간의 부하를 분산시켜 일반 사용자처럼 행동하도록 모방합니다. 프록시 없이 대부분의 마켓플레이스 파싱 액터는 아예 실행되지 않거나 몇 분 후에 오류가 있는 데이터를 수집하게 됩니다.
Apify에는 내장형 솔루션인 Apify Proxy가 있으며, 이는 한 줄의 코드로 연결됩니다. 시작하기에는 편리하지만, 트래픽에 대해 GB 단위로 요금이 부과되며, 정기적이거나 대량 파싱 시 비용이 빠르게 증가합니다. 이러한 이유로 플랫폼의 숙련된 사용자들은 점점 더 내장형 대신 자신의 프록시를 액터에 연결하고 있습니다.
내장형 Apify Proxy의 구조와 요금제
Apify Proxy는 데이터 센터 IP, 거주자 IP(파트너 풀을 통해) 및 검색 결과 파싱을 위한 Google SERP 프록시의 세 가지 유형을 제공합니다.
연결은 최대한 간단하며, 액터 구성에서 useApifyProxy: true 매개변수를 지정하기만 하면 플랫폼이 각 요청 또는 세션마다 IP를 자동으로 회전합니다.
요금 모델의 문제는 거주자 프록시의 트래픽이 Apify 내에서 기가바이트 단위로 요금이 부과되며, 내장형 솔루션의 GB당 가격이 일반적으로 프록시 직접 공급자의 가격보다 높다는 것입니다. 이는 Apify가 통합 및 풀 관리에 대한 추가 마진을 추가하기 때문입니다. 소규모 테스트 실행(한 달에 몇 천 개의 요청)에서는 큰 문제가 되지 않습니다. 그러나 액터가 모니터링 모드에서 작동하는 경우 — 예를 들어, Wildberries에서 매시간 5000 SKU의 가격을 수집하는 경우 — 트래픽 소비가 기하급수적으로 증가하고 내장형 프록시는 프로젝트 예산에서 가장 비싼 항목이 되어 Apify 요금제의 비용을 초과하게 됩니다.
추가적인 주의 사항: 내장형 Apify 풀은 플랫폼의 모든 고객에게 공유됩니다. 이는 IP 주소가 다른 사용자에 의해 이미 "노출"될 수 있음을 의미하며, 이는 Ozon 및 Avito와 같은 강력한 안티봇 보호가 있는 마켓플레이스에서 CAPTCHA 및 차단 위험을 증가시킵니다.
자신의 프록시 풀이 더 저렴한 경우: 숫자로 계산
자신의 프록시로 전환하는 것이 정당화되는 시점을 이해하기 위해서는 두 가지 변수를 비교해야 합니다: Apify Proxy의 트래픽 비용과 동일한 양의 트래픽을 위한 직접 프록시 공급자의 비용, 그리고 자신의 풀을 통합하고 유지하는 데 소요되는 시간입니다.
실제로는 세 가지 시나리오가 있습니다:
- 일회성 파싱(한 달에 1GB 이하의 트래픽) — 내장형 Apify Proxy가 더 유리합니다: 적은 양의 데이터를 수집하기 위해 자신의 풀을 설정하는 데 시간을 낭비할 필요가 없습니다.
- 정기 모니터링(한 달에 5–50GB) — 전환점입니다. 여기서는 계산을 해야 합니다: 액터가 매일 작동하고 Wildberries 또는 Ozon에서 상품 카드를 수집하는 경우, 내장형 프록시의 트래픽 소비가 고정 비용 또는 무제한 요금제를 가진 자신의 풀보다 더 빨리 증가합니다.
- 산업적 파싱(한 달에 50GB 이상, 수십 개의 액터, 여러 소스) — 자신의 풀은 거의 항상 더 저렴합니다. 이는 트래픽 또는 IP 수에 대한 직접 가격을 협상할 수 있는 가능성이 있기 때문입니다. 플랫폼 중개자의 마진 없이.
간단한 계산 예: 액터가 매일 10,000개의 상품 카드를 처리하고, 각 페이지가 이미지 및 스크립트를 포함하여 평균 300KB의 크기를 가진다면(리소스 로딩 최적화 없이), 한 달에 약 90GB의 트래픽이 발생합니다. 거주자 트래픽에 대한 Apify Proxy 요금제에서 최종 금액은 종종 외부 프록시 공급자의 동일한 양의 비용보다 1.5배에서 2배 더 높습니다. 액터가 이미지 및 외부 스크립트의 로딩을 차단하도록 설정되어 있다면(이는 Puppeteer/Playwright 구성으로 쉽게 수행할 수 있습니다), 실제 트래픽 소비가 몇 배로 줄어들고, 자신의 프록시로 전환할 때의 절약이 더욱 뚜렷해집니다.
액터에 연결할 프록시 유형
프록시 유형의 선택은 액터가 어떤 사이트를 파싱하는지와 해당 사이트가 봇 트래픽에 얼마나 민감한지에 따라 직접적으로 달라집니다.
| 프록시 유형 | Apify에서 사용할 때 | 차단 위험 |
|---|---|---|
| 데이터 센터 프록시 | 강력한 안티봇 보호가 없는 사이트, API 유사 소스, 정적 카탈로그의 파싱 | 안티봇 보호가 있는 마켓플레이스에서 높음 |
| 거주자 프록시 | Wildberries, Ozon, Amazon, Google Maps Scraper — 데이터 센터 IP를 감지하는 사이트 | 올바른 회전 시 낮음 |
| 모바일 프록시 | 최대 "청결" IP가 필요한 Apify 액터를 통한 소셜 미디어(Instagram, TikTok) 파싱 | 최소 |
Wildberries 및 Ozon과 같은 마켓플레이스를 파싱할 때 최적의 선택은 거주자 프록시입니다. 이는 실제 가정용 ISP의 IP를 사용하고 강력한 안티봇 필터에 걸릴 일이 드뭅니다. 덜 보호된 소스(RSS, 공개 카탈로그, 기업 웹사이트)의 경우 데이터 센터 IP로 충분하며, 이는 더 저렴하고 빠릅니다.
자신의 프록시를 액터에 연결하는 방법: 코드 및 설정
Apify의 대부분의 액터는 Crawlee(이전 Apify SDK)를 기반으로 하며,
proxyConfiguration 매개변수를 통해 자신의 프록시 목록을 전달할 수 있습니다.
내장형 풀 대신 자신의 프록시 주소 배열을 지정합니다.
import { Actor } from 'apify';
import { CheerioCrawler, ProxyConfiguration } from 'crawlee';
await Actor.init();
// useApifyProxy 대신 자신의 프록시 목록을 전달합니다.
const proxyConfiguration = new ProxyConfiguration({
proxyUrls: [
'http://user:[email protected]:12345',
'http://user:[email protected]:12345',
'http://user:[email protected]:12345',
],
});
const crawler = new CheerioCrawler({
proxyConfiguration,
maxRequestsPerCrawl: 5000,
async requestHandler({ request, $, log }) {
const title = $('title').text();
log.info(`수집된 페이지: ${title}`);
await Actor.pushData({ url: request.url, title });
},
});
await crawler.run(['https://www.wildberries.ru/catalog/...']);
await Actor.exit();만약 귀하의 프록시 풀이 공급자 측에서 회전을 지원한다면(대부분의 거주자 서비스가 그렇듯이, 세션 또는 요청에 따라 회전하는 풀 포함), URL의 세션 매개변수를 가진 하나의 엔드포인트를 지정하기만 하면 됩니다 — 그러면 IP 회전이 자동으로 이루어지며 수백 개의 주소를 수동으로 나열할 필요가 없습니다.
Python에서 액터를 사용하는 경우(예: Apify SDK를 통해 사용자 정의 스크립트를 실행하는 경우) 연결은 비슷하게 보입니다:
import requests
proxies = {
"http": "http://user:[email protected]:12345",
"https": "http://user:[email protected]:12345",
}
response = requests.get(
"https://www.ozon.ru/category/...",
proxies=proxies,
headers={"User-Agent": "Mozilla/5.0"},
timeout=15
)
print(response.status_code)
print(response.text[:500])중요한 점: 자신의 프록시로 전환할 때는 세션 회전 및 요청 간 지연을 수동으로 설정해야 합니다 — 내장형 Apify Proxy는 이를 자동으로 처리했지만, 외부 풀을 연결할 때는 액터 코드나 크롤러 구성에서 로직을 명시해야 합니다.
비교 표: 내장형 vs 자신의 프록시
| 기준 | Apify Proxy (내장형) | 자신의 프록시 풀 |
|---|---|---|
| 연결 속도 | 한 줄의 코드, 설정 없이 | 통합에 15-30분 소요 |
| 소량의 비용 | 더 유리함 | 드문 실행에 과도함 |
| 10-50GB/월의 비용 | 트래픽에 비례하여 증가 | 더 유리함, 종종 고정 모델 |
| IP 풀의 "청결도" | 공유 풀, 다른 고객과의 교차 가능성 | 귀하의 작업에 맞춘 전용 또는 회전 풀 |
| 지리적 타겟팅 유연성 | 제한된 국가/지역 세트 | 마켓플레이스에 맞춘 특정 도시/지역 선택 |
| 회전 제어 | 자동, 설정 없이 | 필요한 패턴에 맞게 수동으로 설정 |
사례: 마켓플레이스 파싱의 실제
Wildberries 가격 모니터링. 경쟁자의 가격을 하루에 3000-10000 SKU씩 추적하는 판매자는 일반적으로 내장형 Apify Proxy로 시작하지만, 첫 달에 높은 트래픽 요금이 발생한 후 지역에 맞춘 거주자 프록시로 전환합니다. 이는 비용을 줄일 뿐만 아니라 특정 도시의 구매자가 보는 것처럼 가격을 볼 수 있게 해줍니다 — 이는 Wildberries가 창고 및 배송 지역에 따라 다른 가격을 표시하기 때문에 매우 중요합니다.
Ozon의 상품 카드 수집. Ozon은 행동 분석을 적극적으로 사용하며, 동일한 요청 패턴에서 IP를 빠르게 차단합니다. 내장형 Apify Proxy를 통해 작동하는 액터는 다른 플랫폼 사용자들이 유사한 작업을 위해 동일한 IP를 동시에 사용하기 때문에 CAPTCHA에 자주 직면합니다. 전용 거주자 프록시 풀로 전환하고 요청 간에 랜덤 지연을 추가하면 CAPTCHA 빈도가 몇 배로 줄어듭니다.
Google Maps 및 리뷰 파싱. 지리적 특성이 필요 없는 작업(예: 전국의 기업 연락처 수집)에는 종종 데이터 센터 프록시가 충분합니다 — 이는 거주자 프록시보다 빠르고 대량의 경우 훨씬 저렴합니다. 목표 사이트가 공격적인 안티봇 보호를 적용하지 않는 경우에 해당합니다.
Apify 프로젝트를 위한 프록시 선택 체크리스트
- 액터의 실제 트래픽 양을 계산하세요 (요청 × 페이지 평균 크기)
- 이 양을 내장형 Apify Proxy의 요금과 비교하세요 — 정기적으로 5-10GB 이상이면 대안을 고려하세요
- 타겟 사이트가 봇에 얼마나 민감한지 확인하세요 — Ozon과 같은 마켓플레이스는 거주자 IP를 요구합니다
- 특정 지역에 대한 지리적 바인딩이 필요한지 확인하세요 (Wildberries 및 Ozon에 해당)
- 외부 풀로 전환할 때 세션 회전 및 요청 간 지연을 수동으로 설정하세요
- 액터에서 불필요한 리소스(이미지, 글꼴, 트래커)의 로딩을 비활성화하세요 — 이는 프록시 유형에 관계없이 트래픽 소비를 줄입니다
- 모든 액터를 새로운 구성으로 전환하기 전에 소규모에서 풀을 테스트하세요
결론
내장형 Apify Proxy는 일회성 작업 및 소규모 테스트 실행에 편리하지만, 마켓플레이스를 정기적으로 또는 산업적으로 파싱할 경우 그 비용이 빠르게 자신의 프록시 풀 비용을 초과합니다. 전환에는 시작 시 약간의 추가 설정이 필요합니다 — 코드에서 회전, 세션 및 프록시 구성을 명시해야 하지만, 10-50GB의 트래픽 양에서 첫 달에 이미 수익을 낼 수 있습니다.
Wildberries, Ozon 또는 Amazon에서 데이터를 수집하는 액터가 있다면 거주자 프록시를 고려하세요 — 이는 차단 위험을 낮추고 가격을 정확하게 표시하기 위해 필요한 지역을 설정할 수 있게 해줍니다. 덜 보호된 소스에는 더 저렴한 데이터 센터 프록시가 적합하며, Apify 액터를 통해 모바일 애플리케이션 및 소셜 미디어를 파싱할 때는 모바일 프록시를 고려하세요 — 이는 최소한의 탐지 위험으로 최대 "청결" IP를 제공합니다.