프록시 풀 자동 확장: 부하에 따라 IP 늘리기 및 예산 절약하는 방법

대량의 작업을 수행할 때 — 마켓플레이스 파싱, 계정 농사, 소셜 미디어에서의 대량 게시 — 정적 프록시 풀은 빠르게 문제가 됩니다. 부하가 낮은 기간 동안 사용하지 않는 IP에 대해 과도한 비용을 지불하거나, 피크 시간에 주소 부족으로 인해 차단에 직면하게 됩니다. 프록시 풀의 자동 확장은 두 가지 문제를 모두 해결합니다: 시스템은 현재 부하에 따라 IP 주소 수를 자동으로 늘리고, 작업이 줄어들면 이를 줄입니다.

이 기사에서는 파싱, 트래픽 중재, 소셜 미디어의 멀티 계정 관리 및 마켓플레이스 작업을 위한 자동 확장을 설정하는 방법을 살펴보겠습니다. 구체적인 도구, 부하 분산 알고리즘 및 모니터링 메트릭을 보여줍니다.

프록시 풀의 확장이란 무엇이며 왜 필요한가

프록시 풀의 확장은 현재 부하에 따라 활성 IP 주소 수를 자동으로 변경하는 것입니다. 간단히 말해, 작업이 많을 때 시스템은 프록시를 추가하고, 적을 때는 여분을 끄는 방식으로 불필요한 비용을 지불하지 않도록 합니다.

전형적인 예: Wildberries에서 가격을 파싱하는 경우입니다. 평소에는 시간당 10,000개의 요청에 50개의 IP 주소가 충분합니다. 그러나 금요일 저녁과 주말에는 마켓플레이스가 제한을 강화하고, 동일한 IP에서 반복 요청을 차단하기 시작합니다. 확장이 없으면 미리 150개의 프록시를 구매해야 하며(주중에 200% 과다 지불), 피크 시간에는 차단을 당하게 됩니다.

자동 확장을 통해 시스템은 429 오류(요청이 너무 많음)와 CAPTCHA의 비율을 모니터링합니다. 비율이 5%를 초과하면 20-30개의 IP를 추가합니다. 부하가 줄어들면 여분을 끕니다. 결과적으로 실제로 사용되는 프록시에 대해서만 비용을 지불하고 차단으로 인해 데이터를 잃지 않게 됩니다.

자동 확장의 주요 이점

• 예산 40-60% 절약 — 정적 풀 "최대"가 아닌 실제로 사용되는 IP에 대해서만 비용을 지불합니다.
• 차단으로부터의 보호 — 시스템은 오류 증가에 즉시 반응하고 대량 차단이 발생하기 전에 프록시를 추가합니다.
• 안정적인 작업 속도 — 부하가 고르게 분산되어 피크 시간에 속도 저하가 없습니다.
• 작업에 대한 유연성 — 파싱, 계정 농사, 광고를 위한 다양한 확장 규칙을 설정할 수 있습니다.

자동 확장이 필요한 경우: 5가지 시나리오

프록시 풀의 확장은 항상 필요한 것은 아닙니다. Instagram 계정을 5개 운영하거나 하루에 100개의 상품을 파싱하는 경우 — 10-20개의 정적 풀로도 충분합니다. 그러나 자동 관리 없이 해결할 수 없는 작업도 있습니다.

1. 가변 부하가 있는 마켓플레이스 파싱

Wildberries, Ozon, Yandex.Market의 가격 모니터링을 위한 전형적인 상황입니다. 일반적인 시간(오전 3시부터 10시까지)에는 마켓플레이스가 데이터를 쉽게 제공합니다. 피크 시간(오후 6시부터 11시까지)에는 엄격한 제한이 시작됩니다: 한 IP에서 3-5개의 요청 후 CAPTCHA, 서브넷 차단, 응답 지연이 발생합니다.

예를 들어, 하루에 50,000개의 상품을 파싱한다고 가정해 보겠습니다. 밤에는 각 IP에서 시간당 2,000개의 요청을 위해 30개의 IP가 필요합니다. 저녁에는 동일한 양이 100-120개의 IP가 필요합니다. 왜냐하면 IP당 요청 제한이 500-700으로 떨어지기 때문입니다. 120개의 정적 풀은 24시간 작동하며 — 야간 시간에 75%의 과다 지불이 발생합니다. 자동 확장은 오후 6시부터 11시까지 풀을 120개의 IP로 늘리고, 나머지 시간에는 30-40개로 유지합니다.

2. Facebook Ads 및 TikTok Ads 광고 계정 농사

중재자는 광고 계정에서 대량으로 계정을 생성하고 따뜻하게 합니다. 작업: 1주일 동안 50개의 Facebook 계정을 처음 캠페인을 시작할 준비 상태로 올리는 것입니다. 각 계정은 별도의 IP가 필요합니다(그렇지 않으면 체인 차단이 모든 프로필을 연결합니다).

그러나 계정은 고르지 않게 농사됩니다: 처음 2일 동안 50개의 프로필이 활발히 작동합니다(50개의 프록시 필요), 3-4일째에는 일부 계정이 "휴식" 모드로 전환됩니다(활성 계정에 대해 20-30개의 IP가 충분합니다), 5-7일째에는 캠페인 시작 전에 다시 활동이 피크에 도달합니다(다시 50개의 IP 필요). 확장을 통해 시스템은 활성 계정에 대해서만 프록시를 연결하여 주간 최대 50%의 비용 절감 효과를 봅니다.

3. SMM 패널을 통한 Instagram 및 TikTok의 대량 게시

SMM 에이전시는 50-200개의 고객 계정을 운영합니다. 게시물은 일정에 따라 진행됩니다: 오전(9:00-11:00)에는 스토리가 게시되고, 오후(14:00-16:00)에는 피드에 게시물이 올라가며, 저녁(19:00-21:00)에는 릴과 댓글이 올라갑니다. 나머지 시간 동안 계정은 유휴 상태입니다.

각 계정에는 별도의 모바일 프록시가 필요합니다(Instagram은 IP 변경에 대해 엄격하게 차단합니다). 200개의 모바일 프록시로 구성된 정적 풀은 월 4,000-6,000달러의 비용이 발생합니다. 확장을 통해 항상 활성 계정에 대해 50개의 기본 풀을 유지하고, 대량 게시 시간에는 추가로 100-150개를 2-3시간 동안 구매할 수 있습니다. 절감액: 월 최대 2,000달러.

4. 소셜 미디어에서의 행동 자동화 (좋아요, 팔로우, 댓글)

Instagram, VK, TikTok에서의 대량 팔로우 및 대량 좋아요를 통한 프로모션. 작업: 100개의 계정이 하루에 200-300개의 행동(팔로우, 좋아요)을 수행합니다. 소셜 미디어는 시간에 따라 활동을 추적합니다: 모든 100개의 계정이 동시에 좋아요를 누르면 — 이는 안티프로드에 대한 빨간 깃발입니다.

올바른 전략: 12-16시간 동안 활동을 분산시키고, 매 순간 20-30개의 계정이 작동하도록 합니다. 확장은 활성 프로필에 대해서만 프록시를 연결합니다. 100개의 상시 IP 대신 30-40개의 풀로 충분하며, 계정 간에 회전합니다.

5. 다양한 지역에서 광고 크리에이티브 테스트

중재자와 마케팅 담당자는 다양한 국가와 도시에서 Facebook Ads, Google Ads, Yandex.Direct의 광고가 어떻게 보이는지 테스트합니다. 작업: 캠페인 시작 전에 2시간 이내에 50개의 조합(10개의 크리에이티브 × 5개의 지역)을 확인합니다.

특정 위치의 프록시가 필요합니다: 미국(5개 주), 독일(3개 도시), 폴란드, 카자흐스탄, 우크라이나. 다양한 지역에서 50개의 IP를 지속적으로 유지하는 것은 비경제적입니다 — 이들은 주 2-3회 몇 시간 동안만 필요합니다. 확장을 통해 프록시를 1시간 동안 임대하고, 크리에이티브를 테스트한 후 끌 수 있습니다. 절감액: 지속적인 풀에 대해 월 1,500달러 대신 200-300달러의 일회성 세션 비용.

확장 유형: 수직 vs 수평

프록시 풀의 확장에는 두 가지 접근 방식이 있습니다. 선택은 작업의 유형, 예산 및 속도 요구 사항에 따라 달라집니다.

수직 확장 (IP의 한도 증가)

새로운 IP 주소를 추가하는 것이 아니라 기존 프록시를 통해 요청 수를 늘립니다. 예를 들어, 한 IP에서 시간당 1,000개의 요청 대신 2,000개를 수행하며, 세션의 더 공격적인 회전이나 사용자 에이전트 전환을 사용합니다.

적합한 경우: 부드러운 한도가 있는 사이트의 파싱(뉴스 포털, 포럼, 공개 API)에서 차단이 드문 경우입니다. 프록시 수를 절약하지만 합리적인 부하를 초과하여 차단될 위험이 있습니다.

장점: IP를 추가로 구매할 필요가 없고, 풀 관리가 더 쉽고, 프록시 비용이 적게 듭니다.

단점: 안티프로드가 있는 플랫폼(소셜 미디어, 마켓플레이스, 광고 계정)에서 차단 위험이 높습니다. 각 계정에 고유한 IP가 필요한 작업에는 적합하지 않습니다.

수평 확장 (새로운 IP 추가)

풀의 프록시 수를 늘립니다: 50개의 IP에서 100개로 증가합니다. 부하는 고르게 분산되며, 각 주소는 안전한 한도 내에서 작동합니다.

적합한 경우: 소셜 미디어의 멀티 계정 관리(각 계정에 고유한 IP 필요), 광고 계정 농사, 엄격한 한도가 있는 마켓플레이스 파싱, 안티탐지 브라우저(Dolphin Anty, AdsPower, Multilogin) 작업입니다.

장점: 차단 위험이 최소화되고 안정적인 작업이 이루어지며, 장기적인 작업(계정을 몇 달 동안 운영)에 적합합니다.

단점: 프록시 비용이 더 높고, 풀의 자동 관리 설정이 더 복잡합니다.

대부분의 소셜 미디어, 광고 계정 및 마켓플레이스 관련 작업에는 수평 확장이 최적입니다. 수직 확장은 최소한의 제한이 있는 공개 소스 파싱에만 의미가 있습니다.

확장을 위한 메트릭: 무엇을 추적해야 하는가

시스템이 자동으로 프록시를 추가하거나 끄는 결정을 내리기 위해서는 주요 메트릭을 모니터링해야 합니다. 다양한 작업에 대해 어떤 지표가 중요한지 살펴보겠습니다.

1. 오류 비율 (Error Rate)

가장 중요한 메트릭입니다. 성공적인 요청과 전체 요청 수의 비율을 추적하세요. 중요한 오류 코드: 429 (요청이 너무 많음), 403 (금지됨), 503 (서비스 사용 불가), 타임아웃 및 CAPTCHA입니다.

정상 값: 파싱의 경우 — 오류가 2-3% 이내, 소셜 미디어 계정 작업의 경우 — 1% 이내입니다. 비율이 기준을 초과하면 시스템은 현재 풀에 20-30%의 프록시를 추가해야 합니다.

예시: Wildberries를 파싱하고, 풀에 50개의 IP가 있습니다. 시간당 5,000개의 요청을 수행하며, 그 중 200개가 429 오류를 반환합니다(4% 오류 비율). 확장 트리거: 각 IP의 부하를 100에서 77 요청으로 줄이기 위해 15개의 프록시를 추가합니다.

2. 응답 시간 (Response Time)

서버가 귀하의 IP에서 요청이 과부하되면 응답 속도가 느려지거나 요청을 대기열에 넣기 시작합니다. 평균 응답 시간이 기본값에서 30-50% 증가하면 확장 신호입니다.

예시: 일반적으로 Ozon은 300-500ms 이내에 응답합니다. 피크 시간에는 응답 시간이 1200-1500ms로 증가했습니다. 이는 마켓플레이스가 귀하의 요청을 제한하고 있음을 의미합니다. 해결책: 프록시를 추가하여 각 IP에서의 요청 빈도를 줄입니다.

3. CAPTCHA 수 (CAPTCHA Rate)

마켓플레이스, 검색 엔진, 소셜 미디어 파싱에 매우 중요합니다. 요청의 5% 이상이 CAPTCHA를 반환하면 풀에 과부하가 발생합니다.

예시: Google Shopping을 파싱하고, 1,000개의 요청 중 80개가 reCAPTCHA를 반환합니다(8%). 시스템은 CAPTCHA 비율을 2-3%로 줄이기 위해 20개의 IP를 자동으로 추가합니다.

4. 프록시 활용도 (Proxy Utilization)

얼마나 많은 비율의 프록시가 적극적으로 사용되고 있는지를 보여줍니다. 활용도가 40% 미만이면 불필요한 IP에 대해 과다 지불하고 있습니다. 85% 이상이면 풀의 작업이 한계에 도달하여 차단 위험이 높습니다.

최적 활용도: 60-75%. 이는 경제성과 안정성 간의 균형입니다.

예시: 풀에 100개의 프록시가 있으며, 35개가 적극적으로 사용되고 있습니다(활용도 35%). 시스템은 사용되지 않는 30개의 IP를 끄고 70개를 유지합니다. 절감액: 프록시 예산의 30%.

5. 활성 작업 수 (Task Queue Length)

현재 풀로 처리할 수 있는 작업 수보다 대기열에 더 많은 작업이 있을 경우 — 확장이 필요합니다. 대기열의 길이와 평균 대기 시간을 추적하세요.

예시: 10,000개의 상품을 파싱하고 있습니다. 대기열에 3,000개의 작업이 있으며, 현재 40개의 IP 풀은 시간당 500개의 작업을 처리합니다. 모든 작업을 완료하는 데 걸리는 시간: 6시간. 20개의 IP를 추가하면 시간이 4시간으로 줄어듭니다.

자동 확장 알고리즘

프록시 풀의 크기를 자동으로 관리하기 위한 여러 접근 방식이 있습니다. 알고리즘 선택은 부하의 예측 가능성과 반응 속도 요구 사항에 따라 달라집니다.

1. 반응형 확장 (Reactive Scaling)

시스템은 현재 메트릭에 반응합니다: 오류 비율이 기준을 초과하면 프록시를 추가하고, 활용도가 떨어지면 여분을 끕니다. 가장 간단하고 인기 있는 접근 방식입니다.

알고리즘: 매 5-10분마다 시스템은 메트릭을 확인합니다. 하나 이상의 지표가 기준을 초과하면 확장 결정을 내립니다.

장점: 설정이 간단하고, 역사적 데이터가 필요 없으며, 즉시 작동합니다.

단점: 지연된 반응(5-10분)으로 인해 피크 부하를 미리 예측하지 못합니다. 부하가 급격히 증가하면 시스템이 프록시를 추가하는 동안 차단을 당할 수 있습니다.

사용 시기: 상대적으로 안정적인 부하가 있는 파싱 작업, 피크가 시간적으로 예측 가능한 경우(예: 매일 같은 시간에 파싱).

2. 능동적 확장 (Proactive Scaling)

시스템은 역사적 데이터를 분석하고 부하가 증가할 시점을 예측합니다. 문제가 발생하기 전에 프록시를 미리 추가합니다.

알고리즘: 지난 7-30일의 데이터를 기반으로 시스템은 시간 및 요일별 부하 그래프를 작성합니다. 예를 들어, 매주 금요일 오후 6시부터 11시까지 오류 비율이 2%에서 8%로 증가합니다. 시스템은 금요일 오후 5시 45분에 자동으로 프록시를 추가하여 오류 증가를 방지합니다.

장점: 반응 지연이 없으며, 차단이 발생하기 전에 예방할 수 있고, 프록시 활용도가 최적화됩니다.

단점: 통계 축적이 필요하며(최소 2-4주), 예측할 수 없는 부하 급증에는 대응하지 못합니다.

사용 시기: 반복적인 부하 패턴이 있는 작업(마켓플레이스 파싱, 가격 모니터링, 소셜 미디어의 정기적인 게시).

3. 하이브리드 확장 (Hybrid Scaling)

반응형 및 능동적 접근 방식을 결합한 것입니다. 시스템은 역사적 데이터를 사용하여 계획하지만, 이상 징후에 즉시 반응합니다.

알고리즘: 기본 확장은 예측에 따라 진행됩니다(통계 기반). 그러나 메트릭이 급격히 기준을 초과하면 시스템은 예정된 시간까지 기다리지 않고 긴급하게 프록시를 추가합니다.

예시: 일반적으로 월요일 오전 10시부터 12시까지 부하가 안정적이며, 시스템은 50개의 IP를 유지합니다. 그러나 이번 월요일에 Wildberries가 안티프로드를 업데이트하여 오류 비율이 12%로 증가했습니다. 하이브리드 알고리즘은 계획에 없던 30개의 프록시를 즉시 추가합니다.

장점: 최대 안정성, 예측할 수 없는 상황에 대한 보호, 최적의 비용 절감.

단점: 설정이 더 복잡하고, 데이터 분석을 위한 계산 자원이 더 많이 필요합니다.

사용 시기: 차단이 허용되지 않는 중요한 작업(비싼 광고 계정 농사, SMM 에이전시의 VIP 고객 관리).

4. 일정에 따른 확장 (Scheduled Scaling)

가장 간단한 옵션: 프록시를 추가하거나 끌 때의 규칙을 수동으로 설정합니다. 예: 월요일부터 금요일까지 오전 9시부터 오후 6시까지 100개의 IP를 유지하고, 나머지 시간에는 30개의 IP를 유지합니다.

장점: 최대한 간단하며, 메트릭 모니터링이 필요 없고, 명확한 일정이 있는 작업에 적합합니다.

단점: 유연성이 부족하고, 낮은 부하 기간 동안 과다 지불의 위험이 있으며, 갑작스러운 피크 시 차단 위험이 있습니다.

사용 시기: 광고 크리에이티브 테스트(캠페인 시작 시에만 프록시 필요), 일회성 파싱 작업.

구현 도구: 기존 솔루션 및 API

프록시 풀의 자동 확장을 위해 기존 플랫폼이나 공급자의 API를 통해 자체 스크립트를 사용할 수 있습니다. 두 가지 옵션을 살펴보겠습니다.

자동 확장 기능이 있는 기존 플랫폼

일부 서비스는 프록시 풀 관리를 위한 내장 도구를 제공합니다:

1. Bright Data (Luminati) — 엔터프라이즈 요금제에서 자동 확장 기능이 있습니다. 시스템은 부하 증가 시 풀을 자동으로 늘리지만, 비용이 높습니다(기본 패키지의 경우 월 500달러부터 시작).

2. Smartproxy — 실시간으로 IP 수를 관리할 수 있는 API를 제공합니다. 메트릭에 따라 프록시를 추가하거나 제거하는 스크립트를 설정할 수 있습니다.

3. Oxylabs — 메트릭 모니터링 대시보드(오류 비율, 응답 시간)가 있습니다. 수동 확장이지만 자동화를 위해 API를 통해 통합할 수 있습니다.

기존 플랫폼의 단점은 높은 비용과 단일 공급자에 대한 의존성입니다. 가격이 상승하거나 품질이 떨어지면 다른 공급자로 전환하기 위해 전체 인프라를 재구성해야 합니다.

공급자의 API를 통한 자체 구현

더 유연한 옵션은 메트릭을 모니터링하고 공급자의 API를 통해 프록시 수를 관리하는 스크립트를 작성하는 것입니다. 대부분의 공급자는 다음을 위한 API를 제공합니다:

• 활성 프록시 목록 가져오기
• 풀에 새로운 IP 추가
• 사용되지 않는 프록시 끄기
• 지리적 위치 또는 프록시 유형 변경

반응형 확장을 위한 스크립트의 논리 예시:

1. 매 5분마다 메트릭 확인 (오류 비율, CAPTCHA 비율, 응답 시간)
2. 오류 비율 > 3%인 경우:
   - 추가해야 할 프록시 수 계산 (현재 풀의 20-30%)
   - 공급자 API에 요청: N개의 프록시 추가
   - 새로운 IP 목록으로 파서 구성 업데이트
3. 프록시 활용도 < 40%인 경우:
   - 사용되지 않는 프록시 식별 (최근 30분 동안 요청 없음)
   - API에 요청: 해당 IP 끄기
   - 파서 구성 업데이트
4. 모든 작업을 기록하여 효율성 분석

메트릭 모니터링을 위해 사용할 수 있는 도구는 다음과 같습니다:

• Prometheus + Grafana — 메트릭 수집 및 시각화를 위한 무료 도구. 오류 비율, 응답 시간, 프록시 활용도 그래프가 포함된 대시보드를 설정합니다.
• Datadog — 모니터링 플랫폼(월 15달러부터 시작). 인기 있는 파서와의 통합이 준비되어 있습니다.
• 커스텀 스크립트 — 가장 간단한 옵션: Python 또는 Node.js로 작성된 스크립트로, 매 5분마다 파서 로그에서 메트릭을 요청하고 확장 결정을 내립니다.

안티탐지 브라우저와의 통합

Dolphin Anty, AdsPower, Multilogin 또는 GoLogin을 통해 멀티 계정 관리를 수행하는 경우, 이러한 브라우저의 API를 통해 프록시 확장을 자동화할 수 있습니다:

Dolphin Anty API — 고유한 프록시로 새로운 프로필을 생성하고, 기존 프로필의 IP를 업데이트하며, 계정 그룹을 위한 프록시를 대량으로 전환할 수 있습니다.

예시 시나리오: 50개의 Facebook 계정을 농사짓고 있습니다. 스크립트는 현재 활성 계정 수를 모니터링합니다. 활성 계정이 30개인 경우 — 30개의 프록시를 유지합니다. 활성도가 45개로 증가하면 Dolphin API를 통해 새로운 IP로 15개의 새로운 프로필을 추가합니다.

다양한 작업을 위한 단계별 확장 설정

인기 있는 작업을 위한 자동 확장 설정의 구체적인 시나리오를 살펴보겠습니다.

시나리오 1: 마켓플레이스 파싱 (Wildberries, Ozon)

작업: 매일 50,000개의 상품을 파싱하고, 6시간마다 가격을 업데이트합니다. 부하는 고르지 않습니다: 밤에는 마켓플레이스가 데이터를 쉽게 제공합니다, 저녁에는 차단이 시작됩니다.

1단계: 기본 풀을 정의합니다. 최소한의 프록시로 야간 시간(오전 3시-6시)에 파싱을 시작합니다. 오류 비율 < 2%를 위해 필요한 IP 수를 추적합니다. 예를 들어, 50,000개의 상품에 대해 30개의 주거용 프록시가 필요합니다.

2단계: 1주일 동안 통계를 수집합니다. 시간별 오류 비율과 CAPTCHA 비율을 기록합니다. 오후 6시부터 11시까지 오류가 8-12%로 증가하고, 요청의 10%에서 CAPTCHA가 발생하는 것을 확인할 수 있습니다.

3단계: 능동적 확장을 설정합니다. 매일 오후 5시 45분에 60개의 프록시를 추가하는 규칙을 만듭니다(총 90개의 IP), 오후 11시 15분에 60개를 끕니다(30개의 IP로 복귀).

4단계: 이상 징후에 대비해 반응형 트리거를 추가합니다. 언제든지 오류 비율이 5%를 초과하면 긴급하게 20개의 프록시를 추가합니다.

결과: 90개의 IP의 정적 풀(비용 180-270달러) 대신, 30개의 IP에 대해 24시간 비용을 지불하고, 하루 6시간 동안 60개의 IP를 추가로 사용합니다. 절감액: 예산의 40-50%.

시나리오 2: Facebook Ads 계정 농사

작업: 1개월 동안 100개의 광고 계정을 생성하고 따뜻하게 합니다. 각 계정은 고유한 IP가 필요하며, 활동은 고르지 않습니다.

1단계: 계정을 농사 단계별로 그룹화합니다: 새로운 계정(1-3일), 따뜻한 계정(4-10일), 캠페인 시작 준비 완료(11-30일). 새로운 계정은 매일 활동이 필요하고, 준비 완료 계정은 주 2-3회만 필요합니다.

2단계: 활동에 따라 확장을 설정합니다. 첫 주에는 모든 100개의 계정이 활성화되어 100개의 프록시가 필요합니다. 두 번째 주에는 40개의 계정이 "준비 완료" 모드로 전환되어(주 3일만 프록시 필요) 평일에는 70개의 IP로 줄일 수 있습니다. 준비 완료 계정이 활성화된 날에는 100개의 IP가 필요합니다.

3단계: Dolphin Anty API를 사용하여 프록시를 자동으로 전환합니다. 스크립트는 각 계정의 활동 일정을 모니터링합니다. 오늘 작업하지 않는 계정은 프록시가 꺼지고 다른 프로필에 사용됩니다.

결과: 100개의 상시 프록시 대신 60-70개의 IP 풀을 유지하며, 계정 간에 회전합니다. 절감액: 체인 차단 위험 없이 예산의 30-40%.

시나리오 3: Instagram의 대량 게시

작업: SMM 에이전시는 150개의 고객 계정을 운영합니다. 게시물은 일정에 따라 진행됩니다: 9:00-11:00 (스토리), 14:00-16:00 (게시물), 19:00-21:00 (릴).

1단계: 피크 시간을 정의합니다. 대량 게시 시간에는 모든 150개의 계정이 활성화되며, 나머지 시간에는 20-30개가 댓글에 응답하거나 피드를 확인합니다.

2단계: 일정에 따라 확장을 설정합니다. 오전 8시 45분부터 오전 11시 15분까지 풀을 150개의 IP로 늘리고, 오전 11시 15분부터 오후 1시 45분까지 30개의 IP로 줄이며, 오후 1시 45분부터 오후 4시 15분까지 다시 150개의 IP로 유지합니다.

3단계: 중요한 계정(VIP 고객, 인증된 프로필)에는 모바일 프록시를 사용합니다 — 이들은 고정 IP가 필요합니다. 나머지 계정에는 주기적으로 회전하는 주거용 프록시를 사용할 수 있습니다.

결과: VIP 계정을 위한 30개의 모바일 프록시 기본 풀(월 600달러) + 하루 9시간 동안 작동하는 120개의 주거용 프록시(24시간 임대에 비해 60% 절감). 총 절감액: 월 1,500-2,000달러.

비용 최적화: 프록시에 대해 과도한 비용을 지불하지 않는 방법

자동 확장은 차단 방지뿐만 아니라 비용 절감 도구입니다. 비용을 줄이기 위한 구체적인 전략을 살펴보겠습니다.

1. 작업에 따라 프록시 유형 조합하기

모든 작업이 비싼 주거용 또는 모바일 프록시를 요구하는 것은 아닙니다. 하이브리드 접근 방식을 사용하세요:

• 주거용 프록시 — 중요한 작업에 사용: 계정 농사, 광고 계정 작업, 소셜 미디어 게시.
• 모바일 프록시 — VIP 계정 및 엄격한 안티프로드가 있는 플랫폼(인증된 프로필을 위한 Instagram, TikTok)에서만 사용합니다.
• 데이터 센터 프록시 — 공개 소스 파싱, 공격적인 안티프로드가 없는 사이트의 가격 모니터링에 사용합니다.

예시: Avito를 파싱합니다. 광고 수집에는 데이터 센터 프록시를 사용하세요(주거용보다 5-10배 저렴). 광고 게시 시에는 주거용으로 전환하세요 — Avito는 게시 시 IP를 더 엄격하게 확인합니다.

2. 사용되지 않는 프록시의 공격적인 비활성화 설정

많은 사람들이 피크 부하에 대비해 "예비" 프록시를 유지하지만, 부하가 줄어든 후에는 이를 비활성화하는 것을 잊습니다. 최근 30-60분 동안 사용되지 않은 IP를 자동으로 비활성화하도록 설정하세요.

예시: 풀에 100개의 프록시가 있으며, 60개가 활성화되어 있습니다. 30분 동안 유휴 상태인 경우 시스템은 자동으로 20개의 가장 적게 사용된 IP를 비활성화합니다. 절감액: 매일 예산의 20%.

3. 일회성 작업을 위한 시간당 임대 사용

일부 공급자는 실제 사용에 따라 비용을 지불하거나 시간당 임대를 제공합니다. 이는 다음과 같은 경우에 유리합니다:

• 광고 크리에이티브 테스트(1-2시간 동안 프록시 필요)
• 대량 데이터의 일회성 파싱
• 다양한 지역에서 웹사이트 접근성 확인

50개의 IP에 대한 월간 구독(150-300달러) 대신, 3시간 동안 임대할 수 있습니다(5-15달러).

4. 활용도를 모니터링하고 기본 풀 조정하기

매주 프록시 활용 통계를 분석합니다. 평균 활용도가 50% 이하로 안정적으로 유지되면 기본 풀을 20-30% 줄입니다.

예시: 80개의 IP로 구성된 기본 풀을 유지하고 있으며, 평균 활용도가 35%입니다. 기본 풀을 50개의 IP로 줄이고, 피크 시간에는 80-100개로 확장하도록 설정합니다. 절감액: 월 30-40달러.

확장 시 일반적인 실수와 피하는 방법

올바르게 설정된 확장도 일반적인 오류로 인해 비효율적으로 작동할 수 있습니다. 가장 흔한 문제를 살펴보겠습니다.

오류 1: 부하 증가에 대한 반응이 너무 느림