프록시를 통한 요청 빈도 최적화 및 차단 회피 방법: 완벽 가이드

마켓플레이스 파싱, 소셜 미디어 자동화 또는 경쟁자 모니터링 시 차단은 판매자, SMM 전문가 및 중재자들이 자주 겪는 문제입니다. 그 이유는 90%의 경우 단일 IP 주소에서 너무 높은 요청 빈도 때문입니다. 웹사이트와 플랫폼은 의심스러운 활동을 추적하고 비인간적인 행동을 감지하면 계정이나 IP를 차단합니다.

이 기사에서는 프록시를 통해 요청 빈도를 올바르게 설정하여 도구들이 안정적으로 작동하도록 하는 방법을 살펴보겠습니다: 마켓플레이스 파서가 차단 없이 데이터를 수집하고, 안티-디텍트 브라우저가 여러 계정을 차단 없이 관리하며, SMM 자동화가 고객 프로필 손실로 이어지지 않도록 하는 방법입니다.

플랫폼이 높은 요청 빈도로 차단하는 이유

현대 플랫폼인 Wildberries, Ozon, Instagram, Facebook, Avito는 봇 및 자동화에 대한 복잡한 보호 시스템을 사용합니다. 의심스러운 활동의 주요 신호 중 하나는 단일 IP 주소에서의 요청 빈도입니다.

일반 사용자는 물리적으로 1분에 100개의 제품을 보거나 1시간에 50개의 Instagram 계정에 로그인할 수 없습니다. 시스템이 이러한 활동을 감지하면 봇이나 자동화로 판단합니다. 결과는 IP 차단, 계정의 일시적 차단 또는 매 단계마다 CAPTCHA입니다.

차단의 주요 원인:

• 짧은 시간에 너무 많은 요청 — 예를 들어, 1분에 1000개의 마켓플레이스 API 요청
• 자연스러운 간격 부족 — 로봇이 완벽한 주기로 요청을 보냅니다(2초마다), 인간은 그렇게 할 수 없습니다.
• 동일한 행동 패턴 — 동일한 클릭, 전환, 요청의 순서
• 여러 계정에 대해 동일한 IP 사용 — 소셜 미디어 및 광고 계정에 특히 치명적입니다.
• 공식 API 한도 초과 — 많은 플랫폼이 문서에서 비율 한도를 게시합니다.

인기 플랫폼을 위한 안전한 요청 한도

각 플랫폼은 요청 수에 대한 자체 한도를 가지고 있습니다. 일부는 API 문서에서 공식적으로 게시하고, 다른 일부는 비밀로 유지하며, 안전한 값은 경험적으로 결정됩니다. 다음은 우리의 고객이 사용하는 인기 서비스에 대한 검증된 한도입니다.

이 값들은 수백 명의 사용자 경험의 결과입니다. 이들은 작업 속도와 안전성 간의 균형을 제공합니다. 주거용 프록시를 통해 작업하는 경우, 요청 빈도를 약간 높일 수 있습니다. 이러한 IP는 플랫폼에 더 자연스럽게 보입니다.

프록시 회전: IP 간 부하 분산 방법

프록시 회전은 작업 중 IP 주소를 자동으로 변경하는 것입니다. 모든 요청을 단일 IP에서 보내는 대신 수십 또는 수백 개의 주소 간에 부하를 분산합니다.

두 가지 주요 회전 유형:

부하 분산을 위한 실용적인 공식:

IP 수 = (시간당 총 요청 수) / (시간당 1 IP의 안전 한도)

Wildberries의 예:
- 시간당 10,000개 제품 수집 필요
- 안전 한도: 1분에 100 요청 = 1 IP당 시간당 6,000 요청
- 필요한 IP 수: 10,000 / 6,000 = 2 IP (여유를 위해 3으로 반올림)

Instagram의 예 (대량 팔로우):
- 시간당 1,000개 계정 팔로우 필요
- 안전 한도: 1 IP당 시간당 200 작업
- 필요한 IP 수: 1,000 / 200 = 5 IP

소셜 미디어나 광고 계정을 안티-디텍트 브라우저(Dolphin Anty, AdsPower, Multilogin)를 통해 작업하는 경우, 각 프로필에 고정 IP가 필요합니다. 이 경우 회전은 사용되지 않으며 각 계정은 영구적으로 자신의 프록시에 연결됩니다.

요청 간 지연 설정: 인간 행동 모방

요청 수 한도를 준수하더라도 로봇 같은 행동은 자동화를 드러낼 수 있습니다. 인간은 완벽한 주기로 클릭할 수 없습니다 — 때때로 생각하고, 주의가 분산되며, 제품 설명을 읽습니다. 지연은 무작위적이고 자연스러워야 합니다.

다양한 시나리오에 대한 지연 유형:

무작위 지연을 올바르게 설정하는 방법:

1. 고정 값이 아닌 범위를 사용하세요 — "지연 5초" 대신 "3초에서 8초 사이의 무작위 지연"을 설정하세요. 대부분의 파싱 및 자동화 도구는 이를 지원합니다.
2. 긴 간격 추가 — 20-30 요청마다 2-5분의 간격을 두어 사용자가 전화나 커피로 주의가 분산된 것처럼 보이게 하세요.
3. 행동에 따라 지연을 다양화하세요 — 제품 조회는 3초가 걸릴 수 있지만 주문 양식 작성은 30-60초가 걸릴 수 있습니다.
4. 시간대 고려 — 밤에는 작업 속도를 약간 높일 수 있지만(실제 사용자가 적음), 낮에는 속도를 늦추세요.

다양한 작업에 사용할 프록시 유형

프록시 유형의 선택은 허용되는 요청 빈도와 차단 위험에 직접적인 영향을 미칩니다. 다양한 플랫폼은 데이터 센터, 주거용 및 모바일 주소에 대해 다르게 반응합니다.

선택에 대한 권장 사항:

• Wildberries, Ozon, Yandex.Market 파싱용 — 5-10분마다 회전하는 데이터 센터 프록시가 적합합니다. 빠르고 저렴하며, 마켓플레이스는 공개 접근 시 IP 유형을 그렇게 엄격하게 검사하지 않습니다.
• 안티-디텍트 브라우저를 통한 Instagram, TikTok 작업용 — 모바일 프록시만 사용하세요. 이러한 플랫폼은 요청이 모바일 장치에서 발생하는 것을 감지하고(사용자 에이전트에 따라) 모바일 IP를 기대합니다.
• Facebook Ads, Google Ads용 — 특정 도시와 연결된 주거용 프록시를 사용하세요. 광고 계정은 지리적 위치를 추적하며, 지역 변경이 잦으면 차단될 수 있습니다.
• 인증 없는 대량 작업용 (검색 결과 파싱, 접근성 확인) — 공격적인 회전(1-5 요청마다)으로 데이터 센터를 사용하세요.

자동 요청 최적화를 위한 도구

요청 빈도와 IP 회전을 수동으로 제어하는 것은 여러 플랫폼에서 동시에 작업할 때 어려울 수 있습니다. 현대 도구는 이 프로세스를 자동화하고 각 플랫폼에 맞게 행동을 조정합니다.

프록시 관리가 내장된 안티-디텍트 브라우저

소셜 미디어나 광고 계정에서 작업하는 경우, 안티-디텍트 브라우저는 주요 도구입니다. 이들은 디지털 지문을 숨길 뿐만 아니라 각 프로필에 대한 프록시를 관리하는 데 도움을 줍니다.

• Dolphin Anty — 각 프로필에 개별 프록시를 연결할 수 있으며, 실행 전에 IP를 자동으로 확인하고 사용 통계를 보여줍니다. Facebook Ads 및 TikTok Ads와 함께 작업하는 중재자에게 편리합니다.
• AdsPower — 프록시의 대량 가져오기, 자동 작동 확인, 프로필 간 설정 동기화를 지원합니다. Instagram의 수십 개 계정을 관리하는 SMM 에이전시에서 인기가 높습니다.
• Multilogin — 고급 프록시 관리 기능을 갖춘 전문 솔루션: 일정에 따른 자동 회전, DNS/WebRTC 누수 확인, 상세 통계. 대규모 전자상거래 팀에서 사용됩니다.
• GoLogin — 기본 프록시 관리 기능을 갖춘 예산 친화적인 옵션. 초보 중재자 및 소규모 SMM 프로젝트에 적합합니다.

요청 빈도 제어가 가능한 준비된 파서

마켓플레이스 파싱 및 가격 모니터링을 위해 이미 안전 한도를 설정한 전문 서비스가 있습니다.

• Wildberries/Ozon용 파서 — 대부분의 서비스(예: Mpstats, Moneyplace)는 자체 프록시 풀을 사용하고 자동으로 부하를 분산합니다. 요청 빈도를 수동으로 설정할 필요가 없습니다.
• SEO 도구 (Screaming Frog, Netpeak Spider) — 요청 간 지연, 스레드 수, 프록시 사용을 설정할 수 있습니다. 경쟁자를 파싱할 때 너무 높은 속도를 설정하지 않는 것이 중요합니다.
• Avito 도구 — 자동화를 통해 광고를 게시할 때는 게시물 간 30-90초의 지연과 각 계정에 대해 다양한 프록시를 사용하는 것이 필수입니다.

인기 도구에서 한도 설정하기

차단 모니터링 및 추적

요청 빈도와 프록시 회전을 올바르게 설정하더라도 차단이 시작되지 않았는지 모니터링하는 것이 중요합니다. 문제를 조기에 발견하면 대규모 차단 전에 설정을 조정할 수 있습니다.

요청 빈도가 너무 높다는 신호:

• CAPTCHA 발생 — 플랫폼이 자동화를 의심하기 시작한 첫 신호
• 429 오류 (너무 많은 요청) — API 한도를 초과했다는 직접적인 표시
• 403 오류 (금지됨) — IP 또는 계정이 일시적으로 차단됨
• 빈 응답 또는 리디렉션 — 데이터 대신 서버가 대체 응답을 반환함
• 응답 시간 증가 — 서버가 의심스러운 IP에 대해 인위적으로 응답을 지연시킴
• 재인증 요구 — 소셜 미디어 및 광고 계정에서

모니터링 조직 방법:

1. 모든 요청 기록 — 서버 응답 코드(200, 403, 429), 응답 시간, 사용된 IP를 저장하세요. 이는 차단 패턴을 찾는 데 도움이 됩니다.
2. 자동 알림 — 429/403 오류 또는 CAPTCHA가 발생할 때 Telegram 또는 이메일로 알림을 설정하세요. 많은 파서 및 안티-디텍트 브라우저가 이를 지원합니다.
3. 사용 전에 프록시 확인 — IP가 블랙리스트에 없는지 확인하세요 (IPQualityScore, Scamalytics와 같은 서비스로 확인 가능).
4. 문제의 첫 신호에서 회전 — 한 IP가 CAPTCHA를 받기 시작하면 즉시 교체하세요. 전체 차단을 기다리지 마세요.
5. 소규모 테스트 — 대규모 파싱을 시작하기 전에 100-200 요청으로 설정을 확인하고 플랫폼의 반응을 평가하세요.

실용 사례: 파싱, SMM, 중재

이론만으로는 실질적인 도움이 되지 않습니다. 요청 빈도 최적화를 위한 프록시 사용의 실제 시나리오를 살펴보겠습니다.

사례 1: Wildberries에서 50,000개 제품 파싱

사례 2: SMM 에이전시의 Instagram 계정 30개 관리

사례 3: Facebook Ads 광고 계정 20개 파밍

사례 4: Ozon에서 경쟁자 가격 24/7 모니터링

결론

프록시를 통한 요청 빈도 최적화는 단순한 기술적 설정이 아니라 파싱, SMM 자동화 및 트래픽 중재의 성공을 위한 핵심 요소입니다. 작업 속도와 안전성 간의 올바른 균형을 유지하면 차단을 피하고 계정을 보호하며 필요한 데이터를 안정적으로 얻을 수 있습니다.

기억해야 할 주요 원칙: 각 플랫폼에 대한 안전 한도를 준수하고, 요청 간 무작위 지연을 사용하며, 작업에 적합한 프록시 유형을 올바르게 선택하고, 차단의 첫 신호를 반드시 모니터링하세요. 현대 도구인 안티-디텍트 브라우저, 준비된 파서, 회전 시스템은 작업의 대부분을 자동화하지만 기본 원칙에 대한 이해는 여전히 매우 중요합니다.

마켓플레이스, 소셜 미디어 또는 광고 플랫폼에서 작업할 계획이라면 올바른 유형의 프록시 선택이 전략의 기초가 될 것입니다. 익명성 요구가 높고 차단 위험이 최소화된 작업을 위해 주거용 프록시를 사용해 보시기를 권장합니다 — 이들은 자연스러운 행동을 보장하고 플랫폼의 높은 신뢰도를 제공합니다. Instagram 및 TikTok 작업에는 실제 모바일 네트워크 사용자를 완전히 모방하는 모바일 프록시가 최적의 솔루션이 될 것입니다.