Facebook Ads, TikTok Ads 또는 Google Ads와 함께 일하는 모든 아비트라지러는 언젠가 스파이 서비스인 AdSpy 또는 BigSpy에 비용을 지불할지, 아니면 경쟁자의 크리에이티브를 수집하기 위해 자체 파서를 만들지를 고민하게 됩니다. 100,000 광고의 규모에서는 비용과 노동력의 차이가 치명적이 됩니다. 실제 숫자를 바탕으로 두 가지 옵션의 경제성을 분석합니다.
스파이 서비스란 무엇이며 아비트라지러에게 왜 필요한가
스파이 서비스는 Facebook Ads, TikTok Ads 및 기타 출처에서 경쟁자의 광고를 수집하여 데이터베이스에 저장하고, 지리적 위치, 틈새, 수직, 시작 날짜 및 노출 기간에 따라 필터링할 수 있는 플랫폼입니다. 시장에서 가장 인기 있는 서비스는 AdSpy, BigSpy, PowerAdSpy, Anstrex, SocialPeta입니다. 아비트라지러는 이를 사용하여 효과적인 크리에이티브를 찾고, 광고가 얼마나 오랫동안 회전하는지 평가하며(길수록 수익성이 높을 가능성이 큽니다), 발견한 내용을 자신의 오퍼에 맞게 조정합니다.
논리는 간단합니다: 광고주가 같은 크리에이티브를 한 달 동안 돌린다면, 그것은 수익성이 있다는 의미입니다. 스파이 서비스는 수천 개의 페이지와 광고 계정을 수동으로 모니터링하지 않고도 이러한 광고를 찾을 수 있게 해줍니다. 이러한 서비스에 대한 구독은 일반적으로 요청 수나 데이터베이스에 대한 접근에 따라 요금이 부과되며, "조회된" 광고 수에 대한 제한은 없습니다. 즉, 이론적으로는 하나의 요금제로 100,000개 또는 500,000개의 카드를 스크롤할 수 있습니다.
하지만 기존 서비스에는 제한이 있습니다: 데이터베이스는 지연되어 업데이트되며, 일부 틈새 지리적 위치는 약하게 커버되고, 필터는 항상 필요한 깊이를 제공하지 않습니다. 일반적인 트렌드가 아닌 특정 광고주, 도메인 또는 키워드에 대한 대량 수집이 필요하다면, 자체 파싱의 필요성이 대두됩니다.
자체 크리에이티브 수집: 어떻게 작동하는가
자체 크리에이티브 수집은 스크립트나 준비된 노코드 파서를 사용하여 공개 광고 라이브러리(예: Facebook 광고 라이브러리, TikTok 크리에이티브 센터)를 파싱하는 것입니다. 기술적으로 이 과정은 자동화된 봇이 광고 라이브러리 페이지에 접속하여 검색 매개변수(지리적 위치, 틈새, 광고주)를 입력하고, 텍스트, 이미지, 비디오 및 메타데이터(노출 날짜, 광고주가 보유한 활성 광고 수)를 포함한 카드를 추출하여 테이블이나 데이터베이스에 저장하는 방식으로 진행됩니다.
주요 어려움은 플랫폼이 하나의 IP 주소에서 요청 수를 제한한다는 것입니다. 예를 들어, Facebook 광고 라이브러리는 짧은 시간 내에 특정 수의 요청 후에 CAPTCHA를 제공하거나 일시적으로 접근을 차단하기 시작합니다. 따라서 중단 없이 100,000 광고를 안정적으로 수집하려면 IP 회전이 필요하며, 이는 프록시가 필수적인 인프라 요소가 되어야 함을 의미합니다.
이미 안티 감지 브라우저(Dolphin Anty, AdsPower, Multilogin)와 함께 작업한 경험이 있는 많은 아비트라지러는 파싱에도 유사한 접근 방식을 사용합니다: 각 "프로필" 수집기는 개별 IP와 고유한 브라우저 지문에 연결되어 플랫폼이 하나의 머신에서 수백 개의 요청을 인식하지 않도록 합니다.
100,000 광고에 대한 비용 계산
구체적인 예를 들어 계산해 보겠습니다. 목표는 Facebook 광고 라이브러리와 TikTok 크리에이티브 센터에서 100,000 광고를 합리적인 시간 내에 수집하고, 차단이나 CAPTCHA 없이 진행하는 것입니다.
옵션 1: 스파이 서비스. AdSpy, BigSpy 또는 유사 서비스에 대한 구독은 일반적으로 고정된 수의 "검색 요청" 또는 "조회"가 포함된 패키지로 판매됩니다. 요금제가 조회 수에 대한 엄격한 제한 없이 데이터베이스에 접근할 수 있게 해준다면, 100,000 광고 수집 비용은 사실상 월간 구독 비용과 동일합니다 — 실제로 얼마나 많은 카드를 추출하든 상관없이. 단점은 필요한 광고 중 일부가 서비스 데이터베이스에 없을 수 있다는 것입니다, 특히 그것이 좁은 틈새이거나 드문 지리적 위치인 경우.
옵션 2: 자체 파서. 여기서 비용은 세 가지 요소로 구성됩니다: 프록시, 컴퓨팅 리소스(서버 또는 로컬 머신) 및 스크립트 또는 노코드 파서 설정에 소요되는 시간입니다. 공개 라이브러리를 통해 100,000 광고를 수집하려면 일반적으로 수백 개의 고유한 IP 주소가 필요하며, 이들은 플랫폼의 제한에 걸리지 않도록 회전되어야 합니다. 데이터 센터 프록시는 더 저렴하지만, 플랫폼이 서브넷을 공격적으로 차단할 경우 필터에 걸릴 가능성이 높습니다. 일반 사용자들의 실제 IP를 가진 레지던스 프록시는 Facebook과 TikTok에서 데이터를 수집할 때 훨씬 더 안정적으로 보호를 통과합니다.
실제로 100,000 광고의 경우, 이미지와 비디오가 전체적으로 다운로드되는지 아니면 텍스트 메타데이터만 다운로드되는지에 따라 약 5–15GB의 트래픽을 예상합니다. 텍스트와 링크만 수집하면 트래픽이 최소화되어, 수집 비용이 스파이 서비스의 월간 구독 비용보다 훨씬 낮은 예산으로 진행될 수 있습니다. 그러나 미디어 파일(비디오 크리에이티브 전체 다운로드)이 필요한 경우 트래픽 소비와 이에 따른 프록시 비용이 급증합니다.
이러한 작업에 가장 적합한 것은 레지던스 프록시입니다 — 이들은 광고 라이브러리에 대한 안정적인 접근을 제공하며, 빈번한 CAPTCHA 없이 수집 요청을 수백 개의 고유한 IP에 분산시켜 일반 사용자처럼 가장할 수 있게 해줍니다.
자체 파서에 대한 기술 요구 사항
크리에이티브를 직접 수집하기로 결정했다면, 코드 작성 없이도 몇 가지 인프라 구성 요소가 필요합니다:
- 회전 프록시 풀. 수집량이 많을수록 더 많은 고유 IP를 사용해야 합니다. 100,000 광고의 경우, 하나의 IP에서 50-100 요청마다 회전을 설정하는 것이 합리적입니다.
- 노코드 파서 또는 준비된 스크립트. 프로그래밍 없이 Facebook 광고 라이브러리에서 데이터를 추출하기 위한 준비된 솔루션이 있습니다 — 이들은 "요청 입력 → 테이블 수신" 원칙으로 작동합니다. 더 복잡한 작업(예: 특정 광고주 모니터링)을 위해서는 맞춤 설정이 필요합니다.
- 안티 감지 브라우저 또는 고유 지문 에뮬레이션. 수집이 브라우저 자동화를 통해 이루어지는 경우, 각 프로필은 고유한 지문을 가져야 하며, 플랫폼이 수십 개의 세션을 하나의 요청 체인으로 연결하지 않도록 해야 합니다.
- 데이터 저장소. 100,000 광고와 메타데이터 및 미디어 파일은 수십 기가바이트에 달합니다. 결과를 저장할 테이블이나 데이터베이스가 필요하며, 중복 수집을 방지하기 위한 중복 제거 시스템이 필요합니다.
중요한 점은 프록시의 지리적 위치가 분석하는 지리적 위치와 일치해야 한다는 것입니다. 미국 시장의 광고를 연구하는 경우, 러시아나 독일의 IP에서 요청하면 관련성이 없거나 축소된 결과가 나올 수 있습니다. 광고 라이브러리는 종종 요청 지역에 따라 결과를 지역화합니다.
비교 표: 스파이 서비스 vs 자체 파서
| 기준 | 스파이 서비스 | 자체 파서 |
|---|---|---|
| 시작 속도 | 분 — 결제 후 사용 가능 | 설정에 며칠 소요 |
| 샘플 깊이 | 서비스 데이터베이스에 제한됨 | 모든 매개변수에 대해 완전함 |
| 데이터의 최신성 | 데이터베이스 업데이트 지연 | 실시간 데이터 |
| 필터의 유연성 | 표준 프리셋 | 모든 맞춤 조건 |
| 프록시 필요성 | 아니요, 서비스의 작업입니다 | 필수, 데이터 센터 프록시 또는 레지던스 프록시 |
| 100k+ 확장성 | 요금제로 제한됨 | 인프라에만 제한됨 |
| 필요한 기술 | 없음, 준비된 인터페이스 | 노코드 도구 또는 스크립트의 기본 설정 |
자체 수집의 단계별 설정
크리에이티브를 직접 수집하기로 결정했다면, 코드를 작성할 필요 없이 기본 작업 알고리즘은 다음과 같습니다:
- 출처를 정의합니다. Facebook 광고 라이브러리, TikTok 크리에이티브 센터, Google Ads 투명성 센터 — 각 플랫폼마다 데이터 구조와 요청 수에 대한 제한이 다릅니다.
- 프록시 풀을 연결합니다. 선택한 파서나 안티 감지 브라우저에서 IP 회전을 설정합니다 — 프록시 유형(HTTP/SOCKS5), 지리적 위치 및 주소 변경 빈도를 지정합니다.
- 안티 감지 브라우저에서 프로필을 설정합니다. Dolphin Anty, AdsPower 또는 GoLogin에서 여러 프로필을 생성하고, 각 프로필에 개별 프록시와 고유한 지문을 연결하여 세션 연결을 피합니다.
- 수집 매개변수를 설정합니다. 모니터링하려는 틈새, 지리적 위치, 키워드 또는 특정 광고주를 지정합니다.
- 소규모로 수집을 시작합니다. 1,000-5,000 광고로 시작하여 CAPTCHA 및 차단 없이 안정성을 확인한 후, 필요한 100,000 광고로 확장합니다.
- 중복 제거 및 저장을 설정합니다. 동일한 카드를 반복해서 수집하지 않도록, 테이블에 기록하기 전에 고유 광고 ID로 확인합니다.
- 노출 기간에 따라 분석합니다. 가장 가치 있는 발견은 다른 광고보다 더 오랫동안 회전하는 광고입니다: 이는 크리에이티브가 수익성이 있다는 신호입니다.
언제 준비된 서비스를 선택하고 언제 자신의 파서를 선택할 것인가
준비된 스파이 서비스는 시장을 일회성 또는 비정기적으로 분석하고, 서비스 데이터베이스가 필요한 광고를 정확히 커버하는 인기 있는 수직 분야(도박, 데이팅, 건강 보조 식품)에서 작업하며, 인프라 설정에 대한 리소스가 없는 경우에 합리적인 선택입니다. 이는 기술적 복잡성 없이 빠른 시작을 가능하게 합니다 — 결제하고 로그인한 후 필터링합니다.
자체 파서는 스파이 서비스 데이터베이스에서 약하게 커버되는 좁은 틈새에서 작업하거나, 특정 광고주 또는 도메인을 정기적으로 모니터링해야 하거나, 수집량이 사용 가능한 요금제의 제한을 초과하는 경우에 구축하는 것이 의미가 있습니다. 또한, 자체 파서는 장기적으로 이익이 됩니다: 정기적으로 대량 수집(한 달에 여러 번 100,000개 이상의 광고)을 수행할 경우, 프록시 및 인프라 비용이 몇 개월의 서비스 구독 비용에 비해 빠르게 회수됩니다.
많은 에이전시와 아비트라지 팀은 하이브리드 접근 방식을 사용합니다: 트렌드를 빠르게 찾고 시장의 전반적인 그림을 보기 위해 스파이 서비스를 사용하고, 특정 경쟁자나 틈새를 깊이 모니터링하기 위해 자체 파서를 사용합니다. 이는 완전한 데이터베이스를 중요시하는 경우에 유용합니다.
위험 및 함정
크리에이티브를 직접 수집할 때는 몇 가지 위험이 있으며, 사전에 알아두는 것이 좋습니다. 첫째, 플랫폼은 광고 라이브러리 페이지의 구조를 정기적으로 변경하여, 기존 스크립트와 노코드 파서가 일시적으로 작동하지 않거나 수집 로직 업데이트가 필요할 수 있습니다.
둘째, 저품질 데이터 센터 프록시를 사용하면 서브넷 수준에서 빈번한 CAPTCHA와 차단이 발생합니다 — 데이터 센터 범위의 하나의 IP가 플랫폼의 블랙리스트에 올라가면, 전체 풀도 의심을 받을 수 있습니다. 대량의 공개 라이브러리에서 파싱할 경우, 차단된 주소를 신속하게 교체할 수 있는 프록시 여유를 두는 것이 좋습니다.
셋째, 법적 측면을 고려해야 합니다: 광고 라이브러리에서 데이터를 수집하는 것은 일반적으로 규칙을 위반하지 않지만, 미디어 파일을 대량으로 다운로드하고 크리에이티브를 변경 없이 복사하는 것은 저작권 주장 위험을 초래할 수 있습니다. 이는 다른 자료를 직접 사용하는 것이 아니라, 자신의 크리에이티브를 위한 참고 자료로 사용하는 경우에 해당합니다.
TikTok Ads와 함께 작업하는 아비트라지러는 모바일 프록시가 모바일 광고 라이브러리 버전에 더 안정적인 접근을 제공하는 경우가 많다는 점을 고려해야 합니다. TikTok은 데이터 센터 IP에서의 트래픽 패턴을 적극적으로 추적합니다.
결론
스파이 서비스와 자체 파서 간의 선택은 작업의 정기성, 예산 및 필요한 데이터 깊이에 따라 달라집니다. 100,000 광고의 경우, 준비된 서비스는 시작 속도와 간편함에서 이점을 가지며, 자체 파서는 필터의 유연성, 데이터의 최신성 및 정기적인 사용 시 경제성에서 이점을 가집니다. 데이터를 자주 수집하지 않고 인기 있는 수직 분야에서 작업하는 경우, 스파이 서비스에 대한 구독은 인프라에 대한 고민을 덜어줍니다. 정기적으로 대량 수집이 필요한 경우에는 고품질 프록시 풀을 갖춘 자체 파서에 투자하는 것이 더 유리합니다.
경쟁자의 크리에이티브 모니터링 시스템을 구축할 계획이라면, 레지던스 프록시로 시작하는 것을 추천합니다 — 이들은 Facebook 및 TikTok 광고 라이브러리에 대한 안정적인 접근을 제공하며, 빈번한 CAPTCHA 없이 수집할 수 있습니다. 속도와 낮은 비용이 중요한 덜 까다로운 작업에는 모바일 프록시를 고려할 수 있습니다, 이는 모바일 광고 플랫폼의 버전에서 차단될 가능성이 적습니다.