AI 훈련을 위한 프록시: 차단 없이 모델을 위한 수백만 데이터 수집 방법

AI 모델 훈련은 방대한 양의 데이터 — 텍스트, 이미지, 비디오, 웹사이트의 구조화된 정보가 필요합니다. 문제는 대량 파싱 시 웹사이트가 IP 주소를 빠르게 차단하여 봇 활동으로 간주한다는 것입니다. 이 기사에서는 프록시를 통해 데이터를 수집하는 방법, 다양한 작업에 적합한 IP 유형 선택 및 안정적인 작업을 위한 인프라 설정 방법을 설명합니다.

AI 훈련에 프록시가 필요한 이유

현대의 언어 모델인 GPT, LLaMA 또는 Claude는 수십억 개의 텍스트 토큰으로 훈련됩니다. 컴퓨터 비전 모델은 수천만 개의 이미지가 필요합니다. 추천 시스템은 수천 개의 웹사이트에서 사용자 행동을 분석합니다. 이러한 모든 데이터를 어디서 얻어야 할까요?

주요 문제는 웹사이트가 대량 파싱을 적극적으로 방어한다는 것입니다. 하나의 IP에서 분당 100개 이상의 요청을 보내면 5-10분 이내에 차단됩니다. 차단의 원인은 다음과 같습니다:

• 요청 속도 제한: 하나의 IP에서 요청 수 제한 (보통 분당 10-60 요청)
• 안티봇 시스템: Cloudflare, Akamai, PerimeterX는 행동을 분석하고 의심스러운 활동을 차단합니다.
• 지리적 제한: 일부 콘텐츠는 특정 국가에서만 접근할 수 있습니다.
• 경쟁자 보호: 마켓플레이스와 집계 사이트는 가격 및 상품의 대량 수집을 차단합니다.

프록시는 요청을 수천 개의 서로 다른 IP 주소를 통해 분산시켜 이 문제를 해결합니다. 하나의 IP에서 1000개의 요청을 보내는 대신 500-1000개의 서로 다른 주소에서 각각 1-2개의 요청을 보내면 — 이는 일반 사용자 활동처럼 보입니다.

데이터 수집을 위한 프록시 유형 선택

AI 훈련에는 세 가지 유형의 프록시가 사용되며, 각각 장점과 제한이 있습니다. 선택은 데이터 소스, 용량 및 프로젝트 예산에 따라 다릅니다.

데이터 센터 프록시: 대량 용량을 위한 속도

데이터 센터 프록시는 클라우드 제공업체(AWS, Google Cloud, Hetzner)의 서버 IP 주소입니다. 주요 장점은 속도와 낮은 비용입니다. 하나의 데이터 센터 IP는 초당 수백 개의 요청을 처리할 수 있습니다.

공격적인 보호를 사용하지 않는 소스에서 데이터 수집에 적합합니다: 공개 API(GitHub, Wikipedia, Stack Overflow), 정부 데이터베이스, Cloudflare가 없는 뉴스 사이트, 과학 출판물. 웹사이트가 JavaScript 렌더링 없이 데이터를 제공하고 브라우저의 지문을 확인하지 않으면 데이터 센터가 잘 작동합니다.

단점은 많은 웹사이트가 데이터 센터 IP를 블랙리스트에 올린다는 것입니다. Instagram, Facebook, Google Search, 대형 마켓플레이스는 데이터 센터 IP를 거의 즉시 차단합니다. 이러한 소스에는 주거용 프록시가 필요합니다.

주거용 프록시: 모든 보호 우회

주거용 프록시는 실제 가정 사용자의 IP 주소를 사용합니다. 웹사이트에 대한 요청은 집에서 온 일반 방문자처럼 보입니다. 이를 통해 Cloudflare, Akamai를 우회하고 소셜 미디어 및 보호된 플랫폼에서 데이터를 수집할 수 있습니다.

주거용 프록시는 Instagram, Facebook, Twitter/X(게시물, 댓글, 프로필 수집), Google Search(NLP 모델을 위한 검색 결과 파싱), 마켓플레이스(Amazon, eBay, Wildberries — 상품, 리뷰, 가격), 지리적 제한이 있는 웹사이트(특정 국가에서만 접근 가능한 콘텐츠)에 필요합니다.

비용이 더 높습니다 — 트래픽 요금($5-15/GB). 비용 절감을 위해 주거용은 중요한 소스에만 사용하고 간단한 웹사이트는 데이터 센터를 통해 파싱하세요.

모바일 프록시: 모바일 애플리케이션을 위한

모바일 프록시는 모바일 통신사(4G/5G)의 IP를 사용합니다. 드물게 필요하며 주로 모바일 애플리케이션(TikTok, Instagram 앱, 모바일 게임)에서 데이터를 수집하거나 웹사이트가 모바일과 데스크톱 트래픽을 구별할 때 사용됩니다.

모바일 IP의 장점은 통신사가 CGNAT를 사용하기 때문에(하나의 IP가 수백 명의 사용자에게 할당됨) 이러한 주소를 차단하는 것이 경제적이지 않다는 것입니다. 그러나 대부분의 AI 훈련 작업에는 주거용 프록시가 충분합니다.

데이터 소스 유형 및 프록시에 대한 요구 사항

다양한 유형의 데이터는 프록시에 대한 다양한 접근 방식을 요구합니다. AI 모델 훈련을 위한 인기 있는 소스를 살펴보겠습니다.

NLP 모델을 위한 텍스트 데이터

언어 모델 훈련을 위해 뉴스 사이트, 포럼, 블로그, 소셜 미디어, Wikipedia 및 전문 리소스에서 텍스트를 수집합니다. 데이터 양은 수십 테라바이트에 달합니다.

텍스트 파싱의 특징은 구조(제목, 문단, 메타데이터)를 유지해야 한다는 것입니다. JavaScript 사이트의 경우 headless 브라우저(Puppeteer, Playwright)를 사용하거나 정적 페이지의 경우 간단한 HTTP 클라이언트(requests, axios)를 사용하세요.

컴퓨터 비전을 위한 이미지

인식 모델 훈련에는 주석이 달린 수백만 개의 이미지가 필요합니다. 소스: Google 이미지, Pinterest, Instagram, 전문 사진 스톡, 전자상거래 웹사이트(상품 사진).

문제는 이미지의 용량이 크기 때문에(평균 크기 200-500 KB) 트래픽이 빠르게 소모된다는 것입니다. 주거용 프록시를 사용할 경우(GB당 요금) 이는 치명적입니다. 최적화 전략: 먼저 주거용을 통해 이미지 URL을 수집한 다음 데이터 센터를 통해 파일을 다운로드하거나 직접 다운로드합니다(CDN이 referrer를 확인하지 않는 경우).

전자상거래의 구조화된 데이터

제품, 가격, 리뷰에 대한 데이터는 추천 시스템 및 가격 책정 모델 훈련에 사용됩니다. 소스: Amazon, eBay, Wildberries, Ozon, AliExpress.

모든 대형 마켓플레이스는 Cloudflare 또는 자체 안티봇 시스템을 사용합니다. 반드시 회전하는 주거용 프록시가 필요합니다. 추가로 올바른 브라우저 지문이 중요합니다 — 자동화를 숨기기 위해 puppeteer-extra-plugin-stealth와 같은 도구를 사용하세요.

비디오 및 오디오 데이터

YouTube, TikTok, 팟캐스트 플랫폼은 음성 및 비디오 인식 모델 훈련을 위한 소스입니다. 문제는 엄청난 트래픽(한 비디오 = 수백 MB)입니다. 이러한 작업에는 주거용 프록시가 경제적으로 적합하지 않습니다.

해결책: 주거용은 메타데이터 및 비디오 링크를 얻는 데만 사용하고, 다운로드는 데이터 센터 또는 yt-dlp와 같은 특수 도구를 통해 수행하세요(이 도구는 프록시 없이 YouTube의 제한을 우회할 수 있습니다).

다양한 용량을 위한 IP 회전 전략

IP 회전은 안정적인 파싱을 위한 핵심 요소입니다. 잘못된 설정은 차단되거나 트래픽 과다 지출로 이어질 수 있습니다.

요청에 따른 회전 (회전 프록시)

각 요청은 새로운 IP를 통해 진행됩니다. 세션을 유지할 필요가 없는 다양한 웹사이트에서 대량 파싱에 적합합니다. 예를 들어, 10,000개의 서로 다른 뉴스 사이트에서 텍스트를 수집할 때 — 각 사이트는 하나의 IP에서 1-2개의 요청만 봅니다.

import requests

# 회전 프록시 - 각 요청은 새로운 IP
proxies = {
    'http': 'http://username:password@rotating.proxycove.com:12345',
    'https': 'http://username:password@rotating.proxycove.com:12345'
}

urls = ['https://site1.com', 'https://site2.com', ...]
for url in urls:
    response = requests.get(url, proxies=proxies)
    # 각 요청은 새로운 IP에서 진행됩니다.
    parse_data(response.text)

장점은 차단으로부터 최대한 보호된다는 것입니다. 단점은 인증이나 쿠키 저장이 필요한 웹사이트와 작업할 수 없다는 것입니다.

시간에 따른 회전 (스티키 세션)

IP는 5-30분 동안 유지된 후 변경됩니다. 페이지네이션이 있는 단일 웹사이트를 파싱할 때 세션을 유지하면서 페이지 1, 2, 3...을 통과해야 할 때 적합합니다.

import requests
import time

# 스티키 세션 - IP는 10분 동안 유지됩니다.
session_id = generate_random_string()  # 고유한 세션 ID
proxies = {
    'http': f'http://username-session-{session_id}:password@sticky.proxycove.com:12345'
}

# 10분 동안 모든 요청은 하나의 IP에서 진행됩니다.
for page in range(1, 100):
    url = f'https://site.com/catalog?page={page}'
    response = requests.get(url, proxies=proxies)
    parse_page(response.text)
    time.sleep(2)  # 요청 간 지연

사이트의 요청 속도 제한에 따라 세션 시간을 조정하세요. 만약 제한이 분당 60 요청이라면, 세션을 1-2분으로 설정하고 50 요청 이상 보내지 마세요.

정적 IP 풀

100-1000개의 IP 목록을 받고 요청 분배를 직접 관리합니다. 다양한 섹션의 웹사이트를 병렬로 파싱하거나 부하 균형, 사용자 정의 회전 로직이 필요한 복잡한 시나리오에 적합합니다.

import requests
from itertools import cycle

# 500개의 정적 IP 풀
ip_pool = [
    'http://user:pass@ip1.proxycove.com:12345',
    'http://user:pass@ip2.proxycove.com:12345',
    # ... 500 주소
]

proxy_cycle = cycle(ip_pool)

for url in urls:
    proxy = next(proxy_cycle)  # 풀에서 다음 IP를 가져옵니다.
    response = requests.get(url, proxies={'http': proxy, 'https': proxy})
    parse_data(response.text)

이 접근 방식은 최대한의 유연성을 제공하지만, 오류 처리 코드를 더 많이 요구합니다(차단된 IP는 풀에서 제외해야 함).

파싱 시 안티봇 시스템 우회

프록시는 IP 차단 문제를 해결하지만, 현대 웹사이트는 봇을 식별하기 위해 수십 가지 매개변수를 분석합니다. 주거용 IP를 사용하더라도 브라우저 지문이 자동화를 나타내면 차단될 수 있습니다.

안티봇 시스템이 확인하는 사항

• User-Agent: 실제 브라우저(Chrome, Firefox)에 해당해야 하며 "headless" 또는 "bot"이라는 단어가 포함되어서는 안 됩니다.
• Headers: 헤더 세트는 브라우저에 일반적이어야 합니다 (Accept, Accept-Language, Accept-Encoding, Referer).
• TLS 지문: SSL 연결 매개변수는 브라우저와 스크립트에서 다릅니다.
• JavaScript 지문: WebGL, Canvas, AudioContext, 글꼴, 플러그인, 화면 해상도.
• 행동: 마우스 움직임, 스크롤 속도, 클릭(자바스크립트 렌더링이 있는 웹사이트의 경우).

자동화를 숨기기 위한 도구

고급 보호를 우회하기 위해서는 다음과 같은 플러그인이 있는 headless 브라우저를 사용하세요:

// Puppeteer와 스텔스 플러그인
const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');
puppeteer.use(StealthPlugin());

const browser = await puppeteer.launch({
    headless: true,
    args: [
        '--proxy-server=http://username:password@residential.proxycove.com:12345',
        '--disable-blink-features=AutomationControlled'
    ]
});

const page = await browser.newPage();
// 현실적인 뷰포트 설정
await page.setViewport({ width: 1920, height: 1080 });

// 무작위 지연 추가
await page.goto('https://protected-site.com');
await page.waitForTimeout(2000 + Math.random() * 3000);

const data = await page.evaluate(() => {
    return document.querySelector('.data').innerText;
});

await browser.close();

Python의 경우 Playwright를 유사한 설정으로 사용하거나 Selenium과 undetected-chromedriver를 사용하세요 — 이 라이브러리는 ChromeDriver를 자동으로 패치하여 탐지를 우회합니다.

Cloudflare 및 기타 WAF 우회

Cloudflare는 브라우저 확인을 위해 JavaScript 챌린지를 사용합니다. 간단한 HTTP 클라이언트(requests, axios)는 이를 통과할 수 없습니다. 해결책:

• 헤드리스 브라우저: Puppeteer/Playwright와 스텔스 플러그인은 대부분의 챌린지를 통과합니다.
• 기성 솔루션: cloudscraper(Python) 또는 puppeteer-extra-plugin-recaptcha와 같은 라이브러리.
• 우회 서비스: 전문 API(FlareSolverr, Anti-Captcha)가 챌린지를 대신 해결합니다.

중요: 올바른 지문을 사용하더라도 요청 간에 지연을 두세요. 완벽한 브라우저 지문으로 초당 100개의 요청을 보내는 것은 여전히 의심스럽게 보입니다. 최적 속도는 하나의 IP에서 분당 10-30 요청입니다.

데이터 수집을 위한 인프라 아키텍처

AI 훈련을 위한 데이터 수집을 산업 규모로 수행하려면 잘 설계된 아키텍처가 필요합니다. 하나의 서버에서 간단한 스크립트로는 수 테라바이트의 데이터를 파싱할 수 없습니다.

수집 시스템의 구성 요소

Python 기반 아키텍처 예시

# worker.py - 파싱 프로세스
import redis
import requests
import json
from datetime import datetime

# Redis에 연결 (작업 대기열)
queue = redis.Redis(host='redis-server', port=6379)
# 프록시 풀
proxies_pool = load_proxies_from_config()

while True:
    # 대기열에서 작업을 가져옵니다.
    task = queue.blpop('parsing_queue', timeout=5)
    if not task:
        continue
    
    url = task[1].decode('utf-8')
    proxy = get_next_proxy(proxies_pool)
    
    try:
        response = requests.get(
            url, 
            proxies={'http': proxy, 'https': proxy},
            timeout=30,
            headers={'User-Agent': get_random_user_agent()}
        )
        
        # 데이터 파싱
        data = parse_html(response.text)
        
        # S3에 저장
        save_to_s3(data, f'data/{datetime.now().isoformat()}/{hash(url)}.json')
        
        # 성공 로그
        log_success(url, proxy)
        
    except Exception as e:
        # 오류 발생 시 작업을 대기열에 다시 추가
        queue.rpush('parsing_queue', url)
        log_error(url, proxy, str(e))
        mark_proxy_as_failed(proxy)

이러한 아키텍처는 수평으로 확장할 수 있습니다 — 워커가 있는 새로운 서버를 추가하기만 하면 됩니다. 하나의 워커가 실패하더라도 나머지는 계속 작업을 수행합니다.

수집 자동화를 위한 도구

산업 규모의 파싱을 위해서는 일반적인 문제를 즉시 해결하는 전문 프레임워크를 사용합니다.

Scrapy — Python용 프레임워크

Scrapy는 Python에서 가장 인기 있는 웹 스크래핑 도구입니다. 기본적으로 다음을 지원합니다: 병렬 파싱(수백 개의 요청 동시 처리), 오류 발생 시 자동 재시도, 프록시 및 User-Agent 회전을 위한 미들웨어, JSON, CSV, XML, 데이터베이스로의 내보내기.

# settings.py - 프록시와 함께 Scrapy 설정
ROTATING_PROXY_LIST = [
    'http://user:pass@proxy1.proxycove.com:12345',
    'http://user:pass@proxy2.proxycove.com:12345',
    # ... 프록시 목록
]

DOWNLOADER_MIDDLEWARES = {
    'rotating_proxies.middlewares.RotatingProxyMiddleware': 610,
    'rotating_proxies.middlewares.BanDetectionMiddleware': 620,
}

# 병렬성
CONCURRENT_REQUESTS = 100
DOWNLOAD_DELAY = 0.5  # 요청 간 지연

Scrapy는 정적 웹사이트(JavaScript 없는 HTML)에 적합합니다. 동적 웹사이트의 경우 Scrapy + Splash(헤드리스 브라우저)를 사용하거나 Playwright로 전환하세요.

Crawlee — Node.js용 프레임워크

Crawlee(이전 Apify SDK)는 JavaScript용 Scrapy와 유사합니다. 장점은 Puppeteer 및 Playwright와의 네이티브 작업, 내장된 프록시 회전, 자동 작업 관리, 오류 발생 시 적응형 파싱 속도(속도 저하)입니다.

import { PlaywrightCrawler, ProxyConfiguration } from 'crawlee';

const proxyConfiguration = new ProxyConfiguration({
    proxyUrls: [
        'http://user:pass@proxy1.proxycove.com:12345',
        'http://user:pass@proxy2.proxycove.com:12345',
    ],
});

const crawler = new PlaywrightCrawler({
    proxyConfiguration,
    maxConcurrency: 50,
    requestHandler: async ({ page, request }) => {
        await page.waitForSelector('.data');
        const data = await page.$$eval('.item', items => 
            items.map(item => ({
                title: item.querySelector('h2').innerText,
                price: item.querySelector('.price').innerText
            }))
        );
        await saveData(data);
    },
});

await crawler.run(['https://site.com/catalog']);

Apache Nutch — 대규모 크롤링을 위한

인터넷 전역에서 데이터를 수집해야 하는 경우(검색 엔진과 같이) Apache Nutch를 사용하세요. 이는 Hadoop 위에서 작동하는 분산 크롤러입니다. 페타바이트의 데이터를 처리할 수 있으며, 링크를 통해 새로운 페이지를 자동으로 발견하고 크롤링 정책(robots.txt, sitemap.xml)을 지원합니다.

Nutch는 설정이 더 복잡하지만 Common Crawl 유사 데이터 세트를 수집하는 데 필수적입니다. 프록시와 작업할 때는 proxy-rotator 플러그인을 사용하세요.

속도 및 비용 최적화

AI 훈련을 위한 데이터 수집은 비용이 많이 드는 작업입니다. 테라바이트 단위의 트래픽을 처리할 때 프록시 비용이 매달 수만 달러에 이를 수 있습니다. 품질 저하 없이 비용을 최적화하는 방법을 살펴보겠습니다.

프록시 유형 조합

모든 작업에 주거용을 사용하지 마세요. 소스를 세 가지 범주로 나누세요:

• 보호 없음: 데이터 센터 프록시 ($0.5-2/IP) — 공개 API, 간단한 웹사이트, 정부 데이터베이스
• 중간 보호: 주거용 회전 ($5-10/GB) — Cloudflare가 있는 뉴스 사이트, 포럼
• 높은 보호: 주거용 스티키 세션 ($10-15/GB) — 소셜 미디어, 마켓플레이스

예를 들어, 100개의 뉴스 사이트를 파싱한다고 가정해 보겠습니다. 그 중 70개는 Cloudflare 없이 작동합니다 — 데이터 센터를 사용하세요. 30개는 보호가 있습니다 — 주거용을 사용하세요. 이로 인해 프록시 예산의 60-70%를 절감할 수 있습니다.

요청 캐시

동일한 웹사이트를 여러 번 파싱하는 경우(예: 매일 뉴스 수집) 변경되지 않는 페이지를 캐시하세요. Redis 또는 로컬 저장소를 사용하여 HTML 캐시를 저장하세요.

import hashlib
import redis

cache = redis.Redis(host='localhost', port=6379)

def fetch_with_cache(url, proxies):
    # 캐시 확인
    cache_key = hashlib.md5(url.encode()).hexdigest()
    cached = cache.get(cache_key)
    
    if cached:
        return cached.decode('utf-8')
    
    # 캐시에 없으면 요청
    response = requests.get(url, proxies=proxies)
    html = response.text
    
    # 24시간 동안 캐시에 저장
    cache.setex(cache_key, 86400, html)
    return html

트래픽 최적화

주거용 프록시를 사용할 경우(GB당 요금) 트래픽 양을 줄이는 것이 중요합니다:

• 필요하지 않은 경우 이미지, CSS, 글꼴 로드를 비활성화하세요 (Puppeteer에서: page.setRequestInterception)
• 압축(gzip, brotli)을 사용하세요 — 대부분의 프록시가 지원합니다.
• 필요한 요소만 파싱하세요 — 하나의 블록이 필요할 경우 전체 페이지를 다운로드하지 마세요.
• API의 경우 HTML 대신 JSON을 사용하세요 (트래픽이 5-10배 줄어듭니다).

부하를 시간에 따라 분산

많은 웹사이트가 하루 동안 부하가 다릅니다. 야간 시간(웹사이트 서버 시간)에 파싱하세요 — 요청 속도 제한에 걸릴 확률이 낮습니다. 주말도 고려하세요 — 토요일과 일요일에는 보호가 약할 수 있습니다.

메트릭 모니터링

최적화를 위한 주요 지표를 추적하세요:

결론

AI 모델 훈련을 위한 데이터 수집은 올바른 프록시 선택, 회전 설정, 보호 우회 및 비용 최적화를 요구하는 복잡한 작업입니다. 주요 사항은 다음과 같습니다:

• 간단한 소스(API, 보호가 없는 웹사이트)의 경우 데이터 센터 프록시를 사용하세요 — 빠르고 저렴합니다.
• 보호된 플랫폼(소셜 미디어, 마켓플레이스, Cloudflare가 있는 웹사이트)의 경우 주거용 프록시가 필수입니다.
• 작업에 따라 회전을 설정하세요: 대량 파싱을 위한 요청에 따라, 단일 웹사이트 작업을 위한 스티키 세션.
• 안티봇 시스템을 우회하기 위해 마스킹 플러그인이 있는 헤드리스 브라우저를 사용하세요.
• 작업 대기열과 병렬 워커를 갖춘 확장 가능한 아키텍처를 구축하세요.
• 비용을 최적화하세요: 프록시 유형을 조합하고 요청을 캐시하며 트래픽을 줄이세요.

올바른 설정을 통해 안정적이고 경제적으로 테라바이트의 데이터를 수집할 수 있습니다. 10-20개의 소스에서 소규모 파일럿 프로젝트를 시작하고 프로세스를 조정한 후 산업 규모로 확장하세요.

보호된 플랫폼(소셜 미디어, 전자상거래, 안티봇 시스템이 있는 웹사이트)에서 데이터를 수집할 계획이라면 주거용 프록시를 사용하는 것이 좋습니다 — 높은 신뢰도와 최소한의 차단 비율을 보장합니다. 간단한 소스 및 API의 경우 데이터 센터 프록시로 충분하며, 최대 속도를 제공하면서 비용이 저렴합니다.