안전한 트위터/X 프로필 스크레이핑: 프록시를 통한 차단 없이 데이터 파싱하는 방법

트위터(현재 X)는 자동 데이터 파싱에 적극적으로 대응하고 있습니다: IP 주소를 차단하고, 요청 수를 제한하며, 의심스러운 활동 시 계정을 차단합니다. 마케팅 조사, 브랜드 언급 모니터링 또는 경쟁 분석을 위해 데이터를 수집하는 경우, 프록시 및 안티디텍트 도구와 함께 올바른 전략이 필요합니다.

이 가이드에서는 트위터/X의 안전한 스크래핑을 설정하는 방법, 다양한 작업에 적합한 프록시 유형 및 대량 프로필 파싱 시 차단을 피하는 방법을 살펴보겠습니다.

왜 트위터/X가 스크래핑을 차단하는가 및 작동 방식

X로의 리브랜딩 이후, 플랫폼은 자동 데이터 수집에 대한 정책을 크게 강화했습니다. 보호 시스템은 여러 매개변수를 동시에 분석하며, 주의 사항을 준수하지 않으면 수동 작업을 하더라도 차단될 수 있습니다.

트위터/X 차단의 주요 트리거

1. 비율 제한 초과. 트위터는 분당 요청 수에 대해 엄격한 제한을 설정합니다. 인증되지 않은 사용자에게는 약 15분마다 180개의 요청이 허용되며, 인증된 사용자에게는 최대 900개의 요청이 허용됩니다. 이를 초과하면 429 오류(요청이 너무 많음)를 받게 되며, 지속적인 위반 시 IP 주소가 차단됩니다.

2. 의심스러운 행동 패턴. 만약 분당 10개의 프로필을 열거나, 동일한 속도로 페이지를 스크롤하거나, 중단 없이 작업을 수행하면 시스템은 이를 봇으로 인식합니다. 실제 사용자는 중단하고 콘텐츠를 읽으며 가끔은 다른 것에 주의를 기울입니다.

3. 여러 계정에 대해 동일한 IP 사용. 만약 하나의 IP 주소에서 짧은 시간 내에 5-10개의 다른 계정이 접속하면 이는 빨간 신호입니다. 트위터는 모든 계정을 연쇄적으로 차단할 수 있습니다.

4. 디지털 지문(fingerprint) 부족. 플랫폼은 브라우저에 대한 데이터를 수집합니다: 버전, 확장 프로그램, 화면 해상도, 시간대, WebGL, Canvas. 이러한 데이터가 실제 장치와 일치하지 않거나 여러 계정에서 동일할 경우 의심스러운 이유가 됩니다.

트위터/X가 자동화를 식별하는 방법

보호 시스템은 다단계 분석을 사용합니다:

• User-Agent 및 헤더 분석. HTTP 요청의 헤더가 실제 브라우저와 일치하지 않거나 자동화의 흔적(예: Selenium, Puppeteer가 User-Agent에 포함됨)을 포함하면 요청이 차단됩니다.
• JavaScript 검사. 트위터는 실제 브라우저가 페이지를 열고 있는지 확인하기 위해 JavaScript 호출을 적극적으로 사용합니다.
• 마우스 및 키보드 행동 분석. 플랫폼은 커서 움직임, 스크롤 속도, 클릭 패턴을 추적합니다. 봇은 일반적으로 직선으로 움직이거나 아예 마우스를 움직이지 않습니다.
• IP 주소의 평판. IP가 블랙리스트에 있는 경우(유명 호스팅 제공업체의 데이터 센터, 평판이 좋지 않은 프록시 제공업체) 신뢰도가 낮아집니다.

트위터/X 파싱에 적합한 프록시: 유형 비교

프록시 유형의 선택은 여러분의 작업에 따라 달라집니다: 공개 데이터의 대량 파싱, 인증된 계정 작업 또는 경쟁 모니터링. 각 유형과 트위터/X에 대한 적용 방법을 살펴보겠습니다.

레지던트 프록시 — 계정 작업에 최적의 선택

레지던트 프록시는 실제 가정 사용자가 제공한 IP 주소를 사용합니다. 트위터/X에 대해 가장 안전한 옵션으로, 플랫폼은 이러한 트래픽을 일반 사용자와 구별할 수 없습니다.

트위터/X에 레지던트 프록시를 사용할 때:

• 인증된 계정 작업(로그인, 비공식 프로필 파싱)
• 특정 계정 또는 해시태그의 장기 모니터링
• 높은 강도의 파싱(차단 위험을 최소화해야 할 때)
• 다양한 지리적 지역에서 데이터 수집(예: 지역 트렌드 분석을 위해)

장점: 트위터/X로부터 최대한의 신뢰도, 낮은 차단 비율, 캡차 작업 가능(일반적으로 발생하지 않음), 스티키 세션 지원(10-30분 동안 하나의 IP).

단점: 더 높은 비용(일반적으로 트래픽당 지불, 1GB당 $7-15), 데이터 센터보다 속도가 느림.

모바일 프록시 — 계정 보호를 극대화하기 위한 선택

모바일 프록시는 모바일 운영자(4G/5G)의 IP 주소를 사용합니다. 이는 소셜 미디어에 가장 신뢰할 수 있는 IP 유형으로, 트위터/X는 모바일 IP를 거의 차단하지 않습니다 — 하나의 주소에 수천 명의 실제 사용자가 있을 수 있습니다.

트위터/X에 모바일 프록시를 사용할 때:

• 잃어서는 안 되는 귀중한 계정 작업
• 이전 차단 후 파싱(최대 보호가 필요할 때)
• 자동화 작업: 좋아요, 리트윗, 팔로우(비록 이는 트위터의 이용 약관을 위반함)
• IP 차단을 우회하기(모바일 IP는 거의 블랙리스트에 올라가지 않음)

장점: 최대한의 신뢰도, IP 차단 위험 거의 없음, "비행기 모드" 모드를 통해 IP 회전 가능(5-10분마다 IP 변경).

단점: 가장 비싼 프록시 유형(한 달에 하나의 IP당 $50-100), 사용 가능한 IP 수가 제한적, 속도는 모바일 신호의 품질에 따라 다름.

데이터 센터 프록시 — 공개 데이터의 대량 파싱을 위한 선택

데이터 센터 프록시는 호스팅 제공업체의 서버 IP 주소입니다. 이들은 빠르고 저렴하지만, 트위터/X는 이들에 대해 의심을 가집니다.

트위터/X에 데이터 센터를 사용할 수 있는 경우:

• 인증 없이 공개 프로필 파싱(제한된 기능)
• 낮은 강도로 데이터 수집
• 레지던트 프록시에서 실행하기 전에 파싱 스크립트 테스트
• 공식 API를 통한 작업(유료 접근이 있는 경우)

장점: 낮은 비용(한 달에 IP당 $1-3), 높은 속도(최대 1Gbps), 안정적인 연결.

단점: 높은 차단 위험, 종종 캡차 해결이 필요, 인증된 계정 작업에 적합하지 않음, 많은 IP가 이미 트위터/X의 블랙리스트에 있음.

트위터/X를 위한 프록시 유형 비교 표

트위터/X의 비율 제한: 요청 한도를 초과하지 않는 방법

트위터/X는 서버 과부하 및 자동 데이터 수집을 방지하기 위해 요청 수에 대해 엄격한 제한을 설정합니다. 한도를 초과하면 일시적인 차단(15분에서 몇 시간까지) 또는 IP/계정의 영구 차단을 받을 수 있습니다.

현재 트위터/X의 제한(2024)

X 프리미엄 유료 구독이 도입된 이후, 제한은 여러 카테고리로 나뉘었습니다:

중요: 이러한 제한은 API뿐만 아니라 일반 웹 인터페이스를 통한 보기에도 적용됩니다. 브라우저를 통해 사용자 행동을 에뮬레이션하여 파싱하는 경우에도 이러한 제한이 여전히 적용됩니다.

파싱 시 비율 제한 우회 방법

1. IP 주소 회전. 자동 회전 기능이 있는 프록시 풀을 사용하세요. 레지던트 프록시의 경우 최적의 변경 빈도는 50-100 요청마다 또는 10-15분마다입니다. 이를 통해 다양한 IP 간에 부하를 분산하고 하나의 주소에 대한 한도를 초과하지 않도록 할 수 있습니다.

2. 여러 계정 사용. 대량의 데이터를 수집해야 하는 경우, 5-10개의 트위터/X 계정을 생성하고 파싱을 이들 사이에 분산시키세요. 각 계정은 고유한 프록시를 통해 작업해야 하며, 별도의 디지털 지문(fingerprint)을 가져야 합니다.

3. 요청 간 지연. 최대 속도로 요청하지 마세요. 무작위로 지연을 추가하세요:

• 프로필 보기 간: 3-7초
• 피드를 스크롤할 때 간: 2-5초
• 해시태그 검색 간: 5-10초
• 50-100 작업마다 긴 지연: 30-60초

4. 데이터 캐싱. 동일한 데이터를 반복해서 요청하지 마세요. 파싱 결과를 데이터베이스에 저장하고, 프로필이 이미 처리되었는지 확인하세요.

안전한 스크래핑을 위한 안티디텍트 브라우저 설정

안티디텍트 브라우저는 각 트위터/X 계정에 대해 고유한 디지털 지문(fingerprints)을 생성할 수 있게 해줍니다. 이는 안전한 파싱을 위해 매우 중요합니다. 이를 통해 플랫폼은 여러 계정을 서로 연결하고 연쇄적으로 차단할 수 있습니다.

트위터/X를 위한 인기 있는 안티디텍트 브라우저

Dolphin Anty — 중재자 및 SMM 전문가들 사이에서 가장 인기 있는 옵션 중 하나입니다. 무료 요금제로 최대 10개의 프로필을 생성할 수 있으며, 이는 소규모 파싱 작업에 충분합니다.

AdsPower — 기능과 가격의 좋은 균형을 제공합니다. RPA(로봇 프로세스 자동화)를 통한 내장 자동화 기능이 있어 코드 작성 없이 파싱을 설정할 수 있습니다.

Multilogin — 최대한의 보호 수준을 제공하는 프리미엄 솔루션입니다. 대형 에이전시에서 사용되지만 비용이 비쌉니다(월 €99부터 시작). 대량 데이터의 전문 파싱에만 적합합니다.

GoLogin — 좋은 품질의 fingerprints를 제공하는 예산 옵션입니다. 이동 중 계정 작업을 위한 모바일 애플리케이션이 있습니다.

트위터/X 파싱을 위한 프로필 설정 단계별 가이드 (Dolphin Anty 예시)

단계 1: 새로운 브라우저 프로필 생성

• Dolphin Anty를 열고 "프로필 생성"을 클릭하세요.
• 운영 체제를 선택하세요: Windows, macOS 또는 Linux(실제 장치와 일치하거나 트위터 사용자들 사이에서 가장 인기 있는 것을 선택하세요).
• 프로필 이름을 지정하세요: 예를 들어 "Twitter Parser US #1".

단계 2: 프록시 설정

• "프록시" 섹션에서 유형을 선택하세요: HTTP, HTTPS 또는 SOCKS5(SOCKS5가 트위터/X에 더 적합합니다).
• 프록시 정보를 입력하세요: IP 주소, 포트, 로그인, 비밀번호.
• "프록시 확인"을 클릭하세요 — 상태가 녹색이고 지리적 위치가 올바른지 확인하세요.
• 중요: 각 트위터/X 계정에 대해 별도의 프록시를 사용하세요.

단계 3: 지문(fingerprint) 설정

• User-Agent: 최신 Chrome 버전의 실제 User-Agent를 선택하세요(예: Windows 10에서 Chrome 120).
• 화면 해상도: 인기 있는 해상도(1920x1080, 1366x768, 1440x900)를 사용하세요 — 이국적인 값을 사용하지 마세요.
• 시간대: 프록시의 지리적 위치와 일치해야 합니다(프록시가 미국/뉴욕에서 온 경우 — EST로 설정하세요).
• 브라우저 언어: 지역에 맞게 설정하세요(en-US는 미국, en-GB는 영국).
• WebRTC: 비활성화하거나 프록시 IP로 교체하세요(그렇지 않으면 실제 IP가 유출될 수 있습니다).
• Canvas 및 WebGL: "Noise" 모드를 사용하세요(노이즈 추가) — 이는 각 프로필에 대해 고유한 지문을 생성합니다.

단계 4: 추가 보안 설정

• 비밀번호 자동 완성을 비활성화하세요(트위터는 저장된 데이터의 존재를 확인할 수 있습니다).
• 각 파싱 세션 후 쿠키를 지우세요.
• 브라우저 확장 프로그램을 사용하지 마세요 — 이는 고유한 fingerprints를 생성하고 자동화를 드러낼 수 있습니다.
• "Do Not Track"(DNT)를 활성화하세요 — 많은 실제 사용자가 이를 사용합니다.

트위터/X 파싱 도구: 기성 솔루션에서 코드까지

도구 선택은 여러분의 기술 수준과 작업량에 따라 달라집니다. 기성 서비스에서 전문 스크립트까지 다양한 옵션을 살펴보겠습니다.

트위터/X 파싱을 위한 기성 서비스(코드 없음)

Phantombuster — 트위터/X를 위한 기성 템플릿을 갖춘 클라우드 자동화 서비스입니다. 프로필, 팔로워, 해시태그에 따른 트윗을 파싱할 수 있습니다. 설정은 5-10분이 걸리며, 템플릿을 선택하고 매개변수(해시태그, 계정 목록)를 지정한 후 프록시를 연결하고 실행합니다.

Apify — 기성 스크래퍼의 마켓플레이스입니다. 트위터/X를 위한 여러 액터(기성 스크립트)가 있으며, 프로필 파싱, 트윗 수집, 언급 모니터링을 지원합니다. 클라우드를 통해 작동하며, 프록시를 지원하고 제한이 있는 무료 요금제가 있습니다.

Octoparse — 비주얼 파서 생성기입니다. 프로그램 인터페이스에서 트위터/X를 열고 수집할 요소(이름, 바이오, 팔로워 수)를 클릭하면 프로그램이 자동으로 스크립트를 생성합니다. 간단한 작업에 적합하지만 복잡한 페이지 구조에는 잘 작동하지 않을 수 있습니다.

안티디텍트 브라우저의 RPA를 통한 자동화

일부 안티디텍트 브라우저(AdsPower, Octo Browser)는 사용자의 행동을 기록하고 재생할 수 있는 RPA(로봇 프로세스 자동화) 도구를 내장하고 있습니다.

작동 방식:

• 안티디텍트 브라우저에서 트위터/X를 엽니다.
• 행동 기록 모드를 활성화합니다.
• 필요한 작업을 수행합니다: 프로필을 열고, 데이터를 복사하고, 다음으로 이동합니다.
• 기록을 중지합니다 — 브라우저가 스크립트를 생성했습니다.
• 파싱할 계정 목록을 업로드하고 스크립트를 반복 실행합니다.

장점: 프로그래밍 기술이 필요 없으며, 실제 브라우저를 통해 작동하므로 보호 우회 수준이 높습니다. 무작위 지연 및 행동 에뮬레이션을 쉽게 추가할 수 있습니다.

코드를 통한 파싱: Python + Selenium/Playwright

더 복잡한 작업과 프로세스에 대한 완전한 제어를 위해 프로그래밍을 사용하세요. Python은 풍부한 라이브러리 생태계 덕분에 스크래핑에 가장 인기 있는 언어입니다.

주요 라이브러리:

• Selenium — 브라우저 자동화, Chrome/Firefox와 함께 작동하며, 프록시 및 사용자 행동 에뮬레이션을 지원합니다.
• Playwright — Selenium의 현대적인 대안, 더 빠르고 안정적이며, 헤드리스 모드를 지원합니다.
• Tweepy — 공식 트위터 API와 작업하기 위한 라이브러리(유료 접근이 필요함).
• Twint — API 없이 트위터 파싱(주의: 트위터가 이 방법을 적극적으로 차단하며, 불안정하게 작동함).

Python + Selenium의 기본 스크립트 예시:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
import time
import random

# 프록시 설정
proxy = "123.45.67.89:8080"  # 본인의 프록시로 교체하세요
chrome_options = Options()
chrome_options.add_argument(f'--proxy-server={proxy}')
chrome_options.add_argument('--disable-blink-features=AutomationControlled')
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])

# 브라우저 초기화
driver = webdriver.Chrome(options=chrome_options)

# 트위터 프로필 열기
driver.get('https://twitter.com/elonmusk')
time.sleep(random.uniform(3, 7))  # 무작위 지연

# 프로필 데이터 파싱
try:
    name = driver.find_element(By.XPATH, '//div[@data-testid="UserName"]').text
    bio = driver.find_element(By.XPATH, '//div[@data-testid="UserDescription"]').text
    followers = driver.find_element(By.XPATH, '//a[contains(@href, "/followers")]/span').text
    
    print(f"이름: {name}")
    print(f"바이오: {bio}")
    print(f"팔로워: {followers}")
except Exception as e:
    print(f"파싱 오류: {e}")

driver.quit()

코드 작업 시 중요한 사항:

• 행동 간에 time.sleep(random.uniform(3, 7))를 추가하세요 — 이는 실제 사용자 행동을 에뮬레이션합니다.
• --disable-blink-features=AutomationControlled를 사용하여 자동화의 흔적을 숨기세요.
• User-Agent를 실제로 변경하세요: chrome_options.add_argument('user-agent=Mozilla/5.0...').
• try/except를 통해 오류를 처리하세요 — 트위터/X는 페이지 구조를 자주 변경합니다.
• 결과를 데이터베이스(SQLite, PostgreSQL) 또는 CSV 파일에 저장하세요.

대량 파싱 전에 트위터/X 계정 예열하기

트위터/X의 새로운 계정을 파싱에 사용하는 경우, 즉시 대량 데이터 수집을 시작할 수 없습니다. 플랫폼은 계정의 "연령"과 활동을 추적하며, 공격적인 행동을 보이는 새로운 계정은 우선 차단됩니다.

계정 예열 계획 (7-14일)

1-3일: 기본 설정 및 최소 활동

• 프로필을 작성하세요: 아바타, 바이오, 웹사이트 링크(실제 데이터를 사용하고 프로필을 비워두지 마세요).
• 귀하의 분야에서 5-10개의 인기 계정을 팔로우하세요.
• 피드를 2-3분 동안 스크롤하고, 2-3개의 좋아요를 누르세요.
• 1-2개의 리트윗을 하세요.
• 하루에 10개 이상의 작업을 하지 마세요.

4-7일: 활동 증가

• 10-15개의 계정을 더 팔로우하세요.
• 1-2개의 자신의 트윗을 게시하세요(간단한 것, 예: "안녕하세요 트위터!").
• 하루에 좋아요 수를 5-10개로 늘리세요.
• 다른 사용자의 프로필을 보기 시작하세요(하루에 5-10개 프로필).
• 몇 개의 트윗을 즐겨찾기에 추가하세요.

8-14일: 파싱 준비

• 20-30개의 계정을 팔로우하여 총 팔로우 수를 50-70개로 만드세요.
• 2-3일마다 1개의 트윗을 게시하세요.
• 하루에 10-20개의 프로필을 보세요.
• 해시태그 검색을 사용하세요(하지만 아직 파싱하지 말고 — 그냥 검색하고 읽으세요).
• 12-14일에는 가벼운 파싱을 시작할 수 있습니다: 하루에 20-30개의 프로필을 중단하며.

"예열된" 계정의 징후

• 계정 연령: 최소 14일, 30일 이상이 더 좋습니다.
• 팔로우 수: 50-100개(너무 많지도, 너무 적지도 않음).
• 팔로워 수: 5-20명(몇 명의 실제 팔로워가 신뢰도를 높입니다).
• 트윗 이력: 최소 5-10개의 게시물.
• 좋아요 및 리트윗: 이력에 20-50개의 행동.
• 작성된 프로필: 아바타, 바이오, 링크 가능성.

안전한 스크래핑 체크리스트: 차단 방지 12가지 규칙

트위터/X 파싱 시 준수해야 할 모든 권장 사항을 하나의 체크리스트로 정리해 보겠습니다: