여러 도시에서 아파트 임대료를 수집하는 경우 — 시장 분석, 가격 책정 또는 부동산 중개인에게 데이터를 재판매하기 위해 — 언젠가는 CAPTCHA, 임시 차단 및 예측할 수 없는 트래픽 소모에 직면하게 됩니다. 이 기사에서는 5개 도시에서 Avito, Cian 및 Yandex.Nedvizhimost에서 광고를 수집하는 구체적인 계획을 살펴보고, 프록시에 실제로 얼마나 많은 기가바이트의 트래픽을 예산에 포함해야 하는지 계산해 보겠습니다.
여러 도시에서 임대료를 모니터링해야 하는 이유
여러 도시의 임대료 모니터링은 부동산 중개업체뿐만 아니라 시장 분석가, 관리 회사, 부동산 투자자 및 임대 시장 보고서를 판매하는 서비스에도 필요합니다. 모스크바, 상트페테르부르크, 카잔, 예카테린부르크 및 노보시비르스크의 가격을 비교하면 수요의 동향, 계절성 및 이상 현상을 볼 수 있습니다. 예를 들어, 한 소유자가 아파트를 대량으로 내놓아 특정 지역의 가격이 급격히 하락하는 경우입니다.
부동산 중개업체에게는 경쟁자의 덤핑에 신속하게 대응할 수 있는 방법이기도 합니다. 만약 이웃 아파트 단지에 시장보다 15% 저렴한 광고가 올라왔다면, 이를 한 시간 이내에 확인해야 하며, 일주일 후가 아닙니다. 5개 도시의 광고를 수동으로 브라우저를 통해 확인하는 데 한 직원이 하루에 3-4시간이 걸리며, 프록시를 통한 자동화는 이 시간을 10-15분으로 단축시킵니다.
중요한 점은 광고 플랫폼(Avito, Cian, Domclick)이 자동 데이터 수집을 적극적으로 방어한다는 것입니다. 이는 이러한 보고서가 그들의 유료 분석 서비스와 경쟁하기 때문입니다. 따라서 모든 모니터링 계획은 세 가지 요소를 중심으로 구성됩니다: 실제 사용자 행동의 모방, 다양한 IP 주소 및 요청 속도의 제어입니다.
어떤 광고 출처를 사용해야 하는가
5개 도시의 임대 시장에 대한 완전한 그림을 얻기 위해 일반적으로 2-3개의 출처를 동시에 사용합니다. 이는 어떤 플랫폼도 시장을 완전히 커버하지 않기 때문입니다:
- Avito 부동산 — 개인 광고의 가장 큰 범위, 하지만 파싱에 대한 가장 강력한 보호와 의심스러운 활동 시 자주 발생하는 CAPTCHA.
- Cian — 대도시에서 더 많이 나타나며, 많은 광고가 중개업체에서 제공되고, 페이지 구조가 수집에 더 안정적입니다.
- Yandex.Nedvizhimost — 다른 플랫폼에서 광고를 가져오는 집계기, 가격 교차 검증에 유용합니다.
- Domclick — 인구 백만 이상의 도시에서 유용하며, 차단이 적지만 개인 광고는 적습니다.
일반적으로 시작할 때는 Avito와 Cian만으로도 충분합니다. 이들은 대도시의 임대 시장을 70-80% 커버합니다. 나머지 출처는 더 깊은 분석이나 비정상적인 가격 검증이 필요할 때 연결합니다.
수집 계획: 프록시, 도구 및 주기
5개 도시의 임대료 모니터링 기본 계획은 다음과 같은 논리에 따라 구성됩니다: 각 도시와 각 플랫폼에 대해 별도의 IP 주소 풀을 할당하고, 요청은 사람의 행동을 모방하는 간격으로 진행되며, 데이터 수집은 하루에 여러 번 일정에 따라 이루어집니다.
실제로 계획은 다음과 같습니다:
- 광고 목록 수집을 위한 필터(도시, 주택 유형, 가격 범위)에 맞춰 설정된 파싱 솔루션(코드 작성 없이)을 준비합니다.
- 각 도시마다 해당 지역의 지리적 프록시에 연결된 별도의 프로필을 설정합니다. 이는 IP가 실제 샘플 위치와 일치하므로 CAPTCHA 발생 가능성을 줄입니다.
- 요청은 시간에 따라 분산됩니다: 연속적인 흐름이 아니라 광고 카드 간에 3-8초의 간격을 두고 진행됩니다.
- 각 도시별 데이터 수집은 하루에 2-4회 반복됩니다. 이는 새로운 광고와 가격 변동을 추적하기에 충분하며, 플랫폼에 비정상적인 부하를 주지 않습니다.
- 결과는 날짜 및 수집 시간에 연결된 표 또는 데이터베이스에 저장되어 가격 동향 그래프를 작성하는 데 사용됩니다.
여러 도시의 수집 프로필을 관리하기 위해 Dolphin Anty, AdsPower 또는 Octo Browser와 같은 안티 디텍트 브라우저를 사용하는 것이 편리합니다. 이들은 각 도시마다 고유한 쿠키, 사용자 에이전트 및 가장 중요한 지역에 연결된 프록시가 있는 브라우저 프로필을 고정할 수 있게 해줍니다. 이는 광고 파싱 작업에 적용되는 멀티 계정 관리 원리와 동일합니다.
5개 도시의 트래픽 소모 계산
트래픽 소모는 프록시 예산 계획 시 핵심 매개변수입니다. 특히 주거용 IP를 사용하는 경우 데이터 전송량에 따라 요금이 부과됩니다. 5개 대도시(모스크바, 상트페테르부르크, 카잔, 예카테린부르크, 노보시비르스크)의 모니터링 예를 통해 계산해 보겠습니다.
계산을 위한 기본 입력값은 다음과 같습니다:
- 광고 목록이 있는 페이지의 평균 크기(30-50 카드) — 이미지가 포함된 경우 800KB - 1.5MB, 이미지 로딩을 차단하면 약 150-250KB입니다.
- 상세 파싱 시 하나의 광고 카드의 평균 크기 — 사진이 포함된 경우 300-500KB, 텍스트 모드에서는 40-70KB입니다.
- 한 번의 수집에서 도시별 광고 수 — 시장 규모에 따라 300-800개(모스크바 및 상트페테르부르크는 더 많고, 카잔, 예카테린부르크, 노보시비르스크는 더 적음).
| 도시 | 광고 수/회 | 사진 없이 트래픽/회 | 트래픽/일 (3회) |
|---|---|---|---|
| 모스크바 | 800 | ~45MB | ~135MB |
| 상트페테르부르크 | 650 | ~37MB | ~111MB |
| 카잔 | 350 | ~20MB | ~60MB |
| 예카테린부르크 | 380 | ~22MB | ~66MB |
| 노보시비르스크 | 400 | ~23MB | ~69MB |
총 5개 도시에서 하루에 약 440MB의 트래픽이 발생하며, 하루에 3회 수집하고 이미지 로딩을 비활성화한 경우입니다. 한 달이면 약 13GB입니다. 만약 광고의 사진도 수집하여 시각적으로 확인해야 한다면(예: 실제 아파트와 사기 광고를 구별하기 위해), 소모량은 6-8배 증가하여 5개 도시에서 한 달에 80-100GB에 이를 수 있습니다.
실용적인 조언: 시작할 때는 파서 또는 브라우저 프로필 설정에서 이미지 및 스타일 로딩을 비활성화하세요. 이는 가격, 주소 및 아파트 면적에 대한 데이터 손실 없이 트래픽을 대폭 줄일 수 있습니다. 사진은 의심스러운 저가 광고에 대해서만 선택적으로 로딩할 수 있습니다.
각 출처에 적합한 프록시 선택
프록시 유형의 선택은 얼마나 많은 CAPTCHA를 보게 될지와 데이터 수집의 안정성에 직접적인 영향을 미칩니다. 5개 도시의 광고 모니터링을 위해서는 각 플랫폼에 따라 다른 접근 방식이 필요합니다.
| 플랫폼 | 추천 프록시 유형 | 이유 |
|---|---|---|
| Avito | 주거용 프록시 | 데이터 센터 IP에 대한 강력한 보호, 실제 제공업체의 주소가 필요합니다. |
| Cian | 주거용 프록시 | 요청 패턴을 추적하며, 도시와의 지리적 연관성이 필요합니다. |
| Yandex.Nedvizhimost | 데이터 센터 프록시 | 보호가 약하며, 속도와 비용을 절약할 수 있습니다. |
| Domclick | 데이터 센터 프록시 | 보호가 적당하고, 높은 수집 속도가 익명성보다 중요합니다. |
Avito의 경우 모바일 프록시도 언급할 가치가 있습니다. 모바일 애플리케이션을 통해 데이터를 수집하거나 모바일 트래픽을 에뮬레이트하는 경우, 플랫폼은 이러한 요청을 의심스럽게 표시할 가능성이 적습니다. 이는 모바일 IP가 통신사에서 여러 실제 사용자에 의해 지속적으로 재사용되기 때문입니다. 부동산 모니터링 작업에 있어, 특정 지역에서 데스크탑 주거용 IP가 자주 CAPTCHA에 걸리는 경우에 유용합니다.
IP 회전 및 차단 없는 요청 빈도
임대료 모니터링에서 흔히 발생하는 오류는 동일한 IP 주소로 5개 도시의 데이터를 순차적으로 수집하려는 시도입니다. 플랫폼은 하나의 IP에서 다양한 지역의 요청이 급증하는 것을 감지하고, 요청 간의 간격을 준수하더라도 이를 자동화로 간주합니다.
효과적인 회전 계획은 다음과 같습니다:
- 각 도시마다 수집 주기 동안 별도의 IP(또는 3-5개의 작은 풀)를 고정합니다. 이는 논리적이며, 카잔의 실제 사용자가 노보시비르스크의 광고를 동시에 볼 수는 없습니다.
- 광고 카드 요청 간에 30-50회마다 IP를 변경하고, 각 요청마다 변경하지 마세요. 너무 잦은 IP 변경도 의심스럽게 보입니다.
- 광고 카드 요청 간에 4-10초의 간격을 두고, 사이트의 다른 섹션을 탐색할 때는 1-3분의 간격을 두세요.
- 5개 도시의 수집은 엄격히 병렬로 시작하지 말고, 각 도시의 수집 시작 간에 5-15분의 작은 시간 차이를 두세요.
이러한 접근 방식을 사용할 경우, 5개 도시에서는 일반적으로 세션 내에서 회전하는 15-25개의 주거용 IP 풀로 충분합니다. 수집량이 도시당 500-800개의 광고를 초과하지 않는 경우입니다. 더 공격적인 수집(예: 매시간 모니터링)을 위해서는 풀을 40-50 IP로 늘려야 하며, 각 주소에 대한 부하가 일반 사용자 행동과 유사한 수준으로 유지되도록 해야 합니다.
광고 모니터링 시 자주 발생하는 오류
전형적인 사례를 바탕으로, 여러 도시에서 데이터 수집이 중단되고 차단으로 이어지는 몇 가지 오류를 정리할 수 있습니다:
- 모든 도시에서 하나의 IP 사용 — 플랫폼은 비논리적인 지리적 위치를 감지하고, 각 지역에 대한 로컬 IP를 사용할 때보다 더 빠르게 접근을 제한합니다.
- 너무 잦은 수집 — 10-15분마다 모니터링하는 것은 임대 시장에서 드물게 정당화되며, 가격 변화는 그렇게 빠르지 않으며, 출처에 대한 부하가 비례적으로 증가합니다.
- User-Agent 및 브라우저 헤더 무시 — 모바일 운영자의 IP와 데스크탑 사용자 에이전트 간의 불일치는 즉시 차단 위험을 증가시킵니다.
- 프록시의 예비 풀 부족 — 모든 트래픽이 하나의 프록시 유형을 통해 흐를 경우, 대량 차단 시 데이터 수집이 몇 시간 동안 완전히 중단됩니다.
- 사진에 대한 제한 없이 수집 — 가격 분석에 추가 가치를 제공하지 않으면서 트래픽을 5-8배 초과 소모하게 됩니다.
이러한 오류는 설정 단계에서 쉽게 수정할 수 있습니다. 미리 프록시 풀을 도시별로 나누고, 요청 빈도를 제한하며, 불필요한 콘텐츠 로딩을 비활성화하면 됩니다.
결론 및 권장 사항
5개 도시의 광고를 통한 임대료 모니터링은 코드를 작성하지 않고도 해결할 수 있는 작업입니다. 올바른 계획을 세우면: 도시별로 별도의 지리적 프록시, 합리적인 요청 빈도, 불필요한 미디어 파일 비활성화 및 고정된 풀 내에서 IP 회전이 가능합니다. 이러한 접근 방식으로 트래픽 소모는 사진 없이 한 달에 10-15GB, 이미지가 포함된 경우 80-100GB로 유지됩니다.
Avito 및 Cian에서 데이터 수집을 시작할 때는 주거용 프록시를 사용하는 것을 권장합니다. 이는 지리적으로 민감한 부동산 플랫폼에서 작업할 때 CAPTCHA 비율이 가장 낮습니다. 예산이 제한적이거나 보호가 약한 출처(예: Yandex.Nedvizhimost와 같은 집계기)인 경우, 데이터 수집 품질을 손상시키지 않으면서 데이터 센터 프록시로 전환할 수 있습니다.