러시아, 카자흐스탄, EU 국가 및 미국에서 입찰을 모니터링하는 회사들은 조만간 같은 문제에 직면하게 됩니다: 정부 조달 포털이 갑자기 데이터를 제공하지 않거나, CAPTCHA가 나타나거나, IP 주소가 차단되는 경우입니다. 이는 정부 플랫폼이 자동 정보 수집으로부터 적극적으로 보호되고 있기 때문입니다. 왜 이런 일이 발생하는지, 어떤 국가가 특히 트래픽을 엄격하게 필터링하는지, 그리고 안정적인 입찰 모니터링을 위해 어떤 유형의 프록시를 선택해야 하는지 살펴보겠습니다.
정부 조달 포털이 데이터 수집을 차단하는 이유
공식적으로 대부분의 국가에서 정부 조달 정보는 공개되어 있습니다 — 이는 예산 지출의 투명성을 요구하는 법률의 요구 사항입니다. 그러나 "공개"는 "자동화된 대규모 수집에 접근 가능"하다는 의미는 아닙니다. 러시아의 EIS (zakupki.gov.ru), 카자흐스탄의 goszakup.gov.kz, 유럽의 TED (Tenders Electronic Daily) 또는 미국의 SAM.gov와 같은 플랫폼은 수동으로 브라우저를 통해 조회하도록 설계되었으며, 스크립트로부터 분당 수천 개의 요청을 처리하도록 설계되지 않았습니다.
하나의 IP 주소에서 비정상적인 활동이 발생할 때 — 초당 수십 개의 요청, 동일한 User-Agent, 클릭 간의 간격 없음 — 보호 시스템(대부분 Cloudflare, DataDome 또는 정부 기관의 자체 개발)은 이를 봇으로 인식합니다. 그 후 가능한 세 가지 시나리오가 있습니다: CAPTCHA 표시, IP의 15-60분 동안의 임시 차단 또는 서브넷 전체의 완전 차단. 입찰 모니터링을 기반으로 비즈니스를 구축하는 회사에게 이러한 시나리오 중 어느 것이든 놓친 조달과 잃어버린 돈을 의미합니다.
추가적인 어려움은 많은 입찰 플랫폼이 전자 서명(ЭЦП)으로 인증을 요구하거나 브라우저의 JavaScript 검사를 통과한 후에만 데이터를 제공한다는 것입니다. 이는 단순히 IP를 변경하는 것만으로는 충분하지 않으며, 실제 사용자와 실제 브라우저 환경의 행동을 모방해야 합니다.
국가별 공개 데이터: 수집하기 가장 어려운 곳
보호 수준과 API 접근 가능성은 국가에 따라 크게 다릅니다. 조달 분석가와 입찰 전문가들이 가장 자주 작업하는 주요 관할권을 살펴보겠습니다.
| 국가 / 지역 | 포털 | 보호 수준 | 특징 |
|---|---|---|---|
| 러시아 | zakupki.gov.ru, B2B-Center | 중간-높음 | 공식 API가 있지만 제한 및 등록이 필요함 |
| 카자흐스탄 | goszakup.gov.kz | 중간 | 많은 요청 시 자주 발생하는 타임아웃 |
| 유럽연합 | TED (ted.europa.eu) | 낮음-중간 | XML/CSV로의 공개 수출 가능하지만 일부 데이터에 대한 지리적 제한이 있음 |
| 미국 | SAM.gov | 높음 | 엄격한 브라우저 검사, 등록 및 API 키 필요 |
| 우크라이나 | Prozorro | 낮음 | 완전 공개 API, 프록시 필요성이 드물음 |
| 영국 | Contracts Finder, Find a Tender | 중간 | 영국 외부에서의 요청에 대한 지리적 차단 |
표에서의 주요 결론: 공식적으로 공개된 API가 있는 곳에서도 종종 지리적 제한이나 한 IP에서의 요청 수에 대한 엄격한 한계가 적용됩니다. 영국에서 데이터를 수집하는 경우 다른 국가에 물리적으로 위치해 있다면 요청은 봇 검사 전에 거부될 수 있습니다 — 단순히 IP가 영국이 아니기 때문입니다. 여기서 프록시의 역할이 시작됩니다: 프록시는 필요한 지리적 위치에서 데이터를 요청하고 수십 개의 주소 간에 부하를 분산시킬 수 있게 해줍니다.
입찰 플랫폼에 필요한 프록시 유형
정부 조달 모니터링에는 "모든 경우에 하나의 프록시 유형"이라는 보편적인 솔루션이 적합하지 않습니다. 선택은 작업하는 플랫폼과 그 보호의 공격성에 따라 다릅니다.
| 프록시 유형 | 언제 사용해야 하는가 | 차단 위험 |
|---|---|---|
| 데이터 센터 프록시 | 공식 API와 약한 보호가 있는 포털 (Prozorro, 부분적으로 TED) | 중간 — 데이터 센터의 서브넷은 때때로 블랙리스트에 올라 있음 |
| 주거용 프록시 | Cloudflare/DataDome, 지리적 제한이 있는 플랫폼 (SAM.gov, Contracts Finder) | 낮음 — IP가 일반 가정 사용자처럼 보임 |
| 모바일 프록시 | 특정 입찰의 점검, 낮은 요청 빈도 | 최소, 그러나 트래픽 비용이 더 높음 |
실제로 여러 국가에서 동시에 입찰을 모니터링하는 대부분의 회사는 조합을 사용합니다: 공개 API가 있는 플랫폼에는 데이터 센터 IP를 사용하고, 심각한 보호가 있거나 정확한 지리적 위치가 필요한 경우에는 주거용 프록시를 사용합니다 (예: 요청이 런던에서 오는 것이어야 하며, 유럽의 임의의 지점에서 오는 것이 아님). 주거용 프록시는 포털이 IP뿐만 아니라 시간대, 브라우저 언어 및 요청의 지리적 위치를 확인할 때 특히 유용합니다 — 이러한 매개변수가 일치하지 않으면 자동화된 트래픽으로 간주됩니다.
데이터 수집 설정: 실용적인 도식
코드를 작성하지 않지만 계약자나 준비된 서비스를 통해 데이터 수집 과정을 관리하는 조달 분석가에게는 프로그래밍에 직접적으로 관여하지 않고도 설정의 논리를 이해하는 것이 중요합니다. 다음은 입찰 부서에서 사용하는 단계별 도식입니다:
- 대상 포털을 정의하십시오. 모니터링해야 할 국가별 플랫폼 목록을 작성하고 공식 API가 있는지 확인하십시오 — 이는 프록시에 대한 부하를 줄입니다.
- 지리적 요구 사항을 확인하십시오. 플랫폼이 자국 이외의 요청을 차단하는 경우 (영국의 Contracts Finder와 같이), 필요한 지리적 위치에 대한 주거용 프록시를 예산에 포함하십시오.
- IP 회전을 설정하십시오. 정기적인 데이터 수집(하루에 여러 번)을 위해서는 IP를 5-15분마다 자동으로 변경해야 하며, 이는 하나의 주소에서 요청 한계를 초과하지 않도록 합니다.
- 요청 간에 지연을 추가하십시오. 인간 행동을 모방하기 위해 페이지 요청 간에 3-10초의 지연을 두는 것은 안티봇 시스템의 작동 가능성을 줄입니다.
- CAPTCHA 및 차단을 모니터링하십시오. CAPTCHA 수 증가에 대한 알림을 설정하십시오 — 이는 현재 IP 풀의 "온도가 올라갔다는" 신호이며 새로운 주소로의 회전이 필요합니다.
- 요청 기록을 보관하십시오. 각 포털에 대해 성공적이고 차단된 요청의 로그를 유지하십시오 — 이는 특정 플랫폼에 대해 어떤 유형의 프록시가 더 잘 작동하는지 이해하는 데 도움이 됩니다.
실용적인 조언:
3-4개 국가에서 동시에 입찰을 모니터링하는 경우, 모든 플랫폼에 대해 동일한 IP 풀을 사용하려고 하지 마십시오. 프록시를 국가별로 미리 나누는 것이 좋습니다 — 이는 하나의 포털에서의 차단이 다른 포털에 대한 IP의 평판에 영향을 미칠 위험을 줄입니다.
입찰 모니터링 도구
회사들은 일반적으로 처음부터 파서를 작성하지 않으며 — 보통 준비된 솔루션을 사용하거나 여러 도구를 조합합니다. 다음은 정부 조달 데이터를 수집하는 데 사용되는 주요 카테고리입니다:
- 준비된 입찰 파서 — Tenderplan, Контур.Закупки, B2B-Center와 같은 서비스는 이미 CAPTCHA 우회를 위한 논리가 내장되어 있지만, 특정 포털에 대한 설정에는 스케일링을 위한 프록시가 필요할 수 있습니다.
- No-code 파싱 플랫폼 — Octoparse, ParseHub는 코드를 작성하지 않고도 시각적 인터페이스를 통해 데이터 수집을 설정할 수 있으며, 외부 프록시 연결을 지원합니다.
- 안티탐지 브라우저 — 데이터 수집이 포털에서 인증을 요구하는 경우 (예: zakupki.gov.ru의 개인 계정), Dolphin Anty 또는 AdsPower와 같은 도구는 각기 다른 프록시와 고유한 브라우저 지문을 가진 여러 계정을 동시에 관리하는 데 도움을 줍니다.
- 포털 자체의 RSS 및 이메일 알림 — 이것이 가능할 경우 (Prozorro와 같이), 이는 적극적인 파싱 및 프록시의 필요성을 줄입니다.
도구 선택은 볼륨에 따라 다릅니다: 한 국가에서 1-2개 카테고리의 조달을 모니터링하는 경우 무료 RSS 알림으로 충분할 수 있습니다. 그러나 5-10개 국가에서의 입찰을 일일 업데이트로 모니터링하려면 파서 + 프록시 풀 + IP 회전의 조합이 필요합니다.
정부 조달 파싱 시 자주 발생하는 오류
입찰 모니터링 중 대부분의 차단은 데이터 수집의 사실 때문이 아니라, 설정의 기술적 오류로 인해 발생합니다. 다음은 차단으로 이어지는 가장 일반적인 원인입니다:
- 요청 빈도가 너무 높음. 최대 속도로 한 세션에서 모든 조달 목록을 수집하려는 시도는 거의 항상 CAPTCHA 또는 IP의 임시 차단으로 끝납니다.
- 여러 국가에 대해 동일한 IP 사용. 하나의 주소가 짧은 시간 내에 러시아 및 카자흐스탄 포털에 접근하면, 이는 두 보호 시스템 모두에 의심스럽게 보입니다.
- User-Agent 및 브라우저 헤더 무시. 좋은 프록시를 사용하더라도 "빈" 또는 오래된 브라우저 헤더를 가진 요청은 봇으로 인식될 수 있습니다.
- 장기간 모니터링 시 회전 없음. 하나의 IP에서 몇 시간 동안 지속적으로 데이터 수집을 진행하면, 첫 번째 시간 이후 차단될 확률이 기하급수적으로 증가합니다.
- 지리적 일치 무시. 네덜란드의 IP로 영국 포털에 요청을 보내면 한 번은 통과할 수 있지만, 정기적으로 접근하면 시스템이 불일치를 감지하고 확인을 요구하기 시작합니다.
공개 데이터 수집의 합법성
두 가지 개념을 구분하는 것이 중요합니다: 데이터 접근의 합법성과 포털 사용의 기술적 조건 준수(ToS). 정부 조달에 대한 정보는 대부분의 국가에서 법적으로 공개되어 있으며 — 이는 예산 자원의 투명성을 요구하는 법률의 요구 사항입니다. 그러나 특정 포털은 자동화된 접근에 대한 자체 규칙을 설정할 수 있습니다: 요청 한계, API 등록 요구 사항, 허가 없이 대량 스크래핑 금지.
실제로 대부분의 입찰 분석을 수행하는 회사들은 회색 지대에서 작업합니다: 데이터는 공개되어 있으며 수집이 정보 접근 법을 위반하지 않지만, 포털의 사용자 계약과 형식적으로 모순될 수 있습니다. 이는 형사 범죄가 아니지만, 합리적인 한계를 준수하지 않고 시스템적으로 공격적으로 파싱하는 경우 IP 주소 차단 및 포털 관리와의 법적 서신 위험이 존재합니다. 따라서 주거용 또는 데이터 센터 프록시를 통한 합리적인 IP 회전은 기술적일 뿐만 아니라 평판적인 해결책입니다: 이는 포털의 인프라에 대한 부하를 줄이고 갈등을 최소화합니다.
결론
다양한 국가에서 정부 조달 및 입찰을 모니터링하는 것은 차단 방지에 대한 접근 방식이 다릅니다. 엄격한 한계가 없는 공개 API가 있는 곳에서는 (Prozorro, 부분적으로 TED) 기본적인 IP 회전으로 충분합니다. 그러나 심각한 보호와 지리적 제한이 있는 플랫폼(SAM.gov, Contracts Finder, EIS의 특정 섹션 등)에서는 보다 심각한 인프라가 필요합니다: 필요한 지리적 위치의 주거용 프록시, 요청 간의 지연 및 실제 사용자의 행동을 신중하게 모방해야 합니다.
입찰 모니터링 시스템을 구축하기 시작하고 여러 국가에서 동시에 작업할 계획이라면, 주거용 프록시로 시작하는 것이 합리적입니다 — 이는 포털 보호 시스템의 신뢰도를 높이고 필요한 지리적 위치를 정확하게 선택할 수 있게 해줍니다. 공개 API가 있는 덜 보호된 플랫폼의 경우 데이터 센터 프록시를 사용하여 비용을 절감할 수 있습니다 — 이는 공격적인 보호가 없는 곳에서 더 빠르고 저렴합니다.