프록시를 통한 자동 정부 조달 및 입찰 모니터링: 차단 없는 설정

EIS (Zakupki.gov.ru), Sberbank-AST, RТС-тендер의 플랫폼에서 수동으로 입찰을 모니터링하는 데 매일 3-5시간이 소요됩니다. 파서를 통한 자동화는 문제를 해결하지만, 정부 플랫폼은 자동 요청을 적극적으로 차단합니다 — IP는 50-100개의 요청 후에 차단됩니다. 프록시는 이러한 제한을 우회하고 회사의 주요 IP가 차단될 위험 없이 새로운 입찰에 대한 데이터를 24시간 수집할 수 있게 해줍니다.

이 가이드에서는 다음을 다룹니다: 다양한 입찰 플랫폼에 적합한 프록시 유형, 차단 없는 자동 파싱 설정 방법, 사용할 수 있는 준비된 도구 및 차단으로 이어지는 일반적인 실수를 피하는 방법.

왜 입찰 플랫폼이 자동 요청을 차단하는가

정부 및 상업 입찰 플랫폼은 자동 데이터 수집에 대한 다단계 보호를 사용합니다. 이는 여러 가지 이유와 관련이 있습니다: 파서로 인한 서버 부하가 전체 트래픽의 60-70%에 이를 수 있으며, 경쟁자는 수집된 데이터를 덤핑하는 데 사용하고, 조달 참가자의 개인 데이터 보호 요구 사항이 존재합니다.

통합 정보 시스템 (EIS)은 가장 보호가 철저한 플랫폼입니다. 시스템은 각 요청의 다음 매개변수를 기록합니다: IP 주소, 브라우저의 User-Agent, 요청 빈도, 사이트에서의 행동 순서. 하나의 IP에서 시간당 100개 이상의 요청이 오거나 요청이 너무 고르게 이루어지면 (예: 매 5초마다) IP는 24-72시간 동안 차단됩니다. 차단은 서브넷의 전체 범위에 적용되므로 회사 전체가 피해를 볼 수 있습니다.

상업 플랫폼 (Sberbank-AST, RТС-тендер, Фабрикант)은 더 부드러운 보호를 사용하지만 의심스러운 활동을 추적합니다. 차단의 주요 트리거는: 쿠키 없음, 비활성화된 JavaScript, 페이지 간 너무 빠른 탐색 (페이지당 2초 미만), 요청 간 동일한 시간 간격입니다.

입찰 모니터링을 위한 프록시 유형 선택

입찰 플랫폼 모니터링에 적합한 프록시는 세 가지 유형이 있으며, 각각의 사용 특성이 다릅니다. 선택은 파싱의 양, 예산 및 신뢰성 요구 사항에 따라 달라집니다.

주거용 프록시는 대부분의 입찰 모니터링 작업에 최적의 선택입니다. 이들은 실제 가정 사용자 IP 주소를 사용하므로 플랫폼은 요청을 일반 사람의 행동으로 인식합니다. EIS에는 10-15분마다 회전하는 러시아 주거용 프록시를 사용하는 것이 좋습니다. 이를 통해 하루에 500-1000개의 입찰 데이터를 차단 없이 수집할 수 있습니다.

데이터 센터 프록시는 덜 보호된 상업 플랫폼에 적합합니다: RТС-тендер, Фабрикант, B2B-Center. 이들은 주거용 프록시보다 3-5배 저렴하고 더 빠르게 작동하지만, EIS는 이러한 IP를 자주 인식하고 차단합니다. 이들은 파서의 초기 테스트나 소규모 지역 플랫폼 모니터링에 사용하십시오.

모바일 프록시는 통신사 IP를 사용하므로 최대 신뢰 수준을 가지고 있습니다 (MTS, Beeline, MegaFon). 플랫폼은 이러한 주소를 거의 차단하지 않으며, 하나의 통신사 IP 뒤에는 수천 명의 실제 사용자가 있을 수 있습니다. 단점은 더 높은 비용입니다. 주거용 프록시 사용 시 차단을 경험한 경우 또는 특히 가치 있는 입찰을 처리하는 경우 모바일 프록시를 사용하십시오.

다양한 플랫폼의 보호 특징: EIS, Sberbank-AST, RТС-тендер

각 입찰 플랫폼은 파싱에 대한 고유한 보호 특징을 가지고 있습니다. 이러한 메커니즘을 이해하면 차단 위험을 최소화하도록 파서를 설정할 수 있습니다.

EIS (Zakupki.gov.ru) — 최대 보호

통합 정보 시스템은 모든 플랫폼 중에서 가장 엄격한 보호를 사용합니다. 주요 메커니즘: 하나의 IP에서 시간당 100개의 요청 제한, 쿠키 및 JavaScript 지원 필수, 리퍼러 확인 (사용자가 어디서 왔는지), 행동 요인 분석 (페이지에 머무는 시간, 마우스 움직임, 스크롤).

EIS 파싱을 위한 권장 사항: 러시아 IP를 가진 주거용 또는 모바일 프록시를 사용하고, 80-90개의 요청마다 프록시 자동 회전을 활성화하여 제한에 도달하지 않도록 하십시오. 요청 간 3-8초의 무작위 지연을 추가하고, 단순한 HTTP 요청 대신 실제 브라우저의 행동을 완전히 에뮬레이트하는 headless 브라우저 (Puppeteer, Selenium)를 사용하십시오.

Sberbank-AST — 중간 수준의 보호

Sberbank 플랫폼은 더 부드러운 제한을 사용합니다: 시간당 약 200-300개의 요청 제한, 쿠키 필수, 하지만 JavaScript는 항상 확인되지 않으며, 명백히 로봇처럼 행동할 경우 차단됩니다 (요청 간 동일한 간격, 리퍼러 없음).

Sberbank-AST에는 200개의 요청마다 회전하는 주거용 프록시로 충분합니다. 브라우저를 완전히 에뮬레이트하지 않고도 더 간단한 파싱 도구를 사용할 수 있지만, 반드시 2-5초의 무작위 지연과 올바른 User-Agent 헤더를 추가하십시오.

RТС-тендер, Фабрикант, B2B-Center — 기본 보호

상업 플랫폼은 최소한의 보호를 가지고 있습니다: 시간당 500개 이상의 요청 제한, 주요 확인 사항은 쿠키와 적절한 User-Agent이며, 데이터 센터 프록시는 드물게 차단됩니다.

이러한 플랫폼에는 기본 회전이 있는 데이터 센터 프록시도 적합합니다. 브라우저 에뮬레이션 없이 간단한 HTTP 파서를 사용할 수 있습니다. 중요한 것은 요청을 너무 자주 보내지 않는 것입니다 (요청 간 최소 1-2초) 및 주기적으로 IP를 변경하는 것입니다.

프로그래밍 없이 입찰 파싱을 위한 준비된 도구

입찰 모니터링을 위해 처음부터 코드를 작성할 필요는 없습니다. 프록시를 통해 작업을 지원하는 그래픽 인터페이스가 있는 준비된 솔루션이 있습니다.

Octoparse — 프록시 지원 및 작업 스케줄러가 있는 시각적 파서입니다. 그래픽 인터페이스를 통해 모든 입찰 플랫폼을 위한 파서를 생성할 수 있습니다: 수집해야 할 페이지 요소 (입찰 번호, 주문자, 금액, 마감일)를 클릭하기만 하면 프로그램이 자동으로 파싱 알고리즘을 생성합니다. 설정에서 프록시 목록을 지정할 수 있으며, Octoparse는 이를 자동으로 회전합니다. 비용은 월 $75부터 시작하며, 제한이 있는 무료 버전도 있습니다.

ParseHub — Octoparse의 유사 제품으로, 더 간단한 인터페이스를 가지고 있습니다. 초보자에게 적합합니다. JavaScript 사이트 지원 (EIS에 중요), 프록시를 통한 작업, Excel/Google Sheets로 데이터 내보내기 지원합니다. 무료 버전은 최대 5개의 파싱 프로젝트를 생성할 수 있습니다. 유료 버전은 월 $149부터 시작하며, 일정에 따라 파싱을 실행할 수 있는 기능이 있습니다 (예: 매 2시간마다 새로운 입찰 확인).

Screaming Frog SEO Spider — 원래 SEO 도구이지만 구조화된 데이터 파싱에 매우 적합합니다. 프록시를 지원하며, 지정된 CSS 선택자로 페이지에서 데이터를 수집할 수 있습니다. 단점은 페이지의 HTML 구조를 약간 이해해야 한다는 것입니다. 비용은 연 £149 (약 15,000 루블)로, 유사 제품보다 저렴합니다.

전문 입찰 모니터링 서비스 — Контур.Закупки, Тендер.Про, B2B-Center는 이미 필터 및 알림이 있는 내장 모니터링 시스템을 가지고 있습니다. 이들은 서비스의 이름으로 작업하므로 프록시 설정이 필요하지 않습니다. 비용은 추적하는 카테고리 수에 따라 월 5,000에서 30,000 루블입니다. 단점은 서비스의 기능에 의존하게 되며 추가 데이터를 수집하거나 자신의 CRM에 통합할 수 없다는 것입니다.

프록시를 통한 모니터링 설정 단계별 가이드 (20분)

Octoparse를 예로 들어 자동 입찰 모니터링 설정을 살펴보겠습니다 — 가장 인기 있는 그래픽 인터페이스 도구 중 하나입니다. 이 예는 EIS, Sberbank-AST 및 기타 플랫폼 모니터링에 적합합니다.

1단계: 프록시 받기. 프록시 공급자에 등록하고 IP 주소 목록과 포트 및 인증 정보를 받으십시오. EIS 모니터링을 위해 최소 10개의 러시아 주거용 프록시와 자동 회전이 권장됩니다. 공급자는 다음 형식으로 데이터를 제공합니다: IP:PORT:USERNAME:PASSWORD (예: 185.123.45.67:8000:user123:pass456).

2단계: Octoparse 설치 및 설정. 공식 웹사이트에서 Octoparse를 다운로드하여 컴퓨터에 설치합니다. 실행 후, EIS에서 입찰 검색 결과 페이지의 URL을 입력하여 새로운 파싱 프로젝트를 생성합니다 (예: 귀하의 지역에서 "장비"라는 키워드로 검색).

3단계: Octoparse에서 프록시 설정. 설정 → 프록시 설정을 엽니다. "사용자 정의 프록시 사용" 모드를 선택합니다. IP, 포트, 유형 (HTTP 또는 SOCKS5), 로그인 및 비밀번호를 지정하여 프록시를 목록에 추가합니다. "각 요청에 대해 프록시 회전" 옵션을 활성화하십시오 — 이는 프로그램이 각 요청 후에 프록시를 변경하여 부하를 분산시키고 차단을 피하게 합니다.

4단계: 파싱 알고리즘 생성. 시각적 구성기 모드에서 수집해야 할 페이지 요소를 클릭합니다: 조달 번호, 이름, 주문자, 시작 가격, 신청 마감일, 지역. Octoparse는 자동으로 데이터 구조를 식별하고 수집 알고리즘을 생성합니다. 처음 5-10개의 기록에서 결과를 확인하십시오 — 프로그램이 파싱의 미리보기 결과를 보여줍니다.

5단계: 페이지 매김 설정. 입찰 플랫폼은 결과를 페이지별로 표시합니다 (일반적으로 페이지당 10-50개의 입찰). Octoparse에서 "페이지 매김 버튼 클릭" 작업을 추가하고 "다음 페이지" 버튼을 지정합니다. 프로그램은 자동으로 페이지를 전환하고 모든 결과를 수집합니다.

6단계: 지연 추가. 파서 설정에서 요청 간 무작위 지연을 설정합니다: 최소 3초, 최대 8초. 이는 실제 사용자의 행동을 모방하고 차단 위험을 줄입니다. 각 페이지 로드 후 5-10초의 지연도 추가하십시오 — 이는 JavaScript 요소가 완전히 로드될 시간을 제공합니다.

7단계: 일정 설정. "작업 일정" 섹션에서 자동 파싱 시작을 설정합니다. 새로운 입찰을 모니터링하기 위해 작업 시간 동안 2-4시간마다 확인하는 것이 최적입니다. 예: 9:00, 13:00, 17:00, 21:00. 이는 하루 동안 새로운 게시물을 추적할 수 있게 하며 플랫폼에 과도한 부하를 주지 않습니다.

8단계: 데이터 내보내기. 수집된 데이터를 편리한 형식으로 자동 내보내기를 설정합니다: Excel, Google Sheets, MySQL 데이터베이스 또는 API를 통해 귀하의 CRM 시스템으로 전송합니다. Octoparse는 각 파서 실행 후 새로운 데이터를 자동으로 전송할 수 있어, 새로운 입찰에 대한 실시간 알림을 받을 수 있습니다.

프록시 회전 및 요청 간 지연 설정

프록시 회전 및 지연을 올바르게 설정하는 것은 차단 없이 성공적인 파싱의 핵심 요소입니다. 품질이 좋은 프록시를 사용하더라도 잘못된 구성은 차단으로 이어질 수 있습니다.

프록시 회전 전략: 파싱 중 IP 주소 변경에 대한 세 가지 주요 접근 방식이 있습니다.

요청 후 회전 — 가장 안전하지만 느린 방법입니다. 각 요청은 새로운 IP로 진행됩니다. 대량의 데이터를 파싱할 때 EIS에 적합합니다 (1000개 이상의 입찰). 단점은 프록시를 통해 새로운 연결을 설정하는 데 200-500 ms가 소요되어 파싱 시간이 증가합니다.

요청 수에 따른 회전 — 속도와 안전성의 최적 균형입니다. 하나의 프록시는 50-100개의 요청에 사용되며, 이후 다음으로 변경됩니다. EIS에는 80개의 요청마다 프록시를 변경하는 것이 좋습니다 (100의 제한보다 약간 낮음). 상업 플랫폼의 경우 하나의 IP에서 200-300개의 요청으로 늘릴 수 있습니다.

시간에 따른 회전 — 요청 수와 관계없이 10-15분마다 IP를 변경합니다. 낮은 강도로 장시간 파싱할 때 적합합니다 (예: 하루 동안 업데이트 모니터링). 일부 프록시 공급자는 시간에 따른 자동 회전을 제공하며, 하나의 프록시 URL을 제공하지만 IP는 자동으로 N분마다 변경됩니다.

요청 간 지연 설정: 사람은 페이지 간 즉시 전환할 수 없습니다 — 읽기, 스크롤, 클릭할 시간이 필요합니다. 파서는 이러한 행동을 모방해야 합니다.

반드시 무작위 지연을 지정된 범위 내에서 사용하는 것이 중요합니다. 파서가 정확히 5초마다 요청을 보내면 보호 시스템이 로봇을 쉽게 식별할 수 있습니다. 모든 인기 있는 파싱 도구에는 무작위 지연 기능이 있습니다.

차단으로 이어지는 일반적인 실수

품질이 좋은 프록시를 사용하더라도, 파서가 설정의 기술적 오류로 인해 차단될 수 있습니다. 다음은 가장 일반적인 문제와 해결 방법입니다.

오류 1: 동일한 User-Agent 사용. User-Agent는 사이트에 어떤 브라우저와 운영 체제가 사용되는지를 알려주는 문자열입니다. 모든 요청이 동일한 User-Agent (예: Python 라이브러리 requests의 기본값)로 진행되면 이는 명백한 봇의 징후입니다. 해결 방법: 다양한 브라우저 (Chrome, Firefox, Safari)와 운영 체제 (Windows, macOS, Linux)를 위한 10-20개의 인기 있는 User-Agent 목록을 사용하고, 각 요청 시 무작위로 회전시키십시오.

오류 2: 쿠키 비활성화. 대부분의 사이트는 첫 방문 시 쿠키를 설정하고, 이후 요청에서 쿠키의 존재를 확인합니다. 파서가 쿠키를 저장하지 않으면 각 요청이 새로운 장치에서의 첫 방문처럼 보이게 되어 의심스럽습니다. 해결 방법: 파서 설정에서 쿠키 지원을 활성화하십시오. Octoparse와 ParseHub는 이를 자동으로 수행합니다. Python에서 자체 파서를 작성하는 경우 requests.Session() 라이브러리를 사용하십시오 — 이는 요청 간 쿠키를 자동으로 저장합니다.

오류 3: JavaScript 실행 없이 파싱. 현대의 웹사이트는 콘텐츠 로드를 위해 JavaScript를 적극적으로 사용합니다. 파서가 HTML 코드만 다운로드하고 JavaScript를 실행하지 않으면 불완전한 데이터를 얻고, 서버는 의심스러운 행동을 기록합니다. 해결 방법: 페이지를 완전히 로드하고 JavaScript를 실행하며 동적 콘텐츠를 로드하기 위해 스크롤할 수 있는 headless 브라우저 (Puppeteer, Selenium, Playwright)를 사용하십시오.

오류 4: CAPTCHA 무시. 일부 플랫폼은 의심스러운 활동이 있을 때 CAPTCHA를 표시합니다. 파서가 CAPTCHA를 해결할 수 없으면 멈추고 반복 요청을 보내기 시작하여 IP가 차단됩니다. 해결 방법: CAPTCHA 자동 해결 서비스 (2Captcha, Anti-Captcha)를 사용하십시오 — 이들은 1000개의 해결된 CAPTCHA당 약 $1-3의 비용이 듭니다. 대부분의 파싱 도구는 이러한 서비스와의 통합을 내장하고 있습니다.

오류 5: 피크 시간대에 파싱. 평일 10:00부터 16:00까지 입찰 플랫폼에서 사용자 활동이 최대가 되며, 보호 시스템이 가장 엄격하게 작동합니다. 이 시간대에 집중적으로 파싱하면 더 빨리 차단됩니다. 해결 방법: 주요 파싱 작업은 저녁 시간 (18:00-23:00) 또는 밤에 실행하십시오. 근무 시간에는 최소한의 강도로 새로운 입찰을 점검하십시오.

오류 6: "더러운" 프록시 사용. 일부 저렴한 프록시 공급자는 이미 스팸이나 다른 의심스러운 활동에 사용된 IP를 판매하며, 이들은 블랙리스트에 올라 있습니다. 해결 방법: 대량 사용 전에 프록시를 테스트하십시오. 각 새로운 프록시에서 플랫폼에 20-30개의 테스트 요청을 보내고 CAPTCHA나 차단이 발생하는지 확인하십시오. 프록시가 "더럽다면", 공급자에게 교체 요청하십시오.

10개 이상의 플랫폼 동시 모니터링

기본적으로 1-2개의 플랫폼 모니터링이 설정되고 안정적으로 작동하면, 시장의 최대 범위를 얻기 위해 수십 개의 입찰 플랫폼을 동시에 파싱하는 확장 작업이 필요합니다.

플랫폼 간 프록시 분배. 서로 다른 플랫폼에 대해 동일한 프록시를 동시에 사용하지 마십시오. 프록시 풀을 생성하십시오: 예를 들어, EIS에 10개의 프록시, Sberbank-AST에 5개, RТС-тендер에 5개 등. 이는 한 플랫폼에서의 차단이 다른 플랫폼에서의 파서 작업에 영향을 미치는 상황을 예방합니다.

플랫폼 우선순위 설정. 모든 입찰 플랫폼이 귀하의 비즈니스에 동일하게 중요하지 않습니다. 가장 많은 관련 입찰이 게시되는 3-5개의 주요 플랫폼을 식별하고, 이들에게 더 많은 자원을 할당하십시오: 최고의 프록시, 더 빈번한 점검, 더 자세한 파싱 (문서 수집 포함). 나머지 플랫폼에는 기본적인 입찰 매개변수만 모니터링하십시오.

데이터 처리 자동화. 10개 이상의 플랫폼을 파싱할 경우 매일 수백 개의 새로운 입찰을 받게 됩니다. 수동 처리는 불가능합니다. 주요 키워드, 주문자 지역, 시작 가격 범위, 신청 마감일에 따라 자동 필터링을 설정하십시오. 모든 필터를 통과한 입찰만 수동 검토 목록에 포함됩니다.

CRM 및 알림 시스템과의 통합. 필터링된 입찰을 귀하의 CRM 시스템이나 기업 메신저 (Slack, Telegram, Microsoft Teams)로 자동 전송하도록 설정하십시오. 관리자는 새로운 적합한 입찰에 대한 실시간 알림을 받고, 참여 결정을 신속하게 내릴 수 있습니다.

파서 작업 모니터링. 여러 플랫폼을 사용할 때 각 파서의 상태를 추적하는 것이 매우 중요합니다. 각 파서가 마지막으로 언제 실행되었는지, 얼마나 많은 입찰을 수집했는지, 오류나 차단이 있었는지 등을 볼 수 있는 대시보드를 설정하십시오. Octoparse와 같은 도구는 내장된 대시보드를 가지고 있습니다. 자체 스크립트를 사용하는 경우 Google Sheets 또는 Grafana와 같은 전문 모니터링 시스템에 로그 기록을 설정할 수 있습니다.

결론

프록시를 통한 정부 및 상업 입찰 모니터링 자동화는 새로운 조달에 대한 정보를 실시간으로 제공하고, 수동 검색에서 매일 최대 4시간을 절약하며, 제출된 신청서 수를 30-50% 증가시킬 수 있습니다. 성공의 핵심 요소: 플랫폼에 따라 적절한 프록시 유형 선택, IP 회전 및 요청 간 지연의 올바른 설정, JavaScript 및 쿠키 지원 도구 사용.

EIS와 같은 보호된 플랫폼 모니터링을 위해 러시아 IP 주소를 가진 주거용 또는 모바일 프록시를 사용하십시오 — 최대 신뢰 수준과 최소 차단 위험을 보장합니다. 기본 보호가 있는 상업 플랫폼에는 더 저렴한 데이터 센터 프록시가 적합합니다. 2-3개의 주요 플랫폼에서 자동화를 시작하고 설정을 다듬은 후, 귀하의 산업 전체의 입찰 시장으로 시스템을 확장하십시오.

24시간 입찰 플랫폼 모니터링을 설정할 계획이라면, 주거용 프록시를 사용하는 것이 좋습니다 — 이는 보호된 정부 플랫폼에 대한 높은 요청 강도에서도 차단 없이 파서가 안정적으로 작동할 수 있도록 보장합니다.