Giám sát tự động các đấu thầu và mua sắm công qua proxy: cấu hình không bị chặn

Giám sát thủ công các đấu thầu trên các nền tảng EIS (Zakupki.gov.ru), Sberbank-AST, RTS-tender mất từ 3-5 giờ mỗi ngày. Tự động hóa qua các trình phân tích giải quyết vấn đề này, nhưng các nền tảng nhà nước tích cực chặn các yêu cầu tự động — IP sẽ bị cấm sau 50-100 yêu cầu. Proxy cho phép vượt qua các hạn chế và thu thập dữ liệu về các đấu thầu mới 24/7 mà không có rủi ro bị chặn IP chính của công ty.

Trong hướng dẫn này, chúng ta sẽ xem xét: loại proxy nào phù hợp cho các nền tảng đấu thầu khác nhau, cách thiết lập phân tích tự động không bị chặn, các công cụ sẵn có để sử dụng và cách tránh những lỗi phổ biến dẫn đến việc bị cấm.

Tại sao các nền tảng đấu thầu chặn các yêu cầu tự động

Các nền tảng đấu thầu nhà nước và thương mại sử dụng bảo vệ đa tầng chống lại việc thu thập dữ liệu tự động. Điều này liên quan đến một số lý do: tải trên các máy chủ từ các trình phân tích có thể đạt tới 60-70% tổng lưu lượng truy cập, các đối thủ sử dụng dữ liệu thu thập được để phá giá, và cũng có yêu cầu về bảo vệ dữ liệu cá nhân của các bên tham gia đấu thầu.

Hệ thống thông tin thống nhất (EIS) — nền tảng được bảo vệ nhất. Hệ thống ghi lại các tham số sau của mỗi yêu cầu: địa chỉ IP, User-Agent của trình duyệt, tần suất yêu cầu, chuỗi hành động trên trang web. Nếu từ một IP nhận được hơn 100 yêu cầu mỗi giờ hoặc các yêu cầu diễn ra quá đều đặn (ví dụ, mỗi 5 giây), IP sẽ bị chặn trong 24-72 giờ. Việc chặn này áp dụng cho toàn bộ dải địa chỉ mạng con, vì vậy toàn bộ công ty có thể bị ảnh hưởng.

Các nền tảng thương mại (Sberbank-AST, RTS-tender, Fabrykant) sử dụng bảo vệ nhẹ hơn, nhưng cũng theo dõi hoạt động đáng ngờ. Ba yếu tố chính dẫn đến việc bị chặn: không có cookies, JavaScript bị tắt, điều hướng quá nhanh giữa các trang (dưới 2 giây mỗi trang), khoảng thời gian giống nhau giữa các yêu cầu.

Loại proxy nào nên chọn để giám sát đấu thầu

Để giám sát các nền tảng đấu thầu, có ba loại proxy phù hợp, mỗi loại có đặc điểm sử dụng riêng. Việc lựa chọn phụ thuộc vào khối lượng phân tích, ngân sách và yêu cầu về độ tin cậy.

Proxy dân cư là lựa chọn tối ưu cho hầu hết các nhiệm vụ giám sát đấu thầu. Chúng sử dụng địa chỉ IP của người dùng thực, vì vậy các nền tảng coi các yêu cầu như hành động của người bình thường. Đối với EIS, nên sử dụng proxy dân cư của Nga với chu kỳ quay vòng mỗi 10-15 phút. Điều này cho phép thu thập dữ liệu về 500-1000 đấu thầu mỗi ngày mà không bị chặn.

Proxy trung tâm dữ liệu phù hợp cho các nền tảng thương mại ít bảo vệ hơn: RTS-tender, Fabrykant, B2B-Center. Chúng rẻ hơn từ 3-5 lần so với proxy dân cư và hoạt động nhanh hơn, nhưng EIS thường nhận diện và chặn các IP như vậy. Sử dụng chúng cho việc thử nghiệm ban đầu của trình phân tích hoặc giám sát các nền tảng khu vực nhỏ.

Proxy di động có mức độ tin cậy tối đa, vì chúng sử dụng IP của các nhà mạng (MTS, Beeline, MegaFon). Các nền tảng gần như không bao giờ chặn các địa chỉ như vậy, vì một IP của nhà mạng có thể phục vụ hàng nghìn người dùng thực. Nhược điểm — chi phí cao hơn. Sử dụng proxy di động nếu bạn làm việc với các đấu thầu đặc biệt giá trị hoặc đã từng bị chặn khi sử dụng proxy dân cư.

Đặc điểm bảo vệ của các nền tảng khác nhau: EIS, Sberbank-AST, RTS-tender

Mỗi nền tảng đấu thầu có những đặc điểm bảo vệ riêng chống lại việc phân tích. Hiểu các cơ chế này cho phép thiết lập trình phân tích sao cho giảm thiểu rủi ro bị chặn.

EIS (Zakupki.gov.ru) — bảo vệ tối đa

Hệ thống thông tin thống nhất sử dụng bảo vệ nghiêm ngặt nhất trong số tất cả các nền tảng. Các cơ chế chính: giới hạn 100 yêu cầu mỗi giờ từ một IP, bắt buộc phải hỗ trợ cookies và JavaScript, kiểm tra referrer (nguồn gốc của người dùng), phân tích các yếu tố hành vi (thời gian trên trang, chuyển động chuột, cuộn trang).

Khuyến nghị cho việc phân tích EIS: sử dụng proxy dân cư hoặc di động với IP của Nga, bật quay vòng tự động cho proxy mỗi 80-90 yêu cầu (để không đạt đến giới hạn), thêm độ trễ ngẫu nhiên giữa các yêu cầu từ 3 đến 8 giây, sử dụng trình duyệt headless (Puppeteer, Selenium) thay vì các yêu cầu HTTP đơn giản — chúng hoàn toàn mô phỏng hành vi của trình duyệt thực.

Sberbank-AST — mức độ bảo vệ trung bình

Nền tảng của Sberbank sử dụng các hạn chế nhẹ hơn: giới hạn khoảng 200-300 yêu cầu mỗi giờ, bắt buộc phải có cookies, nhưng JavaScript không phải lúc nào cũng được kiểm tra, việc chặn xảy ra khi có hành vi rõ ràng của robot (khoảng thời gian giống nhau giữa các yêu cầu, không có referrer).

Đối với Sberbank-AST, chỉ cần sử dụng proxy dân cư với quay vòng mỗi 200 yêu cầu. Có thể sử dụng các công cụ phân tích đơn giản hơn mà không cần mô phỏng hoàn toàn trình duyệt, nhưng nhất thiết phải thêm độ trễ ngẫu nhiên từ 2-5 giây và tiêu đề User-Agent chính xác.

RTS-tender, Fabrykant, B2B-Center — bảo vệ cơ bản

Các nền tảng thương mại có bảo vệ tối thiểu: giới hạn 500+ yêu cầu mỗi giờ, kiểm tra chính là sự hiện diện của cookies và User-Agent hợp lý, hiếm khi chặn các proxy trung tâm dữ liệu.

Đối với các nền tảng này, ngay cả các proxy trung tâm dữ liệu với quay vòng cơ bản cũng phù hợp. Có thể sử dụng các trình phân tích HTTP đơn giản mà không cần mô phỏng trình duyệt. Điều quan trọng là không gửi các yêu cầu quá thường xuyên (tối thiểu 1-2 giây giữa các yêu cầu) và thay đổi IP định kỳ.

Công cụ sẵn có để phân tích đấu thầu không cần lập trình

Để giám sát các đấu thầu, không nhất thiết phải viết mã từ đầu. Có những giải pháp sẵn có với giao diện đồ họa hỗ trợ làm việc qua proxy.

Octoparse — trình phân tích trực quan với hỗ trợ proxy và lập lịch công việc. Cho phép tạo trình phân tích cho bất kỳ nền tảng đấu thầu nào qua giao diện đồ họa: bạn chỉ cần nhấp vào các phần tử trên trang cần thu thập (số đấu thầu, nhà thầu, số tiền, ngày hết hạn), và chương trình sẽ tự động tạo thuật toán phân tích. Trong cài đặt, bạn có thể chỉ định danh sách proxy, và Octoparse sẽ tự động quay vòng chúng. Chi phí — từ $75/tháng, có phiên bản miễn phí với các giới hạn.

ParseHub — tương tự như Octoparse với giao diện đơn giản hơn. Rất phù hợp cho người mới bắt đầu. Hỗ trợ các trang web JavaScript (quan trọng cho EIS), làm việc qua proxy, xuất dữ liệu sang Excel/Google Sheets. Phiên bản miễn phí cho phép tạo tối đa 5 dự án phân tích. Phiên bản trả phí — từ $149/tháng với khả năng chạy phân tích theo lịch trình (ví dụ, kiểm tra các đấu thầu mới mỗi 2 giờ).

Screaming Frog SEO Spider — công cụ ban đầu cho SEO, nhưng rất phù hợp cho việc phân tích dữ liệu có cấu trúc. Hỗ trợ proxy, có thể thu thập dữ liệu từ các trang theo các bộ chọn CSS được chỉ định. Nhược điểm — cần hiểu một chút về cấu trúc HTML của các trang. Chi phí — £149/năm (khoảng 15.000 rúp), rẻ hơn so với các công cụ tương tự.

Các dịch vụ giám sát đấu thầu chuyên biệt — Kontur.Zakupki, Tender.Pro, B2B-Center đã có hệ thống giám sát tích hợp với các bộ lọc và thông báo. Chúng không yêu cầu thiết lập proxy, vì chúng hoạt động từ phía dịch vụ. Chi phí — từ 5.000 đến 30.000 rúp mỗi tháng tùy thuộc vào số lượng danh mục theo dõi. Nhược điểm — bạn phụ thuộc vào khả năng của dịch vụ và không thể thu thập dữ liệu bổ sung hoặc tích hợp chúng vào CRM của mình.

Hướng dẫn từng bước thiết lập giám sát qua proxy trong 20 phút

Hãy xem xét việc thiết lập giám sát tự động các đấu thầu bằng ví dụ về Octoparse — một trong những công cụ phổ biến nhất với giao diện đồ họa. Ví dụ này phù hợp cho việc giám sát EIS, Sberbank-AST và các nền tảng khác.

Bước 1: Nhận proxy. Đăng ký với nhà cung cấp proxy và nhận danh sách địa chỉ IP với cổng và thông tin xác thực. Để giám sát EIS, nên có tối thiểu 10 proxy dân cư của Nga với quay vòng tự động. Nhà cung cấp sẽ cung cấp dữ liệu theo định dạng: IP:PORT:USERNAME:PASSWORD (ví dụ, 185.123.45.67:8000:user123:pass456).

Bước 2: Cài đặt và cấu hình Octoparse. Tải Octoparse từ trang web chính thức và cài đặt trên máy tính. Sau khi khởi động, tạo một dự án phân tích mới bằng cách nhập URL của trang kết quả tìm kiếm đấu thầu trên EIS (ví dụ, tìm kiếm theo từ khóa "thiết bị" trong khu vực của bạn).

Bước 3: Cấu hình proxy trong Octoparse. Mở Cài đặt → Cài đặt Proxy. Chọn chế độ "Sử dụng proxy tùy chỉnh". Thêm các proxy của bạn vào danh sách, chỉ định IP, cổng, loại (HTTP hoặc SOCKS5), tên đăng nhập và mật khẩu. Bật tùy chọn "Quay vòng proxy cho mỗi yêu cầu" — điều này sẽ khiến chương trình thay đổi proxy sau mỗi yêu cầu, phân phối tải và tránh bị chặn.

Bước 4: Tạo thuật toán phân tích. Trong chế độ trình tạo trực quan, nhấp vào các phần tử trên trang cần thu thập: số đấu thầu, tên, nhà thầu, giá khởi điểm, ngày hết hạn nộp đơn, khu vực. Octoparse sẽ tự động xác định cấu trúc dữ liệu và tạo thuật toán thu thập. Kiểm tra kết quả trên 5-10 bản ghi đầu tiên — chương trình sẽ hiển thị kết quả sơ bộ của việc phân tích.

Bước 5: Thiết lập phân trang. Các nền tảng đấu thầu hiển thị kết quả theo trang (thường là 10-50 đấu thầu trên mỗi trang). Trong Octoparse, thêm hành động "Nhấp vào nút phân trang" và chỉ định nút "Trang tiếp theo". Chương trình sẽ tự động chuyển qua các trang và thu thập tất cả các kết quả.

Bước 6: Thêm độ trễ. Trong cài đặt của trình phân tích, thiết lập độ trễ ngẫu nhiên giữa các yêu cầu: tối thiểu 3 giây, tối đa 8 giây. Điều này mô phỏng hành vi của người dùng thực và giảm rủi ro bị chặn. Ngoài ra, thêm độ trễ 5-10 giây sau khi tải mỗi trang — điều này cho phép các phần tử JavaScript hoàn toàn tải xong.

Bước 7: Thiết lập lịch trình. Trong phần "Lịch trình tác vụ", thiết lập tự động khởi động phân tích. Để giám sát các đấu thầu mới, tốt nhất là khởi động kiểm tra mỗi 2-4 giờ trong giờ làm việc. Ví dụ: 9:00, 13:00, 17:00, 21:00. Điều này sẽ cho phép theo dõi các công bố mới trong suốt cả ngày mà không gây quá tải cho nền tảng.

Bước 8: Xuất dữ liệu. Thiết lập xuất tự động các dữ liệu thu thập được sang định dạng tiện lợi: Excel, Google Sheets, cơ sở dữ liệu MySQL hoặc gửi qua API vào hệ thống CRM của bạn. Octoparse có thể tự động gửi dữ liệu mới sau mỗi lần khởi động trình phân tích, cho phép nhận thông báo về các đấu thầu mới trong thời gian thực.

Thiết lập quay vòng proxy và độ trễ giữa các yêu cầu

Việc thiết lập đúng quay vòng proxy và độ trễ là yếu tố then chốt cho việc phân tích thành công mà không bị chặn. Ngay cả với các proxy chất lượng, cấu hình sai sẽ dẫn đến việc bị cấm.

Chiến lược quay vòng proxy: Có ba phương pháp chính để thay đổi địa chỉ IP trong quá trình phân tích.

Quay vòng sau mỗi yêu cầu — phương pháp an toàn nhất nhưng chậm nhất. Mỗi yêu cầu đến nền tảng đều sử dụng một IP mới. Phù hợp cho EIS khi phân tích khối lượng dữ liệu lớn (1000+ đấu thầu). Nhược điểm — làm tăng thời gian phân tích, vì việc thiết lập kết nối mới qua proxy mất 200-500 ms.

Quay vòng theo số lượng yêu cầu — sự cân bằng tối ưu giữa tốc độ và an toàn. Một proxy được sử dụng cho 50-100 yêu cầu, sau đó sẽ chuyển sang proxy tiếp theo. Đối với EIS, nên thay đổi proxy mỗi 80 yêu cầu (một chút dưới giới hạn 100). Đối với các nền tảng thương mại, có thể tăng lên 200-300 yêu cầu cho mỗi IP.

Quay vòng theo thời gian — thay đổi IP mỗi 10-15 phút không phụ thuộc vào số lượng yêu cầu. Phù hợp cho việc phân tích kéo dài với cường độ thấp (ví dụ, giám sát các cập nhật trong suốt cả ngày). Một số nhà cung cấp proxy cung cấp quay vòng tự động theo thời gian — bạn nhận được một URL proxy, nhưng IP sẽ tự động thay đổi mỗi N phút.

Thiết lập độ trễ giữa các yêu cầu: Con người không thể chuyển đổi giữa các trang ngay lập tức — họ cần thời gian để đọc, cuộn, nhấp chuột. Trình phân tích cần mô phỏng hành vi này.

Quan trọng là sử dụng độ trễ ngẫu nhiên trong khoảng đã chỉ định. Nếu trình phân tích gửi yêu cầu chính xác mỗi 5 giây, hệ thống bảo vệ sẽ dễ dàng xác định robot. Chức năng độ trễ ngẫu nhiên có trong tất cả các công cụ phân tích phổ biến.

Những lỗi phổ biến dẫn đến việc bị chặn

Ngay cả khi sử dụng các proxy chất lượng, trình phân tích cũng có thể bị chặn do lỗi kỹ thuật trong cấu hình. Dưới đây là những vấn đề phổ biến nhất và cách giải quyết chúng.

Lỗi 1: Sử dụng User-Agent giống nhau. User-Agent là chuỗi thông báo cho trang web biết trình duyệt và hệ điều hành nào đang được sử dụng. Nếu tất cả các yêu cầu đến từ cùng một User-Agent (ví dụ, mặc định cho thư viện requests của Python), đây là dấu hiệu rõ ràng của robot. Giải pháp: sử dụng danh sách 10-20 User-Agent phổ biến cho các trình duyệt khác nhau (Chrome, Firefox, Safari) và các hệ điều hành (Windows, macOS, Linux), và quay vòng chúng ngẫu nhiên trong mỗi yêu cầu.

Lỗi 2: Tắt cookies. Hầu hết các trang web thiết lập cookies khi lần đầu tiên truy cập và kiểm tra sự hiện diện của chúng trong các yêu cầu tiếp theo. Nếu trình phân tích không lưu cookies, mỗi yêu cầu sẽ giống như lần truy cập đầu tiên từ một thiết bị mới, điều này rất đáng ngờ. Giải pháp: bật hỗ trợ cookies trong cài đặt của trình phân tích. Trong Octoparse và ParseHub, điều này được thực hiện tự động. Nếu bạn viết trình phân tích riêng trên Python, hãy sử dụng thư viện requests.Session() — nó tự động lưu cookies giữa các yêu cầu.

Lỗi 3: Phân tích mà không thực hiện JavaScript. Các trang web hiện đại, bao gồm cả EIS, sử dụng JavaScript để tải nội dung. Nếu trình phân tích chỉ tải mã HTML của trang mà không thực hiện JavaScript, nó sẽ nhận được dữ liệu không đầy đủ và máy chủ sẽ ghi nhận hành vi đáng ngờ. Giải pháp: sử dụng trình duyệt headless (Puppeteer, Selenium, Playwright), chúng hoàn toàn tải trang, thực hiện JavaScript và thậm chí có thể cuộn trang để tải nội dung động.

Lỗi 4: Bỏ qua captcha. Một số nền tảng hiển thị captcha khi có hoạt động đáng ngờ. Nếu trình phân tích không thể giải captcha, nó sẽ bị treo và bắt đầu gửi yêu cầu lặp lại, dẫn đến việc IP bị chặn. Giải pháp: sử dụng các dịch vụ giải captcha tự động (2Captcha, Anti-Captcha) — chúng có giá khoảng $1-3 cho 1000 captcha đã giải. Hầu hết các công cụ phân tích đều có tích hợp sẵn với các dịch vụ như vậy.

Lỗi 5: Phân tích trong giờ cao điểm. Từ 10:00 đến 16:00 vào các ngày làm việc, các nền tảng đấu thầu có hoạt động tối đa của người dùng, và hệ thống bảo vệ hoạt động nghiêm ngặt nhất. Việc phân tích cường độ cao trong thời gian này sẽ nhanh chóng dẫn đến việc bị chặn. Giải pháp: thực hiện phần lớn việc phân tích vào buổi tối (18:00-23:00) hoặc vào ban đêm. Trong giờ làm việc, chỉ thực hiện các kiểm tra điểm về các đấu thầu mới với cường độ tối thiểu.

Lỗi 6: Sử dụng proxy "bẩn". Một số nhà cung cấp proxy giá rẻ bán các IP đã được sử dụng cho spam hoặc các hoạt động đáng ngờ khác và nằm trong danh sách đen. Giải pháp: kiểm tra proxy trước khi sử dụng hàng loạt. Gửi 20-30 yêu cầu thử nghiệm đến nền tảng từ mỗi proxy mới và kiểm tra xem có captcha hoặc bị chặn không. Nếu proxy "bẩn", hãy thay thế nó từ nhà cung cấp.

Mở rộng: giám sát 10+ nền tảng cùng lúc

Khi việc giám sát cơ bản một hoặc hai nền tảng đã được thiết lập và hoạt động ổn định, nhiệm vụ mở rộng sẽ xuất hiện — phân tích đồng thời hàng chục nền tảng đấu thầu để đạt được phạm vi thị trường tối đa.

Phân phối proxy giữa các nền tảng. Không sử dụng cùng một proxy cho các nền tảng khác nhau cùng một lúc. Tạo các nhóm proxy: ví dụ, 10 proxy cho EIS, 5 cho Sberbank-AST, 5 cho RTS-tender và v.v. Điều này sẽ ngăn chặn tình huống mà việc bị chặn trên một nền tảng ảnh hưởng đến hoạt động của trình phân tích trên nền tảng khác.

Ưu tiên các nền tảng. Không phải tất cả các nền tảng đấu thầu đều quan trọng như nhau đối với doanh nghiệp của bạn. Xác định 3-5 nền tảng chính, nơi có nhiều đấu thầu liên quan nhất, và phân bổ nhiều tài nguyên hơn cho chúng: proxy tốt nhất, kiểm tra thường xuyên hơn, phân tích chi tiết hơn (bao gồm cả thu thập tài liệu). Đối với các nền tảng khác, chỉ sử dụng giám sát cơ bản cho các thông số chính của đấu thầu.

Tự động hóa xử lý dữ liệu. Khi phân tích 10+ nền tảng, bạn sẽ nhận được hàng trăm đấu thầu mới mỗi ngày. Việc xử lý thủ công là không thể. Thiết lập lọc tự động: theo từ khóa trong tiêu đề đấu thầu, theo khu vực của nhà thầu, theo khoảng giá khởi điểm, theo ngày hết hạn nộp đơn. Chỉ các đấu thầu đã vượt qua tất cả các bộ lọc mới được đưa vào danh sách để kiểm tra thủ công.

Tích hợp với CRM và hệ thống thông báo. Thiết lập tự động gửi các đấu thầu đã lọc vào hệ thống CRM của bạn hoặc ứng dụng nhắn tin doanh nghiệp (Slack, Telegram, Microsoft Teams). Các quản lý sẽ nhận được thông báo về các đấu thầu phù hợp mới trong thời gian thực và có thể nhanh chóng đưa ra quyết định tham gia.

Giám sát hoạt động của các trình phân tích. Khi làm việc với nhiều nền tảng, việc theo dõi trạng thái của mỗi trình phân tích là rất quan trọng. Thiết lập bảng điều khiển, nơi có thể thấy: lần cuối cùng mỗi trình phân tích được khởi động, số lượng đấu thầu đã thu thập, có lỗi hoặc bị chặn không. Các công cụ như Octoparse có bảng điều khiển tích hợp sẵn. Nếu bạn sử dụng các kịch bản riêng, có thể thiết lập ghi nhật ký vào Google Sheets hoặc các hệ thống giám sát chuyên dụng như Grafana.

Kết luận

Tự động hóa giám sát các đấu thầu nhà nước và thương mại qua proxy cho phép nhận thông tin về các mua sắm mới trong thời gian thực, tiết kiệm đến 4 giờ mỗi ngày cho việc tìm kiếm thủ công và tăng số lượng đơn đăng ký lên 30-50%. Các yếu tố thành công chính: lựa chọn đúng loại proxy tùy thuộc vào nền tảng, cấu hình chính xác quay vòng IP và độ trễ giữa các yêu cầu, sử dụng các công cụ hỗ trợ JavaScript và cookies.

Đối với việc giám sát các nền tảng bảo vệ như EIS, hãy sử dụng proxy dân cư hoặc di động với địa chỉ IP của Nga — chúng đảm bảo mức độ tin cậy tối đa và rủi ro bị chặn tối thiểu. Đối với các nền tảng thương mại với bảo vệ cơ bản, các proxy trung tâm dữ liệu giá cả phải chăng hơn sẽ phù hợp. Bắt đầu với việc tự động hóa 2-3 nền tảng chính, hoàn thiện các cài đặt, và sau đó mở rộng hệ thống cho toàn bộ thị trường đấu thầu trong ngành của bạn.

Nếu bạn dự định thiết lập giám sát 24/7 cho các nền tảng đấu thầu, chúng tôi khuyên bạn nên sử dụng proxy dân cư — chúng đảm bảo hoạt động ổn định của các trình phân tích mà không bị chặn ngay cả khi có cường độ yêu cầu cao đối với các nền tảng nhà nước bảo vệ.