通过代理自动监控政府采购和招标：无阻设置

在EIS（Zakupki.gov.ru）、Sberbank-AST、RTS-tender等平台上手动监控招标每天需要3-5小时。通过解析器进行自动化解决了这个问题，但政府平台积极阻止自动请求——IP在50-100个请求后会被封锁。代理可以绕过限制，全天候收集新招标数据，而不会有公司主要IP被封锁的风险。

在本指南中，我们将讨论：哪些代理适用于不同的招标平台，如何设置无阻止的自动解析，使用哪些现成的工具，以及如何避免导致封锁的典型错误。

为什么招标平台会阻止自动请求

政府和商业招标平台使用多层保护来防止自动数据收集。这与几个原因有关：解析器对服务器的负载可能达到总流量的60-70%，竞争对手利用收集的数据进行倾销，同时也存在对采购参与者个人数据保护的要求。

统一信息系统（EIS）是最受保护的平台。系统记录每个请求的以下参数：IP地址、浏览器的User-Agent、请求频率、网站上的操作顺序。如果从一个IP每小时发送超过100个请求，或者请求过于均匀（例如，每5秒一次），该IP将被封锁24-72小时。封锁适用于整个子网范围，因此可能会影响整个公司。

商业平台（Sberbank-AST、RTS-tender、Fabrykant）使用较为宽松的保护，但也会监控可疑活动。主要的封锁触发因素包括：缺少cookies、禁用JavaScript、页面导航过快（每页少于2秒）、请求之间的时间间隔相同。

选择哪种类型的代理来监控招标

有三种类型的代理适合监控招标平台，每种都有其适用的特点。选择取决于解析的规模、预算和可靠性要求。

住宅代理是大多数招标监控任务的最佳选择。它们使用真实家庭用户的IP地址，因此平台将请求视为普通人的行为。对于EIS，建议使用每10-15分钟轮换一次的俄罗斯住宅代理。这使得每天可以收集500-1000个招标数据，而不会有任何封锁。

数据中心代理适用于保护较弱的商业平台：RTS-tender、Fabrykant、B2B-Center。它们的价格比住宅代理便宜3-5倍，速度更快，但EIS经常识别并封锁这些IP。将它们用于初步测试解析器或监控小型区域平台。

移动代理具有最高的信任级别，因为它们使用移动运营商的IP（MTS、Beeline、MegaFon）。平台几乎从不封锁这些地址，因为一个运营商的IP后面可能有成千上万的真实用户。缺点是价格较高。如果您处理特别有价值的招标或在使用住宅代理时已经遇到封锁，请使用移动代理。

不同平台的保护特点：EIS、Sberbank-AST、RTS-tender

每个招标平台都有其特定的防爬虫保护特点。理解这些机制可以帮助您设置解析器，以最小化被封锁的风险。

EIS（Zakupki.gov.ru）——最高保护

统一信息系统在所有平台中使用最严格的保护。主要机制包括：每个IP每小时限制100个请求，强制支持cookies和JavaScript，检查引用来源（用户来自哪里），分析行为因素（页面停留时间、鼠标移动、滚动）。

对于EIS的解析建议：使用俄罗斯IP的住宅或移动代理，启用每80-90个请求自动轮换代理（以避免达到限制），在请求之间添加3到8秒的随机延迟，使用无头浏览器（Puppeteer、Selenium）而不是简单的HTTP请求——它们完全模拟真实浏览器的行为。

Sberbank-AST——中等保护级别

Sberbank平台使用较为宽松的限制：每小时约200-300个请求的限制，强制要求cookies，但JavaScript并不总是被检查，明显的机器人行为（请求之间的时间间隔相同、缺少引用来源）会导致封锁。

对于Sberbank-AST，使用每200个请求轮换一次的住宅代理就足够了。可以使用更简单的解析工具而不完全模拟浏览器，但一定要添加2-5秒的随机延迟和正确的User-Agent头。

RTS-tender、Fabrykant、B2B-Center——基础保护

商业平台的保护最少：每小时500+个请求的限制，主要检查是cookies和合理的User-Agent，数据中心代理很少被封锁。

对于这些平台，即使是基础轮换的数据中心代理也适用。可以使用简单的HTTP解析器而不模拟浏览器。关键是不要发送请求过于频繁（请求之间至少1-2秒），并定期更换IP。

无编程的招标解析现成工具

监控招标不一定要从零开始编写代码。现在有许多现成的解决方案，带有图形界面，支持通过代理工作。

Octoparse——一个支持代理和任务调度的可视化解析器。允许您通过图形界面为任何招标平台创建解析器：您只需点击页面上需要收集的元素（招标编号、客户、金额、截止日期），程序会自动生成解析算法。在设置中可以指定代理列表，Octoparse会自动轮换它们。价格从75美元/月起，有免费版但有限制。

ParseHub——与Octoparse类似，但界面更简单。非常适合初学者。支持JavaScript网站（对EIS很重要）、通过代理工作、将数据导出到Excel/Google Sheets。免费版允许创建最多5个解析项目。付费版从149美元/月起，支持按计划启动解析（例如，每2小时检查新招标）。

Screaming Frog SEO Spider——最初是一个SEO工具，但非常适合解析结构化数据。支持代理，可以根据指定的CSS选择器收集页面数据。缺点是需要对页面的HTML结构有一定了解。价格为149英镑/年（约15000卢布），比类似产品便宜。

专门的招标监控服务——Контур.Закупки、Тендер.Про、B2B-Center已经内置了监控系统，带有过滤器和通知。它们不需要设置代理，因为是以服务的名义工作。价格从5000到30000卢布/月，具体取决于跟踪的类别数量。缺点是您依赖于服务的功能，无法收集额外的数据或将其集成到自己的CRM中。

通过代理进行监控的逐步设置，20分钟完成

以Octoparse为例，讨论自动监控招标的设置——这是最受欢迎的图形界面工具之一。此示例适用于监控EIS、Sberbank-AST和其他平台。

步骤1：获取代理。 在代理提供商处注册并获取带有端口和授权数据的IP地址列表。对于监控EIS，建议至少使用10个带有自动轮换的俄罗斯住宅代理。提供商将以以下格式提供数据：IP:PORT:USERNAME:PASSWORD（例如，185.123.45.67:8000:user123:pass456）。

步骤2：安装和设置Octoparse。 从官方网站下载Octoparse并安装到计算机上。启动后，创建一个新的解析项目，输入EIS招标搜索结果页面的URL（例如，在您所在地区搜索“设备”的关键字）。

步骤3：在Octoparse中设置代理。 打开设置 → 代理设置。选择“使用自定义代理”模式。将您的代理添加到列表中，指定IP、端口、类型（HTTP或SOCKS5）、登录名和密码。启用“每个请求轮换代理”选项——这将使程序在每个请求后更换代理，从而分散负载并避免封锁。

步骤4：创建解析算法。 在可视化构建器模式下，单击页面上需要收集的元素：采购编号、名称、客户、起始价格、申请截止日期、地区。Octoparse将自动确定数据结构并创建收集算法。检查前5-10条记录的结果——程序将显示解析的初步结果。

步骤5：设置分页。 招标平台通常按页显示结果（通常每页10-50个招标）。在Octoparse中添加“点击分页按钮”的操作，并指定“下一页”按钮。程序将自动翻页并收集所有结果。

步骤6：添加延迟。 在解析器的设置中设置请求之间的随机延迟：最少3秒，最多8秒。这模拟了真实用户的行为，降低了被封锁的风险。还要在每个页面加载后添加5-10秒的延迟——这给JavaScript元素完全加载的时间。

步骤7：设置调度。 在“任务调度”部分设置自动启动解析。对于监控新招标，最佳的检查频率是工作时间每2-4小时启动一次。例如：9:00、13:00、17:00、21:00。这将允许您在一天内跟踪新发布，而不会对平台造成过大的负担。

步骤8：导出数据。 设置将收集到的数据自动导出为方便的格式：Excel、Google Sheets、MySQL数据库或通过API发送到您的CRM系统。Octoparse可以在每次启动解析后自动发送新数据，从而实时接收新招标的通知。

代理轮换和请求之间延迟的设置

正确设置代理轮换和延迟是成功解析而不被封锁的关键因素。即使使用高质量的代理，不当的配置也会导致封锁。

代理轮换策略： 有三种主要方法在解析期间更换IP地址。

每个请求后轮换——最安全但速度较慢的方法。每个请求都使用新的IP。适合在解析大量数据（1000+个招标）时使用EIS。缺点是增加了解析时间，因为通过代理建立新连接需要200-500毫秒。

按请求数量轮换——速度和安全的最佳平衡。一个代理用于50-100个请求，然后更换为下一个。对于EIS，建议每80个请求更换代理（略低于100的限制）。对于商业平台，可以增加到每个IP200-300个请求。

按时间轮换——每10-15分钟更换IP，无论请求数量如何。适合在低强度下进行长时间解析（例如，在一天内监控更新）。一些代理提供商提供按时间自动轮换——您获得一个代理URL，但IP每N分钟自动更换。

设置请求之间的延迟： 人类无法瞬间在页面之间切换——他们需要时间阅读、滚动、点击。解析器应模拟这种行为。

重要的是使用随机延迟在指定范围内。如果解析器每5秒准确发送一次请求，保护系统很容易识别出机器人。所有流行的解析工具都具有随机延迟功能。

导致封锁的典型错误

即使使用高质量的代理，解析器也可能由于设置中的技术错误而被封锁。以下是最常见的问题及其解决方案。

错误1：使用相同的User-Agent。 User-Agent是一个字符串，告诉网站使用的是哪个浏览器和操作系统。如果所有请求都使用相同的User-Agent（例如，Python库requests的标准User-Agent），这明显是机器人的迹象。解决方案：使用10-20个流行的User-Agent列表，涵盖不同的浏览器（Chrome、Firefox、Safari）和操作系统（Windows、macOS、Linux），并在每个请求中随机轮换它们。

错误2：禁用cookies。 大多数网站在首次访问时会设置cookies，并在后续请求中检查它们的存在。如果解析器不保存cookies，每个请求看起来就像是从新设备的首次访问，这很可疑。解决方案：在解析器的设置中启用cookies支持。在Octoparse和ParseHub中，这会自动完成。如果您在Python中编写自己的解析器，请使用requests.Session()库——它会自动在请求之间保存cookies。

错误3：在不执行JavaScript的情况下解析。 现代网站，包括EIS，积极使用JavaScript加载内容。如果解析器只是下载页面的HTML代码而不执行JavaScript，它将获得不完整的数据，服务器将记录可疑行为。解决方案：使用无头浏览器（Puppeteer、Selenium、Playwright），它们可以完全加载页面，执行JavaScript，甚至可以滚动页面以加载动态内容。

错误4：忽略验证码。 一些平台在可疑活动时会显示验证码。如果解析器无法解决验证码，它将挂起并开始发送重复请求，这将导致IP被封锁。解决方案：使用自动解决验证码的服务（2Captcha、Anti-Captcha）——它们的费用约为每1000个解决的验证码1-3美元。大多数解析工具都内置了与这些服务的集成。

错误5：在高峰时段解析。 在工作日的10:00到16:00，招标平台上用户的活动达到最高，保护系统的工作最为严格。此时进行密集解析更快会导致封锁。解决方案：在晚上（18:00-23:00）或夜间启动主要的解析工作。在工作时间内仅进行新招标的点检，强度要低。

错误6：使用“脏”代理。 一些便宜的代理提供商出售已经用于垃圾邮件或其他可疑活动并被列入黑名单的IP。解决方案：在大规模使用之前测试代理。对每个新代理向平台发送20-30个测试请求，检查是否出现验证码或封锁。如果代理“脏”，请向提供商更换。

扩展：同时监控10+个平台

当一两个平台的基本监控设置并稳定运行后，便会出现扩展的任务——同时解析数十个招标平台，以获得市场的最大覆盖。

在平台之间分配代理。 不要同时对不同的平台使用相同的代理。创建代理池：例如，10个代理用于EIS，5个用于Sberbank-AST，5个用于RTS-tender，等等。这将防止在一个平台上的封锁影响到另一个平台的解析器工作。

平台优先级。 并非所有招标平台对您的业务同样重要。确定3-5个关键平台，在这些平台上发布了最多相关招标，并为它们分配更多资源：最佳代理、更频繁的检查、更详细的解析（包括收集文档）。对于其他平台，仅使用基本监控主要招标参数。

自动化数据处理。 在解析10+个平台时，您每天将收到数百个新招标。手动处理是不可能的。设置自动过滤：根据招标名称中的关键字、客户的地区、起始价格范围、申请截止日期。只有通过所有过滤器的招标才会进入手动检查的列表。

与CRM和通知系统集成。 设置将过滤后的招标自动发送到您的CRM系统或企业消息应用（Slack、Telegram、Microsoft Teams）。经理们将实时收到新合适招标的通知，并能快速做出参与决策。

监控解析器的工作。 在处理多个平台时，跟踪每个解析器的状态至关重要。设置一个仪表板，显示每个解析器最后一次启动的时间、收集了多少个招标、是否有错误或封锁。Octoparse等工具具有内置仪表板。如果您使用自己的脚本，可以设置日志记录到Google Sheets或Grafana等专门的监控系统。

结论

通过代理自动化监控政府和商业招标可以实时获取新采购信息，每天节省多达4小时的手动搜索时间，并将提交的申请数量增加30-50%。成功的关键因素：根据平台正确选择代理类型，正确设置IP轮换和请求之间的延迟，使用支持JavaScript和cookies的工具。

对于监控像EIS这样的受保护平台，建议使用俄罗斯IP地址的住宅或移动代理——它们提供最高的信任级别和最低的封锁风险。对于基础保护的商业平台，可以使用更便宜的数据中心代理。从自动化2-3个关键平台开始，完善设置，然后将系统扩展到您行业内的整个招标市场。

如果您计划设置全天候监控招标平台，建议使用 住宅代理——它们在高请求强度下仍能确保解析器的稳定工作，而不会被封锁，即使是在受保护的政府平台上。