O monitoramento manual de licitações nas plataformas EIS (Zakupki.gov.ru), Sberbank-AST, RTS-tender consome de 3 a 5 horas diariamente. A automação através de parsers resolve o problema, mas as plataformas governamentais bloqueiam ativamente as solicitações automáticas — o IP é banido após 50-100 solicitações. Proxies permitem contornar essas restrições e coletar dados sobre novas licitações 24 horas por dia, sem risco de bloqueio do IP principal da empresa.
Neste guia, vamos abordar: quais proxies são adequados para diferentes plataformas de licitação, como configurar o parsing automático sem bloqueios, quais ferramentas prontas utilizar e como evitar erros comuns que levam ao banimento.
Por que as plataformas de licitação bloqueiam solicitações automáticas
As plataformas de licitação públicas e comerciais utilizam proteção em múltiplas camadas contra a coleta automática de dados. Isso se deve a várias razões: a carga nos servidores causada por parsers pode chegar a 60-70% do tráfego total, concorrentes utilizam os dados coletados para práticas de dumping, e existem requisitos de proteção de dados pessoais dos participantes das compras.
O Sistema de Informação Unificada (EIS) é a plataforma mais protegida. O sistema registra os seguintes parâmetros de cada solicitação: endereço IP, User-Agent do navegador, frequência das solicitações, sequência de ações no site. Se um IP faz mais de 100 solicitações por hora ou as solicitações são feitas de forma muito uniforme (por exemplo, a cada 5 segundos), o IP é bloqueado por 24-72 horas. O bloqueio se aplica a toda a faixa de sub-rede, portanto, toda a empresa pode ser afetada.
As plataformas comerciais (Sberbank-AST, RTS-tender, Fabricante) utilizam proteção mais branda, mas também monitoram atividades suspeitas. Os principais gatilhos para bloqueio incluem: ausência de cookies, JavaScript desativado, navegação muito rápida entre páginas (menos de 2 segundos por página), intervalos de tempo iguais entre solicitações.
Caso real: Uma empresa de fornecimento de equipamentos configurou um parser para monitorar licitações no EIS sem proxies. Nas primeiras 2 horas de operação, o parser coletou dados sobre 340 licitações, mas depois o IP do escritório foi bloqueado. Os funcionários não conseguiram acessar o painel do EIS para enviar propostas por 48 horas. A empresa perdeu 3 licitações importantes, totalizando 12 milhões de rublos.
Qual tipo de proxy escolher para monitoramento de licitações
Para monitorar plataformas de licitação, três tipos de proxies são adequados, cada um com suas características de uso. A escolha depende do volume de parsing, orçamento e requisitos de confiabilidade.
| Tipo de proxy | Confiabilidade para EIS | Velocidade | Aplicação |
|---|---|---|---|
| Proxies de data center | Média (bloqueados com mais frequência) | Muito alta (50-100 ms) | Plataformas comerciais, testes |
| Proxies residenciais | Alta (IPs reais) | Média (200-500 ms) | EIS, Sberbank-AST, parsing 24 horas |
| Proxies móveis | Máxima (IPs de operadoras) | Média (300-600 ms) | EIS com altos requisitos de confiabilidade |
Proxies residenciais são a escolha ideal para a maioria das tarefas de monitoramento de licitações. Eles utilizam endereços IP de usuários reais, portanto, as plataformas percebem as solicitações como ações de pessoas comuns. Para o EIS, recomenda-se usar proxies residenciais russos com rotação a cada 10-15 minutos. Isso permite coletar dados sobre 500-1000 licitações diariamente sem um único bloqueio.
Proxies de data center são adequados para plataformas comerciais menos protegidas: RTS-tender, Fabricante, B2B-Center. Eles são de 3 a 5 vezes mais baratos que os residenciais e funcionam mais rápido, mas o EIS frequentemente reconhece e bloqueia esses IPs. Use-os para testes iniciais do parser ou monitoramento de pequenas plataformas regionais.
Proxies móveis têm o nível máximo de confiança, pois utilizam IPs de operadoras móveis (MTS, Beeline, MegaFon). As plataformas raramente bloqueiam esses endereços, porque atrás de um IP de operadora podem estar milhares de usuários reais. A desvantagem é o custo mais alto. Utilize proxies móveis se você estiver lidando com licitações especialmente valiosas ou já tiver enfrentado bloqueios ao usar proxies residenciais.
Características de proteção de diferentes plataformas: EIS, Sberbank-AST, RTS-tender
Cada plataforma de licitação tem suas características de proteção contra parsing. Compreender esses mecanismos permite configurar o parser de forma a minimizar o risco de bloqueio.
EIS (Zakupki.gov.ru) — proteção máxima
O Sistema de Informação Unificada utiliza a proteção mais rigorosa entre todas as plataformas. Os principais mecanismos incluem: limite de 100 solicitações por hora de um único IP, suporte obrigatório a cookies e JavaScript, verificação de referenciador (de onde o usuário veio), análise de fatores comportamentais (tempo na página, movimento do mouse, rolagem).
Recomendações para parsing do EIS: use proxies residenciais ou móveis com IPs russos, ative a rotação automática de proxies a cada 80-90 solicitações (para não atingir o limite), adicione delays aleatórios entre solicitações de 3 a 8 segundos, use navegadores headless (Puppeteer, Selenium) em vez de simples solicitações HTTP — eles emulam completamente o comportamento de um navegador real.
Sberbank-AST — nível médio de proteção
A plataforma do Sberbank utiliza restrições mais brandas: limite de cerca de 200-300 solicitações por hora, cookies são obrigatórios, mas o JavaScript nem sempre é verificado, o bloqueio ocorre com comportamentos claramente robotizados (intervalos iguais entre solicitações, ausência de referenciador).
Para o Sberbank-AST, proxies residenciais com rotação a cada 200 solicitações são suficientes. É possível usar ferramentas de parsing mais simples sem emulação completa do navegador, mas adicione delays aleatórios de 2-5 segundos e cabeçalhos User-Agent corretos.
RTS-tender, Fabricante, B2B-Center — proteção básica
As plataformas comerciais têm proteção mínima: limites de 500+ solicitações por hora, a principal verificação é a presença de cookies e um User-Agent adequado, raramente bloqueiam proxies de data center.
Para essas plataformas, até mesmo proxies de data center com rotação básica são adequados. É possível usar parsers HTTP simples sem emulação do navegador. O principal é não enviar solicitações com muita frequência (mínimo de 1-2 segundos entre solicitações) e mudar o IP periodicamente.
Ferramentas prontas para parsing de licitações sem programação
Para monitorar licitações, não é necessário escrever código do zero. Existem soluções prontas com interface gráfica que suportam o trabalho através de proxies.
Octoparse — parser visual com suporte a proxies e agendador de tarefas. Permite criar um parser para qualquer plataforma de licitação através de uma interface gráfica: você simplesmente clica nos elementos da página que deseja coletar (número da licitação, contratante, valor, data de término), e o programa cria automaticamente o algoritmo de parsing. Nas configurações, você pode especificar uma lista de proxies, e o Octoparse irá rotacioná-los automaticamente. O custo é a partir de $75/mês, com uma versão gratuita com limitações.
ParseHub — análogo do Octoparse com uma interface mais simples. É bem adequado para iniciantes. Suporta sites em JavaScript (importante para o EIS), trabalho através de proxies, exportação de dados para Excel/Google Sheets. A versão gratuita permite criar até 5 projetos de parsing. A versão paga começa em $149/mês, com a possibilidade de agendar o parsing (por exemplo, verificar novas licitações a cada 2 horas).
Screaming Frog SEO Spider — originalmente uma ferramenta para SEO, mas excelente para parsing de dados estruturados. Suporta proxies e pode coletar dados de páginas com seletores CSS especificados. A desvantagem é que é necessário entender um pouco a estrutura HTML das páginas. O custo é £149/ano (cerca de 15.000 rublos), o que é mais barato que os análogos.
Serviços especializados de monitoramento de licitações — Contour.Procurement, Tender.Pro, B2B-Center já possuem sistemas de monitoramento integrados com filtros e notificações. Eles não requerem configuração de proxies, pois operam em nome do serviço. O custo varia de 5.000 a 30.000 rublos por mês, dependendo do número de categorias monitoradas. A desvantagem é que você depende das capacidades do serviço e não pode coletar dados adicionais ou integrá-los ao seu CRM.
Recomendação para escolha da ferramenta:
- Iniciantes sem habilidades técnicas — ParseHub ou Octoparse
- Para parsing de 3-5 plataformas com integração no CRM — Screaming Frog + configuração de exportação
- Para monitoramento apenas do EIS sem dados adicionais — serviços especializados
- Para tarefas complexas (análise de documentação de licitações, parsing de arquivos anexados) — desenvolvimento em Python com Selenium
Configuração passo a passo do monitoramento através de proxies em 20 minutos
Vamos considerar a configuração do monitoramento automático de licitações usando o Octoparse — uma das ferramentas mais populares com interface gráfica. Este exemplo é adequado para monitoramento do EIS, Sberbank-AST e outras plataformas.
Passo 1: Obtenção de proxies. Registre-se com um provedor de proxies e obtenha uma lista de endereços IP com portas e dados de autenticação. Para monitoramento do EIS, recomenda-se pelo menos 10 proxies residenciais russos com rotação automática. O provedor fornecerá os dados no formato: IP:PORT:USERNAME:PASSWORD (por exemplo, 185.123.45.67:8000:user123:pass456).
Passo 2: Instalação e configuração do Octoparse. Baixe o Octoparse do site oficial e instale-o no computador. Após iniciar, crie um novo projeto de parsing, inserindo a URL da página com os resultados da pesquisa de licitações no EIS (por exemplo, pesquisa pela palavra-chave "equipamento" na sua região).
Passo 3: Configuração de proxies no Octoparse. Abra Configurações → Configurações de Proxy. Selecione o modo "Usar proxy personalizado". Adicione seus proxies à lista, especificando IP, porta, tipo (HTTP ou SOCKS5), login e senha. Ative a opção "Rotacionar proxy para cada solicitação" — isso fará com que o programa mude o proxy após cada solicitação, distribuindo a carga e evitando bloqueios.
Passo 4: Criação do algoritmo de parsing. No modo de construtor visual, clique nos elementos da página que deseja coletar: número da licitação, nome, contratante, preço inicial, data de término das propostas, região. O Octoparse determinará automaticamente a estrutura dos dados e criará o algoritmo de coleta. Verifique o resultado nas primeiras 5-10 entradas — o programa mostrará um resultado preliminar do parsing.
Passo 5: Configuração de paginação. As plataformas de licitação exibem resultados por página (geralmente 10-50 licitações por página). No Octoparse, adicione a ação "Clique no botão de paginação" e especifique o botão "Próxima página". O programa irá automaticamente navegar pelas páginas e coletar todos os resultados.
Passo 6: Adição de delays. Nas configurações do parser, defina delays aleatórios entre solicitações: mínimo de 3 segundos, máximo de 8 segundos. Isso imita o comportamento de um usuário real e reduz o risco de bloqueio. Também adicione um delay de 5-10 segundos após o carregamento de cada página — isso dá tempo para que os elementos JavaScript sejam totalmente carregados.
Passo 7: Configuração de agendamento. Na seção "Agendamento de Tarefas", configure o início automático do parsing. Para monitorar novas licitações, é ideal iniciar a verificação a cada 2-4 horas durante o horário comercial. Por exemplo: 9:00, 13:00, 17:00, 21:00. Isso permitirá acompanhar novas publicações ao longo do dia sem sobrecarregar a plataforma.
Passo 8: Exportação de dados. Configure a exportação automática dos dados coletados em um formato conveniente: Excel, Google Sheets, banco de dados MySQL ou envio via API para o seu sistema CRM. O Octoparse pode enviar automaticamente novos dados após cada execução do parser, permitindo receber notificações sobre novas licitações em tempo real.
Configuração de rotação de proxies e delays entre solicitações
A configuração correta da rotação de proxies e delays é um fator chave para o sucesso do parsing sem bloqueios. Mesmo com proxies de qualidade, uma configuração inadequada pode levar ao banimento.
Estratégias de rotação de proxies: Existem três abordagens principais para mudar endereços IP durante o parsing.
Rotação após cada solicitação — o método mais seguro, mas lento. Cada solicitação à plataforma é feita com um novo IP. Adequado para o EIS ao fazer parsing de grandes volumes de dados (1000+ licitações). A desvantagem é que aumenta o tempo de parsing, pois a conexão com um novo proxy leva de 200 a 500 ms.
Rotação por quantidade de solicitações — um equilíbrio ideal entre velocidade e segurança. Um proxy é usado para 50-100 solicitações, depois é trocado pelo próximo. Para o EIS, recomenda-se mudar o proxy a cada 80 solicitações (um pouco abaixo do limite de 100). Para plataformas comerciais, pode-se aumentar para 200-300 solicitações por IP.
Rotação por tempo — troca de IP a cada 10-15 minutos, independentemente do número de solicitações. Adequado para parsing prolongado com baixa intensidade (por exemplo, monitoramento de atualizações ao longo do dia). Alguns provedores de proxies oferecem rotação automática por tempo — você recebe uma única URL de proxy, mas o IP muda automaticamente a cada N minutos.
Configuração de delays entre solicitações: Um ser humano não pode navegar instantaneamente entre páginas — ele precisa de tempo para ler, rolar, clicar. O parser deve imitar esse comportamento.
| Plataforma | Delay entre solicitações | Delay após o carregamento da página |
|---|---|---|
| EIS (Zakupki.gov.ru) | 3-8 segundos (aleatório) | 5-10 segundos |
| Sberbank-AST | 2-5 segundos (aleatório) | 3-7 segundos |
| RTS-tender, Fabricante | 1-3 segundos (aleatório) | 2-4 segundos |
É importante usar delays aleatórios dentro do intervalo especificado. Se o parser faz solicitações exatamente a cada 5 segundos, o sistema de proteção facilmente identificará um robô. A função de delay aleatório está disponível em todas as ferramentas de parsing populares.
Dica: Adicione um "modo noturno" de parsing. Das 23:00 às 7:00, você pode aumentar a intensidade das solicitações (reduzir delays), pois nesse horário a atividade de usuários reais nas plataformas é mínima, e os sistemas de proteção funcionam de forma menos rigorosa. Isso permitirá coletar mais dados no mesmo tempo.
Erros comuns que levam ao bloqueio
Mesmo ao usar proxies de qualidade, o parser pode ser bloqueado devido a erros técnicos na configuração. Aqui estão os problemas mais comuns e suas soluções.
Erro 1: Uso do mesmo User-Agent. O User-Agent é a string que informa ao site qual navegador e sistema operacional estão sendo usados. Se todas as solicitações vêm com o mesmo User-Agent (por exemplo, o padrão da biblioteca requests do Python), isso é um sinal claro de um bot. Solução: use uma lista de 10-20 User-Agents populares para diferentes navegadores (Chrome, Firefox, Safari) e sistemas operacionais (Windows, macOS, Linux), e rotacione-os aleatoriamente a cada solicitação.
Erro 2: Cookies desativados. A maioria dos sites estabelece cookies na primeira visita e verifica sua presença em solicitações subsequentes. Se o parser não salva cookies, cada solicitação parece uma primeira visita de um novo dispositivo, o que é suspeito. Solução: ative o suporte a cookies nas configurações do parser. No Octoparse e no ParseHub, isso é feito automaticamente. Se você estiver escrevendo seu próprio parser em Python, use a biblioteca requests.Session() — ela salva automaticamente cookies entre solicitações.
Erro 3: Parsing sem execução de JavaScript. Sites modernos, incluindo o EIS, usam ativamente JavaScript para carregar conteúdo. Se o parser apenas baixa o código HTML da página sem executar o JavaScript, ele obterá dados incompletos, e o servidor registrará um comportamento suspeito. Solução: use navegadores headless (Puppeteer, Selenium, Playwright), que carregam completamente a página, executam JavaScript e podem até rolar a página para carregar conteúdo dinâmico.
Erro 4: Ignorar captcha. Algumas plataformas exibem captcha em caso de atividade suspeita. Se o parser não consegue resolver o captcha, ele ficará preso e começará a enviar solicitações repetidas, o que levará ao bloqueio do IP. Solução: use serviços de resolução automática de captcha (2Captcha, Anti-Captcha) — eles custam cerca de $1-3 por 1000 captchas resolvidos. A maioria das ferramentas de parsing tem integração embutida com esses serviços.
Erro 5: Parsing em horários de pico. Das 10:00 às 16:00 em dias úteis, as plataformas de licitação têm a máxima atividade de usuários, e os sistemas de proteção funcionam de forma mais rigorosa. O parsing intenso nesse horário levará mais rapidamente ao bloqueio. Solução: execute a maior parte do parsing no período da noite (18:00-23:00) ou à noite. Durante o horário comercial, faça apenas verificações pontuais de novas licitações com intensidade mínima.
Erro 6: Uso de proxies "sujos". Alguns provedores de proxies baratos vendem IPs que já foram usados para spam ou outras atividades suspeitas e estão em listas negras. Solução: teste os proxies antes de usá-los em massa. Envie 20-30 solicitações de teste para a plataforma a partir de cada novo proxy e verifique se ocorre captcha ou bloqueio. Se o proxy estiver "sujo", substitua-o com o provedor.
Escalonamento: monitoramento de 10+ plataformas simultaneamente
Quando o monitoramento básico de uma ou duas plataformas está configurado e funcionando de forma estável, surge a necessidade de escalonamento — parsing simultâneo de dezenas de plataformas de licitação para obter a máxima cobertura do mercado.
Distribuição de proxies entre plataformas. Não use os mesmos proxies para diferentes plataformas ao mesmo tempo. Crie pools de proxies: por exemplo, 10 proxies para EIS, 5 para Sberbank-AST, 5 para RTS-tender e assim por diante. Isso evitará que um bloqueio em uma plataforma afete o funcionamento do parser em outra.
Priorização de plataformas. Nem todas as plataformas de licitação são igualmente importantes para o seu negócio. Identifique 3-5 plataformas-chave onde são publicadas mais licitações relevantes e aloque mais recursos para elas: melhores proxies, verificações mais frequentes, parsing mais detalhado (incluindo coleta de documentação). Para as demais plataformas, use monitoramento básico apenas dos parâmetros principais das licitações.
Automatização do processamento de dados. Ao fazer parsing de 10+ plataformas, você receberá centenas de novas licitações diariamente. O processamento manual é impossível. Configure a filtragem automática: por palavras-chave no título da licitação, pela região do contratante, pelo intervalo de preço inicial, pela data de término da aceitação de propostas. Apenas as licitações que passaram por todos os filtros entram na lista para verificação manual.
Integração com CRM e sistemas de notificações. Configure o envio automático das licitações filtradas para o seu sistema CRM ou mensageiro corporativo (Slack, Telegram, Microsoft Teams). Os gerentes receberão notificações sobre novas licitações adequadas em tempo real e poderão tomar decisões rápidas sobre participação.
Monitoramento do funcionamento dos parsers. Ao trabalhar com várias plataformas, é crítico acompanhar o status de cada parser. Configure um painel onde seja visível: quando foi a última vez que cada parser foi executado, quantas licitações coletou, se houve erros ou bloqueios. Ferramentas como Octoparse têm painéis embutidos. Se você estiver usando seus próprios scripts, pode configurar o registro em Google Sheets ou sistemas de monitoramento especializados como Grafana.
Exemplo de sistema de monitoramento escalonado:
Uma empresa de fornecimento de equipamentos de TI configurou o monitoramento de 15 plataformas de licitação: EIS, Sberbank-AST, RTS-tender, 8 plataformas regionais e 4 plataformas comerciais. Utiliza 50 proxies residenciais, divididos em pools. Os parsers são executados a cada 2 horas e coletam em média 600 novas licitações por dia. Filtros automáticos por palavras-chave ("computador", "servidor", "equipamento de rede") e região (Moscovo, região de Moscovo, São Petersburgo) filtram 85% das licitações irrelevantes. As 90 licitações restantes são automaticamente enviadas para o canal do Telegram do departamento de vendas. Resultado: o tempo de monitoramento de licitações foi reduzido de 4 horas por dia para 30 minutos, e o número de propostas enviadas aumentou em 40%.
Conclusão
A automação do monitoramento de licitações públicas e comerciais através de proxies permite obter informações sobre novas compras em tempo real, economizando até 4 horas diariamente na busca manual e aumentando o número de propostas enviadas em 30-50%. Fatores-chave para o sucesso: escolha correta do tipo de proxy dependendo da plataforma, configuração adequada da rotação de IPs e delays entre solicitações, uso de ferramentas que suportam JavaScript e cookies.
Para monitorar plataformas protegidas como o EIS, utilize proxies residenciais ou móveis com endereços IP russos — eles garantem o máximo nível de confiança e o mínimo risco de bloqueios. Para plataformas comerciais com proteção básica, proxies de data center mais acessíveis são adequados. Comece automatizando 2-3 plataformas-chave, ajuste as configurações e, em seguida, escale o sistema para todo o mercado de licitações em seu setor.
Se você planeja configurar monitoramento 24 horas de plataformas de licitação, recomendamos usar proxies residenciais — eles garantem o funcionamento estável dos parsers sem bloqueios, mesmo com alta intensidade de solicitações para plataformas governamentais protegidas.