Se você vende em marketplaces e altera os preços manualmente uma vez por semana, concorrentes que ajustam os preços a cada hora estão roubando suas vendas. Um sistema próprio de monitoramento resolve esse problema, mas os marketplaces e sites concorrentes banem ativamente bots, endereços IP e até sub-redes inteiras de data centers. Neste artigo, vamos analisar um esquema funcional de coleta de dados sem bloqueios — com a escolha correta de proxies, ferramentas e frequência de solicitações.
Por que precisar de um sistema próprio de monitoramento de concorrentes
Serviços prontos de monitoramento de preços (existem dezenas no mercado) custam a partir de alguns milhares de rublos por mês e geralmente limitam a quantidade de produtos ou a frequência de atualização dos dados. Se você tem um catálogo de 500–5000 SKU e vende simultaneamente na Wildberries, Ozon e Avito, assinar três serviços diferentes se torna mais caro do que ter seu próprio sistema, e a flexibilidade ainda é insuficiente: não é possível configurar uma lógica personalizada de recalculo de preços ou adicionar o monitoramento de um site concorrente não padrão.
Um sistema próprio oferece três vantagens específicas. Primeiro, você controla a frequência de coleta — pode verificar os preços dos principais concorrentes a cada 15 minutos, enquanto os outros uma vez por dia. Em segundo lugar, você coleta não apenas o preço, mas também os estoques, classificação, número de avaliações, posição nos resultados — quaisquer parâmetros que são importantes para o seu negócio. Em terceiro lugar, os dados permanecem seus: podem ser cruzados com a análise interna de margem e o preço pode ser recalculado automaticamente para não entrar em prejuízo.
Vendedores que implementaram o recalculo automático de preços com base no monitoramento de concorrentes aumentam em média a taxa de conversão para o top 10 da categoria em 15-25% devido ao fato de que o preço reage mais rapidamente às mudanças do mercado do que manualmente. Isso é especialmente crítico em categorias com alta concorrência — roupas, eletrônicos, produtos para o lar.
Por que sites e marketplaces banem scraping
Wildberries, Ozon e a maioria das lojas online utilizam sistemas anti-bot que analisam o comportamento das solicitações. Se de um único IP chegam 200 solicitações por minuto sem pausas, sem cabeçalhos de navegador característicos e sem a execução de JavaScript — isso é imediatamente marcado como bot. Em seguida, o sistema ou apresenta um captcha, ou fornece dados deliberadamente incorretos (preços falsos), ou bane o IP por várias horas.
Um problema separado são as sub-redes de data centers. Endereços IP pertencentes à Amazon AWS, Google Cloud, DigitalOcean e provedores semelhantes estão na lista negra da maioria dos sistemas anti-bot antes mesmo de você fazer a primeira solicitação. Os marketplaces veem o ASN (número do sistema autônomo) do provedor e bloqueiam toda a faixa, mesmo que você envie uma única solicitação por hora.
É por isso que proxies de servidor clássicos para monitoramento de marketplaces funcionam mal: eles são rápidos e baratos, mas são detectados pelo nível de reputação do IP. Para contornar isso, são necessários IPs que se pareçam com usuários comuns — essa é a ideia central do esquema que vamos analisar a seguir.
Arquitetura do sistema: do que é composto
Um sistema de monitoramento de concorrentes funcional é composto por cinco blocos, e cada um pode ser montado sem habilidades profundas de programação — usando ferramentas prontas de no-code e low-code.
- Lista de alvos — uma tabela com links para os cartões de produtos concorrentes que precisam ser monitorados. Normalmente, isso é feito em Google Sheets ou Excel com colunas: URL, marketplace, seu SKU, frequência desejada de verificação.
- Coletor de dados (scraper) — um programa ou serviço que abre a página e coleta o preço, estoque, classificação. Pode ser um parser no-code pronto ou um script em Python.
- Camada de proxies — uma camada pela qual passam todas as solicitações do scraper, para que o IP não seja banido pelo marketplace.
- Armazenamento de dados — um banco de dados ou tabela onde os resultados de cada passagem são armazenados com um carimbo de data/hora.
- Lógica de reação — regras pelas quais o sistema o notifica (no Telegram, por e-mail) ou altera automaticamente o preço através da API do marketplace.
Para começar, é suficiente uma combinação: Google Sheets + parser no-code (por exemplo, baseado em Make/Zapier ou serviços especializados de scraping) + proxies + bot do Telegram para notificações. Isso pode ser montado em um dia sem escrever código. Para um escala mais séria (milhares de SKU), será necessário um script em Python com bibliotecas requests/BeautifulSoup ou Selenium, que é executado em um cronograma em um servidor.
Quais proxies escolher para monitoramento
A escolha do proxy é 70% do sucesso de todo o sistema. Vamos analisar três tipos e quando cada um é apropriado.
| Tipo de proxy | Quando usar | Risco de bloqueio |
|---|---|---|
| Proxies de data center | Sites simples sem anti-bot, monitoramento de baixa frequência de pequenas lojas online | Alto em marketplaces, baixo em sites comuns |
| Proxies residenciais | Wildberries, Ozon, Avito — ferramenta principal para monitoramento de marketplaces | Baixo com rotação correta |
| Proxies móveis | Verificação pontual de cartões com proteção rígida contra bots, contornando captcha em verificações manuais | Mínimo, mas mais caro em operação |
Para monitoramento diário de milhares de cartões na Wildberries e Ozon, a escolha ideal são proxies residenciais, pois seus IPs pertencem a provedores domésticos reais e não estão na lista negra de data centers. Eles são mais caros que os servidores, mas economizam tempo em contornar bloqueios e captchas, o que, no final, reduz o custo de propriedade do sistema.
Proxies móveis devem ser mantidos em reserva para situações em que até mesmo um IP residencial recebe captcha — por exemplo, ao monitorar uma categoria de produtos específica com proteção reforçada. O servidor do operador de telefonia móvel utiliza CGNAT (IP compartilhado entre milhares de assinantes), portanto, o bloqueio de tal IP afeta usuários reais e os marketplaces o utilizam com extrema cautela.
Ferramentas de coleta de dados
Se você não é programador, existem várias maneiras de montar um sistema sem código. Primeiro, serviços de scraping e monitoramento de preços no-code permitem que você especifique a URL do cartão e escolha o seletor CSS do elemento com o preço através de uma interface visual — literalmente clicando no bloco desejado da página. Em segundo lugar, você pode usar a combinação Google Sheets + extensão de navegador que verifica páginas em um cronograma e registra o resultado na tabela.
Se há alguém na equipe com habilidades técnicas básicas, um sistema em Python oferece máxima flexibilidade. Um script mínimo se parece com isto:
import requests
from bs4 import BeautifulSoup
proxies = {
"http": "http://login:senha@host_proxy:porta",
"https": "http://login:senha@host_proxy:porta",
}
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}
url = "https://exemplo-loja.ru/produto/12345"
response = requests.get(url, proxies=proxies, headers=headers, timeout=15)
soup = BeautifulSoup(response.text, "html.parser")
preco = soup.select_one(".produto-preco").get_text(strip=True)
print(f"Preço atual: {preco}")
Para páginas que carregam o preço via JavaScript (o que é característico da Wildberries e Ozon), o requests comum não funcionará — é necessário um navegador headless baseado em Selenium ou Playwright, que renderiza a página completamente, como um usuário normal. Essa abordagem é mais lenta, mas fornece dados precisos mesmo com conteúdo dinâmico.
Configuração de rotação e frequência de solicitações
Mesmo com proxies de qualidade, o sistema pode ser banido se as solicitações forem feitas com muita frequência e de maneira uniforme. Os algoritmos anti-bot dos marketplaces analisam não apenas o IP, mas também o padrão de comportamento: intervalos entre solicitações, ordem de acesso às páginas, repetição de cabeçalhos.
Regras de rotação que reduzem o risco de bloqueio:
- Altere o IP a cada solicitação ou a cada 5-10 solicitações — a maioria dos provedores de proxies residenciais suporta rotação automática por timer ou por solicitação.
- Adicione um atraso aleatório entre as solicitações de 3 a 15 segundos em vez de um intervalo fixo.
- Alterar o User-Agent de uma lista de navegadores reais — não use o mesmo cabeçalho para milhares de solicitações consecutivas.
- Distribua a carga ao longo do dia: não verifique todo o catálogo de uma só vez à 00:00, espalhe as verificações por várias horas.
- Use IPs geograficamente relevantes — se o concorrente vende na Rússia, o proxy deve ter geolocalização russa, caso contrário, os preços e a disponibilidade podem diferir dos reais para sua região.
Para monitorar de 1000 a 3000 cartões por dia, é suficiente um pool de algumas dezenas de IPs simultâneos com rotação a cada 5-10 minutos. Para uma escala maior (dezenas de milhares de verificações), é necessário um provedor com um grande pool de IPs residenciais e suporte à rotação via API, para integrar a troca de IP diretamente no script de coleta de dados.
Particularidades do monitoramento da Wildberries, Ozon e Avito
Cada plataforma tem sua própria especificidade de proteção, e o esquema precisa ser adaptado a ela.
Wildberries fornece dados sobre preços e estoques através de uma API interna, que pode ser chamada diretamente, recebendo uma resposta JSON sem a necessidade de fazer scraping do HTML. Isso é mais rápido e estável do que renderizar a página em um navegador, mas essa API tem limites de frequência de solicitações de um único IP, portanto, a rotação de proxies é obrigatória ao monitorar mais de 50-100 produtos por hora.
Ozon utiliza ativamente renderização em JavaScript e uma proteção mais agressiva contra bots, incluindo verificação do comportamento do mouse e velocidade de rolagem em algumas seções. Para um monitoramento estável do Ozon, geralmente é necessário um navegador headless com emulação de ações reais do usuário, e não apenas uma solicitação HTTP.
Avito monitora principalmente a frequência de solicitações de um único IP e padrões de busca de anúncios. Para monitorar anúncios de concorrentes (por exemplo, rastrear novos anúncios em seu nicho ou mudanças de preço), é crítico manter uma baixa frequência de solicitações — não mais de uma solicitação por anúncio a cada 10-15 minutos de um único IP, caso contrário, a conta ou o IP entra em um banimento oculto, onde são fornecidos dados desatualizados sem um erro explícito.
Muitos especialistas em SMM e arbitradores para tarefas semelhantes de multi-contas usam navegadores anti-detect como Dolphin Anty, AdsPower ou Multilogin — essas mesmas ferramentas são adequadas para verificações manuais pontuais de cartões de concorrentes, se a coleta automática mostrar dados suspeitos e for necessário verificar manualmente através de um perfil separado com um proxy vinculado.
Armazenamento de dados e dashboards
Os dados coletados são inúteis sem uma maneira conveniente de analisá-los. Para catálogos pequenos (até 500 SKU), é suficiente usar Google Sheets com histórico de preços por datas e formatação condicional, que destaca a mudança de preço do concorrente em vermelho ou verde. Para volumes maiores, é necessário um banco de dados — PostgreSQL ou até mesmo SQLite servem, se o sistema funcionar em um único servidor.
Com base nos dados coletados, é conveniente construir dashboards simples no Google Data Studio (Looker Studio) ou Power BI, onde é possível ver: a dinâmica do preço do concorrente nos últimos 30 dias, a diferença de preço em relação à sua posição, a frequência de alteração de preço de cada concorrente. Essa visualização ajuda a identificar padrões — por exemplo, o concorrente muda o preço toda segunda-feira de manhã, e você pode ajustar sua estratégia a esse ciclo.
É importante armazenar não apenas o preço atual, mas também todo o histórico de mudanças com timestamps. Isso permite analisar a sazonalidade mais tarde, identificar práticas de dumping antes de promoções e prever o comportamento dos concorrentes no próximo período semelhante (por exemplo, antes do 11.11 ou da Black Friday).
Erros comuns na construção do sistema
Na prática, a maioria dos sistemas de monitoramento caseiros falha devido a alguns erros típicos que podem ser facilmente evitados antecipadamente.
- Um IP para todo o monitoramento. Mesmo um proxy de qualidade acabará sendo banido cedo ou tarde, se milhares de solicitações forem feitas sem rotação.
- Ignorar cabeçalhos de navegador. Uma solicitação sem User-Agent ou com um cabeçalho desatualizado é um sinal instantâneo de bot para o sistema anti-bot.
- Frequência de verificação muito alta. Monitorar a cada minuto faz sentido apenas para 5-10 concorrentes chave, para o restante do catálogo, uma verificação a cada algumas horas é suficiente.
- Falta de tratamento de erros. Se o site retornar um captcha ou estiver temporariamente indisponível, o sistema deve reconhecer isso e tentar novamente mais tarde, e não registrar um valor vazio ou incorreto como preço atual.
- Proxies de data center para marketplaces. Economizar no tipo de proxy resulta em bans constantes e na necessidade de trocar IP manualmente todos os dias — no final, o sistema exige mais trabalho manual do que deveria.
Conclusão
Um sistema próprio de monitoramento de concorrentes em marketplaces não é uma configuração única, mas uma ferramenta de trabalho que requer a arquitetura correta: lista de alvos, scraper, camada de proxies, armazenamento de dados e lógica de reação a mudanças. O elo chave, do qual depende a estabilidade de todo o esquema, são os proxies. IPs de servidores são rapidamente banidos pelos sistemas anti-bot da Wildberries e Ozon, portanto, para monitoramento regular de marketplaces, é importante incluir no orçamento IPs de qualidade com rotação.
Se você planeja monitorar os preços dos concorrentes na Wildberries, Ozon ou Avito, comece com proxies residenciais — eles garantem alta confiabilidade dos dados coletados e mínimo risco de bloqueios com uma rotação adequada. Para verificações pontuais dos cartões mais protegidos, mantenha em reserva proxies móveis, e para tarefas auxiliares em sites menos protegidos, proxies de data center mais econômicos também são adequados.