Como monitorar a precificação dinâmica dos concorrentes através de proxies sem bloqueios

A precificação dinâmica se tornou um padrão nos marketplaces — os preços mudam de 10 a 20 vezes por dia, dependendo da demanda, dos estoques e das ações dos concorrentes. Se você é um vendedor no Wildberries, Ozon ou Avito, você sabe: quem descobre primeiro a redução de preço de um concorrente — mantém sua posição nos resultados de busca. Mas todos os marketplaces bloqueiam rigorosamente o scraping em massa de um único IP. Neste artigo, vamos discutir como configurar o monitoramento automático de preços através de proxies, para coletar dados 24/7 sem risco de bloqueio da conta ou do endereço IP.

Por que os marketplaces bloqueiam o scraping de preços e como isso funciona

Todos os grandes marketplaces utilizam proteção em múltiplas camadas contra a coleta automática de dados. A razão é simples: o scraping em massa cria uma carga nos servidores e dá uma vantagem competitiva àqueles que conseguem coletar dados. O Wildberries, por exemplo, registra até 300.000 alterações de preços por dia — e não quer que esses dados sejam acessados gratuitamente pelos concorrentes.

Veja como funciona um sistema típico de proteção contra scraping:

• Monitoramento da frequência de solicitações de um único IP — se você abre 50+ páginas de produtos por minuto, o sistema entende que não é uma pessoa. Um comprador comum visualiza de 3 a 5 produtos por minuto, enquanto um scraper — de 100 a 500.
• Análise do User-Agent e cabeçalhos — solicitações sem cabeçalhos de navegador corretos vão direto para a lista negra. Muitos iniciantes usam bibliotecas padrão do Python requests sem configurar os cabeçalhos — isso é o primeiro que os sistemas de proteção detectam.
• Verificação de JavaScript e cookies — os marketplaces modernos utilizam Cloudflare, DataDome e seus próprios sistemas anti-bots. Eles verificam a execução de JavaScript, a presença de cookies de sessão, o comportamento do mouse e a rolagem.
• Vinculação geográfica do IP — se você está fazendo scraping do Ozon russo com um IP da Alemanha ou dos EUA, isso parece suspeito. O sistema pode mostrar preços desatualizados ou até bloquear o acesso.
• Bloqueio de data centers — a maioria dos marketplaces mantém bancos de dados de endereços IP de provedores de nuvem (AWS, Google Cloud, Hetzner) e limita automaticamente as solicitações deles.

O resultado do bloqueio pode variar: desde uma limitação temporária de velocidade (rate limit) até o banimento total do IP por várias semanas. Se você está fazendo scraping através de uma conta de vendedor — corre o risco de ter o acesso à sua conta pessoal bloqueado, o que é crítico para o negócio.

Quais tipos de proxies são adequados para monitoramento de preços: comparação

Para monitoramento de precificação dinâmica, três tipos de proxies são adequados, cada um com seus prós e contras. A escolha depende do orçamento, do volume de scraping e das exigências geográficas.

Recomendação prática para escolha:

• Para Wildberries e Ozon — apenas proxies residenciais ou móveis. Essas plataformas usam Cloudflare e seus próprios sistemas anti-bots, data centers são bloqueados em 90% dos casos.
• Para Yandex.Market — proxies residenciais com geografia russa, o sistema verifica a correspondência entre o IP e a região de busca.
• Para Avito — é possível usar data centers, mas com rotação e intervalos entre solicitações. A proteção é mais fraca do que a dos marketplaces.
• Para AliExpress e plataformas internacionais — proxies residenciais do país necessário, muitos mostram preços diferentes para diferentes regiões.

Se o orçamento for limitado — comece com um pool de 20-30 proxies residenciais com rotação. Isso é suficiente para monitorar de 500 a 1000 produtos por dia sem bloqueios.

Particularidades de proteção do Wildberries, Ozon, Yandex.Market e Avito

Cada plataforma utiliza sua própria combinação de mecanismos de proteção. Compreender essas particularidades ajuda a configurar o scraper corretamente na primeira tentativa.

Wildberries

A proteção mais rigorosa entre os marketplaces russos. Utilizam Cloudflare com o modo "I'm Under Attack" ativado, que verifica o desafio de JavaScript antes de permitir o acesso ao conteúdo. Além disso, monitoram:

• Fingerprint do navegador — canvas, WebGL, fontes, resolução de tela
• Fingerprint TLS — versão do protocolo e conjunto de cipher suites
• Fatores comportamentais — velocidade de rolagem, movimentos do mouse, tempo na página
• Histórico de sessão — se você começa a abrir páginas de produtos imediatamente sem visualizar a página inicial e categorias, isso é suspeito

O que funciona: Navegadores headless (Puppeteer, Playwright) com proxies residenciais, emulação do comportamento real do usuário, delays de 5-15 segundos entre solicitações, rotação de User-Agent e proxies após cada 20-30 solicitações.

Ozon

Utilizam seu próprio sistema anti-bots além do DataDome. Particularidade: os preços podem variar dependendo da cidade de entrega — o sistema determina a região pelo IP e mostra os preços correspondentes considerando a logística.

Ozon bloqueia ativamente intervalos conhecidos de IP de data centers. Ao fazer scraping através de um VPS comum, em 80% dos casos você receberá um captcha ou erro 403. Também monitoram cookies — se você faz solicitações sem manter a sessão entre as solicitações, isso é detectado.

O que funciona: Proxies residenciais com geografia russa, manutenção obrigatória de cookies entre solicitações, emulação da adição de produtos aos favoritos (isso cria um "histórico" do usuário), delays de 3-10 segundos.

Yandex.Market

Nível médio de proteção. A principal característica — forte vinculação à região. Se você está fazendo scraping de preços para Moscovo com um IP de Vladivostok, o sistema mostrará os preços para Vladivostok ou bloqueará o acesso. Para monitoramento correto, são necessários proxies da região de onde você está rastreando os preços.

O Yandex também utiliza seu próprio sistema anti-fraude, que analisa a sequência de ações. Parece suspeito: abrir páginas de produtos através de links diretos sem busca, intervalos iguais entre solicitações (por exemplo, estritamente a cada 5 segundos), ausência de solicitações para estáticos (imagens, estilos).

O que funciona: Proxies residenciais da região necessária, emulação de todo o ciclo: busca → lista de produtos → página do produto, delays aleatórios de 4-12 segundos, rotação periódica de proxies.

Avito

A proteção mais permissiva entre as plataformas mencionadas. A principal proteção — limite no número de visualizações de anúncios de um único IP (cerca de 100-150 anúncios por hora). Após exceder o limite, um captcha ou bloqueio temporário de 1-2 horas é exibido.

O Avito também verifica a presença de cookies e cabeçalhos básicos, mas não utiliza desafios complexos de JavaScript. Data centers funcionam, mas com restrições — é necessária rotação e frequência moderada de solicitações.

O que funciona: Mesmo data centers com rotação, delays de 2-5 segundos entre anúncios, cabeçalhos de navegador corretos, manutenção de cookies. Para grandes volumes — proxies residenciais.

Configuração de rotação de proxies para scraping 24 horas

A rotação correta de proxies é um fator chave para um scraping estável sem bloqueios. Existem três estratégias principais de rotação, cada uma adequada para diferentes cenários.

Estratégia 1: Rotação por número de solicitações

Essência: você muda de proxy após um número determinado de solicitações (por exemplo, após cada 20-50 solicitações). Este é o método mais simples e eficaz para a maioria das tarefas.

Valores recomendados para diferentes plataformas:

• Wildberries: 15-25 solicitações por proxy, depois troca
• Ozon: 20-30 solicitações
• Yandex.Market: 30-50 solicitações
• Avito: 50-100 solicitações

Um detalhe importante: adicione randomização. Não troque de proxy estritamente após 20 solicitações — faça isso após 18-23 solicitações aleatoriamente. Isso torna o padrão menos previsível para os sistemas de proteção.

Estratégia 2: Rotação temporal

Você troca de proxy a cada N minutos, independentemente do número de solicitações. Adequado para tarefas com carga imprevisível — por exemplo, monitoramento de preços em tempo real, quando o número de atualizações pode mudar drasticamente.

Intervalos recomendados: 5-15 minutos para plataformas rigorosas (Wildberries, Ozon), 15-30 minutos para as mais permissivas (Avito, pequenas lojas).

Estratégia 3: Sessões Sticky (sessões pegajosas)

Você utiliza o mesmo proxy para todas as solicitações dentro de uma "sessão de usuário". Por exemplo: você emula um comprador que entrou no Ozon, pesquisou "notebooks", abriu 5 páginas de produtos, adicionou um ao carrinho. Todas essas ações passam por um único proxy com manutenção de cookies.

Após o término da sessão (após 3-10 minutos) — você troca de proxy e inicia uma nova sessão. Este é o padrão mais "humano", mas requer mais proxies e é mais difícil de implementar.

Quando usar: Scraping de plataformas com proteção muito rigorosa, quando a rotação simples não funciona. Também é adequado para coleta de dados através de contas pessoais de vendedores.

Ferramentas prontas para monitoramento de preços com suporte a proxies

Se você não quer escrever um scraper do zero, existem soluções prontas com suporte embutido a proxies. Vamos considerar as ferramentas mais populares para monitoramento de preços em plataformas russas e internacionais.

Para marketplaces russos

1. Mpstats (mpstats.io)
Serviço especializado para análise do Wildberries e Ozon. Coleta dados sobre vendas, estoques, preços de concorrentes. Possui API para integração com sistemas próprios. O serviço funciona através de sua própria infraestrutura de proxies, você não precisa configurar nada adicional.

Desvantagem: alto custo (a partir de 15.000 rub/ mês para acesso total), não é possível usar seus próprios proxies. Adequado para grandes vendedores com um volume de 1-2 milhões de rub por mês.

2. Sellego
Serviço semelhante com foco na automação de precificação. Monitora os preços dos concorrentes e ajusta automaticamente seus preços de acordo com regras definidas (por exemplo, "ser 5% mais barato que o concorrente"). Também funciona através de seus próprios proxies.

3. Parsehub
Construtor visual de scrapers sem código. Você clica nos elementos da página que deseja coletar, e o serviço cria automaticamente o scraper. Suporta proxies — você pode adicionar sua lista nas configurações do projeto. Adequado para quem não sabe programar.

Custo: plano gratuito — 200 páginas por mês, pagos — a partir de $149/mês para 10.000 páginas. Para monitorar 100-200 produtos, o plano gratuito é suficiente.

Para desenvolvimento próprio

Se você está disposto a configurar o scraper sozinho ou tem um programador na equipe:

1. Scrapy (Python)
Um poderoso framework para scraping com suporte embutido a proxies, rotação, tratamento de erros. Possui middleware para troca automática de proxies da lista. Requer conhecimento de Python, mas a documentação é excelente.

Adequado para scraping de sites simples sem JavaScript. Para Wildberries e Ozon, é necessário combinar com Splash ou Selenium para tratamento de JavaScript.

2. Puppeteer / Playwright (JavaScript)
Navegadores headless que emulam completamente um usuário real — executam JavaScript, mantêm cookies, podem emular movimentos do mouse. Ideal para plataformas com proteção rigorosa.

A configuração de proxies é simples — um parâmetro ao iniciar o navegador. O Playwright é considerado mais moderno e estável, mas o Puppeteer tem mais exemplos e bibliotecas prontas.

3. Octoparse
Aplicativo desktop para Windows com construtor visual de scrapers. Não requer programação — você apenas clica nos elementos que deseja coletar. Suporte embutido a proxies, agendador de execuções, exportação para Excel/CSV.

Custo: versão gratuita com limitações (10.000 registros por mês), planos pagos a partir de $75/mês. Boa opção para pequenas e médias empresas.

Configuração passo a passo do scraper de preços com proxies em 15 minutos

Vou mostrar a maneira mais simples de configurar o monitoramento de preços usando o Parsehub — uma ferramenta sem código. Este método é adequado mesmo que você nunca tenha trabalhado com scrapers.

Passo 1: Registro e instalação

• Registre-se em parsehub.com (há um plano gratuito)
• Baixe e instale o aplicativo desktop para Windows ou Mac
• Inicie o aplicativo e faça login na conta

Passo 2: Criação do projeto e seleção de elementos

• Clique em "Novo Projeto" e cole a URL da página com os produtos (por exemplo, uma categoria no Ozon ou resultados de busca)
• O Parsehub carregará a página no navegador embutido
• Clique no nome do primeiro produto — o Parsehub destacará automaticamente todos os elementos semelhantes na página
• Clique no preço do produto — ele será adicionado à lista de dados coletados
• Adicione outros campos necessários: link do produto, classificação, número de avaliações

Passo 3: Configuração de proxies

• Abra as configurações do projeto (ícone de engrenagem)
• Encontre a seção "Configurações de Proxy"
• Selecione "Usar proxy" e cole os dados dos seus proxies no formato: IP:PORT:USERNAME:PASSWORD
• Se você tiver uma lista de proxies, ative a opção "Rotacionar proxies" — o Parsehub mudará automaticamente os proxies entre as solicitações

Passo 4: Configuração de agendamento

• Nas configurações do projeto, encontre "Agendar"
• Escolha a frequência de execução: a cada hora, a cada 6 horas, uma vez por dia, etc.
• Para precificação dinâmica, o ideal é — a cada 2-4 horas

Passo 5: Exportação de dados

• Após a primeira execução do scraper, os dados aparecerão na aba "Dados"
• Clique em "Exportar" e escolha o formato: CSV, Excel, JSON
• É possível configurar o envio automático dos dados para o Google Sheets ou por e-mail após cada execução

Toda a configuração leva de 10 a 15 minutos. Depois disso, o scraper funcionará automaticamente de acordo com o cronograma, coletando os preços dos concorrentes e enviando os dados para você.

5 erros que levam ao bloqueio durante o scraping

Mesmo com proxies corretos, você pode ser banido se cometer erros típicos. Aqui estão os problemas mais comuns da prática.

Erro 1: Velocidade de solicitações muito alta

Muitos tentam coletar dados o mais rápido possível e fazem 10-20 solicitações por segundo. Isso é detectado instantaneamente pelos sistemas de proteção. Um ser humano real não pode abrir 20 páginas de produtos por segundo.

Solução: Adicione delays entre as solicitações. Mínimo de 2-3 segundos para sites simples, 5-10 segundos para marketplaces com proteção. Faça os delays aleatórios — não estritamente 5 segundos, mas de 4 a 8 segundos aleatoriamente.

Erro 2: Uso de um único proxy para todas as solicitações

Mesmo que você tenha comprado um proxy residencial, usar um único IP para centenas de solicitações por dia levará ao bloqueio. Os sistemas de proteção monitoram a atividade de cada IP.

Solução: Mínimo de 10-20 proxies no pool com rotação. Para grandes volumes (1000+ produtos por dia) — 50-100 proxies.

Erro 3: Ausência ou cabeçalhos de solicitações incorretos

Solicitações sem User-Agent ou com o User-Agent padrão da biblioteca (por exemplo, "Python-requests/2.28.1") são imediatamente detectadas como bots.

Solução: Sempre especifique um User-Agent de um navegador real. Adicione também os cabeçalhos Accept, Accept-Language, Accept-Encoding. Mude o User-Agent ao trocar de proxy.

Erro 4: Ignorar cookies e sessões

Muitos marketplaces usam cookies para rastrear a sessão do usuário. Se você faz cada solicitação "do zero" sem cookies, isso parece suspeito.

Solução: Mantenha os cookies entre as solicitações dentro de uma mesma sessão. Ao trocar de proxy — limpe os cookies e inicie uma nova sessão. Use bibliotecas com gerenciamento automático de cookies (requests.Session no Python, puppeteer no JavaScript).

Erro 5: Scraping apenas das páginas de produtos sem emular navegação

Se você abre imediatamente links diretos para páginas de produtos, pulando a página inicial, busca e categorias, isso não se parece com o comportamento de um usuário real.

Solução: Para plataformas com proteção rigorosa (Wildberries, Ozon), emule o caminho completo do usuário: página inicial → busca ou categoria → lista de produtos → página do produto. Isso aumenta o tempo de scraping, mas reduz o risco de bloqueio drasticamente.

Conclusão

O monitoramento da precificação dinâmica é uma tarefa crítica para qualquer vendedor em marketplaces. Os preços dos concorrentes mudam várias vezes ao dia, e quem reage primeiro às mudanças — mantém posições nos resultados e lucros. Mas todos os grandes marketplaces bloqueiam rigorosamente o scraping, portanto, sem proxies bem configurados, coletar dados é impossível.

Principais conclusões do artigo: para Wildberries e Ozon, use apenas proxies residenciais ou móveis — data centers são bloqueados em 90% dos casos. Certifique-se de configurar a rotação de proxies — troque de IP após cada 20-30 solicitações. Adicione delays entre as solicitações (5-10 segundos) e randomize-os. Use navegadores headless para plataformas com proteção JavaScript. Emule o comportamento de um usuário real — não abra páginas de produtos diretamente, emule o caminho completo através de busca e categorias.

Se você não quer se aprofundar nos detalhes técnicos, use ferramentas prontas como Parsehub ou Octoparse — elas não requerem programação e têm suporte embutido a proxies. Para grandes volumes e tarefas específicas, é melhor desenvolver seu próprio scraper usando Scrapy ou Puppeteer.

Se você planeja configurar o monitoramento automático de preços em marketplaces russos, recomendamos começar com proxies residenciais — eles garantem acesso estável ao Wildberries, Ozon e outras plataformas com risco mínimo de bloqueios. Para casos especialmente complexos ou para trabalhar com aplicativos móveis de marketplaces, proxies móveis com IPs de operadores russos são adequados.