Como configurar o monitoramento de disponibilidade de produtos em marketplaces através de proxies: guia para vendedores

O monitoramento automático de disponibilidade de produtos (stock availability) é uma tarefa criticamente importante para vendedores e varejistas. Rastrear o estoque de concorrentes no Wildberries, Ozon, Amazon permite ajustar preços e compras rapidamente. Mas os marketplaces bloqueiam rigorosamente requisições em massa de um único IP — sem proxies, seu parser será bloqueado após 10-50 requisições.

Neste guia, vamos analisar como configurar um monitoramento estável de stock availability através de proxies: qual tipo de proxy escolher, como configurar rotação de IP, quais parâmetros de requisição usar e como evitar bloqueios em marketplaces populares.

Por que os marketplaces bloqueiam o monitoramento de disponibilidade de produtos

Os marketplaces protegem sua infraestrutura contra parsing com vários níveis de proteção. Quando você executa um monitoramento automático de disponibilidade de produtos, seu script faz centenas ou milhares de requisições para a API ou páginas web do marketplace. Para a plataforma, isso parece um ataque ou coleta desonesta de dados.

Principais métodos de detecção de parsers:

• Frequência de requisições de um único IP — se de um endereço chegam 100+ requisições por minuto, é um sinal claro de bot. Um usuário comum fisicamente não consegue abrir 2-3 páginas de produtos por segundo.
• Ausência de cookies e histórico de sessão — parsers frequentemente fazem requisições sem acesso prévio à página principal, o que revela automação.
• User-Agent idênticos — se todas as requisições vêm com o mesmo cabeçalho de navegador, isso é suspeito.
• Padrões de comportamento — percorrer produtos sequencialmente por ID, ausência de pausas aleatórias, regularidade perfeita de requisições.

O bloqueio ocorre no nível do endereço IP. Primeiro, o marketplace pode mostrar um captcha, depois limitar temporariamente o acesso (rate limiting) e, em caso de violações sistemáticas, bloquear completamente o IP por várias horas ou dias.

Qual tipo de proxy escolher para parsing de stock availability

A escolha do tipo de proxy afeta diretamente a estabilidade do monitoramento e a probabilidade de bloqueios. Diferentes marketplaces reagem de forma diferente a vários tipos de endereços IP. Vamos considerar três opções principais e sua aplicação para parsing de disponibilidade de produtos.

Proxies residenciais — escolha ideal para a maioria das tarefas de monitoramento de stock availability. Eles usam endereços IP de usuários domésticos reais, portanto os marketplaces percebem as requisições como legítimas. Para Wildberries e Ozon, isso é praticamente um requisito obrigatório — essas plataformas bloqueiam agressivamente data centers.

Proxies de data center são adequados para plataformas menos protegidas ou quando é necessária máxima velocidade de parsing. Por exemplo, para monitoramento de marketplaces regionais ou pequenas lojas online. A principal vantagem é alta velocidade e estabilidade de conexão. Mas em grandes plataformas, eles são bloqueados com mais frequência.

Proxies móveis — a opção mais confiável, mas também a mais cara. Use-os para produtos criticamente importantes ou quando proxies residenciais começam a ser bloqueados. IPs móveis são praticamente impossíveis de bloquear, pois por trás de um endereço podem estar milhares de usuários reais de uma operadora.

Configuração de rotação de IP: com que frequência mudar endereços

A rotação de IP é um parâmetro-chave para prevenir bloqueios. A configuração correta da frequência de mudança de endereços permite distribuir a carga de forma que de cada IP chegue o mínimo de requisições, imitando o comportamento de usuários comuns.

Duas abordagens principais para rotação:

1. Rotação por tempo (Time-based rotation)
O endereço IP muda após um intervalo de tempo definido, independentemente do número de requisições. Este é um método simples e previsível, adequado para monitoramento regular com frequência constante de verificações.

• A cada 5-10 minutos — para monitoramento frequente de produtos criticamente importantes (posições top, produtos com alta concorrência)
• A cada 15-30 minutos — modo padrão para a maioria das tarefas de monitoramento de stock availability
• A cada hora — para monitoramento em segundo plano de grande sortimento, quando não é necessária alta frequência de atualizações

2. Rotação por requisições (Request-based rotation)
O IP muda após um determinado número de requisições executadas. Este método dá controle mais preciso sobre a carga em cada endereço.

• A cada 10-20 requisições — para Wildberries e Ozon (proteção rigorosa)
• A cada 50-100 requisições — para Amazon, eBay (proteção moderada)
• A cada 200-500 requisições — para plataformas menos protegidas

Abordagem combinada (recomendada):
Configure a rotação por tempo como método principal, mas adicione limite de requisições como proteção adicional. Por exemplo: o IP muda a cada 10 minutos OU após 50 requisições — o que ocorrer primeiro. Isso protege contra picos acidentais de atividade.

Particularidades do monitoramento em diferentes marketplaces

Cada marketplace tem suas particularidades de proteção contra parsing e requer uma abordagem individual para configuração do monitoramento de stock availability. Vamos considerar as especificidades de trabalho com plataformas russas e internacionais populares.

Wildberries

O Wildberries possui um dos sistemas de proteção contra parsing mais agressivos entre os marketplaces russos. A plataforma usa verificação multinível de requisições, incluindo análise de cabeçalhos, cookies, frequência de acessos e padrões comportamentais.

Características principais:

• Uso obrigatório de proxies residenciais — data centers são bloqueados praticamente instantaneamente
• É necessário transmitir conjunto completo de cabeçalhos de navegador, incluindo Referer e Accept-Language
• A API do Wildberries requer tokens especiais para algumas requisições
• Mudança frequente de IP (a cada 5-10 minutos) é criticamente importante
• Adicione atrasos aleatórios entre requisições: 2-5 segundos

Para monitoramento de disponibilidade de produtos no Wildberries, use API pública ou parsing de páginas de produtos. A API é mais estável, mas tem limites rigorosos. Ao fazer parsing de HTML, imite obrigatoriamente o comportamento de um navegador real: carregue imagens, execute JavaScript, salve cookies entre requisições.

Ozon

O Ozon usa proteção menos agressiva comparado ao Wildberries, mas também requer abordagem cuidadosa. A plataforma usa ativamente Cloudflare para proteção contra bots, o que adiciona um nível extra de complexidade.

• Proxies residenciais são recomendados, mas data centers de qualidade podem funcionar com baixa frequência de requisições
• Cloudflare challenge requer execução de JavaScript — use navegadores headless ou bibliotecas especiais
• Rotação de IP a cada 10-15 minutos geralmente é suficiente
• Atrasos entre requisições: 3-7 segundos
• Salve obrigatoriamente cookies após passar pelo Cloudflare

Amazon

A Amazon possui um sistema complexo de proteção que analisa múltiplos parâmetros de requisições. A plataforma é especialmente sensível à frequência de acessos e localização geográfica dos endereços IP.

• Use proxies residenciais do mesmo país que o marketplace alvo (amazon.com — EUA, amazon.de — Alemanha)
• Amazon frequentemente mostra captcha em atividade suspeita — prepare sistema de resolução
• Rotação de IP a cada 15-20 minutos ou a cada 50-100 requisições
• Atrasos entre requisições: 5-10 segundos (Amazon é muito sensível à velocidade)
• Use obrigatoriamente User-Agent atuais de navegadores populares

Avito

O Avito tem uma particularidade específica — vinculação geográfica de anúncios. Para monitoramento correto de disponibilidade de produtos em uma cidade específica, são necessários proxies exatamente dessa região.

• Use proxies residenciais com geolocalização na cidade necessária
• Avito mostra resultados diferentes para diferentes regiões — um IP pode ver apenas parte dos anúncios
• Rotação a cada 10-15 minutos é suficiente
• Atrasos entre requisições: 3-5 segundos
• A plataforma usa cookies para rastreamento de sessões — salve-os obrigatoriamente

Limites de requisições e intervalos entre verificações

A configuração correta da frequência de requisições é um equilíbrio entre atualidade dos dados e risco de bloqueio. Verificações muito frequentes levarão ao banimento, muito raras — à perda de vantagem competitiva. Vamos analisar como encontrar a frequência ideal para diferentes cenários.

Intervalos recomendados entre requisições ao mesmo produto:

Intervalos entre requisições sequenciais (ao fazer parsing de vários produtos seguidos):

• Intervalo mínimo: 2-3 segundos — mínimo absoluto para imitar comportamento humano. Um usuário real não pode abrir páginas de produtos mais rápido.
• Intervalo ideal: 4-7 segundos — recomendado para a maioria das tarefas. Adicione aleatoriedade: random(4000, 7000) milissegundos.
• Intervalo seguro: 8-15 segundos — use para plataformas especialmente protegidas ou após receber avisos sobre excesso de limites.

Princípio importante — aleatoriedade: Nunca use intervalos fixos. Em vez de atraso de exatamente 5 segundos, faça aleatório de 4 a 6 segundos. Isso é criticamente importante para imitar comportamento humano. Usuários reais não clicam com regularidade perfeita.

Distribuição de carga por horário do dia:
Marketplaces têm horários de pico de carga (geralmente à noite 18:00-22:00), quando os sistemas de proteção são especialmente sensíveis. Recomenda-se reduzir a frequência de requisições nesses períodos ou fazer pausa no monitoramento, se os dados não forem críticos.

Ferramentas prontas para monitoramento através de proxies

Para monitoramento de stock availability não é obrigatório escrever um parser do zero. Existem muitas soluções prontas que suportam trabalho através de proxies e têm mecanismos integrados de proteção contra bloqueios. Vamos considerar ferramentas populares para diferentes níveis de preparação técnica.

Serviços SaaS prontos (sem programação)

1. Keepa (para Amazon)
Serviço especializado para monitoramento da Amazon. Rastreia preços, disponibilidade de produtos, avaliações. Possui sistema integrado de proxies, não requer conhecimentos técnicos. Desvantagem — funciona apenas com Amazon.

2. Parsehub
Parser visual que permite configurar coleta de dados através de interface gráfica. Suporta configuração de proxies, rotação de IP, intervalos entre requisições. Adequado para usuários sem habilidades de programação.

3. Octoparse
Análogo ao Parsehub com possibilidades mais avançadas de automação. Possui templates integrados para marketplaces populares, incluindo Amazon, eBay. Suporta execução de tarefas em nuvem e rotação automática de proxies.

Soluções de software (requerem configuração)

1. Scrapy (Python)
Framework poderoso para parsing em Python. Possui suporte integrado para proxies, middleware para rotação, tratamento de erros. Requer habilidades de programação, mas oferece máxima flexibilidade de configuração.

Exemplo de configuração de proxy no Scrapy está no arquivo settings.py — adicione middleware para rotação e lista de servidores proxy. O framework distribui automaticamente requisições entre IPs disponíveis.

2. Puppeteer / Playwright (JavaScript)
Navegadores headless para automação de Chrome/Firefox. Ideais para parsing de sites com JavaScript e proteção complexa. Suportam configuração de proxy no nível do navegador, emulação de comportamento real do usuário.

3. Selenium
Ferramenta clássica de automação de navegadores. Funciona mais lentamente que Puppeteer, mas tem mais soluções prontas e exemplos. Adequado para desenvolvedores iniciantes.

Soluções especializadas para marketplaces

1. MoySklad (integração com Wildberries, Ozon)
Sistema de contabilidade com integração integrada com marketplaces russos. Sincroniza automaticamente estoques, mas funciona apenas através de APIs oficiais — não adequado para monitoramento de concorrentes.

2. Mpstats
Serviço analítico para Wildberries e Ozon. Coleta dados sobre produtos, preços, disponibilidade. Possui infraestrutura própria de proxies, não requer configuração adicional. Pago, mas estável.

3. SellerFox
Solução completa para vendedores em marketplaces russos. Inclui monitoramento de concorrentes, análise, automação de preços. Funciona através de proxies próprios.

Configuração passo a passo de proxy para parser

Vamos analisar a configuração prática de proxies para monitoramento de stock availability usando um cenário típico: monitoramento de 100 produtos no Wildberries com verificação a cada 30 minutos. A instrução serve para a maioria dos parsers prontos e soluções personalizadas.

Passo 1: Escolha e compra de proxies

Para Wildberries são necessários proxies residenciais. Vamos calcular a quantidade necessária:
- 100 produtos × 2 verificações por hora = 200 requisições/hora
- Limite seguro para Wildberries: 20 requisições por IP
- Necessário: 200 ÷ 20 = 10 endereços IP no mínimo

Recomenda-se ter margem: 15-20 IPs para funcionamento estável. Ao comprar proxies, certifique-se de que o provedor suporta rotação por tempo ou por requisições.

Passo 2: Obtenção de dados para conexão

Após a compra, você receberá dados no formato:

Host: proxy.example.com
Porta: 8080
Login: user123
Senha: pass456
Tipo: HTTP/HTTPS ou SOCKS5

Alguns provedores fornecem URL para rotação automática:

http://user123:[email protected]:8080

Esta URL pode ser usada diretamente na maioria dos parsers — o servidor proxy mudará o IP automaticamente conforme as configurações.

Passo 3: Configuração em ferramenta pronta (Octoparse)

1. Abra as configurações da tarefa de parsing
No Octoparse, vá para a seção "Advanced Options" → "Proxy Settings"

2. Insira os dados do proxy:

• Proxy Type: escolha HTTP ou SOCKS5 (dependendo do seu proxy)
• Server: proxy.example.com
• Port: 8080
• Username: user123
• Password: pass456

3. Configure a rotação:
Se seu provedor suporta rotação automática — simplesmente ative a opção "Use rotating proxy". Se não — adicione lista de IPs manualmente e ative "Rotate IP addresses" com intervalo de 10 minutos.

4. Configure os intervalos:
Na seção "Speed Settings" defina intervalo entre requisições: 4-7 segundos (Random delay between 4000 and 7000 ms).

Passo 4: Teste das configurações

Antes de iniciar o monitoramento completo, teste obrigatoriamente as configurações:

• Verifique a conexão com o proxy — a maioria das ferramentas tem botão "Test connection"
• Execute parsing de 5-10 produtos — certifique-se de que os dados são coletados corretamente
• Verifique logs para erros — códigos 403, 429, 503 indicam problemas com proxy ou frequência muito alta
• Certifique-se de que o IP muda — nos logs devem aparecer endereços diferentes conforme configurações de rotação

Passo 5: Monitoramento e otimização

Após o lançamento, verifique regularmente:

• Success rate — porcentagem de requisições bem-sucedidas deve ser acima de 95%
• Códigos de resposta — se aparecem 429 ou 503 mais de 5% — reduza a carga
• Velocidade de funcionamento do proxy — se atrasos excedem 2-3 segundos, talvez valha trocar de provedor
• Atualidade dos dados — compare dados obtidos com reais no site do marketplace

Otimize gradualmente as configurações: se tudo funciona estavelmente por uma semana, pode aumentar um pouco a frequência de verificações ou diminuir intervalos. Mas faça isso gradualmente, passo a passo.

Erros típicos e como evitá-los

Mesmo com configuração correta de proxies, iniciantes frequentemente cometem erros que levam a bloqueios ou funcionamento instável do parser. Vamos analisar os problemas mais comuns e formas de resolvê-los.

Erro 1: Uso de um único User-Agent para todas as requisições

Problema: O parser envia todas as requisições com o mesmo cabeçalho User-Agent, mesmo ao mudar de IP. Isso parece suspeito — o mesmo "navegador" aparece de endereços diferentes.

Solução: Rotacione User-Agent junto com endereços IP. Crie lista de navegadores populares (Chrome, Firefox, Safari de diferentes versões) e escolha aleatoriamente dela a cada mudança de proxy. A maioria das bibliotecas para parsing tem suporte integrado para rotação de User-Agent.

Erro 2: Rotação de IP muito frequente

Problema: Alguns configuram mudança de IP após cada requisição, pensando que isso é maximamente seguro. Na verdade, isso parece não natural — usuários reais não mudam de IP a cada segundo.

Solução: Use intervalos razoáveis de rotação: 5-15 minutos ou 20-100 requisições por IP. Isso imita comportamento de usuário real, que fica de um dispositivo por algum tempo, depois muda.

Erro 3: Ignorar cookies

Problema: O parser faz requisições sem salvar cookies entre elas. Marketplaces usam cookies para rastreamento de sessões — se você não os salva, cada requisição parece uma nova sessão.

Solução: Sempre salve cookies após a primeira requisição e transmita-os nas subsequentes. Ao mudar de IP, crie nova sessão com novos cookies — isso imita novo usuário.

Erro 4: Intervalos fixos entre requisições

Problema: Definido intervalo de exatamente 5 segundos entre todas as requisições. Isso cria padrão perfeito, facilmente detectado por sistemas antibot.

Solução: Use intervalos aleatórios em uma faixa. Em vez de 5 segundos, faça random(4, 7) segundos. Adicione às vezes pausas mais longas (10-20 segundos), imitando distração do usuário.

Erro 5: Uso de proxies públicos baratos

Problema: Tentativa de economizar em proxies, usando listas públicas gratuitas ou muito baratas. Esses IPs já estão bloqueados na maioria dos marketplaces, pois são usados por milhares de outros parsers.

Solução: Invista em proxies residenciais de qualidade de provedores confiáveis. Esta é a base do funcionamento estável. Economia em proxies levará à perda de tempo lutando contra bloqueios e potencial perda de dados.

Erro 6: Ausência de tratamento de erros

Problema: O parser não trata erros e continua bombardeando o servidor com requisições mesmo após receber 429 (Too Many Requests) ou 503 (Service Unavailable).

Solução: Implemente tratamento inteligente de erros:

• Ao receber 429 — aumente intervalos em 2 vezes e mude IP
• Ao receber 503 — faça pausa de 5-10 minutos
• Ao receber 403 — mude IP imediatamente e verifique configurações
• Use exponential backoff: em erros repetidos, aumente pausa exponencialmente

Conclusão

O monitoramento de disponibilidade de produtos através de proxies é uma ferramenta poderosa para e-commerce, mas requer abordagem cuidadosa e configuração correta. Principais pontos a lembrar:

• Para marketplaces com proteção rigorosa (Wildberries, Ozon, Amazon) use apenas proxies residenciais ou móveis
• Configure rotação de IP a cada 5-15 minutos ou 20-100 requisições
• Sempre adicione intervalos aleatórios entre requisições (4-7 segundos)
• Rotacione User-Agent junto com endereços IP
• Salve cookies e imite comportamento de usuário real
• Implemente tratamento inteligente de erros
• Comece com configurações conservadoras e otimize gradualmente

Investimento em proxies de qualidade e configuração correta do parser economizará seu tempo e garantirá coleta estável de dados. Não economize em infraestrutura — isso é a base do seu negócio de e-commerce.

Se você está apenas começando com monitoramento de stock availability, recomendamos começar com ferramentas prontas (Octoparse, Mpstats) e proxies residenciais de provedores confiáveis. Após ganhar experiência, pode migrar para soluções personalizadas para máxima flexibilidade e economia.