Como coletar dados sobre produtos em alta em marketplaces usando proxies sem bloqueios

O sucesso em marketplaces depende diretamente da velocidade de reação às tendências. Enquanto você folheia manualmente os catálogos da Wildberries e Ozon, os concorrentes já automatizaram a coleta de dados através de proxies e obtêm informações sobre os sucessos de vendas em tempo real. Mas os marketplaces bloqueiam ativamente a coleta de dados — sem a configuração correta de proxies, você corre o risco de perder o acesso à plataforma ou obter dados incompletos.

Neste guia, vamos analisar como configurar um sistema de coleta automática de dados sobre produtos em tendência, qual tipo de proxy escolher para diferentes marketplaces e como evitar erros típicos que levam a bloqueios.

Por que os marketplaces bloqueiam a coleta de dados e como os proxies resolvem o problema

Os marketplaces gastam milhões em proteção contra coleta automática de dados. A razão é simples: a coleta de dados cria carga nos servidores e permite que os concorrentes obtenham informações comerciais. Wildberries, Ozon e outras plataformas utilizam um sistema de proteção em múltiplos níveis que monitora atividades suspeitas.

O sistema de anti-coleta analisa vários parâmetros ao mesmo tempo. Se um único endereço IP recebe 100 requisições por minuto — isso é um sinal claro de um bot. Um comprador comum visualiza de 5 a 10 produtos nesse tempo. Também são monitorados o User-Agent do navegador, a frequência de cliques, o movimento do mouse e até o tempo gasto na página.

Os proxies resolvem o problema chave — distribuem as requisições entre diferentes endereços IP. Em vez de enviar 1000 requisições do seu IP real, o sistema faz de 10 a 20 requisições de cada um dos 50 a 100 endereços diferentes. Para o marketplace, isso parece a atividade de usuários comuns de diferentes cidades.

Qual tipo de proxy escolher para coleta de dados sobre produtos

Para a coleta de dados em marketplaces, três tipos de proxies são adequados, cada um com suas vantagens e limitações. A escolha depende do volume de dados, do orçamento e das exigências de velocidade na coleta de informações.

Proxies de Data Center: quando a velocidade é mais importante que a anonimidade

Se você precisa coletar rapidamente um grande volume de dados de plataformas menos protegidas (como AliExpress ou Yandex.Market), os proxies de data center são a escolha ideal. Eles operam em servidores de provedores de hospedagem, garantindo alta velocidade de carregamento de páginas.

A principal desvantagem é que os marketplaces facilmente identificam IPs de data centers e podem bloqueá-los em caso de atividade suspeita. A solução é usar um grande pool de IPs (de 50 a 100 endereços) e configurar uma rotação rápida: mudar o IP após cada 10-15 requisições.

Proxies Residenciais: o meio-termo para a maioria das tarefas

Proxies residenciais utilizam endereços IP de provedores de internet reais, que são atribuídos a usuários comuns. Para Wildberries ou Ozon, esse tráfego parece absolutamente legítimo — como se um comprador de Moscovo, São Petersburgo ou Kazan estivesse visualizando os produtos.

Esse tipo de proxy é adequado para monitoramento regular de tendências, quando você coleta dados diariamente ou várias vezes ao dia. O custo é calculado com base no tráfego — para coletar dados de 10.000 produtos, você precisará de cerca de 5-10 GB, dependendo do volume de imagens e descrições.

Proxies Móveis: proteção máxima para tarefas críticas

Proxies móveis utilizam endereços IP de operadoras de telefonia móvel (MTS, Beeline, MegaFon). Os marketplaces raramente bloqueiam esses endereços, pois por trás de um único IP podem estar milhares de usuários reais — as operadoras utilizam a tecnologia CGNAT (IP compartilhado entre vários assinantes).

Proxies móveis fazem sentido para a coleta de dados de seções especialmente protegidas dos marketplaces ou quando você já recebeu bloqueios ao usar outros tipos de proxies. Eles também são indispensáveis para coletar dados de aplicativos móveis da Wildberries e Ozon, onde a proteção é ainda mais rigorosa.

Características da coleta de dados em diferentes marketplaces: Wildberries, Ozon, AliExpress

Cada marketplace utiliza seu próprio sistema de proteção contra coleta de dados. Compreender essas características ajudará a configurar os proxies da maneira mais eficaz e evitar bloqueios.

Wildberries: proteção rigorosa e vinculação geográfica

Wildberries utiliza um dos sistemas de proteção mais avançados entre os marketplaces russos. A plataforma analisa não apenas a frequência das requisições, mas também fatores comportamentais: tempo na página, rolagem, cliques em elementos. Para uma coleta de dados bem-sucedida, é necessário simular as ações de um usuário real.

Uma característica importante é a vinculação geográfica dos preços e da disponibilidade dos produtos. Wildberries mostra diferentes assortimentos para Moscovo, regiões e áreas remotas. Se você está coletando dados sobre tendências para vendas em toda a Rússia, use proxies de diferentes regiões: Moscovo, São Petersburgo, Ecaterimburgo, Novosibirsk, Krasnodar.

Ozon: API para parceiros e proteção do catálogo público

Ozon fornece uma API oficial para vendedores, mas não dá acesso a dados de concorrentes. Para análise de tendências, ainda é necessário coletar dados do catálogo público. A proteção do Ozon é menos agressiva do que a da Wildberries, mas a plataforma utiliza ativamente CAPTCHA em caso de atividade suspeita.

Uma característica do Ozon é o carregamento dinâmico de conteúdo através de JavaScript. Simples requisições HTTP não funcionarão, é necessário um parser com suporte a JavaScript (Selenium, Puppeteer) ou um navegador headless. Isso aumenta a carga nos proxies, portanto, calcule um maior consumo de tráfego — até 15-20 GB para 10.000 produtos.

AliExpress: coleta em massa com restrições regionais

AliExpress mostra preços e condições de entrega diferentes dependendo do país do usuário. Para vendedores russos, é crítico usar proxies com IPs russos — caso contrário, você receberá dados para outra região, o que distorcerá a análise de tendências.

A proteção do AliExpress é relativamente tolerante à coleta de dados — a plataforma está interessada no tráfego. Você pode usar proxies de data center com rotação moderada (a cada 100-200 requisições). O principal é não exceder a velocidade de 5-10 requisições por segundo de um único IP.

Ferramentas para automação da coleta de dados sobre tendências

Existem duas abordagens para a coleta de dados em marketplaces: serviços prontos e configuração própria de parsers. Soluções prontas são mais caras, mas economizam tempo. Um parser próprio requer conhecimentos técnicos, mas oferece controle total sobre o processo.

Serviços prontos para coleta de dados em marketplaces

Para aqueles que não querem se preocupar com detalhes técnicos, existem plataformas prontas. Elas já estão configuradas para marketplaces específicos, possuem um sistema de proxies embutido e rotação automática de IPs.

• Mpstats — especializado em Wildberries e Ozon, coleta dados sobre vendas, estoques, posições nos resultados. Custo a partir de 3000 rublos por mês.
• SellerFox — análise para Wildberries com monitoramento de tendências e nichos. Adequado para encontrar produtos com demanda crescente.
• Moneyplace — monitoramento de concorrentes na Ozon e Wildberries, rastreamento de alterações de preços e classificações.
• ParseHub — parser universal para qualquer site, incluindo marketplaces. Requer configuração, mas funciona com qualquer plataforma.

A principal desvantagem dos serviços prontos é que você paga não apenas pelos dados, mas também pela infraestrutura de proxies. Para grandes volumes de coleta, isso pode custar dezenas de milhares de rublos mensalmente.

Configuração própria do parser: ferramentas e bibliotecas

Se você possui habilidades técnicas básicas (ou há um desenvolvedor na equipe), pode configurar seu próprio sistema de coleta de dados. Isso é mais barato ao escalar e oferece controle total sobre o processo.

Ferramentas populares para coleta de dados:

• Selenium (Python) — automação de navegador, suporte a JavaScript, fácil integração de proxies. Adequado para Wildberries e Ozon.
• Puppeteer (Node.js) — navegador headless baseado no Chrome, mais rápido que Selenium, menor consumo de memória.
• Scrapy (Python) — framework para coleta de dados, adequado para sites simples sem JavaScript. Rápido, mas não funciona com conteúdo dinâmico.
• Playwright (Python/Node.js) — alternativa moderna ao Selenium, suporte a todos os navegadores, trabalho embutido com proxies.

Para a coleta de dados em marketplaces, recomendamos Selenium ou Playwright — eles processam corretamente o JavaScript e permitem simular as ações de um usuário real (rolagem, cliques, atrasos).

Configuração passo a passo de proxies para o parser de produtos

A configuração correta de proxies é um fator chave para o sucesso. Mesmo os melhores proxies residenciais não salvarão você de bloqueios se a rotação estiver configurada incorretamente ou se os limites de requisições forem excedidos. Vamos analisar o processo de configuração usando ferramentas populares como exemplo.

Passo 1: Obtenção de dados do proxy e verificação de funcionalidade

Após a compra de proxies, você recebe uma lista no formato: IP:PORT:LOGIN:SENHA. Antes de configurar o parser, verifique a funcionalidade de cada proxy.

A maneira mais simples de verificar é abrir o navegador, configurar o proxy nas configurações de rede e acessar um site de verificação de IP (por exemplo, 2ip.ru ou whoer.net). Certifique-se de que o IP do proxy está sendo exibido, e não seu endereço real. Também verifique a velocidade de carregamento — se as páginas demoram mais de 5 segundos para abrir, o proxy é de baixa qualidade.

Passo 2: Configuração do proxy no parser (usando Selenium como exemplo)

Se você estiver usando Selenium para a coleta de dados, a configuração do proxy será a seguinte. Crie uma lista de proxies em um arquivo separado, e então o parser escolherá aleatoriamente um proxy da lista para cada sessão.

A lógica básica de funcionamento: o parser inicia o navegador com o proxy configurado, executa de 50 a 100 requisições (visualizando produtos), em seguida fecha a sessão e inicia uma nova com outro proxy. Isso simula o comportamento de diferentes usuários e reduz o risco de bloqueio.

Passo 3: Configuração da rotação de endereços IP

A rotação de proxies é a mudança automática do endereço IP em intervalos determinados. Existem duas abordagens: rotação por tempo (a cada 5-10 minutos) e rotação por número de requisições (a cada 50-100 requisições).

Para a coleta de dados em marketplaces, recomendamos a rotação por requisições — ela é mais previsível. Se você estiver coletando dados da Wildberries, mude o IP a cada 50 requisições. Para plataformas menos protegidas (AliExpress), você pode aumentar para 200-300 requisições por IP.

Passo 4: Configuração de atrasos entre requisições

Mesmo com a rotação de proxies, não é possível enviar requisições em um fluxo contínuo. Um usuário real leva tempo para visualizar um produto, ler avaliações, comparar preços. Seu parser deve simular esse comportamento.

Atrasos ideais para diferentes marketplaces:

• Wildberries: 2-5 segundos entre requisições, variação aleatória ±1 segundo
• Ozon: 3-7 segundos (devido ao CAPTCHA em requisições rápidas)
• AliExpress: 1-3 segundos (proteção mais tolerante)

Use atrasos aleatórios, e não fixos. Se cada requisição ocorre exatamente a cada 3 segundos — isso também é um sinal de bot. Adicione aleatoriedade: de 2 a 5 segundos com distribuição uniforme.

Rotação de IP e limites de requisições: como não ser banido

Mesmo com a configuração correta de proxies, você pode ser bloqueado se não considerar as peculiaridades dos sistemas de anti-coleta. Os marketplaces analisam não apenas a frequência das requisições, mas também os padrões de comportamento.

Limites de requisições para diferentes tipos de proxies

Cada tipo de proxy tem seus limites seguros de uso. Exceder esses limites aumenta drasticamente a probabilidade de bloqueio.

Esses números são aproximados. Os limites reais dependem do marketplace específico e da hora do dia. Durante horários de pico (noite, finais de semana), você pode aumentar a atividade, pois há mais usuários reais na plataforma.

Estratégias de rotação para diferentes volumes de coleta

A estratégia de rotação depende de quanto dado você precisa coletar. Para monitorar os 100 produtos mais vendidos na categoria, um esquema simples é suficiente. Para coletar todo o catálogo (dezena de milhares de itens), é necessário um sistema mais complexo.

Baixo volume (até 1000 produtos por dia): Use 5-10 proxies residenciais com rotação a cada 100 requisições. Isso é suficiente para monitorar tendências em 2-3 categorias.

Médio volume (1000-10000 produtos por dia): Um pool de 20-50 proxies residenciais, rotação a cada 50 requisições. Adicione pausas aleatórias de 1-2 horas entre as sessões de coleta.

Alto volume (mais de 10000 produtos por dia): Uma combinação de proxies residenciais (para requisições críticas) e proxies de data center (para coleta em massa). Use 100+ proxies com rotação agressiva e distribuição de carga ao longo do tempo.

Quais dados coletar para análise de tendências

Coletar dados apenas por coletar não faz sentido. É importante coletar as métricas corretas que ajudarão a identificar produtos em tendência antes que o nicho fique saturado com concorrentes.

Métricas chave para determinar tendências

Para cada produto, colete os seguintes dados:

• Nome e código do produto — para identificação e rastreamento de dinâmica
• Preço (atual e com desconto) — as tendências muitas vezes começam com uma queda acentuada de preços
• Número de avaliações — um aumento nas avaliações em uma semana indica um aumento nas vendas
• Avaliação média — produtos com avaliação de 4.5+ se tornam tendências mais rapidamente
• Número de pedidos (se disponível) — indicador direto de demanda
• Estoques disponíveis — uma queda acentuada nos estoques = aumento na demanda
• Posição nos resultados para palavras-chave — produtos no top 10 recebem 80% dos cliques
• Data de lançamento do produto — novos produtos com rápido crescimento de vendas = tendência potencial

Colete esses dados diariamente e armazene em um banco de dados (PostgreSQL, MySQL) ou Google Sheets para projetos simples. A análise da dinâmica em 7-14 dias mostrará produtos com demanda crescente.

Como identificar uma tendência em estágio inicial

Vendedores bem-sucedidos lucram com tendências exatamente porque entram no nicho antes dos concorrentes. Quando a tendência já é discutida em canais do Telegram, é tarde demais para lucrar com ela — a margem cai devido à concorrência.

Sinais de uma tendência emergente:

• Aumento no número de avaliações de 50-100% em uma semana com uma base pequena (10-50 avaliações)
• Aparição de 5-10 novos vendedores no nicho nas últimas 2 semanas
• Queda acentuada nos estoques dos líderes de categoria (de 1000+ para 100-200 unidades)
• Aumento nas posições nos resultados: o produto subiu da 50ª para a 10ª posição em uma semana
• Menções do produto nas redes sociais (TikTok, Instagram) — sinal indireto

Configure notificações automáticas (bot do Telegram, email) ao detectar esses sinais. Isso lhe dará uma vantagem de 1-2 semanas sobre a maioria dos concorrentes.

Erros típicos na coleta de dados e como evitá-los

A maioria dos bloqueios na coleta de dados ocorre devido aos mesmos erros. Vamos analisar os problemas mais comuns e suas soluções.

Erro 1: Uso de um único IP para todas as requisições

Iniciantes frequentemente compram 1-2 proxies e tentam coletar dados de todo o catálogo através deles. O resultado é previsível — bloqueio em uma hora. Os marketplaces facilmente identificam bots pela atividade anômala de um único IP.

Solução: Use pelo menos 10-20 proxies mesmo para projetos pequenos. Distribua a carga uniformemente — não mais de 100-200 requisições por IP por hora.

Erro 2: Coleta de dados durante a noite

Muitos iniciam a coleta de dados à noite, para obter informações frescas pela manhã. O problema é que à noite (das 2h às 6h, horário de Moscovo) o tráfego nos marketplaces é mínimo. Sua atividade se torna mais visível em meio à baixa carga geral.

Solução: Inicie a coleta de dados durante os horários de pico — das 18h às 23h, quando há o máximo de usuários reais na plataforma. Suas requisições se misturarão ao fluxo geral de tráfego.

Erro 3: Ignorar User-Agent e outros cabeçalhos

Parsers por padrão enviam requisições com User-Agent como "Python-requests/2.28" ou "Selenium WebDriver". Isso é um indicativo direto de um bot. Os marketplaces bloqueiam tais requisições automaticamente.

Solução: Use User-Agents realistas de navegadores modernos. Altere o User-Agent a cada rotação de proxy. Adicione também cabeçalhos Accept-Language, Referer e outros, característicos de navegadores reais.

Erro 4: Coleta de dados apenas da primeira página de resultados

Muitos se limitam a coletar dados dos 50 produtos mais vendidos na categoria. Isso é um erro — as tendências frequentemente surgem na 3ª-5ª página de resultados, onde a concorrência é menor e os produtos estão apenas começando a ganhar popularidade.

Solução: Colete dados de pelo menos as primeiras 5-10 páginas de resultados (200-500 produtos na categoria). Monitore produtos que sobem rapidamente da 5ª página para a 1ª-2ª — esses são os tendências emergentes.

Erro 5: Falta de tratamento de CAPTCHA e bloqueios

Mesmo com a configuração correta de proxies, às vezes aparece um CAPTCHA ou um bloqueio temporário. Se o parser não consegue lidar com tais situações, ele simplesmente falhará com um erro, e você perderá dados.

Solução: Adicione ao parser o tratamento de erros. Ao receber um CAPTCHA — mude para outro proxy e repita a requisição após 5-10 minutos. Salve resultados intermediários para não perder dados em caso de falha.

Conclusão

A coleta de dados sobre produtos em tendência através de proxies não é apenas um processo técnico, mas uma vantagem competitiva para vendedores em marketplaces. Enquanto alguns monitoram manualmente os concorrentes, você obtém dados estruturados sobre dezenas de milhares de produtos diariamente e identifica tendências em estágio inicial.

Pontos-chave a serem lembrados: escolha o tipo de proxy dependendo da proteção do marketplace (residenciais para Wildberries e Ozon, proxies de data center para plataformas menos protegidas), configure a rotação de IP corretamente considerando os limites de requisições, adicione atrasos aleatórios entre as requisições e simule o comportamento de um usuário real, colete dados durante os horários de pico, quando sua atividade é menos visível em meio ao tráfego geral.

Comece pequeno — configure a coleta de dados de 1-2 categorias de produtos usando 10-20 proxies. Aperfeiçoe o processo, certifique-se de que não há bloqueios e, gradualmente, escale o sistema. A automação da coleta de dados se paga já no primeiro mês devido ao mais rápido acesso a nichos em tendência.

Se você planeja coletar dados regularmente da Wildberries, Ozon ou outros marketplaces protegidos, recomendamos usar proxies residenciais — eles garantem um alto nível de confiança por parte das plataformas e um risco mínimo de bloqueios. Para coleta em massa de sites menos protegidos, os proxies de data center com a configuração correta de rotação são adequados.