A maioria dos novatos em análise começa com a navegação completa do site: acessam a página inicial, coletam todos os links, clicam em cada um, coletam links novamente — e assim por mil vezes. Isso consome proxies, tempo e muitas vezes termina em bloqueio. Existe uma maneira mais simples e barata: quase todos os grandes sites, incluindo Wildberries, Ozon e Avito, já têm um mapa pronto de todas as páginas — sitemap.xml. Vamos entender como encontrá-lo, lê-lo e usá-lo em vez de milhares de solicitações desnecessárias.
O que é sitemap.xml e por que é importante para os analisadores
Sitemap.xml é um arquivo que o site cria para mecanismos de busca como Google e Yandex. Nele estão listadas todas as páginas que o proprietário do site deseja que sejam indexadas: páginas de produtos, categorias, artigos de blog. Na prática, é uma lista pronta de URLs que o site fornece — não é necessário clicar manualmente nos links, navegar pela paginação ou decifrar a lógica de navegação.
Para os vendedores que monitoram os preços dos concorrentes na Wildberries ou Ozon, isso significa uma coisa: em vez de navegar por milhares de categorias e páginas de paginação, é possível obter imediatamente uma lista de todas as páginas de produtos com uma única solicitação ao sitemap. Para os profissionais de marketing que coletam uma base de URLs para análise de conteúdo dos concorrentes, isso economiza horas de trabalho manual. Para os arbitradores que analisam as páginas de destino dos concorrentes para análise de criativos, o sitemap mostra todas as páginas do site de uma só vez.
Um ponto importante: nem todas as páginas entram no sitemap. Às vezes, páginas com filtros, promoções temporárias ou páginas com parâmetros na URL não são incluídas. Portanto, o sitemap não é sempre uma cobertura de 100% do site, mas geralmente cobre 80-95% das páginas úteis que você precisa para o catálogo ou monitoramento.
Navegação completa vs sitemap-first: comparação de custos
A diferença nas abordagens é significativa quando se conta não em "tentativas" abstratas, mas em recursos reais: número de solicitações, consumo de tráfego de proxy e tempo até o resultado. Abaixo está uma comparação com base na coleta de um catálogo de 50.000 páginas de produtos.
| Parâmetro | Navegação completa do site | Análise através de sitemap |
|---|---|---|
| Solicitações para coletar URLs | 15.000–20.000 (categorias, paginação, filtros) | 50–300 (apenas arquivos sitemap) |
| Tempo para coletar a lista de URLs | 4–8 horas | 15–30 minutos |
| Risco de bloqueio de IP | Alto devido ao volume de solicitações de navegação | Baixo, solicitações são muito menores |
| Carga no tráfego de proxy | Alta, é necessário um grande pool de IPs | Mínima, pode-se usar um pequeno pool |
| Complexidade da lógica do analisador | Alta, é necessário entender a navegação | Baixa, análise da estrutura XML |
O número "10 vezes mais barato" do título não é exagero. Se a navegação completa exige 15-20 mil solicitações apenas para compilar a lista de páginas, e o sitemap fornece a mesma lista com 50-300 solicitações, a economia em tráfego de proxy e tempo é significativa. No entanto, você ainda precisará baixar as páginas de produtos separadamente — mas você sabe exatamente quais URLs baixar e não desperdiça recursos em páginas vazias, duplicatas e links inúteis.
Como encontrar sitemap.xml em qualquer site
A primeira e mais simples maneira é adicionar /sitemap.xml ao domínio do site. Por exemplo, para testar, tente abrir no navegador um endereço como https://example.com/sitemap.xml. Isso funcionará para a maioria dos sites, incluindo muitas lojas online em CMS populares.
Se nada aparecer nesse endereço, verifique o arquivo robots.txt — ele quase sempre está localizado em /robots.txt e na maioria dos casos contém a linha Sitemap: https://example.com/sitemap_index.xml. Este é o método oficial pelo qual os sites informam aos mecanismos de busca onde encontrar o mapa. Em grandes marketplaces como Wildberries e Ozon, os mapas do site são frequentemente divididos em dezenas de arquivos e indicados precisamente através do robots.txt.
A terceira opção é procurar menções em sistemas como Google Search Console (se você tiver acesso ao seu site) ou usar scanners de site especializados que encontram todos os arquivos sitemap. Para sites de concorrentes, geralmente, os dois primeiros métodos são suficientes — o robots.txt quase nunca é fechado para olhos externos, é um arquivo público.
Dica:
Os nomes dos arquivos sitemap nem sempre são padronizados. Existem variantes como sitemap_index.xml, sitemap-products.xml, product-sitemap.xml e similares. Sempre comece pelo robots.txt — ele indicará os caminhos exatos.
Estrutura do sitemap em marketplaces: índice e mapas aninhados
Sites menores geralmente têm um único arquivo sitemap.xml com todas as URLs. Mas grandes catálogos, como Wildberries, Ozon ou Avito, têm milhões de páginas, e um único arquivo XML com esse volume seria inconveniente. Portanto, eles usam o chamado índice de sitemap — um arquivo de índice que se refere a dezenas ou centenas de arquivos sitemap separados, organizados por categorias, datas ou simplesmente em lotes de 10-50 mil URLs.
A estrutura é mais ou menos assim: primeiro, você abre o arquivo de índice principal, onde encontra uma lista de links para os sitemaps filhos, como sitemap-products-1.xml, sitemap-products-2.xml e assim por diante. Em seguida, é necessário baixar cada um desses arquivos e extrair as URLs finais das páginas de produtos a partir deles. Este é um processo em dois níveis, mas ainda é muito mais rápido do que navegar manualmente pelo site.
Às vezes, os arquivos sitemap filhos estão compactados no formato gzip (extensão .xml.gz) — essa é uma prática padrão para economizar espaço no servidor. Se o script baixa o arquivo e vê caracteres ilegíveis em vez de XML, provavelmente é necessário descompactar o conteúdo antes da análise.
Extração passo a passo de URLs do sitemap
Para aqueles que trabalham com ferramentas de análise no-code prontas, a maioria dos analisadores modernos de catálogos de marketplaces já consegue ler o sitemap automaticamente — basta indicar a URL raiz do site, e a ferramenta encontrará o robots.txt, localizará o índice do sitemap e coletará a lista de todas as páginas de produtos. Mas se você está trabalhando com um desenvolvedor ou escrevendo um pequeno script por conta própria, a lógica de funcionamento é simples, e aqui está um exemplo em Python:
import requests
import gzip
from io import BytesIO
from lxml import etree
def get_sitemap_urls(sitemap_url, proxies=None):
response = requests.get(sitemap_url, proxies=proxies, timeout=15)
content = response.content
# Descompactação gzip, se o arquivo estiver compactado
if sitemap_url.endswith('.gz'):
content = gzip.decompress(content)
root = etree.fromstring(content)
namespace = {'ns': 'http://www.sitemaps.org/schemas/sitemap/0.9'}
# Se for um índice de sitemap — coletamos links para mapas filhos
sub_sitemaps = root.findall('.//ns:sitemap/ns:loc', namespace)
if sub_sitemaps:
all_urls = []
for sub in sub_sitemaps:
all_urls.extend(get_sitemap_urls(sub.text, proxies))
return all_urls
# Se for um sitemap comum — coletamos URLs finais
urls = root.findall('.//ns:url/ns:loc', namespace)
return [url.text for url in urls]
proxy = {
"http": "http://user:pass@proxy_host:port",
"https": "http://user:pass@proxy_host:port"
}
urls = get_sitemap_urls("https://example.com/sitemap_index.xml", proxies=proxy)
print(f"URLs encontradas: {len(urls)}")Este script percorre recursivamente o arquivo de índice, baixa cada mapa filho e coleta todos os links finais em uma única lista. No final, você obtém uma lista completa de URLs das páginas de produtos sem um único desvio desnecessário pela navegação do site.
Filtragem de páginas necessárias por padrões de URL
Depois de obter a lista completa de URLs do sitemap, quase sempre é necessário filtrá-la. Em um arquivo sitemap de um marketplace, podem coexistir páginas de produtos, páginas de categorias, artigos de blog, páginas de marcas e páginas de serviço. Provavelmente, você só precisa das páginas de produtos de uma categoria específica.
Para filtragem, geralmente são usados padrões de URL. Por exemplo, se as páginas de produtos no site têm o formato /catalog/product/12345, enquanto as categorias aparecem como /catalog/category/electronics, não é difícil separar uma da outra com uma simples comparação de segmentos de caminho. Para casos mais complexos, onde a estrutura da URL não é tão óbvia, são usadas expressões regulares — elas permitem definir um padrão uma vez e filtrar instantaneamente centenas de milhares de links.
Além disso, é útil observar as tags <lastmod> dentro do sitemap — elas mostram a data da última modificação da página. Se você precisa de um catálogo não completo, mas apenas de produtos atualizados na última semana (por exemplo, para monitorar novas posições dos concorrentes), pode filtrar as URLs com base nessa data e ignorar páginas que não mudaram por meses.
Configuração de proxy para download em massa de mapas do site
Apesar de que as solicitações ao sitemap são muito menores do que na navegação completa, sites como Wildberries e Ozon ainda monitoram atividades suspeitas — solicitações muito frequentes de um único IP, User-Agent não típicos, ausência de cabeçalhos de navegador. Portanto, mesmo para baixar arquivos sitemap, é aconselhável usar proxies, especialmente se você planeja monitoramento regular, e não apenas uma coleta pontual do catálogo.
Para baixar os próprios arquivos XML do sitemap, geralmente são suficientes proxies de datacenter — eles são rápidos e baratos, e como há poucas solicitações ao sitemap, os sites raramente aplicam proteção rigorosa a eles em comparação com páginas comuns do catálogo. Já na fase de download das páginas de produtos pelos URLs coletados, onde o número de solicitações é muito maior e a proteção é mais rigorosa, é melhor usar proxies residenciais — eles usam IPs reais de usuários comuns e têm menos chances de serem bloqueados pelos sistemas anti-bot dos marketplaces.
Se você está monitorando o catálogo a partir de versões móveis do site ou de uma API que fornece dados apenas com tráfego móvel, vale a pena considerar proxies móveis — eles usam IPs de operadoras móveis e são considerados os mais confiáveis pela maioria dos sistemas anti-fraude.
A configuração prática no script ou analisador é simples: indique o host, a porta, o login e a senha do proxy nos campos correspondentes da solicitação (como mostrado no exemplo de código acima no parâmetro proxies), ou, se você estiver usando um analisador no-code pronto ou um navegador anti-detect como Dolphin Anty ou AdsPower para verificar manualmente a estrutura do site antes de configurar a coleta automática, insira os dados do proxy nas configurações do perfil: abra a aba "Proxy" → escolha o tipo HTTP ou SOCKS5 → insira o host, a porta, o login, a senha → salve o perfil.
Erros comuns ao trabalhar com sitemap
O primeiro e mais comum erro é ignorar o robots.txt e tentar adivinhar o endereço do sitemap aleatoriamente. Isso é uma perda de tempo que pode ser facilmente evitada, simplesmente consultando o arquivo de regras de indexação.
O segundo erro é não considerar que o sitemap pode ser incompleto. Alguns sites excluem intencionalmente do sitemap páginas de baixo valor para SEO, mas que ainda são importantes para monitoramento de preços — por exemplo, páginas de produtos fora de estoque. Se após a análise através do sitemap o número de páginas coletadas for significativamente menor do que o esperado, vale a pena conferir a quantidade de produtos que o próprio site mostra na categoria e, se necessário, complementar a coleta com uma navegação pontual nas seções faltantes.
O terceiro erro é não armazenar em cache os arquivos sitemap já baixados. Se você está monitorando diariamente, não faz sentido baixar novamente o arquivo de índice e todos os mapas filhos — a maioria deles não muda todos os dias. Armazene a lista de URLs localmente e atualize apenas o que realmente mudou com base na data lastmod.
O quarto erro é esquecer os cabeçalhos da solicitação. Mesmo o download de um simples arquivo XML pode ser bloqueado se a solicitação parecer a de um bot: sem User-Agent, sem Accept-Language, com cabeçalhos padrão não típicos que a biblioteca de solicitações define. Adicionar cabeçalhos realistas de navegador em conjunto com proxies reduz drasticamente a probabilidade de bloqueio nesta fase.
Checklist para iniciar a análise através de sitemap
Antes de iniciar a coleta completa do catálogo, passe por uma lista curta de etapas para não perder tempo com erros:
- Verificou o robots.txt do site e encontrou o endereço exato do sitemap ou sitemap index
- Certificou-se de que a estrutura do sitemap é de dois níveis (índice + mapas filhos) ou de um nível
- Verificou se os arquivos filhos não estão compactados em gzip
- Definiu o padrão de URL para as páginas necessárias (páginas de produtos, categorias, etc.)
- Configurou a filtragem por padrão ou pela data lastmod, se apenas as novas posições forem necessárias
- Conectou proxies para baixar os arquivos sitemap e separadamente para baixar as páginas de produtos
- Adicionou cabeçalhos realistas de solicitação (User-Agent, Accept-Language)
- Configurou o cache e a comparação por data para execuções repetidas de monitoramento
- Conferiu a quantidade final de URLs com a quantidade aproximada de produtos no site
Conclusão
A abordagem sitemap-first não é um hack e nem uma forma de contornar a proteção, mas sim o uso da informação que o próprio site publica para os mecanismos de busca. Em vez de milhares de solicitações para navegação, categorias e paginação, você obtém uma lista pronta das páginas necessárias com algumas dezenas de solicitações aos arquivos XML. Isso economiza tempo na inicialização da análise, reduz o consumo de tráfego de proxy e diminui significativamente o risco de bloqueio de IP, pois a carga no site é muito menor do que na navegação completa.
Se você está apenas começando a monitorar o catálogo da Wildberries, Ozon ou outro grande site, comece pelo sitemap — provavelmente você economizará horas de trabalho já na primeira execução. Para baixar os próprios arquivos sitemap, proxies de datacenter são suficientes e baratos, enquanto para a coleta regular de dados das páginas de produtos, onde o risco de bloqueio é maior, vale a pena considerar proxies residenciais — eles garantem um funcionamento estável do analisador sem bloqueios frequentes a longo prazo.