Agências de geração de leads e profissionais de marketing que coletam bases de empresas a partir de mapas, cedo ou tarde, se deparam com a mesma questão: quanto realmente "pesa" a coleta de 10 000 contatos e por que contas e endereços IP começam a ser banidos já na terceira milhar. Vamos analisar o cálculo do tráfego passo a passo, comparar Google Maps, 2GIS e Yandex.Maps, e mostrar quais proxies suportam esses volumes sem bloqueios.
O que é geração de leads com mapas e por que contar o tráfego
A geração de leads com mapas é a coleta de dados de contato de empresas (nome, telefone, site, endereço, classificação, categoria de atividade) através do Google Maps, 2GIS ou Yandex.Maps para subsequentes chamadas frias, e-mails ou publicidade direcionada. Esse método é especialmente popular entre agências que vendem serviços B2B: estúdios de web, provedores de CRM, contratados de marketing — eles precisam de bases por nichos e cidades: "odontologia em Kazan", "oficinas de automóveis em Novosibirsk", "salões de beleza em Yekaterinburg".
O cálculo do tráfego é importante por três razões. Primeiro, a quantidade de dados transmitidos determina quanto tráfego de proxy você gastará e quanto isso custará ao escalar para várias cidades. Em segundo lugar, os mapas registram atividade anômala com base no número de solicitações, e não apenas pelo IP — e se você não entender quantas solicitações são geradas pela coleta de 10 000 cartões, é fácil subestimar o risco de banimento. Em terceiro lugar, sabendo o volume exato de dados, é mais fácil escolher entre fazer scraping da página HTML, usar a API interna do mapa ou um serviço pronto — cada opção difere em tráfego em várias vezes.
Na prática, 10 000 empresas não é um número abstrato. Esse volume corresponde, por exemplo, à base completa de pessoas jurídicas ativas no nicho de "reparo de equipamentos" em 15-20 cidades com mais de um milhão de habitantes na Rússia, ou a todos os estabelecimentos de alimentação em uma grande cidade como Moscou ou São Petersburgo. Essa é uma tarefa realista para uma agência que vende leads em pacotes.
Quanto pesa um cartão de empresa
O peso de um cartão de empresa depende do que exatamente você está coletando e de como. Se você estiver fazendo scraping apenas da lista de resultados de pesquisa (nome, endereço curto, classificação), os dados são transmitidos de forma compacta — geralmente é uma resposta JSON da API interna do mapa pesando de 3 a 8 KB por empresa na lista geral. No entanto, se você precisar de um cartão detalhado — telefone, site, horários de funcionamento, fotos, avaliações — será necessário abrir uma página separada ou fazer uma solicitação adicional, e o peso aumenta para 80-250 KB devido às imagens e ao JSON expandido.
Abaixo está uma comparação entre os três principais mapas com os quais as agências de geração de leads trabalham na CEI:
| Mapa | Peso do cartão na lista | Peso do cartão detalhado | Características de proteção |
|---|---|---|---|
| Google Maps | 5-8 KB | 150-250 KB | Limite rígido de taxa e captchas em solicitações frequentes de um único IP |
| 2GIS | 3-6 KB | 80-150 KB | Bloqueio por frequência de solicitações à API do catálogo |
| Yandex.Maps | 4-7 KB | 100-200 KB | Sistema anti-bot com análise comportamental e listas negras de proxies |
Um ponto importante: o peso da lista não é o cartão completo. Para obter o telefone e o site da empresa, na maioria dos casos, é necessária uma solicitação separada para a página detalhada. Isso dobra ou até triplica o tráfego real por lead, se você estiver coletando não apenas nomes, mas contatos completos para vendas.
Cálculo do tráfego para 10 000 empresas passo a passo
Vamos considerar um cenário realista: a agência coleta cartões completos (nome, telefone, site, endereço, classificação, categoria) do Google Maps para 10 000 empresas em várias cidades.
Passo 1. Pesquisa e listagem. O Google Maps fornece cerca de 20 resultados por página de resultados. Para obter 10 000 posições, é necessário processar cerca de 500 páginas de resultados. Cada página, considerando solicitações de serviço, carregamento do mapa e scripts, pesa de 600 a 900 KB. Total: 500 × 750 KB ≈ 375 MB apenas na etapa de pesquisa.
Passo 2. Cartões detalhados. Para cada uma das 10 000 empresas, é necessária uma solicitação separada com telefone, site e fotos. Com um peso médio de 180 KB por cartão: 10 000 × 180 KB ≈ 1,8 GB.
Passo 3. Solicitações repetidas e retries. Em condições reais de scraping, 10-20% das solicitações não passam na primeira tentativa devido a limites de taxa, captcha ou mudanças no layout — elas precisam ser repetidas. Adicionamos mais 15% ao volume: (375 MB + 1,8 GB) × 1,15 ≈ 2,5 GB.
O número final é cerca de 2,5 GB de tráfego para coletar 10 000 empresas do Google Maps ao fazer scraping de cartões detalhados. Se você coletar apenas listas sem telefones e sites, o tráfego diminui para 450-500 MB, mas essa base será pouco útil para vendas — sem telefone, o lead não se converte em uma chamada.
Para 2GIS e Yandex.Maps, o cálculo é semelhante, mas o volume geralmente é 20-30% menor devido ao formato mais compacto da API — espere entre 1,7-2,2 GB para os mesmos 10 000 cartões.
Por que os mapas banem a coleta massiva de dados
Os mapas são um ativo comercial das próprias plataformas, e a coleta automática massiva de dados contradiz diretamente seu modelo de negócios (venda de publicidade nos cartões, acesso à API para parceiros). Portanto, Google Maps, 2GIS e Yandex.Maps reagem de forma igualmente agressiva a comportamentos atípicos.
Os principais gatilhos de bloqueio: frequência de solicitações muito alta de um único IP (mais de 1 solicitação a cada 2-3 segundos), User-Agent e cabeçalhos idênticos sem variabilidade, ausência de cookies e dados de sessão, solicitações sem recursos acompanhantes (imagens, scripts), que um navegador comum sempre carrega. Ao atingir o limite, o serviço ou exibe um captcha, ou bloqueia temporariamente o IP por 15-60 minutos, ou bane o IP permanentemente em caso de violações repetidas.
Para o volume calculado de 2,5 GB e 10 000+ solicitações de um único IP "limpo", a probabilidade de banimento se aproxima de 100% já na primeira milhar de cartões. É por isso que qualquer projeto sério de geração de leads com mapas é construído em torno da rotação de endereços IP — sem isso, o cálculo do tráfego perde sentido, pois coletar o volume planejado fisicamente não será possível.
Proxies residenciais, móveis e de data center para scraping de mapas
A escolha do tipo de proxy afeta diretamente quantas solicitações você poderá fazer antes de ser bloqueado e qual parte do tráfego terá que "queimar" em tentativas repetidas. Para a coleta de dados de mapas, a reputação do IP é crítica — os mapas banem muito mais rigorosamente os intervalos de data center, pois é de lá que vem a maior parte do scraping automático.
| Tipo de proxy | Nível de confiança dos mapas | Quando aplicar |
|---|---|---|
| Proxies residenciais | Alto — IPs de usuários reais | Ferramenta principal para coletar de 5 000 a 50 000 cartões com rotação por cidades |
| Proxies móveis | Muito alto — IPs gerais dos operadores | Coleta pontual por nichos com proteção anti-bot rigorosa (Yandex.Maps) |
| Proxies de data center | Baixo-médio — mais frequentemente em listas negras | Testes preliminares, testes de scripts em pequenos volumes sem exportação real |
Na prática, para os 10 000 empresas calculados, a combinação ideal é proxies residenciais com rotação por sub-redes de cidades: você obtém IPs da mesma região que o público-alvo nos cartões, reduzindo a quantidade de captchas e solicitações repetidas, que consideramos no cálculo de tráfego acima. Proxies de data center nessa tarefa podem ser usados apenas na fase de teste do script em 50-100 cartões, para não queimar o orçamento de tráfego residencial na depuração.
Configuração da coleta de dados: ferramentas e esquema passo a passo
Para coletar uma base de empresas a partir de mapas, as agências geralmente utilizam ferramentas prontas de no-code e low-code, em vez de escrever um scraper do zero. Entre as soluções populares estão A-Parser (configuração flexível de modelos para Google Maps, 2GIS, Yandex.Maps sem programação), Octoparse (construtor visual de scripts de coleta) e ZennoPoster (modelos de automação com suporte a proxies e perfis anti-detect). Para volumes pequenos, serviços de scraping de mapas em nuvem com pagamento por quantidade de cartões são adequados.
O esquema passo a passo para iniciar a coleta de 10 000 empresas é o seguinte:
- Defina a lista de cidades e nichos para os quais você precisa de leads — isso determina a quantidade de solicitações de pesquisa e permite prever melhor o tráfego pela fórmula da seção acima.
- Configure no scraper uma lista de proxies residenciais com rotação de IP a cada 5-10 solicitações — a maioria das ferramentas suporta listas de proxies no formato login:senha@host:porta.
- Ative um atraso aleatório entre solicitações de 3-7 segundos e rotação de User-Agent — isso reduz a porcentagem de captchas em 30-40% em comparação com intervalos fixos.
- Inicie um teste em 100-200 cartões e registre o consumo real de tráfego — compare com o calculado para ajustar a previsão para o volume total.
- Escalone a coleta para 10 000 cartões, dividindo a tarefa em lotes de 1 000-1 500 registros — isso facilita o controle de erros e reinícios em caso de falhas.
- Exporte o resultado em CSV ou diretamente para o CRM, removendo duplicatas por número de telefone e site — os mapas frequentemente apresentam repetições devido a organizações e filiais em rede.
Se a tarefa de coleta se repete regularmente (por exemplo, atualização mensal da base por nicho), faz sentido configurar imediatamente o início automático de acordo com um cronograma com um pool constante de IPs residenciais — isso economiza tempo em reinícios manuais e reduz o risco de banimento devido à distribuição uniforme da carga ao longo do tempo.
Como reduzir o consumo de tráfego sem perder leads
Os 2,5 GB calculados para 10 000 empresas podem ser reduzidos em 30-40% sem perda de qualidade dos dados, se algumas práticas forem aplicadas.
Primeiro, desative o carregamento de imagens no nível da solicitação — fotos de estabelecimentos ocupam até metade do peso do cartão detalhado, mas não são necessárias para vendas. Em segundo lugar, use solicitações diretas para a API interna do mapa em vez de renderizar a página completa no navegador — isso elimina scripts, estilos e fontes desnecessárias que não contêm dados úteis. Em terceiro lugar, filtre duplicatas antes de fazer scraping dos cartões detalhados: se a empresa já apareceu em outra área da mesma cidade, não faça uma nova solicitação para sua página — verifique pelo nome e endereço na etapa da lista. Em quarto lugar, colete primeiro listas simplificadas de todas as cidades, e solicite cartões detalhados apenas para empresas que passaram pelo filtro de classificação ou categoria — isso é especialmente útil se você precisar não de todas as 10 000, mas apenas dos 30% principais em relevância.
Essas práticas reduzem não apenas o volume de tráfego, mas também o número de solicitações aos servidores dos mapas, e, portanto, o risco de bloqueio. Para a agência, isso significa um menor consumo de tráfego de proxy na mesma tarifa e a possibilidade de coletar mais cidades pelo mesmo orçamento.
Erros comuns na coleta de leads a partir de mapas
O primeiro erro é iniciar a coleta a partir de um único IP estático sem rotação. Mesmo com uma baixa velocidade de solicitações, o mapa registra atividade anômala já após 200-300 solicitações consecutivas, e a coleta subsequente se torna impossível sem mudar de IP.
O segundo erro é ignorar a correspondência regional entre o proxy e a cidade-alvo. Se você estiver coletando empresas de Kazan através de um IP de outro país, o mapa frequentemente mostrará resultados irrelevantes ou bloqueará imediatamente a solicitação como suspeita.
O terceiro erro é a falta de cálculo do tráfego antes do início. As equipes frequentemente iniciam a coleta "a olho" e se deparam com o limite de tráfego de proxy no meio da tarefa, perdendo dados já coletados devido à interrupção da sessão.
O quarto erro é a coleta sem deduplicação em tempo real. Ao fazer scraping de 10 000 posições com várias solicitações sobrepostas (por exemplo, "café" e "restaurante" em uma mesma área), as duplicatas podem representar 15-25% da base, o que artificialmente aumenta o tráfego calculado e os custos reais.
O quinto erro é usar o mesmo User-Agent e cabeçalhos para todas as solicitações da sessão. Os sistemas anti-bot dos mapas analisam não apenas o IP, mas também a consistência da impressão digital do navegador, portanto, para grandes volumes, recomenda-se combinar a rotação de proxies com um navegador anti-detect e mudar a impressão digital junto com o IP.
Conclusão
Coletar 10 000 empresas a partir de mapas é uma tarefa previsível em termos de tráfego: ao fazer scraping de cartões detalhados do Google Maps, o consumo é de cerca de 2,5 GB considerando as solicitações repetidas, e para 2GIS e Yandex.Maps, o número é 20-30% menor. Sabendo esse número com antecedência, é possível planejar com precisão o orçamento para o tráfego de proxies e evitar situações em que a coleta é interrompida no meio devido ao limite esgotado.
O principal fator para uma coleta bem-sucedida não é economizar no tráfego, mas escolher corretamente os proxies. Para volumes de milhares de cartões por dia, recomendamos proxies residenciais com rotação por cidades — eles reduzem a porcentagem de captchas e solicitações repetidas, que consomem até 15-20% do tráfego. Se a coleta for feita em nichos com proteção anti-bot especialmente rigorosa, vale a pena considerar IPs móveis como um complemento ao pool principal — isso aumenta a estabilidade da sessão com um aumento mínimo nos custos.