Se você está coletando preços de aluguel de apartamentos em várias cidades — para análise de mercado, formação de preços ou revenda de dados para corretores — mais cedo ou mais tarde você encontrará captcha, bloqueios temporários e consumo de tráfego imprevisível. Neste artigo, vamos analisar um esquema específico de coleta de anúncios do Avito, Cian e Yandex.Imóveis em 5 cidades, e calcular quantos gigabytes de tráfego em proxies realmente precisam ser alocados no orçamento.
Por que monitorar preços de aluguel em várias cidades
O monitoramento de preços de aluguel em várias cidades não é necessário apenas para agências imobiliárias. É uma tarefa para analistas de mercado, gestores de empresas, investidores em imóveis e serviços que vendem relatórios sobre o mercado de aluguel. Comparar preços em Moscovo, São Petersburgo, Kazan, Ecaterimburgo e Novosibirsk permite ver a dinâmica da demanda, sazonalidade e anomalias — por exemplo, uma queda acentuada nos preços em uma área devido à listagem em massa de apartamentos por um único proprietário.
Para as agências imobiliárias, isso também é uma maneira de reagir rapidamente ao dumping de concorrentes: se um anúncio em um condomínio vizinho aparecer com 15% a menos que o preço de mercado, isso precisa ser visto dentro de uma hora, e não em uma semana. A visualização manual de anúncios através do navegador em 5 cidades leva de 3 a 4 horas por dia para um funcionário — a automação com proxies reduz esse tempo para 10-15 minutos para verificar os resultados.
Um ponto importante: as plataformas de anúncios (Avito, Cian, Domclick) estão ativamente se protegendo contra a coleta automática de dados exatamente porque esses relatórios competem com seus próprios serviços de análise pagos. Portanto, qualquer esquema de monitoramento é construído em torno de três coisas: simulação do comportamento de um usuário real, diversidade de endereços IP e controle da velocidade das solicitações.
Quais fontes de anúncios usar
Para uma visão completa do mercado de aluguel em 5 cidades, geralmente são usadas 2-3 fontes ao mesmo tempo, pois nenhuma plataforma cobre o mercado completamente:
- Avito Imóveis — a maior cobertura de anúncios particulares, mas a proteção contra scraping é a mais rígida e há captcha frequente em caso de atividade suspeita.
- Cian — mais forte em grandes cidades, muitos anúncios de agências, a estrutura das páginas é mais estável para coleta.
- Yandex.Imóveis — agregador, puxa anúncios de outras plataformas, útil para verificação cruzada de preços.
- Domclick — relevante para cidades com mais de um milhão de habitantes, menos bloqueios, mas também menos anúncios de particulares.
Para começar, geralmente é suficiente usar Avito e Cian — eles oferecem 70-80% de cobertura do mercado de aluguel em cidades com mais de um milhão de habitantes. As outras fontes são conectadas quando uma análise mais profunda ou verificação de preços anômalos é necessária.
Esquema de coleta: proxies, ferramentas e periodicidade
O esquema básico de monitoramento de preços de aluguel em 5 cidades é construído com a seguinte lógica: para cada cidade e cada plataforma, é alocado um pool separado de endereços IP, as solicitações são feitas com intervalos que imitam o comportamento humano, e a coleta de dados ocorre em um cronograma várias vezes ao dia.
Na prática, o esquema se parece com isso:
- Uma solução pronta para scraping de anúncios (sem necessidade de codificação) é configurada para coletar uma lista de anúncios com base em filtros: cidade, tipo de imóvel, faixa de preços.
- Para cada cidade, é criado um perfil separado vinculado a um proxy geográfico da região correspondente — isso reduz a probabilidade de captcha, pois o IP corresponde à localização real da amostra.
- As solicitações são distribuídas ao longo do tempo: não em um fluxo contínuo, mas com pausas de 3-8 segundos entre os anúncios.
- A coleta de dados para cada cidade é repetida 2-4 vezes ao dia — isso é suficiente para rastrear novos anúncios e alterações de preços, sem criar uma carga anômala na plataforma.
- Os resultados são salvos em uma tabela ou banco de dados vinculados à data e hora da coleta para a construção de gráficos de dinâmica de preços.
Para gerenciar vários perfis de coleta por cidade, é conveniente usar navegadores anti-detectores como Dolphin Anty, AdsPower ou Octo Browser — eles permitem atribuir a cada cidade um perfil de navegador separado com cookies únicos, user-agent e, o mais importante, um proxy vinculado à região necessária. Este é o mesmo princípio que os arbitradores usam para multi-contas, apenas aplicado à tarefa de scraping de anúncios.
Cálculo do consumo de tráfego em 5 cidades
O consumo de tráfego é um parâmetro chave ao planejar o orçamento para proxies, especialmente se você estiver usando IPs residenciais, onde o pagamento é feito com base no volume de dados transferidos. Vamos considerar o cálculo usando como exemplo o monitoramento de cinco cidades com mais de um milhão de habitantes: Moscovo, São Petersburgo, Kazan, Ecaterimburgo, Novosibirsk.
Dados básicos para o cálculo:
- Peso médio da página com a lista de anúncios (30-50 anúncios) — 800 KB - 1,5 MB considerando imagens, se as imagens não forem bloqueadas, e cerca de 150-250 KB sem carregamento de imagens.
- Peso médio de um anúncio ao ser detalhado — 300-500 KB com foto, 40-70 KB em modo texto.
- Número de anúncios a serem coletados por cidade em uma única passagem — 300-800 dependendo do tamanho do mercado (Moscovo e SPb — mais, Kazan, Ecaterimburgo, Novosibirsk — menos).
| Cidade | Anúncios/passagem | Tráfego sem fotos/passagem | Tráfego/dia (3 passagens) |
|---|---|---|---|
| Moscovo | 800 | ~45 MB | ~135 MB |
| São Petersburgo | 650 | ~37 MB | ~111 MB |
| Kazan | 350 | ~20 MB | ~60 MB |
| Ecaterimburgo | 380 | ~22 MB | ~66 MB |
| Novosibirsk | 400 | ~23 MB | ~69 MB |
No total, obtemos cerca de 440 MB de tráfego por dia em 5 cidades com três passagens por dia e o carregamento de imagens desativado. Em um mês, isso é aproximadamente 13 GB. Se você também coleta fotos dos anúncios para verificação visual (por exemplo, para distinguir apartamentos reais de anúncios fraudulentos), o consumo aumenta de 6 a 8 vezes — para 80-100 GB por mês em 5 cidades.
Dica prática: no início, desative o carregamento de imagens e estilos nas configurações do scraper ou do perfil do navegador — isso reduz o tráfego drasticamente sem perder dados sobre preço, endereço e área do apartamento. As fotos podem ser carregadas pontualmente apenas para anúncios com preços suspeitos baixos.
Quais proxies escolher para cada fonte
A escolha do tipo de proxy afeta diretamente quantas captchas você verá e quão estável será a coleta de dados. Para monitorar anúncios em 5 cidades, diferentes plataformas exigem abordagens diferentes.
| Plataforma | Tipo de proxy recomendado | Razão |
|---|---|---|
| Avito | Proxies residenciais | Proteção rigorosa contra IPs de data centers, são necessários endereços reais de provedores |
| Cian | Proxies residenciais | Monitora padrões de solicitações, é necessária vinculação geográfica à cidade |
| Yandex.Imóveis | Proxies de data centers | Proteção mais fraca, pode economizar em velocidade e custo |
| Domclick | Proxies de data centers | Proteção moderada, alta velocidade de coleta é mais importante que anonimato |
Para o Avito, vale a pena mencionar proxies móveis — se você coleta dados através de um aplicativo móvel ou emula tráfego móvel, a plataforma raramente marca tais solicitações como suspeitas, pois os IPs móveis dos provedores de telecomunicações são constantemente reutilizados por diferentes usuários reais. Para tarefas de monitoramento imobiliário, isso é relevante se os IPs residenciais de desktop começam a frequentemente encontrar captchas em uma região específica.
Rotação de IP e frequência de solicitações sem bloqueios
Um erro comum ao monitorar preços de aluguel é tentar coletar todas as 5 cidades a partir do mesmo endereço IP de forma sequencial. As plataformas veem um salto acentuado nas solicitações de um IP para diferentes seções geográficas do site e consideram isso automação, mesmo quando as pausas entre as solicitações são respeitadas.
Um esquema de rotação eficaz é o seguinte:
- Vincule um IP separado (ou um pequeno pool de 3-5 IPs) a cada cidade durante todo o ciclo de coleta — isso é lógico, pois um usuário real de Kazan não pode fisicamente ver anúncios em Novosibirsk ao mesmo tempo.
- Troque o IP dentro do pool a cada 30-50 solicitações de anúncios, e não a cada solicitação — trocas de IP muito frequentes também parecem suspeitas.
- Faça pausas de 4-10 segundos entre solicitações de anúncios e 1-3 minutos entre passagens por diferentes seções do site.
- Inicie a coleta nas 5 cidades não estritamente em paralelo, mas com um pequeno desvio de tempo — 5-15 minutos entre o início da coleta em cada cidade.
Com essa abordagem, geralmente é suficiente ter um pool de 15-25 IPs residenciais com rotação por sessão para 5 cidades, se o volume de coleta não exceder 500-800 anúncios por cidade por passagem. Para uma coleta mais agressiva (por exemplo, monitoramento a cada hora), o pool deve ser aumentado para 40-50 IPs, para que a carga em cada endereço permaneça dentro de limites semelhantes ao comportamento de um usuário comum.
Erros comuns ao monitorar anúncios
Com base em casos típicos, é possível destacar alguns erros que frequentemente levam a bloqueios e interrupções na coleta de dados em várias cidades:
- Um IP para todas as cidades — a plataforma vê uma geolocalização ilógica e limita o acesso mais rapidamente do que se fossem usados IPs locais para cada região.
- Coleta muito frequente — monitorar a cada 10-15 minutos raramente é justificado para o mercado de aluguel, os preços não mudam tão rapidamente, e a carga na fonte aumenta proporcionalmente.
- Ignorar User-Agent e cabeçalhos do navegador — a discrepância entre o IP do operador móvel e o user-agent de desktop imediatamente aumenta o risco de bloqueio.
- Ausência de um pool de proxies de reserva — se todo o tráfego passar por um único tipo de proxy sem um pool de reserva, em caso de bloqueio em massa, a coleta de dados para completamente por várias horas.
- Coleta sem restrição de fotos — leva a um consumo excessivo de tráfego de 5-8 vezes sem valor adicional para a análise de preços.
Esses erros são facilmente corrigidos na fase de configuração — basta dividir previamente o pool de proxies por cidades, limitar a frequência das solicitações e desativar o carregamento de conteúdo desnecessário.
Conclusão e recomendações
O monitoramento de preços de aluguel por anúncios em 5 cidades é uma tarefa que pode ser realizada sem codificação, se o esquema for corretamente estruturado: um proxy geográfico separado para cada cidade, frequência razoável de solicitações, desativação de arquivos de mídia desnecessários e rotação de IP dentro do pool alocado. Com essa abordagem, o consumo de tráfego se mantém em 10-15 GB por mês sem fotos e 80-100 GB com carregamento completo de imagens dos anúncios.
Para iniciar a coleta de dados no Avito e Cian, recomendamos usar proxies residenciais — eles apresentam a menor taxa de captcha ao trabalhar com plataformas imobiliárias sensíveis à geolocalização. Se o orçamento for limitado ou a fonte tiver proteção fraca (por exemplo, agregadores como Yandex.Imóveis), você pode mudar para proxies de data center mais baratos sem perder a qualidade da coleta de dados.