Seu rastreador de posições em vez de Topvisor e Serpstat: cálculo de custo para 1000 palavras-chave por dia

Agências de SEO e profissionais de marketing internos, cedo ou tarde, se fazem a mesma pergunta: por que pagar por uma assinatura de um rastreador de posições, se é possível montar seu próprio parser de resultados? A resposta não é tão simples quanto parece — o custo do monitoramento independente não se resume apenas a servidores, mas também a proxies, captcha e tempo para manter os scripts. Neste artigo, vamos analisar a matemática real usando o exemplo de verificação de 1000 frases-chave por dia.

Por que as agências fazem seu próprio rastreador de posições

Serviços prontos como Topvisor, Serpstat, SE Ranking ou Rush Analytics são convenientes: você não precisa se preocupar com proxies, captcha e servidores — basta inserir as palavras-chave e receber o relatório. Mas essa conveniência tem um preço, que cresce proporcionalmente ao número de frases verificadas e regiões. Se uma agência atende de 15 a 20 clientes, e cada um tem de 500 a 2000 palavras-chave, a conta da assinatura rapidamente atinge um valor comparável ao salário de um especialista júnior.

A segunda razão é a flexibilidade. Em um serviço pronto, você não pode alterar a frequência de verificação para palavras-chave específicas, adicionar lógica personalizada (por exemplo, monitorar não apenas a posição, mas também o snippet, a presença de links rápidos ou avaliações), ou exportar dados brutos para seu sistema de BI. Um rastreador próprio resolve essas questões, mas requer infraestrutura: servidor, banco de dados, scripts de parsing e, principalmente, proxies para contornar a proteção dos motores de busca contra consultas automáticas.

A terceira razão é o controle sobre os dados. Agências que trabalham com grandes clientes sob NDA nem sempre estão dispostas a compartilhar listas de consultas e domínios com serviços de nuvem de terceiros. Um rastreador próprio permite armazenar tudo em sua própria infraestrutura.

De onde vem o custo da verificação de posições

Antes de contar o dinheiro, é preciso entender a mecânica: para descobrir a posição de um site para uma consulta específica, o parser deve enviar uma solicitação aos resultados do Yandex ou Google, obter a página HTML dos resultados e encontrar o domínio desejado. Para 1000 palavras-chave por dia — isso significa no mínimo 1000 solicitações, e se você verifica ambos os motores de busca e várias regiões, o número se multiplica de 2 a 4 vezes.

Os motores de busca bloqueiam agressivamente solicitações automáticas de um único IP: após 20-50 solicitações consecutivas de um único endereço, o Yandex começa a mostrar captcha, e o Google — bloqueia temporariamente o IP por várias horas. Portanto, cada solicitação deve passar por um proxy separado ou frequentemente trocado. Daí surge a principal despesa — não o servidor e nem o script, mas sim a infraestrutura de proxies.

A estrutura completa de custos é a seguinte:

• Proxies para rotação de IP — a principal despesa variável, depende do volume de solicitações
• Servidor ou VPS para executar scripts em horários programados — um valor fixo pequeno
• Resolução de captcha (serviços de anti-captcha) — uma despesa adicional, se os proxies não forem de qualidade suficiente
• Tempo do desenvolvedor para escrever e manter o parser — um custo único e periódico
• Armazenamento e visualização de dados — banco de dados, dashboard, geralmente despesas mínimas

Assinatura vs seu rastreador: comparação de despesas

Para avaliar quando o seu rastreador é mais vantajoso do que uma assinatura, é conveniente comparar as despesas diretamente. Abaixo está uma tabela resumida sem vínculo a tarifas específicas, que mostra a lógica da escolha.

Parâmetro	Serviço pronto (assinatura)	Seu rastreador de posições
Custo para 1000 palavras-chave/dia	Cresce proporcionalmente ao plano tarifário, valor fixo mensal	Composto pelo tráfego de proxies + aluguel de servidor, escala suavemente
Flexibilidade de configuração	Limitada pela funcionalidade do serviço	Total — qualquer frequência, região, profundidade de resultados
Necessidade de desenvolvedor	Não	Sim, no início e periodicamente para manutenção
Risco de banimentos/captcha	Assumido pelo serviço	Cai sobre você, resolvido com proxies e delays
Ponto de equilíbrio	—	Geralmente a partir de 3000-5000 palavras-chave por dia ou mais

A conclusão da tabela é simples: com um pequeno volume de palavras-chave (até 2000-3000 por dia), a assinatura quase sempre é mais vantajosa, pois os custos de desenvolvimento e manutenção da sua solução não se compensam. Mas com grandes volumes — a partir de algumas milhares de palavras-chave por dia, especialmente se for necessário verificar várias vezes ao dia ou em diferentes regiões — a infraestrutura própria começa a ganhar em economia.

Cálculo de proxies para 1000 palavras-chave por dia

A principal questão sobre o custo é quantos proxies são necessários para 1000 solicitações por dia sem banimentos e captcha. Vamos considerar os limites seguros médios que, na prática, são utilizados por parsers de resultados:

• Yandex: 30-50 solicitações de um único IP por dia sem risco de captcha, com delays aleatórios entre solicitações de 10-30 segundos
• Google: 15-25 solicitações de um único IP por dia, o sistema bloqueia de forma mais rigorosa e rápida

Se você verifica 1000 palavras-chave apenas no Yandex, com um limite de 40 solicitações por IP, você precisará de pelo menos 25 endereços únicos por dia. Considerando as tentativas em caso de solicitações malsucedidas e uma reserva para possíveis banimentos temporários, considere 30-40 IPs. Se você verifica ambos os motores de busca, o número dobra — serão necessários cerca de 60-80 IPs por dia.

Um ponto importante: ao trabalhar através de um pool de IPs com rotação por solicitação (e não por sessão), um mesmo servidor proxy físico pode "fechar" muito mais endereços IP, se o provedor oferecer rotação dinâmica. Nesse caso, o cálculo é feito não pelo número de endereços, mas pelo volume de tráfego — geralmente, uma verificação de posição pesa de 50 a 200 KB de HTML, ou seja, 1000 solicitações por dia significam de 50 a 200 MB de tráfego, uma carga não crítica mesmo para uma tarifa média.

Quais proxies são necessários para Yandex e Google

O tipo de proxy afeta diretamente quantos captchas e banimentos você receberá, e, portanto, o custo real da verificação. Vamos analisar três opções.

Proxies de datacenter — a opção mais barata em termos de custo de tráfego, mas com má reputação nas bases de dados dos motores de busca: IPs de datacenters são amplamente utilizados para parsing, portanto, Yandex e Google rapidamente os reconhecem e mostram captcha após algumas solicitações. Para verificação de baixa frequência de um pequeno número de palavras-chave, proxies de datacenter ainda podem ser utilizados, mas em volumes de 1000+ solicitações por dia, a proporção de captcha se torna muito alta, e a economia em tráfego é consumida pelos custos de anti-captcha.

Proxies residenciais — endereços IP de usuários domésticos reais, que os motores de busca percebem como tráfego normal. A proporção de captcha aqui é muito menor, o que é crítico em grandes volumes de verificação. Para parsing de resultados de 1000 ou mais palavras-chave por dia, proxies residenciais geralmente oferecem a melhor relação custo-benefício e estabilidade, especialmente ao trabalhar com o Google, que bloqueia endereços de datacenters de forma mais rigorosa.

Proxies móveis — utilizam IPs de operadoras móveis, que mudam frequentemente entre milhares de usuários reais (NAT), portanto, um mesmo endereço pode "pertencer" a diferentes usuários ao longo do dia. Isso oferece a máxima durabilidade em parsing agressivo, mas custa mais. Proxies móveis são justificáveis se você estiver verificando posições na pesquisa móvel separadamente da desktop ou trabalhando com consultas regionais especialmente exigentes do Yandex.

Tipo de proxy	Proporção de captcha em 1000 solicitações	Quando usar
Datacenter	Alta	Até 200-300 palavras-chave por dia, baixa frequência
Residenciais	Baixa	1000+ palavras-chave por dia, Google e Yandex
Móveis	Mínima	Pesquisa móvel, regiões complexas

Configuração passo a passo do seu rastreador

Vamos analisar o processo de montagem do seu rastreador de posições passo a passo — sem mergulhar profundamente no código, no nível da arquitetura da solução.

1. Escolha da fonte de dados. Determine se você está coletando diretamente os resultados do motor de busca através de solicitações HTTP ou usando um navegador headless (por exemplo, através do Puppeteer/Playwright) para simular um usuário real. A segunda opção é mais confiável contra proteção anti-bot, mas mais lenta e cara em termos de recursos do servidor.
2. Configuração do pool de proxies. Conecte-se a um provedor de proxies com rotação de IP por solicitação ou por tempo. Para Yandex e Google, é melhor usar pools de proxies diferentes, pois os sistemas têm diferentes limites de bloqueio.
3. Lógica de retries. Se a solicitação retornar captcha ou erro, o script deve automaticamente trocar o IP e repetir a solicitação, e não apenas registrar o erro.
4. Parsing do resultado. A posição do domínio desejado nos resultados é extraída do HTML recebido — geralmente através da busca por tags de links e comparação com o domínio do cliente.
5. Armazenamento do histórico. Os resultados são salvos em um banco de dados com a data da verificação, para que gráficos de dinâmica de posições possam ser construídos.
6. Agendamento de execução. O script é executado por cron ou programador de tarefas uma vez por dia (ou mais frequentemente), distribuindo uniformemente 1000 solicitações ao longo do tempo, para não criar uma carga de pico no pool de proxies.

Exemplo de código para verificação de posições em Python

Abaixo está um exemplo simplificado da lógica de solicitação aos resultados de busca através de proxies com rotação. Esta é uma estrutura demonstrativa que mostra o princípio de funcionamento, e não uma solução pronta para uso.

import requests
import random
import time

PROXY_LIST = [
    "http://user:[email protected]:8000",
    "http://user:[email protected]:8000",
    # ... pool de proxies com centenas de endereços
]

HEADERS = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}

def check_position(keyword, domain, search_engine="yandex"):
    proxy = random.choice(PROXY_LIST)
    proxies = {"http": proxy, "https": proxy}

    if search_engine == "yandex":
        url = f"https://yandex.ru/search/?text={keyword}"
    else:
        url = f"https://www.google.com/search?q={keyword}"

    try:
        response = requests.get(url, headers=HEADERS, proxies=proxies, timeout=10)
        if "captcha" in response.text.lower():
            return None  # é necessária a rotação de IP e repetição da solicitação
        position = find_domain_position(response.text, domain)
        return position
    except requests.RequestException:
        return None

def find_domain_position(html, domain):
    # lógica simplificada para encontrar a posição do domínio nos resultados
    results = extract_links(html)
    for i, link in enumerate(results, start=1):
        if domain in link:
            return i
    return None

for keyword in keyword_list:
    pos = check_position(keyword, "example.com")
    save_to_db(keyword, pos)
    time.sleep(random.uniform(5, 15))  # delay aleatório entre solicitações
  

Em um projeto real, em vez de parsing manual de HTML, geralmente se utiliza um navegador headless com substituição de User-Agent e fingerprint, e o pool de proxies é conectado através de um provedor com rotação automática no nível do endpoint — isso elimina a necessidade de manter uma lista de endereços manualmente e simplifica a escalabilidade para várias milhares de solicitações por dia.

Quanto realmente se pode economizar

Para responder à pergunta sobre economia, é necessário comparar dois modelos de despesas em dinâmica à medida que o volume de palavras-chave cresce.

Com um pequeno volume — até 1000-2000 palavras-chave por dia — o custo da assinatura de um rastreador pronto geralmente é comparável ou até inferior ao total de despesas com o desenvolvimento e manutenção da sua solução, considerando o tempo do especialista. O desenvolvimento de um parser minimamente viável do zero leva de alguns dias a algumas semanas, além do suporte periódico em caso de mudanças na estrutura dos resultados de busca — e o Yandex e Google frequentemente alteram a formatação dos resultados.

O ponto de inflexão ocorre quando o volume de verificação cresce para várias milhares de palavras-chave por dia ou quando é necessário verificar posições várias vezes ao dia, em diferentes regiões e dispositivos (desktop/móvel). Neste cenário, o custo da assinatura pronta cresce linear ou até progressivamente com o volume, enquanto os custos do seu rastreador aumentam muito mais lentamente — a principal despesa (tráfego de proxies) não aumenta tão rapidamente quanto os planos tarifários dos serviços SaaS ao mudar para o próximo nível de pacote.

Um guia prático para agências: se você está monitorando as posições de 5-10 ou mais clientes simultaneamente, o volume total geralmente excede 5000-10000 frases-chave por dia — é exatamente nessa escala que o seu rastreador quase sempre é mais vantajoso do que qualquer assinatura pronta, desde que haja alguém na equipe capaz de manter o parser.

Erros comuns na coleta independente

Na prática, a maioria dos problemas com o próprio rastreador de posições está relacionada não ao código, mas à subestimação das nuances da infraestrutura.

• Economia em proxies. Tentar economizar em proxies de datacenter baratos leva a captchas em massa, que precisam ser resolvidos através de serviços de anti-captcha de terceiros — no final, os custos totais acabam sendo maiores do que se tivessem sido utilizados proxies de melhor qualidade desde o início.
• Ausência de delays entre solicitações. Solicitações muito rápidas e consecutivas de um único IP atraem imediatamente a atenção dos sistemas anti-bot, mesmo que o IP seja de qualidade.
• Ignorar a regionalidade. O Yandex mostra resultados diferentes dependendo da região do usuário — sem a geolocalização correta, os dados sobre as posições serão incorretos.
• Falta de monitoramento da saúde do parser. Os motores de busca periodicamente mudam a estrutura da página de resultados, e sem alertas sobre a queda na taxa de sucesso do parsing, você pode coletar dados vazios ou incorretos por semanas sem perceber.
• Ignorar resultados móveis. Os resultados de desktop e móveis frequentemente diferem, e se para o cliente a posição móvel é importante, é necessário um contorno de parsing separado com os User-Agent correspondentes e, de preferência, IPs móveis.

Conclusão

Um rastreador de posições próprio torna-se economicamente viável quando o volume de verificação excede várias milhares de palavras-chave por dia, e há recursos na equipe para manter o parser. Em volumes menores, uma assinatura pronta quase sempre é mais barata, considerando os custos ocultos de desenvolvimento. A principal variável no custo da sua solução não é o servidor ou o código, mas a infraestrutura de proxies, que determina a proporção de captcha e a estabilidade dos dados.

Se você planeja montar um rastreador de posições para 1000 ou mais palavras-chave por dia, comece calculando o tráfego e testando um pool de proxies em uma pequena amostra de consultas. Para um parsing estável do Yandex e Google em tais volumes, é razoável considerar desde o início proxies residenciais — eles oferecem a menor proporção de captcha a um custo de tráfego aceitável e escalam bem com o aumento do número de clientes monitorados.