Se você está rodando atores no Apify para fazer scraping de Wildberries, Ozon, Amazon ou Google Maps, cedo ou tarde surge a questão: pagar pelo Apify Proxy embutido ou conectar seu próprio pool de endereços IP. Em grandes volumes, a diferença de custo pode chegar a dezenas de milhares de reais por mês. Neste artigo, vamos analisar como é calculado o preço do tráfego no Apify, quando o seu proxy é mais vantajoso e como tecnicamente conectá-lo ao ator — com exemplos de código.
O que são atores Apify e por que eles precisam de proxy
Apify é uma plataforma para rodar scrapers prontos (atores) sem a necessidade de levantar sua própria infraestrutura. No Apify Store, existem centenas de atores prontos: parsers do Amazon, Google Maps Scraper, Instagram Scraper, atores para coletar fichas de produtos do Wildberries e Ozon. A maioria deles requer proxies, pois os sites-alvo rapidamente bloqueiam os endereços IP dos data centers do Apify em caso de solicitações em massa.
O proxy no ator resolve três tarefas: contorna restrições geográficas (por exemplo, é necessário coletar preços especificamente para a região "Moscovo" no Wildberries), reduz a frequência de CAPTCHAs e bloqueios temporários, além de distribuir a carga entre vários IPs, simulando o comportamento de usuários comuns, e não de um bot. Sem proxy, a maioria dos atores para scraping de marketplaces não funcionará ou coletará dados com erros após alguns minutos de operação.
O Apify possui uma solução embutida — o Apify Proxy, que se conecta com uma linha de código. Isso é conveniente para começar, mas tem um detalhe: o pagamento é feito pelo tráfego em GB, e em caso de scraping regular ou volumoso, a conta cresce rapidamente. É por isso que usuários experientes da plataforma estão cada vez mais conectando seus próprios proxies aos atores em vez dos embutidos.
Como funciona o Apify Proxy embutido e sua tarifação
O Apify Proxy oferece três tipos de IP: data centers, residenciais (através de pools parceiros) e
proxies do Google SERP para scraping de resultados de busca. A conexão é extremamente simples — basta
especificar o parâmetro useApifyProxy: true
na configuração do ator, e a plataforma irá rotacionar automaticamente os IPs a cada solicitação ou sessão.
O problema está no modelo de pagamento: o tráfego de proxies residenciais dentro do Apify é tarifado por gigabytes, e o preço por GB da solução embutida geralmente é mais alto do que o de fornecedores diretos de proxies, porque o Apify adiciona sua margem pela integração e gerenciamento do pool. Para pequenos testes (algumas milhares de solicitações por mês), isso não é crítico. Mas se o ator opera em modo de monitoramento — por exemplo, coletando preços no Wildberries a cada hora para 5000 SKU — o consumo de tráfego cresce exponencialmente, e o proxy embutido se torna a parte mais cara do orçamento do projeto, superando até mesmo o custo do próprio plano Apify.
Outro detalhe: o pool embutido do Apify é compartilhado entre todos os clientes da plataforma. Isso significa que os endereços IP podem já estar "expostos" por outros usuários que estão fazendo scraping nos mesmos sites. Isso aumenta o risco de CAPTCHAs e bloqueios, especialmente em marketplaces com proteção anti-bot rigorosa, como Ozon e Avito.
Quando o próprio pool de proxies é mais barato: cálculo em números
Para entender quando a transição para seu proxy é justificada, é necessário comparar duas variáveis: o custo do tráfego no Apify Proxy e o custo de um volume equivalente com um fornecedor direto de proxies, mais os custos de tempo para integração e manutenção do seu próprio pool.
A prática mostra três cenários:
- Scraping pontual (até 1 GB de tráfego por mês) — o Apify Proxy embutido é mais vantajoso: não faz sentido gastar tempo configurando seu pool para uma pequena coleta de dados pontual.
- Monitoramento regular (5–50 GB por mês) — ponto de inflexão. Aqui já vale a pena calcular: se o ator opera diariamente e coleta fichas de produtos do Wildberries ou Ozon, o consumo de tráfego com o proxy embutido cresce mais rápido do que com um pool próprio com custo fixo por IP ou tarifa ilimitada.
- Scraping industrial (a partir de 50 GB por mês, dezenas de atores, várias fontes) — o próprio pool é quase sempre mais barato, porque há a possibilidade de negociar um preço direto pelo tráfego ou pela quantidade de IPs, sem a margem da plataforma intermediária.
Um exemplo simples de cálculo: se o ator processa diariamente 10.000 fichas de produtos, e cada página pesa em média 300 KB considerando imagens e scripts (sem otimização de carregamento de recursos), ao final do mês acumula cerca de 90 GB de tráfego. Com a tarifa do Apify Proxy para tráfego residencial, o valor total frequentemente supera o custo de um volume equivalente de um fornecedor de proxies externo em uma a duas vezes. Se o ator estiver configurado para bloquear o carregamento de imagens e scripts externos (o que é fácil de fazer através da configuração do Puppeteer/Playwright), o peso real do tráfego diminui drasticamente, e a economia ao migrar para seu proxy se torna ainda mais evidente.
Qual tipo de proxy conectar aos atores
A escolha do tipo de proxy depende diretamente do site que o ator está fazendo scraping e quão sensível ele é ao tráfego de bots.
| Tipo de proxy | Quando usar no Apify | Risco de bloqueio |
|---|---|---|
| Proxies de data centers | Scraping de sites sem proteção anti-bot rigorosa, fontes semelhantes a APIs, catálogos estáticos | Alto em marketplaces com proteção |
| Proxies residenciais | Wildberries, Ozon, Amazon, Google Maps Scraper — sites que detectam IPs de data centers | Baixo com rotação correta |
| Proxies móveis | Scraping de redes sociais (Instagram, TikTok) através de atores Apify, onde é necessária a máxima "limpeza" do IP | Mínimo |
Para scraping de marketplaces como Wildberries e Ozon, a escolha ideal são proxies residenciais, pois utilizam IPs reais de provedores domésticos e raramente são bloqueados por filtros anti-bot rigorosos. Para fontes menos protegidas (RSS, catálogos abertos, sites corporativos) são suficientes IPs de data centers — eles são mais baratos e rápidos.
Como conectar seu proxy ao ator: código e configuração
A maioria dos atores no Apify é construída sobre o Crawlee (anteriormente Apify SDK) e suporta a transmissão
de sua própria lista de proxies através do parâmetro proxyConfiguration.
Em vez do pool embutido, você especifica um array de seus endereços de proxy.
import { Actor } from 'apify';
import { CheerioCrawler, ProxyConfiguration } from 'crawlee';
await Actor.init();
// Passamos nossa própria lista de proxies em vez de useApifyProxy
const proxyConfiguration = new ProxyConfiguration({
proxyUrls: [
'http://user:[email protected]:12345',
'http://user:[email protected]:12345',
'http://user:[email protected]:12345',
],
});
const crawler = new CheerioCrawler({
proxyConfiguration,
maxRequestsPerCrawl: 5000,
async requestHandler({ request, $, log }) {
const title = $('title').text();
log.info(`Página coletada: ${title}`);
await Actor.pushData({ url: request.url, title });
},
});
await crawler.run(['https://www.wildberries.ru/catalog/...']);
await Actor.exit();Se seu pool de proxies suporta rotação do lado do provedor (como a maioria dos serviços residenciais, incluindo pools com rotação por sessão ou por solicitação), basta especificar um endpoint com os parâmetros da sessão na URL — então a rotação do IP ocorrerá automaticamente sem a necessidade de listar manualmente centenas de endereços.
Para atores em Python (por exemplo, se você está rodando um script personalizado através do Apify SDK para Python), a conexão é semelhante:
import requests
proxies = {
"http": "http://user:[email protected]:12345",
"https": "http://user:[email protected]:12345",
}
response = requests.get(
"https://www.ozon.ru/category/...",
proxies=proxies,
headers={"User-Agent": "Mozilla/5.0"},
timeout=15
)
print(response.status_code)
print(response.text[:500])Um ponto importante: ao migrar para seu proxy, certifique-se de configurar a rotação de sessões e os atrasos entre as solicitações manualmente — o Apify Proxy embutido fazia isso automaticamente, e ao conectar um pool externo, a lógica precisa ser implementada no código do ator ou na configuração do crawler.
Tabela comparativa: embutido vs seu proxy
| Critério | Apify Proxy (embutido) | Seu próprio pool de proxies |
|---|---|---|
| Velocidade de conexão | Uma linha de código, sem configuração | Requer 15-30 minutos para integração |
| Custo em pequenos volumes | Mais vantajoso | Excessivo para execuções raras |
| Custo de 10-50 GB/mês | Cresce proporcionalmente ao tráfego | Mais vantajoso, muitas vezes modelo fixo |
| "Limpeza" do pool de IPs | Pool compartilhado, possíveis sobreposições com outros clientes | Pool dedicado ou rotacionado para suas necessidades |
| Flexibilidade de geo-targeting | Conjunto limitado de países/regiões | Escolha de cidade/região específica para o marketplace |
| Controle sobre a rotação | Automático, sem configurações | Configurável manualmente para o padrão desejado |
Casos de uso: scraping de marketplaces na prática
Monitoramento de preços no Wildberries. Vendedores que monitoram os preços dos concorrentes de 3000 a 10000 SKU várias vezes ao dia geralmente começam com o Apify Proxy embutido, mas após o primeiro mês com uma conta alta pelo tráfego, migram para proxies residenciais com vinculação à região. Isso permite não apenas reduzir custos, mas também ver os preços exatamente como os vê um comprador de uma cidade específica — o que é crítico, pois o Wildberries mostra preços diferentes dependendo do armazém e da região de entrega.
Coleta de fichas de produtos no Ozon. Ozon utiliza ativamente a análise comportamental e rapidamente bloqueia IPs com padrões de solicitações repetitivos. Um ator que opera através do pool compartilhado do Apify Proxy enfrenta com mais frequência CAPTCHAs, justamente porque os mesmos IPs são usados paralelamente por outros usuários da plataforma para tarefas semelhantes. A migração para um pool dedicado de proxies residenciais com lógica de rotação própria e atrasos aleatórios entre as solicitações reduz a frequência de CAPTCHAs em várias vezes.
Scraping do Google Maps e avaliações. Para tarefas onde não é necessária a especificidade geográfica (por exemplo, coleta de dados de contato de empresas em todo o país), muitas vezes é suficiente proxies de data centers — eles são mais rápidos que os residenciais e significativamente mais baratos em grandes volumes, se o site-alvo não aplicar uma proteção anti-bot agressiva.
Checklist para escolha de proxy para projeto Apify
- Calcule o volume real de tráfego do ator por mês (solicitações × peso médio da página)
- Compare esse volume com a tarifa do Apify Proxy embutido — se ultrapassar 5-10 GB regularmente, considere alternativas
- Determine quão sensível o site-alvo é a bots — marketplaces como Ozon exigem IPs residenciais
- Verifique se é necessária a vinculação geográfica a uma região específica (relevante para Wildberries e Ozon)
- Configure a rotação de sessões e os atrasos entre solicitações manualmente ao migrar para um pool externo
- Desative o carregamento de recursos desnecessários (imagens, fontes, rastreadores) no ator — isso reduzirá o consumo de tráfego independentemente do tipo de proxy
- Teste o pool em um pequeno volume antes de migrar todos os atores para a nova configuração
Conclusão
O Apify Proxy embutido é um bom ponto de partida para tarefas pontuais e pequenos testes, mas em scraping regular ou industrial de marketplaces, seu custo rapidamente supera as despesas de um pool próprio de proxies. A transição requer um pouco mais de configuração no início — definir rotação, sessões e configuração de proxy no código do ator — mas se paga já no primeiro mês com volumes a partir de 10-50 GB de tráfego.
Se seus atores coletam dados do Wildberries, Ozon ou Amazon, considere os proxies residenciais — eles oferecem baixo risco de bloqueios e permitem definir a região necessária para a correta exibição dos preços. Para fontes menos protegidas sem uma proteção anti-bot rigorosa, são adequados proxies de data centers mais econômicos proxies de data centers, e para scraping de aplicativos móveis e redes sociais através de atores Apify, vale a pena considerar proxies móveis — eles oferecem a máxima "limpeza" do IP com o mínimo risco de detecção.