Kendi pozisyon takipçiniz: Topvisor ve Serpstat yerine günde 1000 anahtar kelime için maliyet hesaplama

SEO ajansları ve iç pazarlamacılar bir noktada kendilerine aynı soruyu soruyorlar: Neden bir pozisyon izleyici aboneliği için ödeme yapmalıyız, eğer kendi sonuç çıkarıcımızı toplayabiliyorsak? Cevap göründüğü kadar basit değil - kendi başına izleme maliyeti yalnızca sunuculardan değil, aynı zamanda proxy, captcha ve scriptlerin desteklenmesi için harcanan zamandan da oluşuyor. Bu yazıda günde 1000 anahtar kelime kontrolü örneği üzerinden gerçek matematiği inceleyeceğiz.

Ajanslar neden kendi pozisyon izleyicilerini yapıyor

Topvisor, Serpstat, SE Ranking veya Rush Analytics gibi hazır hizmetler kullanışlıdır: proxy, captcha ve sunucular hakkında düşünmenize gerek yok - sadece anahtar kelimeleri giriyorsunuz ve raporu alıyorsunuz. Ancak bu kullanışlılığın bir bedeli var, bu da kontrol edilen ifadelerin ve bölgelerin sayısına orantılı olarak artıyor. Eğer bir ajans 15-20 müşteri yönetiyorsa ve her birinin 500-2000 anahtar kelimesi varsa, abonelik ücreti hızla bir junior uzmanının maaşıyla karşılaştırılabilir bir rakama ulaşır.

İkinci sebep - esneklik. Hazır bir hizmette, belirli anahtar kelimeler için kontrol sıklığını değiştiremez, özel mantık ekleyemezsiniz (örneğin, sadece pozisyonu değil, aynı zamanda snippet'i, hızlı bağlantıların veya yorumların varlığını takip etmek gibi), ham verileri kendi BI sisteminize dışa aktaramazsınız. Kendi izleyiciniz bu sorunları çözer, ancak altyapı gerektirir: sunucu, veritabanı, sonuç çıkarma scriptleri ve en önemlisi, arama motorlarının otomatik sorgulara karşı koruma mekanizmalarını aşmak için proxy'ler.

Üçüncü sebep - veriler üzerinde kontrol. NDA ile büyük müşterilerle çalışan ajanslar, anahtar sorguları ve alan adları listesini üçüncü taraf bulut hizmetlerine her zaman vermeye hazır değildir. Kendi izleyiciniz, her şeyi kendi altyapınızda saklamanıza olanak tanır.

Pozisyon kontrolü maliyeti nasıl oluşur

Parayı hesaplamadan önce, mekanizmayı anlamak gerekiyor: Bir anahtar sorgusu için web sitesinin pozisyonunu öğrenmek için, sonuç çıkarıcı Yandex veya Google'a bir sorgu göndermeli, sonuçların HTML sayfasını almalı ve içindeki gerekli alan adını bulmalıdır. Günde 1000 anahtar kelime için - bu en az 1000 sorgu, eğer her iki arama motorunu ve birkaç bölgeyi kontrol ediyorsanız, bu rakam 2-4 katına çıkar.

Arama motorları, bir IP'den gelen otomatik sorguları agresif bir şekilde engeller: bir adresten ardışık 20-50 sorgudan sonra Yandex captcha göstermeye başlar, Google ise IP'yi birkaç saatliğine geçici olarak yasaklar. Bu nedenle, her sorgunun ayrı veya sık değiştirilen bir proxy üzerinden gitmesi gerekir. Buradan ana maliyet kalemi ortaya çıkar - sunucu veya script değil, tam olarak proxy altyapısı.

Toplam maliyet yapısı şöyle görünmektedir:

• IP rotasyonu için proxy - ana değişken maliyet kalemi, sorgu hacmine bağlıdır
• Scriptleri zamanlama için sunucu veya VPS - sabit küçük bir miktar
• Captcha çözümü (anti-captcha hizmetleri) - proxy'ler yeterince kaliteli değilse ek bir maliyet kalemi
• Geliştirici zamanı - sonuç çıkarıcıyı yazma ve destekleme için bir defaya mahsus ve periyodik maliyet
• Veri saklama ve görselleştirme - veritabanı, gösterge paneli, genellikle minimum maliyetler

Abonelik vs kendi izleyici: maliyet kalemleri karşılaştırması

Kendi izleyicinizin abonelikten ne zaman daha karlı olduğunu değerlendirmek için, maliyet kalemlerini doğrudan karşılaştırmak uygundur. Aşağıda, belirli tarifelere bağlı olmaksızın, seçim mantığını gösteren özet bir tablo bulunmaktadır.

Parametre	Hazır hizmet (abonelik)	Kendi pozisyon izleyiciniz
Günde 1000 anahtar kelime için maliyet	Tarife planına orantılı olarak artar, sabit aylık bir miktar	Proxy trafiği + sunucu kiralama maliyetinden oluşur, yavaşça ölçeklenir
Ayar esnekliği	Hizmetin işlevselliği ile sınırlıdır	Tam esneklik - herhangi bir sıklık, bölge, sonuç derinliği
Geliştirici gerekli mi?	Hayır	Evet, başlangıçta ve periyodik olarak destek için
Ban/captcha riski	Hizmet üstlenir	Sizin üzerinize düşer, proxy ve gecikmelerle çözülür
Kârlılık noktası	—	Genellikle günde 3000-5000 anahtar kelimeden itibaren

Tabloyu özetlemek gerekirse: az sayıda anahtar kelime (günde 2000-3000'e kadar) için abonelik neredeyse her zaman daha karlıdır, çünkü kendi çözümünüzün geliştirilmesi ve desteklenmesi için yapılan harcamalar karşılanmaz. Ancak büyük hacimlerde - günde birkaç bin anahtar kelime, özellikle de bunları günde birkaç kez veya farklı bölgelerde kontrol etmeniz gerektiğinde - kendi altyapınız ekonomik açıdan kazançlı olmaya başlar.

Günde 1000 anahtar kelime için proxy hesaplama

Maliyet hesaplamasında ana soru - ban ve captcha olmadan günde 1000 sorgu için ne kadar proxyye ihtiyaç var. Sonuç çıkarıcıların pratikte kullandığı ortalama güvenli limitleri alalım:

• Yandex: 30-50 sorgu bir IP'den günde, 10-30 saniye arasında rastgele gecikmelerle captcha riski olmadan
• Google: 15-25 sorgu bir IP'den günde, sistem daha sert ve hızlı yasaklar

Eğer sadece Yandex'te 1000 anahtar kelime kontrol ediyorsanız, IP başına 40 sorgu limiti ile günde en az 25 benzersiz adrese ihtiyacınız var. Başarısız sorgular için yeniden denemeleri ve geçici yasaklar için bir yedek hesaplayarak 30-40 IP ayırmalısınız. Eğer her iki arama motorunu kontrol ediyorsanız, bu rakam iki katına çıkar - günde yaklaşık 60-80 IP gerekecektir.

Önemli bir nokta: IP havuzuyla sorgu başına rotasyon ile çalışırken (oturum başına değil) aynı fiziksel proxy sunucusu, sağlayıcı dinamik rotasyon sağlıyorsa çok daha fazla IP adresini "kaplayabilir". Bu durumda hesaplama, adres sayısına değil, trafik hacmine göre yapılır - genellikle bir pozisyon kontrolü 50-200 KB HTML ağırlığındadır, yani günde 1000 sorgu - bu da günde 50-200 MB trafik demektir, bu da ortalama bir tarifeye bile kritik bir yük değildir.

Yandex ve Google için hangi proxy'ler gerekli

Proxy türü, ne kadar captcha ve ban alacağınızı doğrudan etkiler, bu da gerçek kontrol maliyetinizi etkiler. Üç seçeneği inceleyelim.

Veri merkezi proxy'leri - trafik maliyeti açısından en ucuz seçenek, ancak arama motorları veritabanlarında kötü bir üne sahiptir: veri merkezi IP'leri yoğun bir şekilde sonuç çıkarma için kullanıldığından, Yandex ve Google bunları hızla tanır ve birkaç sorgudan sonra captcha gösterir. Düşük frekanslı küçük bir anahtar kelime kontrolü için veri merkezi proxy'leri hala kullanılabilir, ancak günde 1000+ sorgu hacminde captcha oranı çok yüksek hale gelir ve trafik tasarrufu, anti-captcha maliyetleri tarafından yenilir.

İkamet eden proxy'ler - gerçek ev kullanıcılarının IP adresleri, arama motorları tarafından normal trafik olarak algılanır. Buradaki captcha oranı çok daha düşüktür, bu da büyük kontrol hacimlerinde kritik bir faktördür. Günde 1000 ve daha fazla anahtar kelime için ikamet eden proxy'ler genellikle maliyet ve istikrar açısından en iyi oranı sunar, özellikle de veri merkezi adreslerini en sert şekilde yasaklayan Google ile çalışırken.

Mobil proxy'ler - mobil operatörlerin IP'lerini kullanır, bu da binlerce gerçek abonenin (NAT) IP'lerinin sık sık değişmesi anlamına gelir, bu nedenle aynı adres gün içinde farklı kullanıcılara "ait" olabilir. Bu, agresif sonuç çıkarma sırasında maksimum dayanıklılık sağlar, ancak maliyeti daha yüksektir. Mobil proxy'ler, mobil sonuçları masaüstü sonuçlardan ayrı olarak kontrol ediyorsanız veya Yandex'in özellikle kaprisli bölgesel sorguları ile çalışıyorsanız mantıklıdır.

Proxy türü	1000 sorgudaki captcha oranı	Ne zaman kullanılmalı
Veri merkezi	Yüksek	Günde 200-300 anahtar kelime, düşük frekans
İkamet eden	Düşük	Günde 1000+ anahtar kelime, Google ve Yandex
Mobil	Minimum	Mobil sonuç, karmaşık bölgeler

Kendi izleyicinizi adım adım ayarlama

Kendi pozisyon izleyicinizi adım adım oluşturma sürecini inceleyelim - kod derinlemesine girmeden, çözüm mimarisi düzeyinde.

1. Veri kaynağının seçimi. Arama motorunun sonuçlarını doğrudan HTTP istekleriyle mi yoksa gerçek bir kullanıcıyı taklit etmek için headless tarayıcı (örneğin, Puppeteer/Playwright aracılığıyla) mı çıkardığını belirleyin. İkinci seçenek, anti-bot korumasına karşı daha güvenilir, ancak daha yavaş ve sunucu kaynakları açısından daha pahalıdır.
2. Proxy havuzunun ayarlanması. İstek başına veya zamanla IP rotasyonu yapan bir proxy sağlayıcısını bağlayın. Yandex ve Google için farklı proxy havuzları kullanmak daha iyidir, çünkü sistemlerin farklı engelleme eşikleri vardır.
3. Yeniden deneme mantığı. Eğer istek captcha veya hata dönerse, script otomatik olarak IP'yi değiştirmeli ve isteği tekrarlamalıdır, sadece hatayı kaydetmekle yetinmemelidir.
4. Sonuçların çıkarılması. Alınan HTML'den gerekli alan adının sonuç sayısındaki pozisyonu çıkarılır - genellikle bağlantı etiketleri üzerinden arama yaparak ve müşteri alan adı ile karşılaştırarak.
5. Tarihçenin saklanması. Sonuçlar, pozisyon dinamiklerini grafikler oluşturmak için kontrol tarihi ile birlikte veritabanına kaydedilir.
6. Başlatma takvimi. Script, cron veya görev zamanlayıcısı aracılığıyla günde bir kez (veya daha sık) başlatılır, 1000 sorguyu zaman içinde eşit şekilde dağıtarak proxy havuzuna aşırı yüklenmeyi önler.

Python ile pozisyon kontrolü için kod örneği

Aşağıda, proxy ile rotasyonlu arama sonuçlarına istek mantığının basitleştirilmiş bir örneği bulunmaktadır. Bu, çalışma prensibini gösteren bir gösterim çerçevesidir, hazır bir savaş çözümü değildir.

import requests
import random
import time

PROXY_LIST = [
    "http://user:[email protected]:8000",
    "http://user:[email protected]:8000",
    # ... yüzlerce adres içeren proxy havuzu
]

HEADERS = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}

def check_position(keyword, domain, search_engine="yandex"):
    proxy = random.choice(PROXY_LIST)
    proxies = {"http": proxy, "https": proxy}

    if search_engine == "yandex":
        url = f"https://yandex.ru/search/?text={keyword}"
    else:
        url = f"https://www.google.com/search?q={keyword}"

    try:
        response = requests.get(url, headers=HEADERS, proxies=proxies, timeout=10)
        if "captcha" in response.text.lower():
            return None  # IP rotasyonu ve isteği tekrarlamak gerekiyor
        position = find_domain_position(response.text, domain)
        return position
    except requests.RequestException:
        return None

def find_domain_position(html, domain):
    # Alan adının sonuç sayısındaki pozisyonunu bulmak için basitleştirilmiş mantık
    results = extract_links(html)
    for i, link in enumerate(results, start=1):
        if domain in link:
            return i
    return None

for keyword in keyword_list:
    pos = check_position(keyword, "example.com")
    save_to_db(keyword, pos)
    time.sleep(random.uniform(5, 15))  # İstekler arasında rastgele gecikme
  

Gerçek projelerde, HTML'yi manuel olarak çıkarmak yerine genellikle headless tarayıcı kullanılır ve User-Agent ile parmak izi değiştirilir, ayrıca proxy havuzu, endpoint düzeyinde otomatik rotasyon sağlayan bir sağlayıcı aracılığıyla bağlanır - bu, adres listesini manuel olarak saklama gereğini ortadan kaldırır ve günde birkaç bin isteğe ölçeklenmeyi kolaylaştırır.

Gerçekten ne kadar tasarruf edilebilir

Tasarruf sorusuna cevap vermek için, anahtar kelime hacmi arttıkça iki harcama modelini karşılaştırmak gerekir.

Küçük hacimlerde - günde 1000-2000 anahtar kelimeye kadar - hazır bir izleyici aboneliğinin maliyeti genellikle kendi çözümünüzün geliştirilmesi ve desteklenmesi için yapılan toplam harcamalarla karşılaştırılabilir veya daha düşük olur, uzman zamanını hesaba kattığınızda. Minimum uygulanabilir bir sonuç çıkarıcının sıfırdan geliştirilmesi birkaç günden birkaç haftaya kadar sürer, ayrıca arama sonuçlarının düzeninin değişmesi durumunda periyodik destek gerekir - Yandex ve Google sonuçların düzenini sık sık değiştirir.

Dönüm noktası, kontrol hacminin günde birkaç bin anahtar kelimeye ulaşması veya pozisyonları günde birkaç kez, farklı bölgelerde ve cihazlarda (masaüstü/mobil) kontrol etmeniz gerektiğinde gelir. Bu senaryoda, hazır abonelik maliyeti hacimle lineer veya hatta ilerleyici bir şekilde artarken, kendi izleyicinizin maliyetleri çok daha yavaş artar - ana maliyet kalemi (proxy trafiği) SaaS hizmetlerinin tarifeleri bir sonraki seviyeye geçerken olduğu kadar hızlı yükselmez.

Ajanslar için pratik bir kılavuz: Eğer aynı anda 5-10 veya daha fazla müşterinin pozisyonlarını takip ediyorsanız, toplam hacim genellikle günde 5000-10000 anahtar kelimeyi aşar - tam bu ölçekte kendi izleyiciniz neredeyse her zaman hazır bir abonelikten daha karlıdır, eğer ekipte sonucu destekleyecek birisi varsa.

Kendi başına sonuç çıkarırken sık yapılan hatalar

Pratikte, kendi pozisyon izleyicinizle ilgili çoğu sorun, kodla değil, altyapı nüanslarını hafife almakla ilgilidir.

• Proxy'de tasarruf. Ucuz veri merkezi proxy'lerinde tasarruf etmeye çalışmak, çözülmesi gereken büyük captcha sorunlarına yol açar - sonuçta toplam harcamalar, başlangıçta daha kaliteli proxy'ler kullanmaktan daha yüksek olur.
• İstekler arasında gecikme olmaması. Bir IP'den çok hızlı ardışık istekler, kaliteli olsa bile anında anti-bot sistemlerinin dikkatini çeker.
• Bölgeselliği göz ardı etmek. Yandex, kullanıcının bölgesine bağlı olarak farklı sonuçlar gösterir - proxy'nin doğru coğrafi konumlandırması olmadan pozisyon verileri hatalı olacaktır.
• Sonuç çıkarıcının sağlığını izleme eksikliği. Arama motorları zaman zaman sonuç sayfasının düzenini değiştirir, ve başarı oranında bir düşüş olduğunda uyarılar olmadan haftalarca boş veya hatalı veriler toplayabilirsiniz, bunu fark etmeden.
• Mobil sonuçları göz ardı etmek. Masaüstü ve mobil sonuçlar genellikle farklıdır, ve eğer müşteri için mobil pozisyon önemliyse, uygun User-Agent ve tercihen mobil IP'lerle ayrı bir sonuç çıkarma hattına ihtiyaç vardır.

Sonuç

Kendi pozisyon izleyiciniz, kontrol hacmi günde birkaç bin anahtar kelimeyi aştığında ve ekibinizde sonucu destekleyecek bir kaynak olduğunda ekonomik olarak mantıklı hale gelir. Daha küçük hacimlerde, hazır bir abonelik genellikle geliştirme için gizli maliyetleri göz önünde bulundurursak daha ucuzdur. Kendi çözümünüzün maliyetindeki ana değişken, sunucu veya kod değil, captcha oranını ve veri istikrarını belirleyen proxy altyapısıdır.

Eğer günde 1000 ve daha fazla anahtar kelime için bir izleyici kurmayı planlıyorsanız, trafik hesaplaması ve küçük bir sorgu örneği için test proxy havuzunu ayarlamakla başlayın. Yandex ve Google'da bu hacimlerde istikrarlı bir sonuç çıkarma için, ikamet eden proxy'leri hemen düşünmek mantıklıdır - bunlar kabul edilebilir trafik maliyeti ile minimum captcha oranı sağlar ve izlenen müşteri sayısı arttıkça iyi bir şekilde ölçeklenir.