Penghitung posisi Anda sendiri sebagai pengganti Topvisor dan Serpstat: perhitungan biaya untuk 1000 kata kunci per hari

Agensi SEO dan pemasar internal cepat atau lambat akan bertanya pada diri mereka sendiri: mengapa membayar untuk langganan tracker posisi jika mereka bisa mengumpulkan parser hasil mereka sendiri? Jawabannya tidak semudah yang terlihat — biaya pemantauan mandiri terdiri tidak hanya dari server, tetapi juga dari proxy, captcha, dan waktu untuk mendukung skrip. Dalam artikel ini, kita akan membahas matematika nyata dengan contoh pemeriksaan 1000 frasa kunci per hari.

Mengapa agensi membuat tracker posisi mereka sendiri

Layanan siap pakai seperti Topvisor, Serpstat, SE Ranking, atau Rush Analytics sangat nyaman: Anda tidak perlu memikirkan tentang proxy, captcha, dan server — cukup masukkan kunci dan dapatkan laporan. Namun, kenyamanan ini memiliki harga, yang meningkat sebanding dengan jumlah frasa yang diperiksa dan wilayah. Jika agensi menangani 15-20 klien, dan masing-masing memiliki 500-2000 kunci, tagihan untuk langganan dengan cepat mencapai jumlah yang sebanding dengan gaji seorang junior.

Alasan kedua adalah fleksibilitas. Dalam layanan siap pakai, Anda tidak dapat mengubah frekuensi pemeriksaan untuk kunci tertentu, menambahkan logika kustom (misalnya, melacak tidak hanya posisi tetapi juga cuplikan, keberadaan tautan cepat, atau ulasan), mengekspor data mentah ke sistem BI Anda. Tracker sendiri menyelesaikan tugas-tugas ini, tetapi memerlukan infrastruktur: server, basis data, skrip pengambilan, dan yang terpenting, proxy untuk menghindari perlindungan mesin pencari dari permintaan otomatis.

Alasan ketiga adalah kontrol atas data. Agensi yang bekerja dengan klien besar berdasarkan NDA, tidak selalu siap untuk menyerahkan daftar permintaan kunci dan domain kepada layanan cloud pihak ketiga. Tracker sendiri memungkinkan untuk menyimpan semua data di infrastruktur sendiri.

Apa yang membentuk biaya pemeriksaan posisi

Sebelum menghitung uang, perlu memahami mekanismenya: untuk mengetahui posisi situs berdasarkan permintaan kunci, parser harus mengirimkan permintaan ke hasil pencarian Yandex atau Google, menerima halaman HTML hasil, dan menemukan domain yang diperlukan di dalamnya. Untuk 1000 kunci per hari — ini adalah minimum 1000 permintaan, dan jika Anda memeriksa kedua mesin pencari dan beberapa wilayah, angka ini bisa meningkat 2-4 kali lipat.

Mesin pencari secara agresif memblokir permintaan otomatis dari satu IP: setelah 20-50 permintaan berturut-turut dari satu alamat, Yandex mulai menampilkan captcha, dan Google — sementara memblokir IP selama beberapa jam. Oleh karena itu, setiap permintaan harus melalui proxy yang terpisah atau sering diganti. Dari sini muncul pos pengeluaran utama — bukan server dan bukan skrip, tetapi infrastruktur proxy itu sendiri.

Struktur biaya lengkap terlihat seperti ini:

• Proxy untuk rotasi IP — pos pengeluaran variabel utama, tergantung pada volume permintaan
• Server atau VPS untuk menjalankan skrip sesuai jadwal — jumlah tetap yang kecil
• Penyelesaian captcha (layanan anti-captcha) — pos tambahan, jika proxy tidak cukup berkualitas
• Waktu pengembang untuk menulis dan mendukung parser — biaya satu kali dan berkala
• Penyimpanan dan visualisasi data — basis data, dasbor, biasanya biaya minimal

Langganan vs tracker sendiri: perbandingan berdasarkan pos pengeluaran

Untuk menilai kapan tracker sendiri lebih menguntungkan dibandingkan langganan, nyaman untuk membandingkan pos pengeluaran secara langsung. Di bawah ini adalah tabel ringkasan tanpa keterikatan pada tarif tertentu, yang menunjukkan logika pemilihan.

Parameter	Layanan siap pakai (langganan)	Tracker posisi sendiri
Biaya untuk 1000 kunci/hari	Meningkat sebanding dengan rencana tarif, jumlah tetap bulanan	Terdiri dari lalu lintas proxy + sewa server, dapat diskalakan dengan lancar
Fleksibilitas pengaturan	Terbatas oleh fungsionalitas layanan	Penuh — frekuensi, wilayah, kedalaman hasil apa pun
Butuh pengembang	Tidak	Ya, di awal dan secara berkala untuk dukungan
Risiko pemblokiran/captcha	Ditanggung oleh layanan	Menjadi tanggung jawab Anda, diselesaikan dengan proxy dan penundaan
Titik impas	—	Biasanya dari 3000-5000 kunci per hari dan lebih

Kesimpulan dari tabel ini sederhana: pada volume kunci yang kecil (hingga 2000-3000 per hari) langganan hampir selalu lebih menguntungkan, karena biaya pengembangan dan dukungan solusi sendiri tidak terbayar. Namun, pada volume besar — dari beberapa ribu kunci per hari, terutama jika perlu memeriksa beberapa kali sehari atau di berbagai wilayah — infrastruktur sendiri mulai unggul secara ekonomi.

Perhitungan proxy untuk 1000 kunci per hari

Pertanyaan utama dalam biaya adalah berapa banyak proxy yang dibutuhkan untuk 1000 permintaan per hari tanpa pemblokiran dan captcha. Mari kita ambil batas aman rata-rata yang digunakan oleh parser hasil dalam praktik:

• Yandex: 30-50 permintaan dari satu IP per hari tanpa risiko captcha dengan penundaan acak antara permintaan 10-30 detik
• Google: 15-25 permintaan dari satu IP per hari, sistem memblokir lebih ketat dan lebih cepat

Jika Anda memeriksa 1000 kunci hanya di Yandex, dengan batas 40 permintaan per IP, Anda membutuhkan setidaknya 25 alamat unik per hari. Dengan mempertimbangkan retry pada permintaan yang gagal dan cadangan untuk kemungkinan pemblokiran sementara, siapkan 30-40 IP. Jika memeriksa kedua mesin pencari, angka ini akan berlipat ganda — Anda akan membutuhkan sekitar 60-80 IP per hari.

Nuansa penting: saat bekerja melalui kumpulan IP dengan rotasi berdasarkan permintaan (dan bukan sesi), satu server proxy fisik yang sama dapat "menutup" jauh lebih banyak alamat IP jika penyedia menyediakan rotasi dinamis. Dalam hal ini, perhitungan tidak dilakukan berdasarkan jumlah alamat, tetapi berdasarkan volume lalu lintas — biasanya satu pemeriksaan posisi memiliki berat 50-200 KB HTML, yaitu 1000 permintaan per hari — ini adalah 50-200 MB lalu lintas, yang bukan beban kritis bahkan untuk tarif rata-rata.

Proxy apa yang dibutuhkan untuk Yandex dan Google

Jenis proxy secara langsung mempengaruhi berapa banyak captcha dan pemblokiran yang Anda dapatkan, dan dengan demikian — biaya nyata pemeriksaan. Mari kita bahas tiga opsi.

Proxy pusat data — opsi termurah dalam hal biaya lalu lintas, tetapi mereka memiliki reputasi buruk di basis data mesin pencari: IP pusat data secara massal digunakan untuk pengambilan, sehingga Yandex dan Google dengan cepat mengenali mereka dan menunjukkan captcha setelah beberapa permintaan. Untuk pemeriksaan frekuensi rendah dari sejumlah kecil kunci, proxy pusat data masih bisa digunakan, tetapi pada volume 1000+ permintaan per hari, proporsi captcha menjadi terlalu tinggi, dan penghematan pada lalu lintas akan dimakan oleh biaya anti-captcha.

Proxy residensial — alamat IP pengguna rumah nyata, yang dianggap mesin pencari sebagai lalu lintas biasa. Proporsi captcha di sini jauh lebih rendah, yang krusial pada volume pemeriksaan yang besar. Untuk pengambilan hasil pencarian pada 1000 kunci atau lebih per hari, proxy residensial biasanya memberikan rasio biaya dan stabilitas terbaik, terutama saat bekerja dengan Google, yang paling ketat dalam memblokir alamat pusat data.

Proxy seluler — menggunakan IP dari operator seluler, yang sering berubah di antara ribuan pengguna nyata (NAT), sehingga alamat yang sama dapat "dimiliki" oleh pengguna yang berbeda sepanjang hari. Ini memberikan daya tahan maksimum saat melakukan pengambilan agresif, tetapi biayanya lebih mahal. Proxy seluler dibenarkan jika Anda memeriksa posisi di hasil pencarian seluler terpisah dari desktop atau bekerja dengan permintaan regional Yandex yang sangat sensitif.

Jenis proxy	Proporsi captcha pada 1000 permintaan	Kapan digunakan
Pusat data	Tinggi	Hingga 200-300 kunci per hari, frekuensi rendah
Residensial	Rendah	1000+ kunci per hari, Google dan Yandex
Seluler	Minimal	Hasil pencarian seluler, wilayah yang rumit

Pengaturan langkah demi langkah untuk tracker Anda sendiri

Mari kita bahas proses membangun tracker posisi kita langkah demi langkah — tanpa menyelami kode, pada tingkat arsitektur solusi.

1. Pemilihan sumber data. Tentukan apakah Anda mengambil hasil pencarian langsung melalui permintaan HTTP atau menggunakan browser headless (misalnya, melalui Puppeteer/Playwright) untuk meniru pengguna nyata. Opsi kedua lebih andal terhadap perlindungan anti-bot, tetapi lebih lambat dan lebih mahal dalam hal sumber daya server.
2. Pengaturan kumpulan proxy. Hubungkan penyedia proxy dengan rotasi IP berdasarkan permintaan atau waktu. Untuk Yandex dan Google, lebih baik menggunakan kumpulan proxy yang berbeda, karena sistem memiliki ambang pemblokiran yang berbeda.
3. Logika retry. Jika permintaan mengembalikan captcha atau kesalahan, skrip harus secara otomatis mengganti IP dan mengulangi permintaan, bukan hanya mencatat kesalahan.
4. Pengambilan hasil. Dari HTML yang diterima, posisi domain yang diperlukan diekstrak dari hasil — biasanya melalui pencarian berdasarkan tag tautan dan perbandingan dengan domain klien.
5. Penyimpanan riwayat. Hasil disimpan dalam basis data dengan tanggal pemeriksaan, sehingga grafik dinamika posisi dapat dibangun.
6. Jadwal peluncuran. Skrip dijalankan melalui cron atau penjadwal tugas sekali sehari (atau lebih sering), secara merata mendistribusikan 1000 permintaan sepanjang waktu, agar tidak menciptakan beban puncak pada kumpulan proxy.

Contoh kode pemeriksaan posisi menggunakan Python

Di bawah ini adalah contoh sederhana dari logika permintaan ke hasil pencarian melalui proxy dengan rotasi. Ini adalah kerangka demonstrasi yang menunjukkan prinsip kerja, bukan solusi siap pakai.

import requests
import random
import time

PROXY_LIST = [
    "http://user:[email protected]:8000",
    "http://user:[email protected]:8000",
    # ... kumpulan proxy dari ratusan alamat
]

HEADERS = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}

def check_position(keyword, domain, search_engine="yandex"):
    proxy = random.choice(PROXY_LIST)
    proxies = {"http": proxy, "https": proxy}

    if search_engine == "yandex":
        url = f"https://yandex.ru/search/?text={keyword}"
    else:
        url = f"https://www.google.com/search?q={keyword}"

    try:
        response = requests.get(url, headers=HEADERS, proxies=proxies, timeout=10)
        if "captcha" in response.text.lower():
            return None  # perlu rotasi IP dan ulang permintaan
        position = find_domain_position(response.text, domain)
        return position
    except requests.RequestException:
        return None

def find_domain_position(html, domain):
    # logika sederhana untuk mencari posisi domain dalam hasil
    results = extract_links(html)
    for i, link in enumerate(results, start=1):
        if domain in link:
            return i
    return None

for keyword in keyword_list:
    pos = check_position(keyword, "example.com")
    save_to_db(keyword, pos)
    time.sleep(random.uniform(5, 15))  # penundaan acak antara permintaan
  

Dalam proyek nyata, alih-alih pengambilan HTML manual, sering kali digunakan browser headless dengan penggantian User-Agent dan fingerprint, dan kumpulan proxy dihubungkan melalui penyedia dengan rotasi otomatis di tingkat endpoint — ini menghilangkan kebutuhan untuk menyimpan daftar alamat secara manual dan menyederhanakan skala hingga beberapa ribu permintaan per hari.

Berapa banyak yang bisa dihemat

Untuk menjawab pertanyaan tentang penghematan, perlu membandingkan dua model pengeluaran dalam dinamika seiring dengan pertumbuhan volume kunci.

Pada volume kecil — hingga 1000-2000 kunci per hari — biaya langganan untuk tracker siap pakai biasanya sebanding atau bahkan lebih rendah daripada total biaya untuk pengembangan dan dukungan solusi sendiri, jika mempertimbangkan waktu spesialis. Pengembangan parser yang layak secara minimal dari awal memakan waktu dari beberapa hari hingga beberapa minggu, ditambah dukungan berkala saat terjadi perubahan pada hasil pencarian — dan Yandex serta Google sering mengubah markup hasil.

Titik balik terjadi ketika volume pemeriksaan meningkat menjadi beberapa ribu kunci per hari atau perlu memeriksa posisi beberapa kali sehari, di berbagai wilayah dan perangkat (desktop/mobile). Dalam skenario ini, biaya langganan siap pakai meningkat secara linier atau bahkan progresif dengan volume, sementara biaya untuk tracker sendiri meningkat jauh lebih lambat — pos utama (lalu lintas proxy) tidak meningkat secepat rencana tarif layanan SaaS saat beralih ke tingkat paket berikutnya.

Panduan praktis untuk agensi: jika Anda melacak posisi 5-10 klien atau lebih secara bersamaan, total volume biasanya melebihi 5000-10000 frasa kunci per hari — pada skala ini, tracker sendiri hampir selalu lebih menguntungkan daripada langganan siap pakai, asalkan ada seseorang di tim yang mampu mendukung parser.

Kesalahan umum saat melakukan pengambilan sendiri

Dalam praktiknya, sebagian besar masalah dengan tracker posisi sendiri terkait bukan dengan kode, tetapi dengan meremehkan nuansa infrastruktur.

• Penghematan pada proxy. Upaya untuk menghemat dengan menggunakan proxy pusat data murah mengarah pada captcha massal, yang harus diselesaikan melalui layanan anti-captcha pihak ketiga — pada akhirnya, total biaya menjadi lebih tinggi daripada jika menggunakan proxy berkualitas lebih baik sejak awal.
• Kurangnya penundaan antara permintaan. Permintaan yang terlalu cepat berturut-turut dari satu IP segera menarik perhatian sistem anti-bot, bahkan jika IP berkualitas.
• Mengabaikan regionalitas. Yandex menunjukkan hasil yang berbeda tergantung pada wilayah pengguna — tanpa pengikatan geografis yang benar, data tentang posisi akan tidak akurat.
• Kurangnya pemantauan kesehatan parser. Mesin pencari secara berkala mengubah markup halaman hasil, dan tanpa peringatan tentang penurunan keberhasilan pengambilan, Anda bisa mengumpulkan data kosong atau tidak akurat selama berminggu-minggu tanpa menyadarinya.
• Mengabaikan hasil pencarian seluler. Hasil pencarian desktop dan seluler sering kali berbeda, dan jika posisi seluler penting bagi klien, diperlukan jalur pengambilan terpisah dengan User-Agent yang sesuai dan, idealnya, IP seluler.

Kesimpulan

Tracker posisi sendiri menjadi ekonomis ketika volume pemeriksaan melebihi beberapa ribu kunci per hari, dan ada sumber daya dalam tim untuk mendukung parser. Pada volume yang lebih kecil, langganan siap pakai hampir selalu lebih murah dengan mempertimbangkan biaya tersembunyi untuk pengembangan. Variabel utama dalam biaya solusi sendiri bukanlah server atau kode, tetapi infrastruktur proxy, yang menentukan proporsi captcha dan stabilitas data.

Jika Anda berencana untuk membangun tracker posisi untuk 1000 kunci atau lebih per hari, mulailah dengan perhitungan lalu lintas dan kumpulan proxy uji pada sampel permintaan kecil. Untuk pengambilan yang stabil di Yandex dan Google pada volume tersebut, masuk akal untuk segera mempertimbangkan proxy residensial — mereka memberikan proporsi captcha minimal dengan biaya lalu lintas yang dapat diterima dan dapat diskalakan dengan baik seiring pertumbuhan jumlah klien yang dilacak.