Parsing melalui sitemap.xml: penghematan 10 kali lipat dalam menjelajahi situs web.

Kebanyakan pemula dalam parsing mulai dengan menjelajahi situs secara penuh: masuk ke halaman utama, mengumpulkan semua tautan, mengunjungi setiap tautan, mengumpulkan tautan lagi — dan begitu ribuan kali. Ini menghabiskan proxy, waktu, dan sering kali berakhir dengan pemblokiran. Ada cara yang lebih sederhana dan lebih murah: hampir setiap situs besar, termasuk Wildberries, Ozon, dan Avito, sudah memiliki peta semua halaman — sitemap.xml. Mari kita bahas bagaimana menemukannya, membacanya, dan menggunakannya sebagai pengganti ribuan permintaan yang tidak perlu.

Apa itu sitemap.xml dan mengapa penting bagi parser

Sitemap.xml adalah file yang dibuat oleh situs untuk mesin pencari seperti Google dan Yandex. Di dalamnya terdaftar semua halaman yang ingin pemilik situs agar diindeks: kartu produk, kategori, artikel blog. Pada dasarnya, ini adalah daftar URL siap pakai yang diberikan oleh situs — tidak perlu mengunjungi tautan secara manual, mengklik pagination, atau menebak logika navigasi.

Bagi penjual yang memantau harga pesaing di Wildberries atau Ozon, ini berarti satu hal: alih-alih menjelajahi ribuan kategori dan halaman pagination, Anda bisa langsung mendapatkan daftar semua kartu produk dengan satu permintaan ke sitemap. Bagi pemasar yang mengumpulkan basis URL untuk analisis konten pesaing, ini menghemat jam kerja manual. Bagi para arbitrase yang mem-parsing landing page pesaing untuk analisis kreatif, sitemap menunjukkan semua halaman situs sekaligus.

Nuansa penting: tidak semua halaman masuk ke dalam sitemap. Terkadang halaman dengan filter, promosi sementara, atau halaman dengan parameter di URL tidak termasuk. Oleh karena itu, sitemap tidak selalu mencakup 100% situs, tetapi biasanya mencakup 80-95% halaman berguna yang Anda butuhkan untuk katalog atau pemantauan.

Jelajah penuh vs sitemap-first: perbandingan biaya

Perbedaan dalam pendekatan terasa jelas jika dihitung bukan dalam "usaha" abstrak, tetapi dalam sumber daya nyata: jumlah permintaan, penggunaan trafik proxy, dan waktu hingga hasil. Di bawah ini adalah perbandingan menggunakan contoh pengumpulan katalog dari 50.000 kartu produk.

Parameter	Jelajah penuh situs	Parsing melalui sitemap
Permintaan untuk mengumpulkan URL	15.000–20.000 (kategori, pagination, filter)	50–300 (hanya file sitemap)
Waktu untuk mengumpulkan daftar URL	4–8 jam	15–30 menit
Risiko pemblokiran IP	Tinggi karena volume permintaan untuk navigasi	Rendah, permintaan jauh lebih sedikit
Beban pada trafik proxy	Tinggi, memerlukan kumpulan IP yang besar	Minimal, bisa menggunakan kumpulan kecil
Kompleksitas logika parser	Tinggi, perlu menganalisis navigasi	Rendah, analisis struktur XML

Angka "10 kali lebih murah" dari judul bukanlah sebuah hiperbola. Jika menjelajah penuh memerlukan 15-20 ribu permintaan hanya untuk menyusun daftar halaman, dan sitemap memberikan daftar yang sama dengan 50-300 permintaan, penghematan pada trafik proxy dan waktu menjadi berlipat ganda. Namun, Anda tetap harus mengunduh kartu produk itu secara terpisah — tetapi Anda tahu persis URL mana yang harus diunduh, dan tidak membuang sumber daya pada halaman kosong, duplikat, dan tautan sampah.

Cara menemukan sitemap.xml di situs mana pun

Cara pertama dan paling sederhana adalah menambahkan /sitemap.xml ke domain situs. Misalnya, untuk memeriksa, coba buka di browser alamat seperti https://example.com/sitemap.xml. Ini akan berhasil untuk sebagian besar situs, termasuk banyak toko online di CMS populer.

Jika tidak ada apa-apa di alamat ini, periksa file robots.txt — file ini hampir selalu terletak di alamat /robots.txt dan dalam banyak kasus berisi baris Sitemap: https://example.com/sitemap_index.xml. Ini adalah cara resmi yang digunakan situs untuk memberi tahu mesin pencari di mana mencari peta. Di marketplace besar seperti Wildberries dan Ozon, peta situs sering dibagi menjadi puluhan file dan ditunjukkan melalui robots.txt.

Opsi ketiga adalah mencari penyebutan di sistem seperti Google Search Console (jika Anda memiliki akses ke situs Anda) atau menggunakan pemindai situs khusus yang dapat menemukan semua file sitemap. Untuk situs pesaing, biasanya cukup dengan dua cara pertama — robots.txt hampir tidak pernah ditutup dari pandangan orang luar, ini adalah file publik.

Tip:

Nama file sitemap tidak selalu standar. Ada variasi seperti sitemap_index.xml, sitemap-products.xml, product-sitemap.xml, dan sejenisnya. Selalu mulai dengan robots.txt — itu akan menunjukkan jalur yang tepat.

Struktur sitemap di marketplace: indeks dan peta bersarang

Situs kecil biasanya memiliki satu file sitemap.xml dengan semua URL. Namun, untuk katalog besar seperti Wildberries, Ozon, atau Avito, yang memiliki jutaan halaman, satu file XML dengan volume sebesar itu akan menjadi tidak nyaman. Oleh karena itu, mereka menggunakan yang disebut indeks sitemap — file daftar yang merujuk ke puluhan atau ratusan file sitemap terpisah, dibagi berdasarkan kategori, tanggal, atau hanya dalam paket 10-50 ribu URL.

Struktur terlihat seperti ini: pertama, Anda membuka file indeks utama, di dalamnya Anda menemukan daftar tautan ke sitemap anak, misalnya sitemap-products-1.xml, sitemap-products-2.xml, dan seterusnya. Kemudian Anda perlu mengunduh setiap file ini dan dari sana mengekstrak URL akhir kartu produk. Ini adalah proses dua tingkat, tetapi tetap jauh lebih cepat daripada menjelajahi navigasi situs secara manual.

Terkadang file sitemap anak dikompresi dalam format gzip (ekstensi .xml.gz) — ini adalah praktik standar untuk menghemat ruang di server. Jika skrip mengunduh file dan melihat karakter yang tidak dapat dibaca alih-alih XML, kemungkinan besar Anda perlu mengekstrak isi sebelum parsing.

Langkah demi langkah ekstraksi URL dari sitemap

Bagi mereka yang bekerja dengan alat parsing no-code yang sudah siap, sebagian besar parser katalog marketplace modern sudah dapat membaca sitemap secara otomatis — cukup tentukan URL root situs, dan alat akan menemukan robots.txt, menemukan indeks sitemap, dan mengumpulkan daftar semua kartu. Tetapi jika Anda bekerja dengan pengembang atau menulis skrip kecil sendiri, logika kerjanya sederhana, dan berikut adalah contoh dalam Python:

import requests
import gzip
from io import BytesIO
from lxml import etree

def get_sitemap_urls(sitemap_url, proxies=None):
    response = requests.get(sitemap_url, proxies=proxies, timeout=15)
    content = response.content

    # Membongkar gzip, jika file dikompresi
    if sitemap_url.endswith('.gz'):
        content = gzip.decompress(content)

    root = etree.fromstring(content)
    namespace = {'ns': 'http://www.sitemaps.org/schemas/sitemap/0.9'}

    # Jika ini adalah indeks sitemap — kumpulkan tautan ke peta anak
    sub_sitemaps = root.findall('.//ns:sitemap/ns:loc', namespace)
    if sub_sitemaps:
        all_urls = []
        for sub in sub_sitemaps:
            all_urls.extend(get_sitemap_urls(sub.text, proxies))
        return all_urls

    # Jika ini adalah sitemap biasa — kumpulkan URL akhir
    urls = root.findall('.//ns:url/ns:loc', namespace)
    return [url.text for url in urls]

proxy = {
    "http": "http://user:pass@proxy_host:port",
    "https": "http://user:pass@proxy_host:port"
}

urls = get_sitemap_urls("https://example.com/sitemap_index.xml", proxies=proxy)
print(f"Ditemukan URL: {len(urls)}")

Skrip ini secara rekursif melewati file indeks, mengunduh setiap peta anak, dan mengumpulkan semua tautan akhir dalam satu daftar. Pada akhirnya, Anda mendapatkan daftar lengkap URL kartu produk tanpa satu pun tautan yang tidak perlu melalui navigasi situs.

Penyaringan halaman yang diperlukan berdasarkan pola URL

Setelah Anda mendapatkan daftar lengkap URL dari sitemap, hampir selalu perlu untuk menyaringnya. Dalam satu file sitemap marketplace, bisa ada kartu produk, halaman kategori, artikel blog, halaman merek, dan halaman layanan. Anda kemungkinan hanya membutuhkan kartu produk dari kategori tertentu.

Untuk penyaringan biasanya digunakan pola URL. Misalnya, jika kartu produk di situs memiliki format /catalog/product/12345, sementara kategori terlihat seperti /catalog/category/electronics, tidak sulit untuk memisahkan satu dari yang lain dengan membandingkan segmen jalur. Untuk kasus yang lebih kompleks, ketika struktur URL tidak begitu jelas, digunakan ekspresi reguler — ini memungkinkan Anda untuk menetapkan pola sekali dan segera menyaring ratusan ribu tautan.

Selain itu, berguna untuk melihat tag <lastmod> di dalam sitemap — mereka menunjukkan tanggal terakhir halaman diubah. Jika Anda tidak memerlukan katalog lengkap, tetapi hanya produk yang diperbarui dalam seminggu terakhir (misalnya, untuk memantau posisi baru pesaing), Anda dapat menyaring URL berdasarkan tanggal ini dan tidak mengganggu halaman yang tidak berubah selama berbulan-bulan.

Pengaturan proxy untuk pengunduhan massal peta situs

Meskipun permintaan ke sitemap jauh lebih sedikit dibandingkan dengan menjelajahi penuh, situs seperti Wildberries dan Ozon tetap melacak aktivitas mencurigakan — permintaan terlalu sering dari satu IP, User-Agent yang tidak biasa, dan tidak adanya header browser. Oleh karena itu, bahkan untuk mengunduh file sitemap, sebaiknya menggunakan proxy, terutama jika Anda berencana untuk pemantauan reguler, bukan hanya pengumpulan katalog sekali.

Untuk mengunduh file XML sitemap itu sendiri, biasanya cukup menggunakan proxy data center — mereka cepat dan murah, dan permintaan ke sitemap sedikit, sehingga situs jarang menerapkan perlindungan ketat terhadapnya dibandingkan dengan halaman katalog biasa. Namun, pada tahap pengunduhan kartu produk berdasarkan URL yang dikumpulkan, di mana permintaan jauh lebih banyak dan perlindungan lebih ketat, lebih baik beralih ke proxy residensial — mereka menggunakan IP nyata dari pengguna biasa dan jarang terblokir oleh sistem anti-bot di marketplace.

Jika Anda memantau katalog dari versi seluler situs atau API yang hanya memberikan data saat ada trafik seluler, sebaiknya pertimbangkan proxy seluler — mereka menggunakan IP dari operator seluler dan dianggap paling terpercaya oleh sebagian besar sistem anti-fraud.

Pengaturan praktis dalam skrip atau parser sangat sederhana: tentukan host, port, login, dan kata sandi proxy di bidang permintaan yang sesuai (seperti yang ditunjukkan dalam contoh kode di atas di parameter proxies), atau jika Anda menggunakan parser no-code yang sudah siap atau browser anti-detect seperti Dolphin Anty atau AdsPower untuk memeriksa struktur situs secara manual sebelum mengatur pengumpulan otomatis, masukkan data proxy di pengaturan profil: buka tab "Proxy" → pilih jenis HTTP atau SOCKS5 → masukkan host, port, login, kata sandi → simpan profil.

Kesalahan umum saat bekerja dengan sitemap

Kesalahan pertama dan paling umum adalah mengabaikan robots.txt dan mencoba menebak alamat sitemap secara acak. Ini adalah pemborosan waktu yang mudah dihindari dengan hanya melihat file aturan pengindeksan.

Kesalahan kedua adalah tidak mempertimbangkan bahwa sitemap mungkin tidak lengkap. Beberapa situs secara sengaja mengecualikan halaman dengan nilai rendah untuk SEO dari sitemap, tetapi yang tetap penting untuk pemantauan harga — misalnya, halaman produk yang tidak tersedia. Jika setelah parsing melalui sitemap jumlah kartu yang dikumpulkan jauh lebih sedikit dari yang diharapkan, sebaiknya periksa jumlah produk yang ditampilkan situs itu sendiri di kategori, dan jika perlu, lengkapi pengumpulan dengan menjelajahi bagian yang hilang.

Kesalahan ketiga adalah tidak menyimpan file sitemap yang sudah diunduh. Jika Anda menjalankan pemantauan setiap hari, tidak ada gunanya mengunduh file indeks dan semua peta anak dari awal setiap kali — sebagian besar dari mereka tidak berubah setiap hari. Simpan daftar URL secara lokal dan perbarui hanya yang benar-benar berubah berdasarkan tanggal lastmod.

Kesalahan keempat adalah melupakan header permintaan. Bahkan mengunduh file XML sederhana dapat diblokir jika permintaan terlihat seperti dari bot: tanpa User-Agent, tanpa Accept-Language, dengan header default yang tidak biasa yang ditetapkan oleh pustaka untuk permintaan. Menambahkan header browser yang realistis bersama dengan proxy secara signifikan mengurangi kemungkinan pemblokiran pada tahap ini.

Daftar periksa untuk memulai parsing melalui sitemap

Sebelum memulai pengumpulan katalog secara penuh, lakukan langkah-langkah singkat berikut agar tidak membuang waktu pada kesalahan:

Memeriksa robots.txt situs dan menemukan alamat tepat sitemap atau sitemap index
Memastikan bahwa struktur sitemap adalah dua tingkat (indeks + peta anak) atau satu tingkat
Memeriksa apakah file anak dikompresi dalam gzip
Menentukan pola URL untuk halaman yang diperlukan (kartu produk, kategori, dll.)
Mengatur penyaringan berdasarkan pola atau berdasarkan tanggal lastmod, jika hanya posisi baru yang diperlukan
Menghubungkan proxy untuk mengunduh file sitemap dan secara terpisah untuk mengunduh kartu itu sendiri
Menambahkan header permintaan yang realistis (User-Agent, Accept-Language)
Mengatur caching dan perbandingan berdasarkan tanggal untuk pemantauan ulang
Memeriksa jumlah akhir URL dengan jumlah produk yang diperkirakan di situs

Kesimpulan

Pendekatan sitemap-first bukanlah sebuah hack atau cara untuk menghindari perlindungan, melainkan penggunaan informasi yang diterbitkan oleh situs untuk mesin pencari. Alih-alih ribuan permintaan ke navigasi, kategori, dan pagination, Anda mendapatkan daftar siap pakai dari halaman yang diperlukan dengan hanya beberapa puluh permintaan ke file XML. Ini menghemat waktu untuk memulai parsing, mengurangi penggunaan trafik proxy, dan secara signifikan mengurangi risiko pemblokiran IP, karena beban pada situs jauh lebih sedikit dibandingkan dengan menjelajahi penuh.

Jika Anda baru mulai memantau katalog Wildberries, Ozon, atau situs besar lainnya, mulailah dengan sitemap — kemungkinan besar Anda akan menghemat jam kerja bahkan pada pengumpulan pertama. Untuk mengunduh file sitemap itu sendiri, cukup gunakan proxy data center yang murah, dan untuk pengumpulan data reguler dari kartu produk, di mana risiko pemblokiran lebih tinggi, sebaiknya pertimbangkan proxy residensial — mereka memberikan kinerja stabil untuk parser tanpa pemblokiran yang sering dalam jangka panjang.