sitemap.xml ile Veri Çekme: Wildberries Kataloğunu Siteyi Ziyaret Etmeden 10 Kat Daha Ucuza Toplama Yöntemleri

Çoğu yeni başlayan, tarama işlemlerine siteyi tamamen dolaşarak başlar: ana sayfaya girer, tüm bağlantıları toplar, her birine geçer, tekrar bağlantıları toplar - ve bu binlerce kez devam eder. Bu, proxy'leri, zamanı tüketir ve genellikle yasaklanma ile sonuçlanır. Daha basit ve ucuz bir yol var: neredeyse her büyük sitede, Wildberries, Ozon ve Avito dahil, tüm sayfaların hazır bir haritası - sitemap.xml mevcut. Onu nasıl bulacağımızı, okuyacağımızı ve binlerce gereksiz isteğin yerine nasıl kullanacağımızı inceleyelim.

sitemap.xml nedir ve neden tarayıcılara gereklidir

Sitemap.xml, bir sitenin Google ve Yandex gibi arama motorları için kendisi tarafından oluşturulan bir dosyadır. İçinde, site sahibi tarafından indekslenmesini istediği tüm sayfalar listelenmiştir: ürün kartları, kategoriler, blog yazıları. Temelde, site tarafından size sunulan hazır bir URL listesidir - bağlantılara manuel olarak geçmenize, sayfalandırmaya tıklamanıza veya navigasyon mantığını çözmeye gerek yoktur.

Wildberries veya Ozon'daki rakiplerin fiyatlarını izleyen satıcılar için bu, şu anlama geliyor: binlerce kategori ve sayfayı dolaşmak yerine, tek bir istekle sitemap'ten tüm ürün kartlarının listesini alabilirsiniz. Rakiplerin içerik analizini yapmak için URL veritabanı toplayan pazarlamacılar için bu, saatlerce manuel işten tasarruf sağlar. Rakiplerin yaratıcılarını analiz etmek için rakiplerin açılış sayfalarını tarayan arbitrajcılar için sitemap, sitenin tüm sayfalarını bir anda gösterir.

Önemli bir nokta: tüm sayfalar sitemap'e dahil edilmez. Bazen filtre sayfaları, geçici kampanyalar veya URL'deki parametrelerle sayfalar dahil edilmez. Bu nedenle, sitemap her zaman %100 site kapsamı sağlamaz, ancak genellikle katalog veya izleme için gerekli olan %80-95 oranında yararlı sayfaları içerir.

Tam dolaşım vs sitemap-first: maliyet karşılaştırması

Yaklaşımlar arasındaki fark, soyut "denemeler" yerine gerçek kaynaklar açısından hesaplandığında hissedilir: istek sayısı, proxy trafiği tüketimi ve sonuca ulaşma süresi. Aşağıda, 50.000 ürün kartı toplama örneği üzerinden bir karşılaştırma bulunmaktadır.

Parametre	Siteyi Tam Dolaşım	Sitemap Üzerinden Tarama
URL toplama istekleri	15.000–20.000 (kategoriler, sayfalandırma, filtreler)	50–300 (sadece sitemap dosyaları)
URL listesini toplama süresi	4–8 saat	15–30 dakika
IP engellenme riski	Yüksek, navigasyona yapılan isteklerin hacminden dolayı	Düşük, istek sayısı çok daha az
Proxy trafiği yükü	Yüksek, büyük bir IP havuzu gerekiyor	Minimum, küçük bir havuz yeterli
Tarayıcı mantığı zorluğu	Yüksek, navigasyonu çözmek gerekiyor	Düşük, XML yapısının analizi

Başlıktaki "10 kat daha ucuz" ifadesi abartı değil. Eğer tam dolaşım, sayfa listesini oluşturmak için 15-20 bin istek gerektiriyorsa ve sitemap aynı listeyi 50-300 istekle sağlıyorsa, proxy trafiği ve zaman tasarrufu katlanarak artar. Bu arada, ürün kartlarını yine ayrı ayrı indirmeniz gerekecek - ama hangi URL'leri indireceğinizi kesin olarak biliyorsunuz ve boş sayfalara, kopyalara ve gereksiz bağlantılara kaynak harcamıyorsunuz.

Herhangi bir sitede sitemap.xml nasıl bulunur

İlk ve en basit yöntem, site alan adına /sitemap.xml eklemektir. Örneğin, kontrol etmek için tarayıcıda https://example.com/sitemap.xml şeklindeki bir adresi açmayı deneyin. Bu, çoğu site için işe yarar, popüler CMS'lerdeki birçok çevrimiçi mağaza dahil.

Eğer bu adreste hiçbir şey yoksa, robots.txt dosyasını kontrol edin - bu dosya genellikle /robots.txt adresinde bulunur ve çoğu durumda Sitemap: https://example.com/sitemap_index.xml satırını içerir. Bu, sitelerin arama motorlarına haritayı nereden bulacaklarını bildirmelerinin resmi yoludur. Wildberries ve Ozon gibi büyük pazar yerlerinde, site haritaları genellikle onlarca dosyaya bölünmüştür ve bu dosyalar robots.txt üzerinden belirtilir.

Üçüncü seçenek, Google Search Console gibi sistemlerde bahsedilenleri aramak (eğer kendi sitenize erişiminiz varsa) veya tüm sitemap dosyalarını kendiliğinden bulan özel tarayıcıları kullanmaktır. Rakiplerin siteleri için genellikle ilk iki yöntem yeterlidir - robots.txt dosyaları neredeyse hiç dışarıdan gözlerden kapatılmaz, bu kamuya açık bir dosyadır.

Pazar yerlerinde sitemap yapısı: indeks ve iç içe haritalar

Küçük sitelerde genellikle tüm URL'leri içeren tek bir sitemap.xml dosyası bulunur. Ancak Wildberries, Ozon veya Avito gibi büyük kataloglarda milyonlarca sayfa vardır ve bu kadar büyük bir XML dosyası kullanmak pratik değildir. Bu nedenle, genellikle bir sitemap indeksi kullanırlar - bu, kategorilere, tarihlere veya sadece 10-50 bin URL'lik gruplara ayrılmış onlarca veya yüzlerce ayrı sitemap dosyasına atıfta bulunan bir dosyadır.

Yapı şu şekilde görünür: önce ana indeks dosyasını açarsınız, içinde alt sitemap'lere bağlantıların listesini bulursunuz, örneğin sitemap-products-1.xml, sitemap-products-2.xml vb. Sonra bu dosyaların her birini indirmeniz ve onlardan ürün kartlarının nihai URL'lerini çıkarmanız gerekir. Bu iki aşamalı bir süreçtir, ancak yine de site navigasyonunu manuel olarak dolaşmaktan çok daha hızlıdır.

Bazen alt sitemap dosyaları gzip formatında sıkıştırılmıştır (uzantı .xml.gz) - bu, sunucuda yer tasarrufu sağlamak için standart bir uygulamadır. Eğer bir script dosyayı indirir ve XML yerine okunamaz karakterler görürse, muhtemelen önce içeriği açmanız gerekecektir.

Sitemap'ten URL'lerin adım adım çıkarılması

Hazır no-code tarama araçlarıyla çalışanlar için, çoğu modern pazar yeri katalog tarayıcıları zaten sitemap'i otomatik olarak okuyabiliyor - sadece sitenin kök URL'sini belirtmek yeterlidir ve araç kendiliğinden robots.txt'i bulacak, sitemap indeksini bulacak ve tüm kartların listesini toplayacaktır. Ancak bir geliştiriciyle çalışıyorsanız veya küçük bir script yazıyorsanız, çalışma mantığı basittir ve işte Python'da bir örnek:

import requests
import gzip
from io import BytesIO
from lxml import etree

def get_sitemap_urls(sitemap_url, proxies=None):
    response = requests.get(sitemap_url, proxies=proxies, timeout=15)
    content = response.content

    # Gzip sıkıştırması açma, eğer dosya sıkıştırılmışsa
    if sitemap_url.endswith('.gz'):
        content = gzip.decompress(content)

    root = etree.fromstring(content)
    namespace = {'ns': 'http://www.sitemaps.org/schemas/sitemap/0.9'}

    # Eğer bu bir sitemap indeksi ise - alt haritalara bağlantıları toplarız
    sub_sitemaps = root.findall('.//ns:sitemap/ns:loc', namespace)
    if sub_sitemaps:
        all_urls = []
        for sub in sub_sitemaps:
            all_urls.extend(get_sitemap_urls(sub.text, proxies))
        return all_urls

    # Eğer bu normal bir sitemap ise - nihai URL'leri toplarız
    urls = root.findall('.//ns:url/ns:loc', namespace)
    return [url.text for url in urls]

proxy = {
    "http": "http://user:pass@proxy_host:port",
    "https": "http://user:pass@proxy_host:port"
}

urls = get_sitemap_urls("https://example.com/sitemap_index.xml", proxies=proxy)
print(f"Bulunan URL: {len(urls)}")

Bu script, indeks dosyasını özyinelemeli olarak geçer, her alt haritayı indirir ve tüm nihai bağlantıları tek bir listeye toplar. Sonuç olarak, site navigasyonunda tek bir gereksiz geçiş yapmadan ürün kartlarının tam URL listesini alırsınız.

URL şablonlarına göre gerekli sayfaların filtrelenmesi

Sitemap'ten aldığınız tam URL listesinden sonra, neredeyse her zaman filtrelemeniz gerekir. Bir pazar yerinin sitemap dosyasında ürün kartları, kategori sayfaları, blog yazıları, marka sayfaları ve hizmet sayfaları yan yana olabilir. Muhtemelen yalnızca belirli bir kategorideki ürün kartlarına ihtiyacınız var.

Filtreleme için genellikle URL şablonları kullanılır. Örneğin, eğer sitedeki ürün kartları /catalog/product/12345 şeklindeyse ve kategoriler /catalog/category/electronics şeklindeyse, yol segmentlerini basit bir karşılaştırmayla ayırmak kolaydır. Daha karmaşık durumlar için, URL yapısı o kadar belirgin değilse, düzenli ifadeler kullanılır - bu, bir şablonu bir kez belirlemenizi ve anında yüz binlerce bağlantıyı filtrelemenizi sağlar.

Ek olarak, sitemap içindeki <lastmod> etiketlerine bakmak faydalıdır - bunlar sayfanın son değişiklik tarihini gösterir. Eğer tam bir katalog değil de, sadece son bir haftada güncellenen ürünlere ihtiyacınız varsa (örneğin, rakiplerin yeni pozisyonlarını izlemek için), URL'leri bu tarihe göre filtreleyebilir ve aylarca değişmeyen sayfalara dokunmayabilirsiniz.

Site haritalarını toplu olarak indirmek için proxy ayarları

Sitemap'e yapılan istek sayısı tam dolaşıma göre çok daha az olmasına rağmen, Wildberries ve Ozon gibi siteler yine de şüpheli etkinlikleri izler - bir IP'den çok sık istekler, alışılmadık User-Agent'lar, tarayıcı başlıklarının eksikliği. Bu nedenle, sitemap dosyalarını indirmek için bile proxy kullanmak önemlidir, özellikle düzenli izleme planlıyorsanız ve tek seferlik bir katalog toplama işlemi yapmıyorsanız.

Sitemap XML dosyalarını indirmek için genellikle veri merkezi proxy'leri yeterlidir - hızlı ve ucuzdur, ve sitemap'e yapılan istek sayısı azdır, bu nedenle siteler genellikle bunlara karşı sert koruma uygulamaz. Ancak, toplanan URL'ler üzerinden ürün kartlarını indirme aşamasında, istek sayısı çok daha fazla ve koruma daha sıkı olduğu için rezidans proxy'leri'ne geçmek daha iyidir - bunlar gerçek kullanıcıların IP'lerini kullanır ve pazar yerlerinin anti-bot sistemleri tarafından daha az engellenir.

Eğer mobil site versiyonları veya yalnızca mobil trafiği ile veri veren API'ler üzerinden katalog izliyorsanız, mobil proxy'leri düşünmelisiniz - bunlar mobil operatörlerin IP'lerini kullanır ve çoğu anti-fraud sistemlerinde en güvenilir olarak kabul edilir.

Script veya tarayıcıda pratik ayar basittir: isteğin ilgili alanlarında proxy'nin host, port, kullanıcı adı ve parolasını belirtin (yukarıdaki kod örneğinde proxies parametresinde gösterildiği gibi), veya hazır bir no-code tarayıcı veya Dolphin Anty veya AdsPower gibi anti-detect tarayıcı kullanıyorsanız, otomatik toplama ayarından önce site yapısını manuel olarak kontrol etmek için proxy verilerini profil ayarlarına ekleyin: "Proxy" sekmesini açın → HTTP veya SOCKS5 türünü seçin → host, port, kullanıcı adı, parolayı yapıştırın → profili kaydedin.

Sitemap ile çalışırken sık yapılan hatalar

İlk ve en sık yapılan hata - robots.txt'yi göz ardı etmek ve sitemap adresini tahmin etmeye çalışmaktır. Bu, kolayca önlenebilecek bir zaman kaybıdır, sadece indeksleme kuralları dosyasına bakarak.

İkinci hata - sitemap'in eksik olabileceğini dikkate almamaktır. Bazı siteler, SEO için düşük değerli sayfaları sitemap'ten kasıtlı olarak hariç tutar, ancak fiyat izleme için yine de önemlidir - örneğin, stokta olmayan ürün sayfaları. Eğer sitemap üzerinden tarama yaptıktan sonra toplanan kart sayısı beklenenden belirgin şekilde azsa, sitenin kategori sayfasında gösterdiği ürün sayısıyla karşılaştırmak ve gerekirse eksik bölümleri noktasal dolaşım ile tamamlamak önemlidir.

Üçüncü hata - zaten indirilen sitemap dosyalarını önbelleğe almamaktır. Eğer izlemeyi günlük olarak başlatıyorsanız, her seferinde indeks dosyasını ve tüm alt haritaları yeniden indirmenin bir anlamı yoktur - bunların çoğu her gün değişmez. URL listesini yerel olarak saklayın ve yalnızca gerçekten lastmod tarihine göre değişenleri güncelleyin.

Dördüncü hata - istek başlıklarını unutmak. Basit bir XML dosyasını indirmek bile, istek bot gibi görünüyorsa engellenebilir: User-Agent olmadan, Accept-Language olmadan, varsayılan olarak istek kütüphanesi tarafından ayarlanan alışılmadık başlıklarla. Gerçekçi tarayıcı başlıklarını proxy ile birleştirmek, bu aşamada engellenme olasılığını önemli ölçüde azaltır.

Sitemap üzerinden taramayı başlatma kontrol listesi

Kapsamlı bir katalog toplamaya başlamadan önce, zaman kaybı yaşamamak için kısa bir adım listesi üzerinden geçin:

• Site robots.txt dosyasını kontrol ettiniz ve sitemap veya sitemap indeksi için doğru adresi buldunuz
• Sitemap yapısının iki seviyeli (indeks + alt haritalar) veya tek seviyeli olduğunu doğruladınız
• Alt dosyaların gzip ile sıkıştırılıp sıkıştırılmadığını kontrol ettiniz
• Gerekli sayfalar için URL şablonunu belirlediniz (ürün kartları, kategoriler vb.)
• Yalnızca yeni pozisyonlar gerekiyorsa şablona veya lastmod tarihine göre filtreleme ayarladınız
• Sitemap dosyalarını indirmek için proxy ve ürün kartlarını indirmek için ayrı proxy bağladınız
• Gerçekçi istek başlıkları eklediniz (User-Agent, Accept-Language)
• Tekrar izleme başlatmaları için önbelleğe alma ve tarih karşılaştırması ayarladınız
• Sonuç URL sayısını, sitedeki ürün sayısıyla karşılaştırdınız

Sonuç

Sitemap-first yaklaşımı bir hack değil ve koruma aşmasını değil, sitenin arama motorları için kendisinin yayınladığı bilgileri kullanmaktır. Binlerce istek yerine, navigasyona, kategorilere ve sayfalandırmaya, XML dosyalarına birkaç düzine istek ile gerekli sayfaların hazır listesini alırsınız. Bu, tarama başlatma süresini kısaltır, proxy trafiği tüketimini azaltır ve IP engellenme riskini önemli ölçüde düşürür, çünkü site üzerindeki yük, tam dolaşıma göre çok daha azdır.

Eğer Wildberries, Ozon veya başka bir büyük sitenin katalogunu izlemeye yeni başlıyorsanız, sitemap ile başlayın - muhtemelen ilk başlatmada saatlerce iş tasarrufu sağlarsınız. Sitemap dosyalarını indirmek için ucuz veri merkezi proxy'leri yeterli olacaktır, ve daha sonra ürün kartları üzerinden veri toplama işlemi için, engellenme riski daha yüksek olduğu için rezidans proxy'lerine göz atmalısınız - bunlar uzun vadede sık yasaklamalar olmadan tarayıcının stabil çalışmasını sağlar.