Amazon, Google Reviews ve Yelp için Yorum Çekme Proxylere: Engellenmeden Tam Kılavuz

Amazon veya Google'dan otomatik inceleme topluyorsunuz — ve 10-20 istekte bulunur bulunmaz CAPTCHA veya IP engeli alıyorsunuz. Tanıdık bir hikaye mi? Pazar yerleri ve inceleme platformları, botları tespit etmekte, veri merkezi IP adresi aralıklarını engellemekte ve CAPTCHA çözümü talep etmekte aktif olarak korunmaktadır. Ancak doğru proxy'lerle bu sorunu kalıcı olarak çözmek mümkün.

Bu kılavuzda, her platform için hangi proxy türünün uygun olduğunu, IP döngüsünü nasıl ayarlayacağınızı, kod yazmadan hangi araçları kullanacağınızı ve sonuç olarak her gün binlerce incelemeyi nasıl engellenmeden toplayacağınızı inceleyeceğiz.

Neden Amazon, Google ve Yelp inceleme verilerini engelliyor?

Proxy seçmeden önce, engellemelerin neden oluştuğunu anlamak önemlidir. Sorun sadece platformların "veri paylaşmak istememesi" değildir. Onların, aşılması gereken belirli teknik koruma mekanizmaları vardır.

Aynı IP'den çok fazla istek. Normal bir kişi Amazon'da incelemeleri gözden geçirirken dakikada 2-5 istek yapar. Bir parser ise yüzlerce istek yapar. Sistem anormal bir aktiviteyi tespit eder ve IP'yi engeller. Bu, veri toplarken en yaygın engel nedenidir.

Veri merkezi IP adresleri kara listelerde. Amazon, Google ve Yelp, büyük bulut sağlayıcılarının IP aralıklarını kara listeye almıştır: AWS, Google Cloud, DigitalOcean, Hetzner. Eğer "açık" adreslere sahip ucuz veri merkezi proxy'leri kullanıyorsanız, ilk isteğinizden önce engellenirsiniz.

Tarayıcı ve başlık parmak izi analizi. Modern koruma sistemleri (Cloudflare, PerimeterX, DataDome) sadece IP'yi değil, aynı zamanda HTTP başlıklarını, User-Agent'ı, fare davranışını ve istek sırasını da analiz eder. Eğer başlıklar bir botu işaret ediyorsa — engelleme kaçınılmazdır.

Coğrafi kısıtlamalar. Amazon'daki bazı incelemeler yalnızca belirli ülkelerden gelen kullanıcılara açıktır. Örneğin, amazon.de'deki incelemeler Almanya'dan farklı görünürken, Rusya'dan farklıdır. Doğru veri toplama için gerekli coğrafi konuma sahip proxy'ler gereklidir.

CAPTCHA ve JS zorlukları. Google özellikle reCAPTCHA'yı aktif olarak kullanmaktadır. Yelp, basit HTTP isteklerini geçemeyen JS kontrolleri uygular. Bu mekanizmalar, ya tarayıcı araçlarının ya da CAPTCHA çözüm hizmetlerinin kullanılmasını gerektirir.

Hangi proxy türleri vardır ve hangisi incelemeler için uygundur?

Tüm proxy'ler inceleme toplamak için eşit derecede yararlı değildir. Üç ana türü ve bunların göreve uygunluğunu inceleyelim.

Veri merkezi proxy'leri (Datacenter Proxies)

Bunlar, sunucu şirketlerine ait IP adresleridir. Hızlıdırlar, ucuzdurlar ve hızın anonimlikten daha önemli olduğu görevler için iyi bir seçimdir. Ancak Amazon veya Google'daki incelemeleri parse etmek için kötü çalışırlar: bu tür IP'lerin çoğu zaten kara listelere alınmıştır. Birkaç sayfa toplayabilirsiniz, ancak hızla engellenme veya CAPTCHA ile karşılaşırsınız.

Veri merkezi proxy'leri yalnızca parser'ı test etmek veya minimum korumaya sahip platformlar için geçerlidir — örneğin, küçük yerel inceleme siteleri.

Konut proxy'leri (Residential Proxies)

Bunlar gerçek ev kullanıcılarına ait IP adresleridir. Amazon veya Google açısından — bu, ev internetine sahip normal bir kişidir. Bu tür proxy'ler neredeyse hiç kara listeye alınmaz, çünkü IP'leri sürekli değişir ve gerçek cihazlara aittir.

Konut proxy'leri Amazon, Yelp ve orta düzey korumaya sahip çoğu platform için inceleme parse etmek için en iyi seçimdir. İlgili coğrafi konumda (ülke, şehir) istek yapmanıza olanak tanır, bu da yerel incelemeleri almak için kritik öneme sahiptir.

Mobil proxy'ler (Mobile Proxies)

Mobil operatörlerin IP adresleri (4G/5G). Bu, herhangi bir platform için en "güvenilir" trafik türüdür: mobil IP'ler nadiren engellenir, çünkü bir IP'nin arkasında yüzlerce gerçek kullanıcı olabilir (mobil operatörlerin NAT'ı). Google, mobil adreslere özellikle hoşgörülüdür.

Mobil proxy'ler, Google Reviews ve Yelp için vazgeçilmezdir, burada botlara karşı koruma özellikle agresiftir. Konut proxy'lerinden daha pahalıdırlar, ancak CAPTCHA olmadan en yüksek başarılı istek yüzdesini sağlarlar.

Amazon incelemelerinin parse edilmesi: özellikler ve ayarlar

Amazon, parse edilmesi en zor sitelerden biridir. Şirket, aynı anda birden fazla koruma katmanı kullanmaktadır: davranış analizi, başlık kontrolü, coğrafi konum ve agresif CAPTCHA sistemi. Yine de, her gün binlerce pazarlamacı ve analist Amazon'dan inceleme topluyor — sadece bunu doğru yapıyorlar.

Amazon Reviews'ı başarılı bir şekilde parse etmek için gerekenler

İşte parse etmenin istikrarlı çalışacağı minimum koşullar:

• Konut veya mobil proxy'ler uygun ülke coğrafi konumuyla (amazon.com için ABD, amazon.de için DE)
• IP döngüsü — en az her 10-30 istekte bir
• Doğru User-Agent — gerçek bir tarayıcı taklidi (Chrome, Firefox)
• İstekler arasında gecikmeler — 2-5 saniye, bot gibi görünmemek için
• Cookies oturumu — Amazon, kaydedilmiş çerezlerle gelen isteklere daha iyi yanıt verir

Amazon için adım adım ayarlama

Adım 1. Uygun ülke coğrafi konumuyla konut proxy'leri seçin. amazon.com için — ABD, amazon.co.uk için — Birleşik Krallık. Bu önemlidir: Amazon, farklı ülkelerden gelen kullanıcılara farklı incelemeler gösterir.

Adım 2. Döngüyü ayarlayın. Eğer hazır bir parser kullanıyorsanız (örneğin, Octoparse veya ParseHub), bağlantı ayarlarında proxy'yi belirtin. Bu tür araçların çoğu, otomatik döngü ile proxy listesi destekler.

Adım 3. İstekler arasında gecikmeler ayarlayın. Octoparse'da bu, "Gecikme ayarları" bölümünde yapılır — 2 ile 6 saniye arasında rastgele bir aralık belirleyin.

Adım 4. 50-100 sayfada test başlatın. Eğer CAPTCHA, %5'ten daha sık çıkıyorsa — gecikmeyi artırın veya proxy havuzunu değiştirin.

Adım 5. Ölçeklendirin. Başarılı bir testten sonra binlerce inceleme toplamaya başlayabilirsiniz. İyi bir konut proxy havuzu, engellenmeden günde 5000-10000 inceleme toplamayı sağlar.

Google Reviews incelemelerinin toplanması: bilinmesi gerekenler

Google Reviews — Google Haritalar ve Google İş Profili'ndeki incelemeler — pazarlamacılar, SEO uzmanları ve analistler için değerli bir veri kaynağıdır. Ancak Google, verilerini özellikle agresif bir şekilde korumaktadır: reCAPTCHA v3, davranış analizi, tarayıcı parmak izi kontrolü.

Ana zorluk: Google Reviews, normal bir HTTP isteği ile yüklenmez. İncelemeler, JavaScript aracılığıyla dinamik olarak yüklenir. Bu, basit bir HTTP parser'ın çalışmayacağı anlamına gelir — JavaScript'i işleyebilen bir araca ihtiyacınız var (tarayıcı parser'ı).

Google Reviews'ı doğru bir şekilde nasıl toplarsınız

Seçenek 1: Hazır hizmetler. Outscraper, Apify (Google Maps Scraper aktörü) veya PhantomBuster gibi araçlar, tarayıcı motoru aracılığıyla Google Reviews'ı toplayabilir. Tek yapmanız gereken URL veya işletme adını belirtmek ve proxy'yi bağlamaktır.

Seçenek 2: Tarayıcı modu ile Octoparse. Octoparse, tarayıcı render modunu destekler. Ayarlarda konut veya mobil proxy'leri belirtin — ve araç, gerçek bir kullanıcı gibi incelemeleri toplayacaktır.

Seçenek 3: Google Places API. Resmi yol — Google Places API'yi kullanmaktır. Bu, bir işletme için ücretsiz olarak 5 inceleme sağlar, ancak daha fazla hacim için ödeme gereklidir. Ancak hiçbir engelleme ve proxyye ihtiyaç yoktur.

Google için neden mobil proxy'ler gereklidir?

Google, reCAPTCHA'nın yaratıcısıdır ve bot tespitinde liderlerden biridir. Konut proxy'leri çalışır, ancak mobil IP'ler çok daha iyi sonuç verir. Sebep basit: Google kendisi mobil bir platformdur ve mobil trafiğe güvenmektedir. Mobil IP'lerden gelen istekler, CAPTCHA'yı daha az tetikler ve davranış analizine daha az maruz kalır.

Google Reviews'ı büyük ölçekte toplamak (günde binlerce işletme) için, gerekli şehir veya bölge coğrafi konumuna sahip döngüsel mobil proxy'ler kullanmanız önerilir. Böylece incelemeler, yerel arama için en alakalı hale gelecektir.

Yelp'te engellenmeden parse etme: adım adım talimat

Yelp, ABD'deki en büyük inceleme platformudur. Amerikan pazarında çalışan pazarlamacılar için, bu, rakipler, müşteri eğilimleri ve niş trendleri hakkında veri toplamak için zorunlu bir kaynaktır. Yelp'i parse etmek, ilk bakışta göründüğünden daha zordur: platform, Cloudflare ve kendi bot koruma sistemini kullanmaktadır.

Yelp'in koruma özellikleri

• Cloudflare Bot Yönetimi — davranışı ve parmak izini analiz eder
• İstek kısıtlaması: bir IP'den dakikada 30-50'den fazla istek — engelleme
• İlk ziyarette JavaScript kontrolleri
• Bazı incelemeler gizlidir ("filtered reviews") ve yalnızca yetkilendirilmiş kullanıcılara açıktır

Yelp için adım adım talimat

Adım 1. Cloudflare desteği olan bir araç seçin. Normal parser'lar Cloudflare'ı geçemez. Apify (Yelp Scraper aktörü), Bright Data Scraping Browser veya PhantomBuster kullanın — bunlar JS kontrollerini aşmayı başarır.

Adım 2. ABD coğrafi konumuna sahip konut proxy'leri bağlayın. Yelp, Amerikan pazarına odaklanmıştır. Amerikan IP'lerine sahip proxy'ler, verilere maksimum erişim ve minimum engelleme sağlar.

Adım 3. Her 5-10 istekte bir döngü ayarlayın. Yelp, istek sıklığına çok duyarlıdır. Her 5-10 sayfada IP döngüsü — istikrarlı bir çalışma için zorunlu bir koşuldur.

Adım 4. İstekler arasında 3-8 saniye gecikme ekleyin. Rastgele gecikmeler, gerçek bir kullanıcının davranışını taklit eder ve engellenme riskini önemli ölçüde azaltır.

Adım 5. Verilerin bir kısmı için Yelp Fusion API'yi kullanın. Yelp, işletme ve incelemeler hakkında temel verilere erişim sağlayan resmi bir API sunar. Küçük hacimler için bu, engellenme riski olmadan en basit yoldur.

Kod yazmadan inceleme toplama araçları

İyi haber: inceleme parse etmek için programcı olmanıza gerek yok. Proxy bağlantısını ve otomatik IP döngüsünü destekleyen görsel arayüze sahip hazır araçlar mevcuttur. En popüler olanlarını inceleyelim.

Octoparse'da proxy nasıl bağlanır (adım adım)

Octoparse, teknik geçmişi olmayan pazarlamacılar arasında en popüler araçlardan biridir. İşte proxy'yi nasıl bağlayacağınız:

1. Octoparse'ı açın → Ayarlar → Proxy Ayarları kısmına gidin
2. “Özel proxy kullan” seçeneğini seçin
3. Proxy listesini ip:port:login:password formatında yapıştırın
4. “Otomatik proxy döngüsü” seçeneğini etkinleştirin — araç otomatik olarak IP'yi değiştirecektir
5. “Proxy test et” butonuna tıklayın — tüm proxy'lerin çalıştığından emin olun
6. Görevi normal modda başlatın

Apify'de proxy nasıl bağlanır

1. apify.com'a gidin → gerekli aktörü seçin (örneğin, “Amazon Reviews Scraper”)
2. “Girdi” bölümünde “Proxy yapılandırması” alanını bulun
3. “Özel proxy'ler” seçeneğini seçin ve proxy verilerinizi yapıştırın
4. İncelemelerin URL'sini veya ürünlerin ASIN kodlarını belirtin (Amazon için)
5. “Başlat” butonuna tıklayın — sonuçlar JSON veya Excel formatında erişilebilir olacaktır

Proxy döngüsü ve güvenli inceleme parse etme kuralları

En kaliteli proxy'ler bile, güvenli parse etme kurallarına uyulmadığı takdirde işe yaramaz. Platformlar davranış kalıplarını analiz eder ve bir yanlış istek kalıbı, tüm IP havuzunun engellenmesine yol açabilir.

Kural 1: IP'leri düzenli olarak döndürün

Amazon için IP'yi her 10-20 istekte bir değiştirmeniz önerilir. Google için — her 5-10. Yelp için — her 5-8. Eğer oturum proxy'leri (sticky sessions) kullanıyorsanız, oturumun 10-15 dakikayı geçmediğinden emin olun — bu süre dolduğunda yeni bir IP isteyin.

Kural 2: Gerçek davranışı taklit edin

Gerçek bir kullanıcı, 2 saniyelik mükemmel aralıklarla istek yapmaz. Rastgele gecikmeler ekleyin: 1 ile 8 saniye arasında. Bazen 30-60 saniye bekleyin — sanki bir kişi sayfayı okuyor. Bu, tespit edilme olasılığını önemli ölçüde azaltır.

Kural 3: Güncel User-Agent kullanın

User-Agent, gerçek bir tarayıcıya uygun olmalıdır. Eski Chrome veya Firefox sürümleri hemen şüphe uyandırır. User-Agent'ı ayda en az bir kez güncelleyin. İyi parser'lar (Octoparse, Apify) bunu otomatik olarak yapar.

Kural 4: Gece saatlerinde parse etmeyin (platformın yerel saatine göre)

Koruma sistemleri, gece saatlerinde şüpheli trafiğe daha duyarlıdır. Eğer Amazon ABD'yi parse ediyorsanız, bunu Amerikan saatine (EST/PST) göre gündüz saatlerinde yapmanız daha iyidir — platformda birçok gerçek kullanıcı olduğunda ve istekleriniz genel trafikte "kaybolduğunda".

Kural 5: Başarılı istek yüzdesini izleyin

İyi bir gösterge — %95'ten fazla başarılı istek, CAPTCHA olmadan. Eğer yüzdelik düşerse %85'in altına — bir şeyler ters gidiyor demektir. Kontrol edin: proxy'ler güncel mi, koruma algoritması değişti mi, User-Agent'ı güncellemek veya gecikmeleri artırmak gerekiyor mu.

Farklı platformlar için proxy türlerinin karşılaştırılması

Aşağıda, belirli bir görev için doğru proxy türünü hızlı bir şekilde seçmenize yardımcı olacak bir özet tablo bulunmaktadır. Parse ayarlarını yaparken buna göre yönlendirin.

Neden inceleme toplamak: kullanım senaryoları

Otomatik inceleme toplama, birkaç iş sorununu aynı anda çözer:

• Rakip analizi. Rakip ürünlerin Amazon'daki incelemelerini topluyorsunuz → zayıf noktaları buluyorsunuz → pazarlamanızda kullanıyorsunuz
• İtibar izleme. Markanız hakkında tüm platformlarda yeni incelemeleri otomatik olarak takip ediyorsunuz
• Hedef kitle araştırması. Binlerce incelemeyi analiz ediyorsunuz → kalıpları belirliyorsunuz → ürünü geliştiriyorsunuz
• SEO ve içerik. Semantik analiz için incelemeleri topluyorsunuz, gerçek alıcıların kullandığı anahtar kelimeleri belirliyorsunuz
• İnceleme agregatörleri. İşletmeler için birkaç platformdan incelemeleri toplayan hizmetler oluşturuyorsunuz

Rus pazarındaki pazar yerlerinde inceleme parse etme

Eğer işiniz Rus pazarına odaklanıyorsa, Wildberries, Ozon ve Yandex.Market'ten inceleme toplamak da önemlidir. Bu platformlar, Amazon'a kıyasla daha yumuşak bir korumaya sahiptir, ancak yine de toplu parse etmeyi engeller. Onlar için, Rus IP'lerine sahip konut proxy'leri yeterlidir — bu, CAPTCHA ve engellemeler olmadan verileri istikrarlı bir şekilde toplamayı sağlar.

Rus pazar yerlerini parse etmek için popüler araçlar: Screaming Frog (proxy ile), Octoparse ve zaten proxy'leri kendi altyapısına dahil eden Moneyplace veya MPStats gibi özel hizmetlerdir.

Sonuç: hemen şimdi engellenmeden inceleme toplamaya nasıl başlanır

Amazon, Google Reviews ve Yelp'den otomatik inceleme toplamak, pazarlamacılar, analistler ve e-ticaret uzmanları için güçlü bir araçtır. Ana engel — engellemeler. Ve ana çözüm — doğru proxy türü ile döngü ve gecikme ayarlarının doğru bir kombinasyonudur.

Kısaca: Amazon ve Yelp için, uygun ülke coğrafi konumuyla konut proxy'leri kullanın. Google Reviews için — mobil proxy'ler, en yüksek başarılı istek yüzdesini sağlar. Veri merkezi proxy'leri bu görevler için neredeyse işe yaramaz — IP'leri çoktan kara listelere alınmıştır.

Kod yazmadan en iyi araçlar Octoparse ve Apify'dir — her ikisi de harici proxy bağlantısını ve otomatik döngüyü destekler. Google Reviews için ayrıca Outscraper'ı düşünün — bu, Google Maps verilerini toplamak için zaten optimize edilmiş özel bir hizmettir.

Eğer birkaç platformdan düzenli olarak inceleme toplamayı planlıyorsanız, konut proxy'leri ile başlamanızı öneririz — bunlar hız, anonimlik ve maliyet arasında optimal bir denge sağlar ve inceleme izleme görevlerinin çoğu için uygundur. Google Reviews ile çalışırken, korumanın özellikle agresif olduğu durumlar için mobil proxy'leri düşünmelisiniz — bunlar CAPTCHA olmadan en yüksek başarılı istek yüzdesini sağlar.