Come monitorare i prezzi dei concorrenti su eBay senza blocchi: configurazione del proxy per il scraping

Se vendi su eBay, sai che il successo dipende dalla corretta determinazione dei prezzi. Ma eBay blocca attivamente la raccolta automatica dei dati: quando provi a controllare i prezzi dei concorrenti in massa, ricevi un captcha o un ban temporaneo dell'IP. In questa guida vedremo come configurare un proxy per un monitoraggio sicuro dei concorrenti e automatizzare la raccolta dei dati senza rischiare blocchi.

Perché eBay blocca il parsing e come funziona

eBay utilizza un sistema di protezione multilivello contro la raccolta automatica dei dati. La piattaforma è interessata a far sì che gli utenti interagiscano con il sito come veri acquirenti, e non come bot che raccolgono informazioni per analisi competitive.

Principali metodi di rilevamento del parsing su eBay:

• Monitoraggio degli indirizzi IP: se da un IP arrivano troppe richieste in breve tempo (di solito più di 50-100 visualizzazioni di prodotti all'ora), il sistema lo contrassegna come sospetto
• Analisi del comportamento: i bot aprono le pagine troppo rapidamente (meno di 2-3 secondi per pagina), non muovono il mouse, non scorrono la pagina
• Controllo dell'User-Agent: intestazioni del browser obsolete o sospette richiedono un controllo aggiuntivo
• Fingerprinting del browser: eBay raccoglie dati sulla risoluzione dello schermo, sui font installati, sul fuso orario: le discrepanze indicano l'uso di bot
• Captcha e challenge: in caso di sospetto, il sistema mostra un captcha o chiede di confermare che non sei un robot

Conseguenze del rilevamento del parsing:

• Blocco temporaneo dell'indirizzo IP (da alcune ore a un giorno)
• Visualizzazione del captcha su ogni pagina
• Limitazione dell'accesso ai risultati di ricerca (visualizzazione solo dei primi 10-20 prodotti)
• Nei casi più gravi, blocco dell'account del venditore, se il parsing avviene da un account autorizzato

È proprio per questo che per il monitoraggio regolare dei concorrenti è fondamentale utilizzare proxy: consentono di distribuire le richieste tra molti indirizzi IP, simulando il comportamento di diversi utenti da diverse posizioni.

Quale tipo di proxy scegliere per il monitoraggio di eBay

La scelta del tipo di proxy dipende dalla scala del monitoraggio, dal budget e dai requisiti di velocità della raccolta dei dati. Esaminiamo tre opzioni principali e il loro utilizzo per lavorare con eBay.

Proxy data center: veloci, ma rischiosi

I data center sono l'opzione più veloce ed economica, ma eBay conosce bene gli intervalli IP dei provider di hosting popolari. Questi indirizzi sono spesso già nella lista nera o attirano un'attenzione maggiore da parte dei sistemi antifrode.

Quando usarli:

• Raccolta dati una tantum su un elenco ristretto di prodotti (fino a 100-200 voci)
• Test del parser prima di avviarlo su proxy residenziali
• Monitoraggio delle proprie inserzioni (non dei concorrenti)
• Lavorare con l'API di eBay (se hai accesso ufficiale)

Per il monitoraggio regolare dei concorrenti, i data center non sono adatti: esaurirai rapidamente il pool di IP "puliti" e inizierai a ricevere blocchi.

Proxy residenziali: la scelta ottimale per il monitoraggio

I proxy residenziali utilizzano indirizzi IP di veri provider di servizi Internet (Comcast, AT&T, Verizon e altri). Per eBay, queste richieste sembrano provenire da normali utenti che navigano tra i prodotti da casa.

Vantaggi per il parsing di eBay:

• Minimo rischio di blocchi: gli IP residenziali raramente finiscono nelle liste nere, poiché sono indirizzi di utenti normali
• Precisione geografica: è possibile scegliere proxy da una città o uno stato specifico - questo è importante se vendi prodotti locali
• Ampio pool di indirizzi: i provider di qualità offrono milioni di IP, consentendo di scalare il monitoraggio
• Rotazione automatica: è possibile impostare il cambio di IP dopo ogni richiesta o in base a un timer

Impostazioni ottimali per eBay:

• Rotazione IP: dopo ogni 20-30 richieste o ogni 5-10 minuti
• Geolocalizzazione: USA (mercato principale di eBay) o paese del tuo pubblico target
• Sticky sessions: 5-15 minuti (in modo che durante il passaggio tra le pagine del prodotto l'IP non cambi)
• Ritardo tra le richieste: 3-8 secondi (simulazione di un utente reale)

Proxy mobili: massima fiducia, ma costosi

I proxy mobili utilizzano IP di operatori mobili (4G/5G). Per eBay, questo è il tipo di traffico più affidabile, poiché la maggior parte degli acquirenti accede alla piattaforma proprio tramite smartphone.

Quando utilizzare i proxy mobili:

• Il tuo IP principale o i proxy residenziali sono già finiti nella blacklist di eBay
• Stai monitorando i concorrenti da un account venditore autorizzato (richiesta di massima sicurezza)
• Devi raccogliere dati dalla versione mobile di eBay (a volte mostra prezzi e promozioni diversi)
• Stai lavorando con categorie di prodotti molto protette (elettronica, marchi di lusso)

Lo svantaggio dei proxy mobili è il prezzo elevato (3-5 volte più costosi dei residenziali) e una velocità inferiore. Per la maggior parte delle attività di monitoraggio dei concorrenti su eBay, sono eccessivi.

Cosa monitorare: prezzi, disponibilità, valutazioni dei venditori

Monitorare i concorrenti su eBay non significa solo tenere d'occhio i prezzi. Per prendere decisioni aziendali corrette, è necessario raccogliere dati complessivi sul mercato. Vediamo quali metriche vale la pena monitorare e come utilizzarle.

1. Monitoraggio dei prezzi e dinamica delle variazioni

Questo è l'obiettivo principale per la maggior parte dei venditori. Devi sapere a quale prezzo i concorrenti vendono prodotti simili per rimanere competitivo.

Cosa monitorare:

• Prezzo attuale Buy It Now: prezzo attuale del prodotto al momento del controllo
• Prezzo d'asta: offerta iniziale e prezzo attuale (se il prodotto è in vendita tramite asta)
• Costo di spedizione: molti venditori sottovalutano il prezzo del prodotto, ma sovrastimano la spedizione - è necessario calcolare il costo totale
• Sconti e promozioni: promozioni temporanee come "10% di sconto" o "Compra 2, prendi 1 gratis"
• Storia delle variazioni: quanto spesso il concorrente cambia prezzo (giornalmente, settimanalmente)

Come utilizzare i dati: Se vedi che un concorrente ha abbassato il prezzo del 15% venerdì sera, potrebbe essere una preparazione per una svendita del fine settimana. Puoi reagire in anticipo e lanciare anche tu una promozione per non perdere vendite.

2. Monitoraggio della disponibilità del prodotto e velocità di vendita

eBay mostra il numero di unità disponibili e il numero di venduti. Questi dati aiutano a capire quanto bene si vende il prodotto ai concorrenti.

Cosa raccogliere:

• Quantità disponibile: quante unità del prodotto sono rimaste in magazzino
• Conteggio venduto: quante unità sono già state vendute (eBay mostra questo per le inserzioni popolari)
• Osservatori: quanti utenti hanno aggiunto il prodotto ai preferiti (indicatore di interesse)
• Data di pubblicazione dell'inserzione: da quanto tempo il prodotto è in vendita

Esempio di utilizzo: Stai monitorando l'inserzione di un concorrente e vedi che negli ultimi 3 giorni ha venduto 50 unità del prodotto a $29.99. Questo significa che la domanda per il prodotto è alta e puoi aumentare i tuoi acquisti. Se invece il numero di unità vendute non cambia per settimane, è un segnale di bassa domanda o di un posizionamento errato.

3. Analisi delle valutazioni e delle recensioni dei venditori

La valutazione del venditore influisce direttamente sulla conversione. Gli acquirenti preferiscono venditori con un punteggio di feedback elevato e lo status di Top Rated Seller.

Metriche da monitorare:

• Punteggio di feedback: numero totale di recensioni positive
• Percentuale di feedback positivo: percentuale di recensioni positive (norma - 98%+)
• Valutazioni dettagliate del venditore: valutazioni per categorie (velocità di consegna, corrispondenza con la descrizione, comunicazione)
• Distintivo di Top Rated Seller: presenza del distintivo di venditore top
• Numero di recensioni negli ultimi 12 mesi: mostra l'attività del venditore

Perché è importante: Se il tuo principale concorrente ha lo status di Top Rated e oltre 5000 recensioni, mentre tu hai solo 200, anche a parità di prezzo gli acquirenti sceglieranno lui. Devi ridurre il prezzo per compensare la differenza di fiducia, oppure lavorare attivamente per accumulare recensioni.

4. Monitoraggio delle posizioni nelle ricerche e nelle categorie

La posizione del prodotto nei risultati di ricerca di eBay è critica per le vendite. I prodotti nella prima pagina ricevono l'80% dei clic.

Cosa monitorare:

• Posizione del concorrente nella ricerca per parole chiave (ad esempio, "cuffie wireless bluetooth")
• Presenza tra i prodotti raccomandati (Featured items)
• Posizione nella categoria (ad esempio, Elettronica → Cuffie → In-Ear)
• Utilizzo di Promoted Listings (pubblicità a pagamento)

Per monitorare le posizioni, è necessario effettuare il parsing dei risultati di ricerca per parole chiave e registrare a quale posizione si trova ogni concorrente. Questo consente di capire chi investe in SEO e pubblicità e chi si affida solo al traffico organico.

Configurazione del proxy per il parsing: istruzioni passo passo

Esaminiamo la configurazione pratica del proxy per il monitoraggio di eBay. Indipendentemente dal fatto che tu utilizzi un parser pronto all'uso o scriva il tuo script, i principi di funzionamento sono gli stessi.

Passo 1: Scelta e acquisto del proxy

Per il monitoraggio di eBay, ti consigliamo di utilizzare proxy residenziali con geolocalizzazione negli Stati Uniti (poiché questo è il mercato principale della piattaforma). Quando scegli un provider, presta attenzione a:

• Dimensione del pool IP: minimo 1-2 milioni di indirizzi per una rotazione confortevole
• Supporto per sticky sessions: possibilità di mantenere un IP per 5-15 minuti
• Precisione geografica: possibilità di scegliere una città o uno stato (importante per i prodotti locali)
• Formato di autenticazione: è più comodo lavorare con username:password rispetto a IP whitelist

Dopo l'acquisto, riceverai i dati per la connessione nel formato:

Host: proxy.example.com
Port: 12321
Username: user_abc123
Password: pass_xyz789

Passo 2: Configurazione del proxy nel parser o nello script

La maggior parte dei parser pronti (Octoparse, ParseHub, Apify) ha il supporto integrato per i proxy. Devi semplicemente inserire i dati nelle impostazioni.

Esempio di configurazione in strumenti popolari:

Se utilizzi il tuo script, la connessione del proxy dipende dal linguaggio di programmazione. Per la maggior parte delle attività di monitoraggio di eBay, si utilizzano Python (librerie requests, Selenium) o Node.js (Puppeteer, Playwright).

Passo 3: Configurazione dell'User-Agent e delle intestazioni

Utilizzare un proxy è solo metà del lavoro. eBay analizza anche le intestazioni HTTP delle richieste. Se utilizzi un User-Agent obsoleto o invii richieste senza intestazioni standard, questo susciterà sospetti.

Intestazioni obbligatorie per il parsing di eBay:

• User-Agent: utilizza una versione aggiornata di Chrome o Firefox (aggiorna ogni 2-3 mesi)
• Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
• Accept-Language: en-US,en;q=0.9 (per gli Stati Uniti) o ru-RU,ru;q=0.9 (per la Russia)
• Accept-Encoding: gzip, deflate, br
• Referer: https://www.ebay.com/ (per le richieste successive)

Consiglio: Utilizza la rotazione dell'User-Agent: cambialo ogni 50-100 richieste. Questo simula diversi utenti con diversi browser.

Passo 4: Testare le impostazioni

Prima di avviare un monitoraggio su larga scala, assicurati di testare le impostazioni su un piccolo campione di prodotti (10-20 voci).

Checklist di test:

1. Controlla l'indirizzo IP: apri nel parser la pagina https://api.ipify.org/ - mostrerà l'IP attuale. Assicurati che sia l'IP del proxy e non il tuo reale
2. Controlla la geolocalizzazione: apri https://www.ebay.com/ e verifica quale paese viene identificato (deve corrispondere alla geolocalizzazione del proxy)
3. Raccogli dati su 20 prodotti: avvia il parser e controlla se tutti i dati vengono raccolti correttamente (prezzo, disponibilità, valutazione)
4. Controlla la presenza di captcha: se durante il test appare un captcha, significa che le impostazioni non sono abbastanza sicure
5. Misura la velocità: cronometrati il tempo di raccolta dei dati su 100 prodotti - questo aiuterà a pianificare la frequenza di monitoraggio

Strumenti per l'automazione del monitoraggio dei concorrenti

Per il monitoraggio regolare dei concorrenti su eBay non è necessario scrivere codice da zero. Esistono strumenti pronti che semplificano la raccolta dei dati e si integrano con i proxy.

Parser visivi (soluzioni no-code)

Questi strumenti consentono di configurare il parsing tramite un'interfaccia grafica: basta cliccare sugli elementi della pagina che si desidera raccogliere.

Raccomandazione: Per i principianti, Octoparse è la scelta migliore: ha modelli pronti per il parsing di eBay e la configurazione richiede 15-20 minuti. Per gli utenti più esperti, Apify offre maggiore flessibilità e possibilità di personalizzazione tramite JavaScript.

Servizi specializzati per il monitoraggio dei prezzi

Se hai bisogno solo di monitorare i prezzi (senza raccogliere altri dati), ci sono soluzioni SaaS pronte:

• Keepa: originariamente per Amazon, ma supporta anche eBay. Monitora la storia dei prezzi, mostra grafici delle variazioni
• PriceYak: riprezzamento automatico basato sui prezzi dei concorrenti. Si integra con l'API di eBay
• Algopix: analisi di mercato per venditori, mostra i prezzi dei concorrenti, la domanda, la redditività

Questi servizi hanno già un'infrastruttura proxy integrata, quindi non è necessario configurarli autonomamente. Lo svantaggio è la personalizzazione limitata e un prezzo più elevato.

Configurazione del programma di monitoraggio

La frequenza di monitoraggio dipende dalla categoria dei prodotti e dalla dinamica del mercato:

• Niche ad alta concorrenza (elettronica, abbigliamento): 2-3 volte al giorno (mattina, pranzo, sera)
• Concorrenza media (prodotti per la casa, sport): 1 volta al giorno
• Bassa concorrenza (prodotti da collezione, pezzi di ricambio rari): 2-3 volte a settimana

La maggior parte dei parser cloud (Octoparse, ParseHub, Apify) consente di impostare l'avvio automatico secondo un programma. I dati possono essere esportati in Google Sheets, Excel o inviati via email.

Strategia di rotazione IP e limiti sicuri delle richieste

La corretta rotazione degli IP è la chiave per un monitoraggio a lungo termine senza blocchi. Esaminiamo come impostare la rotazione e quali limiti rispettare.

Tipi di rotazione proxy

Esistono due approcci principali alla rotazione degli IP durante il parsing di eBay:

Raccomandazione per eBay: Utilizza sticky sessions con una durata di 10-15 minuti. Questo è il miglior equilibrio tra sicurezza e velocità. In 15 minuti, un utente reale può visualizzare 20-30 prodotti: questo è il modello che bisogna simulare.

Limiti sicuri delle richieste

eBay non pubblica limiti ufficiali per il parsing, ma sulla base dell'esperienza dei venditori, è possibile delineare limiti sicuri:

Formula per calcolare il numero di IP per la rotazione:

Aggiungere casualità per simulare un umano

I bot lavorano in modo troppo prevedibile. Per far sembrare il parsing come le azioni di un vero utente, aggiungi elementi di casualità:

• Ritardi casuali: invece di fissi 5 secondi, fai un ritardo da 4 a 9 secondi (random)
• Ordine diverso dei prodotti: non fare il parsing dei prodotti nello stesso ordine ogni volta
• Simulazione di clic: se utilizzi Selenium/Puppeteer, clicca occasionalmente su elementi casuali (categorie, filtri)
• Scorrimento della pagina: scorri verso il basso prima di raccogliere i dati (eBay monitora gli eventi di scroll)

Questi dettagli riducono significativamente la probabilità di rilevamento dell'automazione.

Errori comuni nel parsing di eBay e come evitarli

Anche con proxy configurati correttamente, è possibile ricevere un blocco se si commettono errori comuni. Esaminiamo i problemi più frequenti.

Errore 1: Utilizzo dello stesso User-Agent

Molti principianti configurano i proxy, ma dimenticano di ruotare l'User-Agent. Di conseguenza, migliaia di richieste da diversi IP arrivano con la stessa intestazione del browser: questo è un segnale rosso per eBay.

Soluzione: Crea un elenco di 20-30 User-Agent attuali (Chrome, Firefox, Safari su Windows e macOS) e ruotali casualmente. Aggiorna l'elenco ogni 2-3 mesi, quando escono nuove versioni dei browser.

Errore 2: Parsing troppo veloce

La voglia di raccogliere dati il più rapidamente possibile porta a blocchi. Un vero utente non può aprire 10 pagine di prodotti al secondo.

Soluzione: Imposta un ritardo minimo di 4-5 secondi tra le richieste. Sì, è più lento, ma più sicuro. Se hai bisogno di velocità, utilizza il parsing parallelo con più IP (lancia...