Raspado de Walmart: cómo elegir proxies y configurar la recolección de datos sin bloqueos

1. Análisis de la reputación de IP

PerimeterX verifica cada dirección IP en una base de datos de proxies conocidos, centros de datos y VPN. Si su IP está en esta base, recibirá un bloqueo o CAPTCHA. Walmart filtra especialmente de manera estricta las IP de proveedores de nube populares (AWS, Google Cloud, DigitalOcean).

2. Análisis de comportamiento

El sistema rastrea cómo el usuario interactúa con la página: movimientos del mouse, velocidad de desplazamiento, clics. Los parsers en Selenium o Puppeteer a menudo son detectados aquí — abren páginas demasiado rápido, sin pausas naturales, y no mueven el mouse.

3. Huellas TLS y HTTP

PerimeterX analiza la huella TLS de su conexión (orden de cifrados, extensiones) y los encabezados de las solicitudes HTTP. Las bibliotecas estándar de Python (requests, urllib) tienen huellas únicas que son fácilmente reconocibles. Incluso si ha cambiado el User-Agent, el sistema ve la discrepancia entre los encabezados y el navegador real.

4. Desafíos de JavaScript

Ante una solicitud sospechosa, PerimeterX envía código JavaScript que realiza verificaciones en el navegador: disponibilidad de Canvas API, WebGL, parámetros de pantalla, fuentes instaladas. Los simples parsers HTTP (sin motor de navegador) no pueden pasar estas verificaciones y reciben un bloqueo.

Tipo de proxy	Efectividad para Walmart	Velocidad	Costo	Recomendación
Proxies residenciales	⭐⭐⭐⭐⭐ Excelente — IP de usuarios reales, mínimo bloqueo	Promedio (200-800 ms)	Alto (desde $7-15/GB)	Óptimo para producción
Proxies móviles	⭐⭐⭐⭐⭐ Excelente — alto puntaje de confianza, bloqueos raros	Bajo (500-1500 ms)	Muy alto (desde $50-100/mes por IP)	Para casos complejos
Proxies de centros de datos	⭐⭐ Pobre — alta probabilidad de bloqueo (70-90%)	Alta (50-150 ms)	Bajo (desde $1-3/IP)	No recomendado
Proxies ISP	⭐⭐⭐⭐ Bueno — IP residenciales estáticas	Alta (80-200 ms)	Promedio (desde $30-80/mes por IP)	Para tareas a largo plazo

Proxies residenciales — el estándar de oro para Walmart

Estas son direcciones IP de proveedores de internet residenciales reales (Comcast, AT&T, Verizon en EE. UU.). Walmart los ve como compradores normales, por lo que el porcentaje de bloqueos es mínimo — alrededor del 5-10% con la configuración adecuada. La principal ventaja es la enorme cantidad de direcciones (millones de IP), lo que permite configurar una rotación efectiva.

Cuándo usar: monitoreo de precios en miles de productos, recopilación diaria de datos, proyectos a largo plazo. Para el análisis de Walmart, los proxies residenciales son la opción óptima en términos de efectividad y costo.

Proxies móviles — máxima fiabilidad

Las IP de los operadores móviles (T-Mobile, Verizon Wireless) tienen el puntaje de confianza más alto en los sistemas anti-bots. La razón es que una IP es utilizada por miles de usuarios reales (a través de NAT del operador), por lo que bloquearla = bloquear miles de compradores. Walmart prácticamente no bloquea IP móviles.

Cuándo usar: si los proxies residenciales no funcionan, si necesita analizar secciones especialmente protegidas (por ejemplo, precios para regiones específicas), si el presupuesto lo permite. Los proxies móviles ofrecen prácticamente un 100% de solicitudes exitosas, pero son más caros.

Proxies de centros de datos — no para Walmart

Las direcciones IP de los servidores en centros de datos (AWS, OVH, Hetzner) son instantáneamente reconocidas por PerimeterX. Incluso si compra IP "limpias" que no se han utilizado anteriormente para el análisis, el sistema aún ve que es un centro de datos, no un proveedor residencial. El porcentaje de bloqueos es del 70-90%.

Única situación de uso: prueba del parser con un pequeño volumen de datos (10-50 páginas). No son adecuados para producción en absoluto.

Con proxies residenciales:

• Tamaño promedio de la página de producto de Walmart: ~500 KB
• 10,000 productos × 500 KB = 5 GB de tráfico al día
• Tráfico mensual: 150 GB
• Costo a $10/GB: $1,500/mes
• Porcentaje de solicitudes exitosas: 90-95%
• Costo real considerando repeticiones: ~$1,650/mes

Con proxies de centros de datos (teóricamente):

• Costo de 100 IP: ~$200/mes
• Porcentaje de solicitudes exitosas: 10-30% (el resto son bloqueos)
• Se necesitan 3-10 intentos por cada producto
• Tráfico real: 15-50 GB (debido a repeticiones)
• Resultado: la tarea no es factible — las IP se bloquean rápidamente, CAPTCHA en cada paso

Si necesita recopilar datos una sola vez para análisis de mercado o investigación, puede intentar un enfoque combinado:

• Utilice proxies de centros de datos para la recopilación inicial de URL de productos (páginas de categorías)
• Cambie a proxies residenciales para obtener información detallada sobre los productos
• Costo: ~$50-100 por tarea única
• Tiempo de ejecución: 2-4 horas en lugar de 10-20 horas con centros de datos

Criterio	Residenciales	Centros de datos
Volumen de datos	Cualquiera — de 100 a millones de páginas	Solo pequeños volúmenes (hasta 1000 páginas)
Regularidad	Análisis diario/semanal	Solo tareas únicas
Velocidad de ejecución	Estable — sin retrasos por repeticiones	Impredecible — muchas repeticiones
Fiabilidad	Alta — 90-95% de éxito	Baja — 10-30% de éxito
Costo de error	Bajo — paga solo por tráfico exitoso	Alto — pierde tiempo y dinero en bloqueos

1. Rotación por cada solicitud (Rotating Proxies)

Cada solicitud HTTP pasa por una nueva dirección IP. Este es el modo estándar de operación de la mayoría de los proveedores de proxies residenciales.

Ventajas:

• Riesgo mínimo de bloqueo — cada IP hace 1-2 solicitudes
• Configuración sencilla — el proveedor gestiona el grupo
• Se puede hacer scraping agresivo — cientos de solicitudes por minuto

Desventajas:

• Problemas con sesiones — si el sitio utiliza cookies, cada solicitud = nueva sesión
• Más lento — establecer una nueva conexión toma 200-500 ms

Cuándo usar: Para el análisis de páginas de productos de Walmart, donde no se necesita autorización y sesiones. Esta es la estrategia óptima para la mayoría de las tareas de monitoreo de precios.

2. Sticky Sessions (sesiones pegajosas)

Una dirección IP se utiliza para una serie de solicitudes durante un período determinado (generalmente 5-30 minutos), luego se cambia a una nueva IP.

Ventajas:

• Mantenimiento de sesiones y cookies — se puede trabajar con el carrito, autorización
• Más rápido — se reutiliza la conexión TCP
• Comportamiento más "natural" para los sistemas anti-bots

Desventajas:

• Mayor riesgo de bloqueo — una IP hace 10-50 solicitudes
• Necesita controlar límites — no más de 30-50 solicitudes desde una IP

Cuándo usar: Si necesita analizar datos que requieren autorización (por ejemplo, precios para usuarios registrados), o si está emulando el comportamiento de un comprador real (navegación por categoría → producto → agregar al carrito).

3. Grupo de IP estáticas con rotación manual

Toma 50-100 IP residenciales estáticas (proxies ISP) y gestiona tú mismo la distribución de solicitudes entre ellas.

Ventajas:

• Control total — sabes cuántas solicitudes ha hecho cada IP
• Máxima velocidad — las IP estáticas son más rápidas que las rotativas
• Se pueden "calentar" IP — hacer solicitudes legítimas para aumentar la reputación

Desventajas:

• Configuración complicada — necesitas escribir la lógica de distribución de solicitudes
• Más caro — los proxies ISP cuestan $30-80 por IP al mes
• Riesgo de pérdida de IP — si una se bloquea, tendrás que reemplazarla

Cuándo usar: Para sistemas de alta carga con más de 100,000 solicitudes al día, donde la velocidad y estabilidad son críticas. Requiere experiencia en desarrollo de parsers.

Para monitoreo de precios (análisis simple de páginas de productos):

• Tipo: Proxies rotativos con rotación por cada solicitud
• Retraso entre solicitudes: 2-5 segundos
• Paralelismo: 10-20 hilos
• Geolocalización: EE. UU. (preferiblemente el estado donde hay tiendas físicas de Walmart)

Para análisis complejo (con autorización, carrito):

• Tipo: Sesiones pegajosas con duración de 10-15 minutos
• Límite de solicitudes por IP: máximo 30-40
• Retraso entre solicitudes: 3-7 segundos (simulación de humano)
• Paralelismo: 5-10 hilos (menos agresividad)

1. User-Agent y encabezados HTTP

Las bibliotecas estándar (Python requests, Node.js axios) envían encabezados que instantáneamente delatan al bot. Por ejemplo, User-Agent: python-requests/2.28.1 — esto es un 100% de bloqueo.

Qué necesita cambiar:

• User-Agent — use versiones recientes de Chrome/Firefox
• Accept — debe coincidir con el tipo de contenido
• Accept-Language — en-US para el análisis de Walmart EE. UU.
• Accept-Encoding — gzip, deflate, br
• Referer — página anterior (categoría o principal)
• Sec-Fetch-* — encabezados de Chrome para protección contra CSRF

2. Huella TLS (JA3)

Cada cliente HTTP tiene una huella TLS única — orden de cifrados, extensiones TLS, versiones de protocolo. PerimeterX compara esta huella con el User-Agent: si escribe "Chrome 120", y la huella TLS es de Python — está bloqueado.

Solución:

• Utilice bibliotecas que soporten TLS personalizado: curl-impersonate (Python), tls-client (Go)
• O use un navegador real a través de Selenium/Puppeteer — tienen una huella TLS real

3. Desafíos de JavaScript y fingerprinting de Canvas

PerimeterX puede enviar código JavaScript que verifica: si el Canvas API, WebGL, qué fuentes están instaladas, tamaño de pantalla, zona horaria. Los simples parsers HTTP no pueden ejecutar este código.

Solución:

• Utilice navegadores sin cabeza: Puppeteer, Playwright, Selenium
• Asegúrese de activar el modo de eludir detección: puppeteer-extra-plugin-stealth
• Randomice los parámetros: tamaño de ventana, zona horaria, idioma del navegador

GET /ip/Product-Name/12345678 HTTP/1.1
Host: www.walmart.com
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8
Accept-Language: en-US,en;q=0.9
Accept-Encoding: gzip, deflate, br
Referer: https://www.walmart.com/browse/electronics/tv-video/3944_1060825
Sec-Fetch-Dest: document
Sec-Fetch-Mode: navigate
Sec-Fetch-Site: same-origin
Sec-Fetch-User: ?1
Upgrade-Insecure-Requests: 1
Connection: keep-alive

Tipo de solicitud	Retraso entre solicitudes	Máximo de solicitudes desde una IP	Paralelismo
Páginas de productos	2-5 segundos	30-50 páginas (con rotación)	10-20 hilos
Páginas de categorías	3-7 segundos	20-30 páginas	5-10 hilos
Búsqueda	5-10 segundos	10-15 solicitudes	3-5 hilos
API-endpoints	1-3 segundos	50-100 solicitudes	20-30 hilos

Si hace solicitudes exactamente cada 3 segundos (3.000, 6.000, 9.000...), el sistema anti-bots reconocerá el patrón. Un ser humano real no puede ser tan preciso — tendrá variaciones: 2.8 seg, 3.4 seg, 2.9 seg.

Implementación correcta del retraso (Python):

import random
import time

# Incorrecto — retraso fijo
time.sleep(3)

# Correcto — retraso aleatorizado
delay = random.uniform(2.0, 5.0)  # de 2 a 5 segundos
time.sleep(delay)

1. Limitación de tasa adaptativa

Monitoree el porcentaje de solicitudes exitosas. Si comienza a recibir 403 o CAPTCHA, aumente automáticamente los retrasos y reduzca el paralelismo.

success_rate = successful_requests / total_requests

if success_rate < 0.8:  # menos del 80% exitosas
    delay_multiplier *= 1.5  # aumentamos los retrasos
    parallel_workers -= 2    # reducimos los hilos
elif success_rate > 0.95:  # más del 95% exitosas
    delay_multiplier *= 0.9  # podemos acelerar
    parallel_workers += 1

2. Distribución por horas del día

Haga scraping en horas pico de actividad de usuarios reales (noche en EE. UU., 18:00-22:00 EST). En este momento, su tráfico se mezcla con el legítimo, y el sistema anti-bots es menos agresivo. Durante la noche (2:00-6:00 EST), la protección puede ser más estricta, ya que hay menos usuarios reales.

3. Calentamiento de direcciones IP

Antes de comenzar el scraping masivo, "caliente" las direcciones IP con solicitudes legítimas: abra la página principal, algunas categorías, haga una búsqueda. Esto crea un historial de actividad y aumenta el puntaje de confianza de la IP.

# Secuencia de calentamiento para una nueva IP
1. GET https://www.walmart.com/  # principal
2. Retraso 3-5 seg
3. GET https://www.walmart.com/browse/electronics  # categoría
4. Retraso 4-7 seg
5. GET https://www.walmart.com/search?q=laptop  # búsqueda
6. Retraso 3-6 seg
# Ahora se puede hacer scraping de productos objetivo