Cloudflare vuelve a apretar las tuercas alrededor de los crawlers de IA. La compañía, a través de cuya red pasa alrededor del 20% de todo el tráfico web, anunció que a partir del 15 de septiembre de 2026, los crawlers "mixtos" (mixed-use) serán bloqueados por defecto en páginas publicitarias y monetizables — para todos los nuevos clientes y todos los nuevos sitios en cuentas existentes. Paralelamente, se está ampliando el modelo Pay Per Crawl, donde el acceso del bot al contenido se convierte en un servicio de pago. Para todos los que se dedican a la recolección de datos, esta no es una noticia abstracta sobre editores — es una señal directa de que la "zona gris" de la web abierta se está reduciendo un paso más.
Qué anunció Cloudflare
La novedad clave es el concepto de "crawler mixto". Así es como Cloudflare llama a los bots que recopilan datos para dos propósitos simultáneamente: indexación en motores de búsqueda y entrenamiento de modelos de IA. Anteriormente, tales crawlers operaban bajo la bandera de un bot "de búsqueda" y obtenían acceso al contenido a cambio de tráfico. Ahora Cloudflare rompe este acuerdo: si un sitio gana dinero con publicidad, el crawler mixto no podrá acceder por defecto a las páginas monetizables.
Técnicamente, esto se implementa a través de reglas de robots.txt gestionadas y heurísticas actualizadas de gestión de bots. El propietario del sitio no necesita escribir nada a mano — Cloudflare mantiene las listas y la lógica por sí mismo. La fecha de inicio para nuevos sitios es el 15 de septiembre de 2026; los proyectos existentes podrán activar el bloqueo si lo desean.
La posición de la empresa fue resumida por su CEO, Matthew Prince: "Ahora que la mayoría del tráfico en internet no es humano, debemos actuar de manera más decisiva y rápida para que pueda surgir un ecosistema sostenible". Cambios que fueron apoyados públicamente por Associated Press, Time, The Atlantic y Reddit — es decir, grandes editores que son los que más sufren por la extracción gratuita de su contenido.
Números que lo explican todo
Para entender por qué el proveedor de infraestructura se ha involucrado en una guerra con las empresas de IA, basta con mirar la relación "de crawls a clics" (crawl-to-referral) para el año 2025, que presentó el mismo Cloudflare:
- Google — 14:1. Por cada 14 crawls de una página, el motor de búsqueda envía a un visitante real al sitio. Aceptable: es el viejo acuerdo "nosotros tomamos el contenido, ustedes obtienen tráfico".
- OpenAI — 1,700:1. Por 1,700 crawls — un clic. El intercambio ha dejado de ser equitativo.
- Anthropic — 73,000:1. Setenta y tres mil crawls por un clic. De hecho, el contenido se extrae, y no hay tráfico a cambio.
Es precisamente esta asimetría la que ha roto el viejo modelo de "abierto por defecto" de la web. Como formularon con precisión los analistas: "Donde antes la web estaba abierta, a menos que la cerraras, ahora una parte notable de ella está cerrada, a menos que la abras". Este es un giro del principio por defecto de 180 grados — y afecta no solo a los laboratorios de IA, sino también a cualquier recolector automatizado que caiga bajo la misma categoría.
Pay Per Crawl: el acceso se convierte en un producto
La segunda parte del anuncio es la expansión de Pay Per Crawl, un mercado que Cloudflare lanzó en beta privada el 1 de julio de 2025. La lógica es simple: en lugar de un binario "permitir / bloquear", el editor tiene una tercera opción — cobrar por cada crawl. El propietario del sitio establece su tarifa, y la empresa de IA decide si paga o no. Cloudflare actúa como intermediario, que verifica la identidad del bot y realiza los pagos.
Para el mercado, esto representa un cambio tectónico. Los datos que durante años se consideraron "gratuitos porque son públicos" se convierten en un recurso de pago con un precio. Y cuanto más amplia Cloudflare esta modelo, más caro y complicado se vuelve el acceso legal y "de cara" al contenido para aquellos que no están dispuestos a firmar contratos y pagar por crawl.
Cómo se relaciona esto con proxies y scraping
Aquí se encuentra la principal conclusión práctica. Cuando grandes plataformas cierran las puertas a los crawlers "honestos" por User-Agent, la demanda inevitablemente se desplaza hacia herramientas que hacen que el tráfico sea indistinguible del humano. El fundador de la empresa de análisis Synthient, Ben Brandidge, afirma directamente: "La IA definitivamente parece estar impulsando la demanda de proxies residenciales" — porque las empresas buscan formas de eludir los bloqueos de sus scrapers.
La escala de esta capa oscura ya es impresionante. Según datos de IPInfo, solo seis proveedores rastreados han contabilizado casi 79 millones de IP únicas en 90 días. Además, el mercado está fuertemente entrelazado: alrededor del 46% de las direcciones de proxies residenciales están presentes simultáneamente en los pools de varios proveedores, y direcciones IP individuales han aparecido en redes de más de cien servicios diferentes. Esto significa que un "proxy residencial barato" a menudo resulta ser la misma dirección revendida que ya ha sido utilizada en decenas de campañas ajenas — y que ya podría haber sido incluida en listas negras.
Ya hemos escrito que la presión regulatoria sobre la recolección de datos está aumentando paralelamente a la presión técnica: la Ley de IA de la UE, que entrará en vigor el 2 de agosto de 2026, otorga peso a robots.txt y opt-out para el entrenamiento de modelos. El movimiento de Cloudflare es la mitad técnica de la misma tendencia: las barreras legales e infraestructurales se están cerrando, y "simplemente enviar una solicitud GET desde una IP de centro de datos" funciona cada vez peor.
Qué hacer para los recolectores de datos
Es pronto para entrar en pánico, pero es el momento de revisar la pila. Aquí hay algunas orientaciones prácticas para los próximos meses.
- Separe las tareas según el nivel de protección. Para fuentes abiertas y poco protegidas, todavía hay suficientes proxies de centros de datos rápidos y baratos. Gastar tráfico residencial en ellos es tirar el dinero.
- Para sitios bajo Cloudflare, use IP residenciales. Cuando el objetivo envía solicitudes a través de la gestión de bots, los proxies residenciales de proveedores domésticos reales salvan la situación: su comportamiento se considera humano por defecto. Lo clave no es el tamaño absoluto del pool, sino su limpieza y bajo porcentaje de intersecciones con otros servicios.
- IP móviles — para los objetivos más difíciles. Las redes sociales y las plataformas con un agresivo contorno anti-bots funcionan mejor a través de proxies móviles: detrás de una IP de operador hay miles de abonados reales, por lo que bloquearla por completo no es ventajoso para la plataforma.
- Considere no el "volumen", sino la "sostenibilidad". Tras el giro de Cloudflare hacia "cerrado por defecto", la métrica de calidad ya no son los gigabytes, sino la proporción de páginas recolectadas con éxito sin bloqueos. Un pool de revendido barato con un 46% de intersección de direcciones ofrece una bonita cifra de tráfico y una tasa de éxito fallida.
- Cumpla las reglas donde existan. Si la fuente ofrece una API oficial o condiciones de Pay Per Crawl, para flujos de trabajo de producción estables, esto suele ser más barato y confiable que una carrera armamentista. Los proxies son herramientas para datos públicos, no para eludir prohibiciones contractuales directas.
Conclusión
El paso de Cloudflare no es una noticia aislada, sino parte de un giro sistémico: la web está pasando de un modelo de "abierto, hasta que se cierre" a "cerrado, hasta que se abra". Relaciones como 73,000:1 muestran por qué esto es inevitable, y Pay Per Crawl convierte el acceso a los datos en un producto con un precio. Para el scraping, esto significa una cosa: la era en la que bastaba con una IP de centro de datos y un encabezado User-Agent está llegando a su fin. Ganarán aquellos que construyan anticipadamente la recolección en redes residenciales y móviles limpias y que midan no el volumen de tráfico, sino la proporción de datos que realmente llegaron vivos. Las barreras solo aumentarán — y la calidad de la infraestructura de proxies se convierte en un factor decisivo sobre si obtendrá los datos o no.
```