Cloudflare y OpenAI han logrado que cientos de millones de páginas web nuevas entren en el índice del buscador de OpenAI, del que bebe ChatGPT. Es el primer resultado de un piloto de investigación que las dos empresas pusieron en marcha en julio y cuyos datos iniciales publicó Cloudflare en su blog el 15 de octubre, en una entrada firmada por Matthew Conroy y Jack Galilee junto a Henry Aspegren y James Balfour, de OpenAI. En el piloto participó un grupo que suponía en torno al 1 % del total de la red de Cloudflare.
Para quien tiene una web, o para quien busca información con ChatGPT, la consecuencia es directa: páginas que el buscador de OpenAI no conocía pueden aparecer ahora en sus respuestas, con un enlace a la fuente original. Cloudflare insiste, eso sí, en que la decisión sigue siendo del dueño de cada dominio.
Cómo funciona el piloto
La idea era comprobar si las señales de la red de Cloudflare podían ayudar a los usuarios de ChatGPT a descubrir contenido nuevo de forma más eficiente. La respuesta, en palabras de la propia empresa, es «un sí rotundo».
La red de Cloudflare aporta señales que ayudan al rastreador del buscador de OpenAI a encontrar más páginas útiles. Después, OpenAI evalúa por su cuenta esas páginas y decide cómo aparecen en función de lo relevantes y útiles que sean.
Al enlazar las fuentes, ChatGPT Search permite además ir al contenido original y conocer las webs y los editores que hay detrás. La entrada presenta este trabajo como complemento de GPT-6 e Intelligent UI, con los que OpenAI quiere convertir ChatGPT en un lugar mejor para comprar, aprender y encontrar respuestas.
Las páginas que casi nadie enlaza
Cloudflare pone ejemplos concretos. Quien arregla una lavadora necesita el manual de su modelo exacto; quien solicita un pasaporte, los requisitos y las tasas vigentes; quien elige un restaurante del barrio, su carta y su horario actualizados. Son páginas que pueden ser valiosas aunque pocas webs enlacen a ellas.
Antes, ser visible consistía en llegar a lo más alto de una página de resultados. Ahora que cada vez más gente usa la IA para informarse y hacer gestiones, esos sistemas tienen que encontrar las fuentes adecuadas y llevar a la gente hasta ellas, ya sea con una respuesta, con una cita o con una visita a la propia web.
Fuera las páginas que no existen y las peligrosas
Encontrar una dirección es solo el principio: hay que saber si lleva a una página accesible, si ofrece algo propio y para qué puede servir. Cloudflare explica que el tráfico automatizado hace parecer interesante con facilidad una página que no existe. Hay bots que piden una y otra vez archivos que no están, sitios que redirigen casi cualquier dirección a su portada y direcciones que llevan a copias del mismo contenido. Reconocer esos patrones permite ahorrar trabajo antes de que el rastreador descargue la página.
También se están probando señales que detectan y marcan páginas potencialmente dañinas. Una web legítima puede tener una sola página comprometida, como un formulario de inicio de sesión falso colocado por un atacante. Marcar solo esa página, y no el dominio entero, protege a la gente sin castigar al dueño del sitio. Los primeros resultados apuntan a que estas señales ayudan a identificar páginas que deberían quedarse fuera de un índice.
Menos visitas inútiles a cada web
Descargar todas las páginas con más frecuencia saldría caro para todos, y a quien tiene una web un rastreador que baja una y otra vez una página sin cambios solo le añade carga. El filtrado aleja a los rastreadores de las páginas que no existen o que redirigen a otro sitio, y las señales de cambio les indican cuándo merece la pena volver a una página y cuándo no.
Cloudflare admite que hay un equilibrio que ajustar: encontrar páginas nuevas puede aumentar al principio el rastreo mientras se evalúan y se indexan. Para sus clientes, el objetivo es menos carga innecesaria; para OpenAI, dedicar más recursos de su buscador a información que ayuda a la gente.
Qué decide el dueño de cada web
Las decisiones de los dueños de los dominios cuentan en todo el proceso: una señal sobre una página no da permiso para acceder a ella. La investigación usa metadatos de la web para la búsqueda y el descubrimiento, y no comparte el contenido de las páginas para entrenar modelos.
Para entender y gestionar cómo acceden los sistemas de IA a una web, Cloudflare remite a su herramienta AI Crawl Control. La entrada no explica cómo se formó el grupo que participó en el piloto ni cómo puede un cliente sumarse a él o salirse.
Lo que viene
La siguiente fase partirá de lo aprendido: mejorar la selección de páginas, probar señales de cambio más rápidas y fiables, y medir qué ocurre después de que se descubre un contenido. Cloudflare seguirá trabajando con OpenAI para entender cómo un mejor descubrimiento de los sitios puede traducirse en resultados de negocio reales.
Te puede interesar
Tech Planet participa en el programa de afiliados de Amazon. Si compras a través de estos enlaces, recibimos una pequeña comisión sin coste extra para ti, lo que nos ayuda a seguir creando contenido como este.
| Imagen | Producto | Características | Comprar |
|---|---|---|---|
 |
Corsair Vengeance DDR5 64 GB | 64 GB (2 × 32 GB) · DDR5 hasta 6000 MHz · AMD EXPO e Intel XMP 3.0 | Ver precio en Amazon |
 |
GMKtec EVO-X2 AI | AMD Ryzen AI Max+ 395 · 16 núcleos / 32 hilos · 64 GB DDR5 · SSD de 1 TB · 126 TOPS · 2 USB4 | Ver precio en Amazon |
 |
Minisforum MS-S1 MAX | AMD Ryzen AI Max+ 395 · 16 núcleos / 32 hilos, hasta 5,1 GHz · 128 GB LPDDR5x de memoria unificada · 2 TB de almacenamiento · USB4 V2 · dos puertos 10 GbE · Wi-Fi 7 | Ver precio en Amazon |
 |
Yahboom Jetson Orin Nano Super 8 GB, kit básico | 8 GB · hasta 67 TOPS · SSD de 256 GB · CPU Arm Cortex-A78AE de 6 núcleos · Ethernet de 1000 Mbps | Ver precio en Amazon |
Escrito por Eloy Andrade
