Cuando pasamos a tener nuestra web en cloudflare para aprovechar su cdn gratuita con los buenos beneficios que nos proporciona, también aprovechamos su panel para analizar cuáles son las páginas más visitadas por los navegadores, de esta forma podemos identificar si algo que no queremos que esté indexado se nos escapa pero... ¿Como saber si Google casi no lee el llms.txt por medio del panel de cloudflare? Bueno, la respuesta es sencilla, en el apartado de análisis de visitas cloudflare deja ver qué durante las primeras semanas de vida de una web recién creada, el buscador de Google no pasa en ningún momento por el archivo pero si por el sitemap o sitemaps que tengamos.
Es así como surgieron publicaciones en LinkedIn especulando sobre que Google no toma en cuenta ese archivo.. pero ¿Es verdad?.
¿Qué es el archivo llms.txt?
El archivo llms.txt es un archivo similar al sitemap.xml, un archivo que se actualiza constantemente con las rutas de nuestra web, solo que específicamente para la IA. "Quería aclarar que era ese archivo para los novatos antes de seguir con la explicación", ahora sigamos.
¿El buscador de Google no lee el archivo llms.txt?
Oficialmente Google en un apartado oficial de su web dedicado al archivo llms.txt si deja en claro que sus arañas rastreadoras como ellos le llaman lo leen, aunque no es impredecible eso también lo dejan claro y no supone un problema para que la IA lea tu contenido adecuadamente, o para que no te cité en los resultados enriquecidos de las respuestas de IA en caso de que no tengas ese archivo creado.
¿Lo hace o no lo hace?
Durante las primeras fases de una web que por lo general suele ser pequeña con apenas algunas urls en ellas, el buscador de Google apenas está visitando y procesando tus artículos lentamente, esperar que necesite leer un archivo para mantener su AI Overviews actualizada con tu contenido es muy apresurado por tu parte.
Apenas está leyendo las cosas técnicas, verifica que todo está en orden o si el contenido es de buena calidad. Debe pasar por todos esos procesos para decidir si eres confiable y mereces ser parte de las respuestas con IA en Google.
Aunque al final de este artículo entenderás por qué ya no lo rastrea.
Mi conclusión y por qué no lo rastrea más el buscador de Google
Desde luego esto es en base a mi experiencia, tener a cloudflare como una pared de defensa ante las inseguridades que existen en internet siempre será una buena opción y más con su capa gratuita que es generosa, es por eso que durante más de dos años he estado observando el patrón que se repite una y otra vez, al menos en el caso de Google que suele ser más lento. Bing por ejemplo a los pocos días ya puedes ver cómo su IA te cita si tu contenido es bueno y no necesariamente si tienes o no el archivo llms.txt.
Por lo que podemos deducir que este archivo no es indispensable y que de hecho el encargado del buscador en el equipo de Google ha indicado recientemente que no lo utilizan, por lo que es una elección personal incluirlo en tus proyectos.
Puede funcionar incluirlo para facilitarle las cosas a otra IA como Chatgpt, Claude o Perplexity.
Si deseas que la inteligencia artificial no rastree tu web y estás usando cloudflare puedes negarle la entrada fácilmente.
- Paso 1: elige la opción "AI Crawl Control" de su menú
- Paso 2: seleccionar security en el submenú que se despliega
- Paso 3: bloquear las inteligencias artificiales que no deseas
Fuentes de las publicaciones en LinkedIn que dieron iniciativa para hablar y crear este artículo para compartir mi opinión:
