Por qué deberías tener un archivo robots.txt personalizado si tienes contenido que no se debe indexar y qué significa cada regla

No importa si tú sitio web está construido en un CMS o simplemente en código html, css y js. Necesitarás un archivo robots.txt para evitar que los buscadores no pierdan el presupuesto asignado a tu sitio en páginas que no importan o que se indexen cosas que no deseas.

También es necesario para evitar la entrada a tu sitio a aquellos navegadores que no te interesan o bots de scraping ya conocidos.

Comencemos por como deberías tener tu robots.txt

Si usas WordPress conviene que lo dejes por defecto si no vas a crear secciones personalizadas con php personalizado y que quieras que no se indexen, entonces lo puedes dejar así:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://tudominio.com/wp-sitemap.xml

Para Blogger puedes dejarlo por defecto también o elegir personalizarlo para permitir ciertas etiquetas interesantes que ayuden a aclarar tu temática con Allow.

Las reglas que no cambian en el archivo robots.txt sin importar el CMS: Sitemap - Disallow o Allow.

Que significa cada regla:

• Allow: significa que permites el acceso a ciertos lugares específicos de tu web. Aunque si lo dejas sin nada, la regla no surtirá ningún tipo de efecto.
• Disallow: significa que no permites la entrada a la ruta que coloques.
• Sitemap: está es la forma en la que deberías de colocar un sitemap dentro de robots.txt

Ahora ya sabrás cómo no bloquear tu sitio web sin querer.

Descubierta actualmente sin indexar: qué significa y las soluciones

Descubierta actualmente sin indexar: qué significa y las soluciones paso a paso

El problema "Descubierta actualmente sin indexar" en la herramienta search console es de los que menos contexto claro se puede llegar a tener sobre el, al igual que el problema similar "rastreada actualmente sin indexar" pero aquí te mostraré la solución.

Cuando aparece el problema "Descubierta actualmente sin indexar" y por qué

Suele aparecer cuando creamos nuestra web, en la etapa inicial el buscador de Google y muchos otros apenas están conociendo tu web, por lo que el rastreo es lento y si encima estamos configurando el diseño, el dns, el cdn o teniendo problemas ocultos como redirecciones indeseadas, problemas con la cache o el hosting, eso haría que apareciera esa nota en el apartado de páginas.

La solución suele ser terminar de realizar todos los ajustes que tengamos pensados a nuestra web y mirar si existe algún problema que esté afectando el rastreo correcto de los artículos y como resultados final al seo de tu sitio web.

Después de verificar deberás ir a search consolé para entrar en el apartado de páginas, y presionar sobre el problema "descubierta: actualmente sin indexar", te abrirá una pestaña que contendrá un botón en la parte derecha de la pantalla que dirá «validar correción».

Después de mandar a revisión la solicitud podría llegar a tardar un par de días, toma en cuenta el tiempo, si es mucha la espera podría no estar resuelto el problema.

Recuerda que puedes usar inspeccionar url en search consolé(es la barra en grande que aparece arriba y en Mobile una lupa al lado del menú) primero para verificar si hay algún error con el artículo afectado.

¿Cloudflare es la prueba de que Google no rastrea el archivo llms.txt pero el sitemap.xml si?

Cuando pasamos a tener nuestra web en cloudflare para aprovechar su cdn gratuita con los buenos beneficios que nos proporciona, también aprovechamos su panel para analizar cuáles son las páginas más visitadas por los navegadores, de esta forma podemos identificar si algo que no queremos que esté indexado se nos escapa pero... ¿Como saber si Google casi no lee el llms.txt por medio del panel de cloudflare? Bueno, la respuesta es sencilla, en el apartado de análisis de visitas cloudflare deja ver qué durante las primeras semanas de vida de una web recién creada, el buscador de Google no pasa en ningún momento por el archivo pero si por el sitemap o sitemaps que tengamos.

Es así como surgieron publicaciones en LinkedIn especulando sobre que Google no toma en cuenta ese archivo.. pero ¿Es verdad?.

¿Qué es el archivo llms.txt?

El archivo llms.txt es un archivo similar al sitemap.xml, un archivo que se actualiza constantemente con las rutas de nuestra web, solo que específicamente para la IA. "Quería aclarar que era ese archivo para los novatos antes de seguir con la explicación", ahora sigamos.

¿El buscador de Google no lee el archivo llms.txt?

Oficialmente Google en un apartado oficial de su web dedicado al archivo llms.txt si deja en claro que sus arañas rastreadoras como ellos le llaman lo leen, aunque no es impredecible eso también lo dejan claro y no supone un problema para que la IA lea tu contenido adecuadamente, o para que no te cité en los resultados enriquecidos de las respuestas de IA en caso de que no tengas ese archivo creado.

¿Lo hace o no lo hace?

Durante las primeras fases de una web que por lo general suele ser pequeña con apenas algunas urls en ellas, el buscador de Google apenas está visitando y procesando tus artículos lentamente, esperar que necesite leer un archivo para mantener su AI Overviews actualizada con tu contenido es muy apresurado por tu parte.

Apenas está leyendo las cosas técnicas, verifica que todo está en orden o si el contenido es de buena calidad. Debe pasar por todos esos procesos para decidir si eres confiable y mereces ser parte de las respuestas con IA en Google.

Aunque al final de este artículo entenderás por qué ya no lo rastrea.

Mi conclusión y por qué no lo rastrea más el buscador de Google

Desde luego esto es en base a mi experiencia, tener a cloudflare como una pared de defensa ante las inseguridades que existen en internet siempre será una buena opción y más con su capa gratuita que es generosa, es por eso que durante más de dos años he estado observando el patrón que se repite una y otra vez, al menos en el caso de Google que suele ser más lento. Bing por ejemplo a los pocos días ya puedes ver cómo su IA te cita si tu contenido es bueno y no necesariamente si tienes o no el archivo llms.txt.

Por lo que podemos deducir que este archivo no es indispensable y que de hecho el encargado del buscador en el equipo de Google ha indicado recientemente que no lo utilizan, por lo que es una elección personal incluirlo en tus proyectos.

Puede funcionar incluirlo para facilitarle las cosas a otra IA como Chatgpt, Claude o Perplexity.

Si deseas que la inteligencia artificial no rastree tu web y estás usando cloudflare puedes negarle la entrada fácilmente.

• Paso 1: elige la opción "AI Crawl Control" de su menú
• Paso 2: seleccionar security en el submenú que se despliega
• Paso 3: bloquear las inteligencias artificiales que no deseas

Fuentes de las publicaciones en LinkedIn que dieron iniciativa para hablar y crear este artículo para compartir mi opinión:

Publicación 1 - Publicación 2

Redes sociales en Search Console: Guía completa para mirar el rendimiento de tu contenido de redes sociales en Google

Google ha habilitado la función de agregar Tiktok, Instagram, Youtube y Facebook a Search Console "descubre como"

Desde siempre hemos dependido para nuestras redes sociales solo de los informes que las mismas redes sociales crean cada una, el problema era que solo nos mostraba lo que pasaba dentro de la aplicación, por ejemplo: Tiktok solo mostraba como rendía tu contenido dentro de su aplicación y nadamas. Ahora Google acaba de lanzar la implementación en Search Console para que podamos agregar Instagram, Tiktok, YouTube y X a la herramienta.

Las redes sociales que podremos agregar

Efectivamente, como ya supones o habrás visto, solo se podrán agregar cuatro redes sociales de momento, según informa Google en el futuro se podrían sumar más.

• Tiktok
• Instagram
• X
• YouTube

El potencial que tiene para los creadores de contenido

Los creadores de contenido estaban a ciegas en cuanto a conocer el rendimiento de su contenido en Google, ahora ya es posible que puedan saberlo de manera precisa, estás son las cosas que podremos saber.

Lo que mostrara la herramienta

• Estadísticas: un panel para informarnos rápidamente sobre si cada día o semana a semana estamos haciendo bien las cosas, este apartado te da un informe detallado sobre: clicks en el buscador, búsquedas que llevan a tu contenido(palabras claves) y los países en los que está presente tu contenido.
• Rendimiento general: este es el típico informe, si ya tienes una web ya estás familiarizado por el y si no, es algo así: Te mostrará tablas con contenido diferente, dependiendo de en qué sección estés. Existe el informe de palabras claves que te mostrara la posición media en la que apareces para esa palabra clave, junto al ctr y volumen de búsqueda, después tenemos países y dispositivos.

Cómo agregar mi red social a Search Console

1. Paso 1: visitar la herramienta seo Search Console e iniciar sesión con una cuenta de Google.
2. Paso 2: ir a la parte superior izquierda de la página después de iniciar sesión, donde están las tres rayitas(menú) en Mobile o en escritorio dice "Añadir propiedad".
3. Paso 3: presionar sobre Añadir propiedad, después seleccionar el botón que dice "Nuevas funciones".
4. Paso 4: En la ventana emergente que te saldrá seleccionas la red social que deseas agregar.
5. Paso 5: conectar tu red social seleccionada por medio de los métodos que Google te facilita - te recomiendo que elijas el método por medio de la aplicación(solo verifica que en tu aplicación este iniciada la cuenta que quieres sumar a Search Console).
6. Paso final: no hacer nada, Google te va a redirigir al panel oficial de su herramienta con todo vinculado correctamente.

Cómo podrás ver, el método es muy similar al de agregar un sitio web, lo único que cambia son los métodos de verificación.

Aclaraciones sobre lo que no mostrará está función nueva

Lo que no va a mostrarte está nueva función de search consolé son los clicks dentro de la aplicación de cada una de las redes sociales, eso sería contradictorio, solo se va a centrar en mostrarte el como le va a tu contenido de tus redes sociales en el buscador de Google.

Los canales que se mostraran

También podremos conocer como nuestro contenido aparece en los diferentes canales de Google: Discover, News, Búsqueda orgánica normal, Imágenes y Videos.

Rastreada actualmente sin indexar: te ayudo a resolverlo

Es un estado en el que Google deja las páginas de tu sitio web, que resulta ser un problema sin mucha información en internet sobre como resolverlo y que se debe solucionar para que las páginas marcadas con el se logren indexar en el índice de los buscadores.

Si eres alguien que tiene ese problema entonces has llegado al lugar indicado, podrás verificar información sobre el problema y unos puntos que debes corroborar que no te estén afectando. Así como los pasos para solucionarlos.

Qué es el estado "Rastreada actualmente sin indexar" que aparece en search consolé y como solucionarlo paso a paso

Cómo bien lo indica Google en uno de sus artículos de ayuda oficiales, el estado "Rastreada actualmente sin indexar" significa que el buscador rastreo y leyó por completo la pagina pero decidió no agregarla a su indice después de hacerlo "de momento". Estamos acostumbrados a que apenas se publique un artículo, sea indexado casi de inmediato o usar search consolé para mandarla a indexar manualmente por medio de "inspeccionar url" dentro de la herramienta.

Pero ahora Google ha tomado medidas claras contra el impacto de la inteligencia artificial en el contenido de poco valor en su buscador, Google ha estado lanzando duras actualizaciones en lo que va del año 2026 para controlar el spam en su índice.

Esto hace que en medida esa dureza contra el contenido de poco valor afecte y sea una causa por las que los artículos quedan en el estado "Rastreada actualmente sin indexar".

Cabe destacar que los artículos de webs que ya tienen una reputación buena si suelen indexar rápidamente sus artículos nuevos si cumplen con las políticas, por la confianza que se han ganando en los buscadores después de mucho tiempo publicando contenido de calidad y sin aplicar un mal uso del sitio web para sus usuarios. Sin embargo, en una web nueva es al revés, los buscadores pueden tomarse su tiempo en darle ese voto de confianza, por lo que el estado "Rastreada: actualmente sin indexar" puede ser parte del proceso de indexación. 

Las soluciones no oficiales que como seo te recomiendo hacer

Antes de entrar en pánico es recomendable que no estés pasando nada técnico, acontinuación te dejo una lista de las cosas que puedes verificar.

Examinar tus artículos que llevas publicados desde que creaste tu sitio web, deberías verificar que no tengas páginas así:

• Duplicadas: páginas que tratan el mismo tema o pregunta, y que son casi idénticos sin un enfoque diferente, cambiando apenas unas cuantas frases o formas de decirlo.
• Contenido de poco valor: páginas con contenido escaso o que dan mucha vuelta y no dan la solución rápido.
• Muchos enlaces: los enlaces no son malos, tener enlaces como referencias ayudan a los usuarios que desean obtener más contexto o saber si es información verídica. Pero tener muchos enlaces sin una buena razón te está acercando más a una granja de enlaces(algo penalizado por Google).
• Certificado SSL: el certificado SSL, es el que ayuda a tener una web en https, segura y confiable, mal configurado podría estar causando 'Rastreada actualmente sin indexar'.

¿Los artículos marcados en ese estado están perdidos?

Claro que no, el mismo Google en algunos de sus informes en los que tratan ese estado específico en un sitio web, comentan los siguiente «que no se debe hacer nada, y que se puede indexar en el futuro o tal vez no». Y por el "tal vez no", es que recomiendo las soluciones de arriba en este artículo, haciendo una examinación del sitio para descartar que no sea por algunos de esos motivos, te ahorrará esperar mucho tiempo en que se solucione por si solo si el fallo es por parte nuestra.

¿No tener autoridad lo provoca?

Es algo que se afirma mucho pero me temo decirte que es más un mito que una verdad, no hay algo como eso en los informes de ayuda oficiales de Google, me he pasado muchos años leyendo muchas de sus páginas y no he visto algo como eso.

Google al principio comienza a rastrear e indexar lento pero lo cierto es que, si no hay problema técnico con el sitio, ni tampoco problemas con el contenido ¿Por qué debería no indexar tu sitio web?.

De cualquier manera es bueno que te des mientas de una vez y te centres en lo que realmente le importa a Google y otros buscadores "crear contenido de calidad".

Aunque en un sitio con menos de un mes de vida si podría necesitar ganarse la confianza de los buscadores, el proceso de los buscadores es mas lento.

Puedes mirar que significa el estado similar que aparece en search console: Descubierta: actualmente sin indexar.