Fichero llms.txt: ¿mejora el rastreo y la indexación?

Últimamente, el llms.txt ha estado en boca de muchos profesionales SEO. Este archivo, concebido como una especie de "robots.txt" para modelos de lenguaje grandes (LLMs), busca ofrecer un control sobre cómo los sistemas de inteligencia artificial interactúan y utilizan el contenido de nuestras webs. De hecho, plataformas tan populares como Yoast ya han implementado funcionalidades para generarlo automáticamente, lo que ha avivado el debate sobre su adopción.

Sin embargo, la realidad actual es diferente, y John Mueller de Google ha salido a la palestra para arrojar luz sobre el asunto. A través de una publicación en Bluesky, Mueller ha sido contundente: "A día de hoy, ningún sistema de IA utiliza llms.txt".

Lo más curioso es que si le preguntamos a su propio buscador, nos responde justo lo contrario. Divertido, ¿verdad?

Fuera bromas, hay un debate bastante interesante en Blusky donde John trata de explicar su postura frente a algunos usuarios que tratan de demostrar lo contrario. No seré yo quien ponga la mano en el fuego por Google, dado que ya nos ha mentido en multitud de ocasiones, pero principalmente porque yo sí he implementado este fichero en varios proyectos y he constatado que sí es accedido.

Y creo que ahí está la clave. Puede que los rastreadores de plataformas orientadas a la búsqueda no lo utilicen, pero eso no implica que otros LLMs no se apoyen en estos ficheros para mejorar el acceso a los contenidos de las páginas, especialmente cuando sabemos que no renderizan JavaScript y que podrían tener en ciertos casos problemas para identificar enlaces internos y navegar por el sitio. El futuro no está sólo en Google; tenemos que tener todas las opciones preparadas.

Suponiendo que lo que dice John sea cierto, implicaría que aunque la iniciativa sea prometedora y tenga un gran potencial a futuro, actualmente los LLMs y chatbots que nos interesan a los SEOs desde el punto de vista del tráfico orgánico (aquellos que indexan y utilizan contenido para sus respuestas) no están consultando este archivo.

Entonces, ¿qué hacemos? Mueller sugiere que si revisamos los logs de nuestros servidores, veremos que los LLMs están rastreando nuestras páginas para entrenarse o para fundamentar sus respuestas, pero ninguno de ellos está buscando o leyendo el llms.txt. Si bien esto podría cambiar mañana, de momento, parece que la implementación de este archivo es una medida adelantada a su tiempo. Por ahora, es más importante centrarse en asegurar que nuestro contenido sea de calidad y esté bien estructurado para los buscadores tradicionales, que son la base de donde estas IAs se nutren.