robots.txt

El robots.txt es una de las convenciones más antiguas de internet. Se remonta al desarrollador neerlandés Martijn Koster, cuyo servidor se vio sobrecargado por un rastreador en 1994. La propuesta informal que surgió de ahí, el Robots Exclusion Protocol, se convirtió con el paso de las décadas en un estándar de facto que los buscadores serios respetan — no se normalizó formalmente hasta septiembre de 2022, cuando la IETF publicó el RFC 9309.

Técnicamente el archivo es lo más sencillo que hay. Está en la dirección sudominio.es/robots.txt y consta de líneas como User-agent, seguidas de Disallow o Allow y una ruta. Así se le puede decir a un rastreador concreto, o a todos a la vez, qué directorios debe evitar. Además, aquí se puede remitir al sitemap, el directorio de direcciones de la web, para que ambos archivos funcionen juntos en vez de contradecirse.

El error más caro es siempre el mismo: robots.txt no impide de forma fiable la indexación. Una página bloqueada puede aparecer igualmente en los resultados de búsqueda — sin descripción, solo con la dirección desnuda — si otras webs enlazan a ella. El buscador no ha llegado a descargar la página, pero ha deducido su existencia a partir de señales externas y la ha listado de todos modos, con una nota de que no hay descripción disponible.

Quien quiera mantener una página fuera de la búsqueda de forma fiable necesita lo contrario de un bloqueo: una indicación noindex en la propia cabecera de la página, o una restricción de acceso. Pero eso exige que la página pueda descargarse en primer lugar — una página bloqueada mediante robots.txt ni siquiera permite leer su indicación noindex. Ambas herramientas se anulan parcialmente en su efecto, en vez de sumarse.

En la práctica vemos sobre todo dos errores. El primero: una línea Disallow: / de la fase de construcción que se olvida y, al pasar al dominio real, bloquea toda la web — las páginas cargan con normalidad en el navegador, solo un buscador respeta la regla y se queda fuera. El segundo: directorios bloqueados que contienen archivos CSS o de script, con lo que Google ya no puede representar la página correctamente para valorarla.

Por eso comprobamos el archivo en vivo y no en la carpeta de código fuente — lo descargamos en la dirección que realmente se está sirviendo, porque una copia local puede haber divergido tras un traslado o un cambio de servidor. Lo importante sigue siendo la frontera con los dos archivos vecinos: robots.txt regula el acceso, el sitemap enumera las direcciones, y si una página descargada acaba incluida lo decide solo la indexación.