Indexación

Cuando alguien lanza una consulta, un buscador no rastrea internet: consulta su propio índice. Ese índice es un directorio, y el proceso por el que una página entra en él se llama indexación. Mientras su página no esté en el índice, para la búsqueda sencillamente no existe — por muy bien que se vea y por mucho que haya costado.

El camino hasta ahí tiene tres pasos que conviene distinguir. Primero, el buscador tiene que enterarse de que la dirección existe: por un enlace, por su directorio de direcciones o por un aviso. Después, un programa de rastreo — en jerga técnica, un crawler — descarga la página y la representa como si fuera un navegador. Y solo entonces se decide si el contenido entra en el índice.

Precisamente esa última decisión es la que casi todo el mundo pasa por alto. Descargada no significa incluida. Un buscador puede dejar fuera cualquier página que considere superflua — porque el mismo texto ya está en otra dirección, porque la página apenas tiene contenido propio o porque nadie enlaza a ella desde dentro de la web. No existe un derecho a ser incluido, y nadie puede prometerlo.

Cuando una página no está en el índice, las causas suelen ser banales y de casa. Hay un interruptor llamado noindex que le dice al buscador expresamente que deje la página fuera — a menudo un resto de la fase de construcción, cuando la web todavía no debía ser pública. O un archivo llamado robots.txt bloquea toda una sección. O una indicación de canonicalización apunta a otra dirección y declara así la propia página como copia.

Puede comprobarlo usted mismo, sin comprar herramientas. En Google Search Console — el acceso gratuito que cualquier responsable de una web puede configurar para su propio dominio — hay un informe de cobertura y una consulta individual por dirección. Ahí pone en lenguaje claro si una página ha sido incluida y, si no, por qué motivo. Un primer vistazo somero también se consigue desde la propia búsqueda, escribiendo el comando site: seguido del dominio.

Lo que hace más probable la inclusión es poco espectacular: cada página debería estar enlazada desde al menos otra página de su web, llevar un contenido que solo exista ahí, ser accesible bajo una única dirección fija y figurar en un directorio de direcciones actualizado. Las páginas a las que solo se llega por un menú desplegable o un formulario se pasan por alto con regularidad. Y las páginas que acaban en un error 404 terminan saliendo del índice con el tiempo.

Un punto que en la práctica cuesta dinero: tras una reforma, una página puede caerse del índice aunque en el navegador se vea impecable. El motivo está entonces casi siempre en un ajuste que nadie revisó, precisamente porque la página se veía. Por eso, después de cada mudanza hace falta una comprobación que no solo pregunte si la página carga, sino también si puede entrar en el índice.

Nosotros lo comprobamos descargando una por una todas las direcciones del directorio y registrando el resultado, en lugar de tomar muestras. En la última revisión completa de nuestra propia web fueron 287 direcciones, todas accesibles. Lo que expresamente no prometemos es la inclusión en sí: podemos crear las condiciones y documentar el estado, pero la decisión la toma el buscador.