Indexierung

Eine Suchmaschine durchsucht bei einer Anfrage nicht das Internet, sondern ihr eigenes Verzeichnis. Dieses Verzeichnis heißt Index, und der Vorgang, mit dem eine Seite dort hineinkommt, heißt Indexierung. Solange Ihre Seite nicht im Index steht, ist sie für die Suche schlicht nicht vorhanden — ganz gleich, wie gut sie aussieht und wie viel sie gekostet hat.

Der Weg dorthin hat drei Schritte, die man auseinanderhalten sollte. Zuerst muss die Suchmaschine überhaupt erfahren, dass es die Adresse gibt: über einen Link, über Ihr Adressverzeichnis oder über eine Meldung. Dann ruft ein Abrufprogramm — im Fachjargon Crawler — die Seite ab und stellt sie dar, als wäre es ein Browser. Und erst danach wird entschieden, ob der Inhalt ins Verzeichnis aufgenommen wird.

Genau diese letzte Entscheidung übersehen die meisten. Abgerufen heißt nicht aufgenommen. Eine Suchmaschine darf jede Seite auslassen, die sie für überflüssig hält — etwa weil derselbe Text schon unter einer anderen Adresse steht, weil die Seite fast keinen eigenen Inhalt hat oder weil niemand innerhalb der Website auf sie verweist. Es gibt keinen Anspruch auf Aufnahme, und niemand kann sie zusagen.

Wenn eine Seite nicht im Index steht, sind die Ursachen meist banal und im Haus gemacht. Ein Schalter namens noindex ist gesetzt und sagt der Suchmaschine ausdrücklich, sie solle die Seite weglassen — oft ein Rest aus der Bauphase, in der die Website noch nicht öffentlich sein sollte. Oder eine Datei namens robots.txt sperrt einen ganzen Bereich aus. Oder ein Kanonisierungs-Hinweis zeigt auf eine andere Adresse und erklärt die Seite damit selbst zur Kopie.

Nachsehen können Sie das selbst, ohne Werkzeuge zu kaufen. In der Google Search Console — dem kostenlosen Zugang, den jeder Websitebetreiber für seine eigene Domain einrichten kann — gibt es einen Bericht über die Abdeckung und eine Einzelabfrage je Adresse. Dort steht im Klartext, ob eine Seite aufgenommen wurde, und falls nicht, aus welchem Grund. Ein grober erster Blick geht auch über die Suche selbst, indem man den Befehl site: gefolgt von der Domain eingibt.

Was die Aufnahme wahrscheinlicher macht, ist unspektakulär: Jede Seite sollte von mindestens einer anderen Seite Ihrer Website aus verlinkt sein, einen Inhalt tragen, den es so nur dort gibt, unter einer einzigen festen Adresse erreichbar sein und in einem aktuellen Adressverzeichnis stehen. Seiten, die nur über ein Auswahlmenü oder ein Formular erreichbar sind, werden regelmäßig übersehen. Und Seiten, die auf einen 404-Fehler laufen, fliegen mit der Zeit wieder heraus.

Ein Punkt, der in der Praxis Geld kostet: Nach einem Umbau kann eine Seite aus dem Index fallen, obwohl sie im Browser tadellos erscheint. Der Grund liegt dann fast immer in einer Einstellung, die niemand geprüft hat, weil die Seite ja sichtbar war. Deshalb gehört nach jedem Umzug eine Prüfung dazu, die nicht nur fragt »lädt die Seite«, sondern auch »darf sie in den Index«.

Wir prüfen das, indem wir jede Adresse aus dem Adressverzeichnis einzeln abrufen und das Ergebnis protokollieren, statt Stichproben zu ziehen. Bei der letzten vollständigen Prüfung unserer eigenen Website waren das 287 Adressen, alle erreichbar. Was wir dabei ausdrücklich nicht versprechen, ist die Aufnahme selbst: Wir können die Voraussetzungen herstellen und den Zustand belegen, aber die Entscheidung trifft die Suchmaschine.