robots.txt

Die robots.txt ist eine der ältesten Konventionen des Internets. Sie geht auf den niederländischen Entwickler Martijn Koster zurück, dessen Server 1994 von einem Abrufprogramm überlastet wurde. Aus dem daraus entstandenen informellen Vorschlag, dem Robots Exclusion Protocol, wurde über Jahrzehnte ein faktischer Standard, den seriöse Suchmaschinen einhalten — formal genormt hat ihn die IETF erst im September 2022 mit RFC 9309. Eine deutlich jüngere Datei mit ähnlicher Idee, aber ohne offiziellen Standard, ist llms.txt.

Technisch ist die Datei denkbar schlicht. Sie liegt unter der Adresse ihredomain.de/robots.txt und besteht aus Zeilen wie User-agent, gefolgt von Disallow oder Allow und einem Pfad. Damit lässt sich einem bestimmten Abrufprogramm oder allen zugleich sagen, welche Verzeichnisse es meiden soll. Zusätzlich kann hier auf die Sitemap verwiesen werden, das Adressverzeichnis der Website, damit beide Dateien zusammenwirken statt sich zu widersprechen.

Der teuerste Irrtum dabei ist immer derselbe: robots.txt verhindert keine Indexierung zuverlässig. Eine gesperrte Seite kann trotzdem in den Suchergebnissen auftauchen — ohne Beschreibung, nur mit der nackten Adresse —, wenn andere Websites auf sie verweisen. Die Suchmaschine hat die Seite dann zwar nicht abgerufen, aber aus externen Signalen auf ihre Existenz geschlossen und sie trotzdem gelistet, mit einer Notiz, dass keine Beschreibung verfügbar ist.

Wer eine Seite zuverlässig aus der Suche heraushalten will, braucht das Gegenteil einer Sperre: einen noindex-Hinweis im Kopfbereich der Seite selbst oder eine Zugangsbeschränkung. Das setzt allerdings voraus, dass die Seite überhaupt abgerufen werden darf — eine per robots.txt gesperrte Seite kann der noindex-Hinweis gar nicht erst lesen. Beide Werkzeuge schließen sich in der Wirkung teilweise aus, statt sich zu addieren.

In der Praxis sehen wir vor allem zwei Fehler. Der erste: eine Zeile Disallow: / aus der Bauphase, die vergessen wurde und beim Umzug auf die echte Domain die gesamte Website sperrt — die Seiten laden im Browser normal, nur eine Suchmaschine hält sich daran und bleibt draußen. Der zweite: gesperrte Verzeichnisse mit CSS- oder Skriptdateien, wodurch Google die Seite nicht mehr korrekt darstellen kann, um sie zu bewerten.

Wir prüfen die Datei deshalb nicht im Quelltext-Ordner, sondern live — wir rufen sie unter der tatsächlich ausgelieferten Adresse ab, weil eine lokale Kopie nach einem Umzug oder einem Serverwechsel abweichen kann. Wichtig bleibt die Abgrenzung zu den zwei Nachbardateien: robots.txt regelt den Zugriff, die Sitemap listet die Adressen, und ob eine abgerufene Seite tatsächlich aufgenommen wird, entscheidet erst die Indexierung.