robots.txt.

Die robots.txt ist eine einfache Textdatei, die unter eure-domain.de/robots.txt liegt und Regeln für automatische Programme enthält. Seit September 2022 ist sie bei der IETF als RFC 9309 beschrieben. Für ein Unternehmen hat die kleine Datei große Wirkung: Eine falsche Zeile hält ganze Bereiche von Crawlern fern, und hier entscheidet sich, ob KI-Anbieter eure Inhalte für Training oder Suche abrufen dürfen.

So funktioniert die robots.txt

Die Datei besteht aus Gruppen. Jede beginnt mit „User-agent" und dem Namen eines Crawlers, darunter folgen Regeln mit „Allow" oder „Disallow" für bestimmte Pfade. Laut RFC 9309 gilt bei mehreren passenden Regeln die spezifischste, also die längste. Eine zwischengespeicherte Fassung sollen Crawler laut Standard in der Regel nicht länger als 24 Stunden verwenden. Antwortet der Server beim Abruf der Datei mit einem Serverfehler, sollen Crawler vorsichtshalber annehmen, dass alles gesperrt ist.

Laut RFC 9309 ist sie keine Zugriffskontrolle: Wer sich nicht an die Regeln hält, kommt trotzdem an die Inhalte. Und laut Google ist sie kein Mittel, um eine Seite aus der Google-Suche herauszuhalten. Eine gesperrte Adresse kann trotzdem erscheinen, wenn andere Seiten auf sie verlinken. Dafür ist die Angabe „noindex" gedacht, mehr dazu unter Indexierung.

Worauf ihr im Unternehmen achten solltet

Entscheidet bei KI-Crawlern bewusst, welchen Zweck ihr sperrt. OpenAI unterscheidet laut eigener Doku zwischen GPTBot, der Inhalte für das Training der Modelle sammelt, und OAI-SearchBot, der Websites in den Suchfunktionen von ChatGPT anzeigt. Beide Einstellungen sind voneinander unabhängig. Wer pauschal alles sperrt, fehlt also auch in der Suche von ChatGPT. Wie Unternehmen in KI-Antworten vorkommen, beschreibt unser Beitrag Unternehmen in KI-Antworten von ChatGPT und Google.

Verwechselt Google-Extended nicht mit der Google-Suche. Mit diesem Eintrag steuert ihr laut Google, ob eure Inhalte für das Training künftiger Gemini-Modelle und für das Grounding in Gemini genutzt werden. Auf die Aufnahme in die Google-Suche und auf das Ranking hat er laut Google keinen Einfluss. Für die Suche und damit auch für die KI-Übersichten gelten die Regeln für den Googlebot.

Prüft die Datei nach jedem Relaunch und jedem Systemwechsel. In Projekten sehen wir oft, dass Sperren aus der Testumgebung mit live gehen oder ein neues System eigene Voreinstellungen mitbringt. Ein Blick direkt nach dem Go-live erspart wochenlange Ursachenforschung.

Schreibt keine vertraulichen Pfade hinein. Die Datei ist für jeden lesbar, laut RFC 9309 macht ein Eintrag die aufgeführten Pfade sogar erst auffindbar. Interne Bereiche gehören hinter einen Login.

Häufige Fragen zur robots.txt

Braucht jede Website eine robots.txt? Nein. Fehlt die Datei und der Server meldet das mit einem Statuscode aus dem 400er-Bereich, dürfen Crawler laut RFC 9309 alles abrufen. Sinnvoll ist sie trotzdem, etwa für den Verweis auf eure Sitemap.

Wie schnell wirkt eine Änderung? Laut OpenAI dauert es für die Suche in ChatGPT etwa 24 Stunden, bis eine geänderte robots.txt berücksichtigt wird.

Gibt es eine gemeinsame Regel gegen KI-Training? Sie ist in Arbeit. Google hat am 30. Oktober 2026 angekündigt, 2027 zusammen mit anderen KI-Anbietern ein gemeinsames Signal für KI-Training in der robots.txt zu unterstützen, das in der IETF-Arbeitsgruppe AIPREF entsteht.

Welche Crawler auf eure Website dürfen sollen, klären wir mit euch als Teil unserer SEO-Betreuung.