Crawler.

Ein Crawler, auch Bot oder Spider genannt, ist ein Programm, das selbstständig Webseiten aufruft, ihren Inhalt herunterlädt und den Links zu weiteren Seiten folgt. Laut Google werden die allermeisten Seiten in den Suchergebnissen auf diese Weise automatisch gefunden, ohne dass jemand sie anmeldet. Für deinen Betrieb heißt das ganz praktisch: Was der Crawler nicht erreicht, kann bei Google nicht erscheinen. Neben Suchmaschinen schicken inzwischen auch KI-Anbieter eigene Crawler durchs Netz.

So funktioniert ein Crawler

Der Crawler von Google heißt Googlebot und entdeckt neue Adressen laut Google vor allem über Links auf Seiten, die er schon kennt. Er ruft die Seite ab, führt laut Google das JavaScript mit einer aktuellen Chrome-Version aus. Weil Google bei den meisten Websites die mobile Fassung indexiert, kommt laut Google auch der Großteil der Abrufe vom Smartphone-Crawler.

Wichtig ist der Unterschied zwischen Crawling und Indexierung. Crawling ist das Abrufen, Indexierung das Verstehen und Speichern im Google-Index. Laut Google ist beides nicht garantiert. Über die Datei robots.txt sagst du Crawlern, welche Bereiche sie abrufen dürfen. Google betont aber, dass robots.txt kein Mittel ist, um eine Seite aus der Suche herauszuhalten: Ist sie anderswo verlinkt, kann die Adresse trotzdem auftauchen. Dafür sind die Angabe „noindex" oder ein Passwortschutz gedacht.

Worauf du als Betrieb achten solltest

Verlinke jede wichtige Seite von deiner Website aus. Eine Leistungsseite, auf die weder Menü noch Text verweisen, findet auch der Googlebot schwer. Eine Sitemap hilft zusätzlich, ersetzt aber keine saubere Verlinkung.

Prüfe deine robots.txt, bevor und nachdem du etwas änderst. In Projekten sehen wir oft, dass eine Sperre aus der Entwicklungsphase nach dem Livegang einfach stehen bleibt. Ob Google deine Seiten erreicht und indexiert, zeigt dir die Search Console. Wie du sie liest, steht in Google Search Console richtig nutzen.

Entscheide bewusst, welche KI-Crawler du zulässt. OpenAI unterscheidet laut eigener Dokumentation zwischen GPTBot, der Inhalte für das Training von KI-Modellen sammelt, und OAI-SearchBot, über den Seiten in der Suche von ChatGPT erscheinen. Anthropic trennt ähnlich zwischen ClaudeBot für Trainingsdaten und Claude-SearchBot für Suchergebnisse. Google bietet mit Google-Extended ein eigenes Kennzeichen, mit dem du laut Google die Nutzung für Gemini steuerst, ohne deine Sichtbarkeit in der Google-Suche zu beeinflussen. Wer Trainings-Crawler sperrt, sollte die Such-Crawler meist offen lassen.

Häufige Fragen zu Crawlern

Kann ich Google dafür bezahlen, öfter gecrawlt zu werden? Nein. Google schreibt ausdrücklich, dass es kein Geld dafür annimmt, eine Website häufiger zu crawlen oder besser zu platzieren.

Belastet der Googlebot meinen Server? In der Regel nicht. Laut Google ruft der Googlebot die meisten Websites im Schnitt nicht öfter als einmal alle paar Sekunden ab. Wird es zu viel, lässt sich die Crawling-Frequenz senken.

Halten sich alle Crawler an die robots.txt? Nein. Laut Google befolgen seriöse Crawler die Regeln, andere nicht. Außerdem geben sich manche Programme laut Google fälschlich als Googlebot aus. Vertrauliches gehört deshalb hinter ein Passwort.

Ob deine Seiten für Crawler erreichbar sind und saubere Titel und Beschreibungen haben, zeigt dir unser SEO-Check. Wenn du die Baustellen nicht selbst angehen willst, hilft dir unsere SEO-Betreuung.