GEO-Glossar
KI-Crawler
KI-Crawler sind Bots von KI-Anbietern, die Websites abrufen, entweder um Trainingsdaten zu sammeln oder um Inhalte für die Antwort auf eine konkrete Frage zu holen.
Auf einen Blick
TRAINING GPTBot · ClaudeBot · CCBot sammeln Texte für künftige Modelle SUCHE UND ANTWORT OAI-SearchBot · PerplexityBot holen Inhalte für Antworten mit Quellen
Beispiel
Sperrt eine Website in der robots.txt pauschal alle KI-Bots, landet sie weder in Trainingsdaten noch in Antworten mit Quellen. Viele Seiten haben das unbemerkt getan, etwa über eine Voreinstellung im CDN oder in einem Sicherheits-Plugin.
In der Praxis
Prüf deine robots.txt und die Einstellungen deines Hostings oder CDN. Wer in KI-Antworten genannt werden will, sollte zumindest die Such-Bots zulassen. Ob du auch Trainings-Bots erlaubst, ist eine eigene Entscheidung.
So hängt es zusammen
Training-Bots füllen die Trainingsdaten, Such-Bots liefern die Inhalte für RAG. Die llms.txt ist ein freiwilliges Zusatzangebot an diese Bots.