Ob eine KI deine Seiten zitieren kann, entscheidet sich lange vor der Antwort: beim Crawlen. KI-Anbieter schicken eigene Bots auf deine Website, und die KI-Crawler kommen mit sehr unterschiedlichen Absichten. Manche sammeln Trainingsdaten, andere bauen einen Suchindex auf, wieder andere holen eine Seite, weil ein Nutzer gerade danach gefragt hat.
Hier bekommst du die wichtigsten Bots im Überblick, eine Entscheidungshilfe, Vorlagen für die robots.txt und zwei Fallen, die viele Websites unsichtbar machen.
Das Wichtigste in Kürze
- Drei Arten von Bots: Training, Suche und Abruf auf Nutzerwunsch. Jede lässt sich getrennt steuern.
- Training sperren, Suche erlauben: Das ist möglich. Du bleibst in KI-Suchen sichtbar, ohne Trainingsdaten zu liefern.
- Nutzerabrufe: ChatGPT-User und Perplexity-User halten sich laut den Anbietern oft nicht an robots.txt.
- Google-Extended steuert nur das Training für Gemini, nicht die Google-Suche.
- JavaScript: Die meisten KI-Crawler führen kein JavaScript aus. Inhalte, die erst im Browser entstehen, sehen sie nicht.
Auf dieser Seite findest du:
- Drei Arten von KI-Bots
- Was du zulassen solltest
- robots.txt-Vorlagen
- Der stille Blocker: CDN und Firewall
- JavaScript: was KI-Crawler sehen
- Häufige Fragen
- Quellen
Drei Arten von KI-Bots
Die großen Anbieter trennen ihre Bots inzwischen nach Zweck. Das ist die wichtigste Information für jede Entscheidung, denn jeder Zweck hat andere Folgen für deine Sichtbarkeit.
TRAINING GPTBot · ClaudeBot → Wissen für neue Modelle SUCHE OAI-SearchBot · Claude-SearchBot PerplexityBot → Index für KI-Suchen NUTZERABRUF ChatGPT-User · Claude-User Perplexity-User → eine Seite für eine Frage
| Bot | Zweck und Regel |
|---|---|
| GPTBot | OpenAI · Training hält sich an robots.txt |
| OAI-SearchBot | OpenAI · ChatGPT-Suche hält sich an robots.txt |
| ChatGPT-User | OpenAI · Abruf auf Nutzerwunsch robots.txt gilt laut OpenAI oft nicht |
| ClaudeBot | Anthropic · Training hält sich an robots.txt |
| Claude-SearchBot | Anthropic · Suche hält sich an robots.txt |
| Claude-User | Anthropic · Abruf auf Nutzerwunsch hält sich an robots.txt |
| PerplexityBot | Perplexity · Suche hält sich an robots.txt |
| Perplexity-User | Perplexity · Abruf auf Nutzerwunsch ignoriert robots.txt meist |
| Google-Extended | Google · Gemini-Training kein eigener Crawler, nur ein Steuerzeichen in robots.txt |
Quellen: OpenAI, Anthropic, Perplexity, zu Google-Extended Search Engine Roundtable.
Wer Training-Bots ausschließt, muss nicht auf KI-Suchen verzichten.
Was du zulassen solltest
Zwei Fragen reichen für die Entscheidung. Die erste ist eine Marketingfrage, die zweite eine Geschäftsfrage.
IN KI-SUCHEN GENANNT WERDEN? ├─ ja → Such-Bots erlauben └─ nein → Such-Bots sperren INHALTE FÜRS TRAINING FREIGEBEN? ├─ ja → nichts tun └─ nein → Training-Bots sperren
Meine Empfehlung: Unternehmen, die gefunden werden wollen, erlauben die Such-Bots immer. Ob du das Training sperrst, ist eine Frage nach dem Wert deiner Inhalte, keine SEO-Frage. Für die meisten Dienstleister überwiegt der Vorteil, im Wissen der Modelle vorzukommen.
robots.txt-Vorlagen
Die robots.txt liegt im Hauptverzeichnis deiner Domain. Fehlt ein Eintrag für einen Bot, darf er alles. Änderungen greifen laut OpenAI und Perplexity nach etwa 24 Stunden.
1 ALLES ERLAUBEN nichts eintragen2 TRAINING SPERREN Suche erlauben3 ALLES SPERREN unsichtbar in KI-Suchen
Variante 1: alles erlauben
Du musst nichts eintragen. Achte nur darauf, dass kein pauschales Verbot wie User-agent: * mit Disallow: / in der Datei steht.
Variante 2: Training sperren, Suche erlauben
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /Variante 3: alles sperren
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: Google-Extended
Disallow: /Achtung: Variante 3 macht dich in KI-Suchen weitgehend unsichtbar. Nutzerabrufe wie ChatGPT-User lassen sich damit trotzdem nicht sicher verhindern.
Der stille Blocker: CDN und Firewall
Viele Websites sperren KI-Bots, ohne es zu wissen. Der Grund liegt selten in der robots.txt, sondern eine Ebene davor: bei Firewalls, Sicherheits-Plugins und Content Delivery Networks.
KI-BOT ▼ CDN / Firewall ├─ 403 → gesperrt ▼ robots.txt ▼ Server → 200 → sichtbarrobots.txt ist nur Stufe zwei
Das bekannteste Beispiel ist Cloudflare. Seit Juli 2025 blockiert Cloudflare KI-Crawler bei neuen Kunden standardmäßig, wie die MIT Technology Review berichtete. Wer seine Seite über Cloudflare ausliefert, sollte die Bot-Einstellungen prüfen, auch wenn die robots.txt alles erlaubt.
Tipp: Prüfe in den Server-Logs, ob OAI-SearchBot, Claude-SearchBot und PerplexityBot überhaupt ankommen und welchen Statuscode sie erhalten. Ein 403 heißt: Irgendwo davor wird gesperrt.
JavaScript: was KI-Crawler sehen
Googlebot führt JavaScript aus, die meisten KI-Crawler nicht. Vercel hat das im Dezember 2024 für sein Netzwerk ausgewertet: Keiner der großen KI-Crawler, darunter die Bots von OpenAI, Anthropic und Perplexity, hat JavaScript ausgeführt. Ausnahmen waren Gemini, das über die Infrastruktur von Googlebot läuft, und AppleBot.
SERVERSEITIG GERENDERT Text steht im HTML → sichtbar CLIENTSEITIG GERENDERT Text entsteht im Browser → leere Seite für KI-Bots
Betroffen sind vor allem Websites, die mit React, Vue oder ähnlichen Frameworks gebaut sind und Inhalte erst im Browser laden. Der Test dauert eine Minute: Öffne den Seitenquelltext (nicht die Entwicklertools) und suche nach einem Satz aus deinem Text. Steht er dort nicht, sehen ihn die meisten KI-Crawler auch nicht.
Achtung: Das Verhalten der Crawler ändert sich. Prüfe vor großen Umbauten die aktuelle Dokumentation der Anbieter. Google empfiehlt für JavaScript-Websites ohnehin besondere SEO-Sorgfalt (Leitfaden zu KI-Funktionen).
Aus meiner Praxis
Auf bernard.digital lasse ich bisher alle KI-Crawler zu, auch die fürs Training. Meine robots.txt sperrt keinen einzigen Bot. Eine feste Meinung zum Training habe ich ehrlich gesagt noch nicht. Ein Teil von mir will ins Langzeitgedächtnis der Modelle, damit sie meine Definitionen kennen. Ein anderer Teil sträubt sich gegen den Gedanken, dass Sprachmodelle mit meinen Inhalten trainiert werden. Das fühlt sich an wie Plagiat. Deshalb trenne ich die beiden Fragen: Die Such-Bots lasse ich in jedem Fall zu, über das Training entscheide ich getrennt.
Häufige Fragen
Hält robots.txt KI-Crawler ab?
Die Training- und Such-Bots von OpenAI, Anthropic und Perplexity halten sich laut eigener Dokumentation daran. Abrufe auf Nutzerwunsch wie ChatGPT-User oder Perplexity-User halten sich oft nicht daran.
Ist robots.txt rechtlich bindend?
Die robots.txt ist eine technische Konvention, kein Gesetz. Für rechtliche Fragen zum Nutzungsvorbehalt solltest du eine Anwältin oder einen Anwalt fragen. Das hier ist keine Rechtsberatung.
Schadet Google-Extended meinem Google-Ranking?
Nein. Google-Extended steuert nur, ob Inhalte für Gemini und Vertex AI genutzt werden, und hat laut Google keinen Einfluss auf Aufnahme oder Ranking in der Google-Suche.
Wie sperre ich KI-Bots in WordPress?
Am einfachsten über die robots.txt im Hauptverzeichnis oder über ein SEO-Plugin, das die Datei bearbeiten kann. Prüfe danach unter deinedomain.de/robots.txt, ob die Einträge ankommen.
Weiter im Handbuch: Neben der robots.txt kursieren zwei weitere Dateiformate, die angeblich für KI wichtig sind. Was sie wirklich bringen und was stattdessen hilft, klärt das nächste Kapitel: llms.txt und Entity Map.
Quellen
- OpenAI: Overview of OpenAI Crawlers
- Anthropic: Does Anthropic crawl the web?
- Perplexity: Perplexity Crawlers
- Search Engine Roundtable: Google-Extended does not affect Google Search, Februar 2024
- Vercel: The rise of the AI crawler, Dezember 2024
- MIT Technology Review: Cloudflare will now block AI bots by default, Juli 2025
- Google Search Central: AI features and your website, Juli 2026
