{"id":11684,"date":"2026-10-29T09:08:05","date_gmt":"2026-10-29T08:08:05","guid":{"rendered":"https:\/\/bernard.digital\/?p=11684"},"modified":"2026-10-29T09:08:05","modified_gmt":"2026-10-29T08:08:05","slug":"ki-crawler-robots-txt","status":"publish","type":"post","link":"https:\/\/bernard.digital\/de\/ki-crawler-robots-txt\/","title":{"rendered":"KI-Crawler zulassen oder blockieren: robots.txt f\u00fcr GPTBot, ClaudeBot und Co."},"content":{"rendered":"\n<p class=\"wp-block-paragraph\">Ob eine KI deine Seiten zitieren kann, entscheidet sich lange vor der Antwort: beim Crawlen. KI-Anbieter schicken eigene Bots auf deine Website, und die <a class=\"bz-term-link\" href=\"\/de\/geo-handbuch\/glossar\/ki-crawler\/\">KI-Crawler<\/a> kommen mit sehr unterschiedlichen Absichten. Manche sammeln Trainingsdaten, andere bauen einen Suchindex auf, wieder andere holen eine Seite, weil ein Nutzer gerade danach gefragt hat.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Hier bekommst du die wichtigsten Bots im \u00dcberblick, eine Entscheidungshilfe, Vorlagen f\u00fcr die robots.txt und zwei Fallen, die viele Websites unsichtbar machen.<\/p>\n\n\n\n<div class=\"wp-block-group bz-callout-yellow has-text-color has-background is-layout-constrained wp-container-core-group-is-layout-7ff68f20 wp-block-group-is-layout-constrained\" style=\"border-radius:15px;color:#161514;background-color:#ffff9e;padding-top:28px;padding-right:32px;padding-bottom:20px;padding-left:32px\">\n<h2 class=\"wp-block-heading\">Das Wichtigste in K\u00fcrze<\/h2>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Drei Arten von Bots:<\/strong> Training, Suche und Abruf auf Nutzerwunsch. Jede l\u00e4sst sich getrennt steuern.<\/li>\n\n\n<li><strong>Training sperren, Suche erlauben:<\/strong> Das ist m\u00f6glich. Du bleibst in KI-Suchen sichtbar, ohne Trainingsdaten zu liefern.<\/li>\n\n\n<li><strong>Nutzerabrufe:<\/strong> ChatGPT-User und Perplexity-User halten sich laut den Anbietern oft nicht an robots.txt.<\/li>\n\n\n<li><strong>Google-Extended<\/strong> steuert nur das Training f\u00fcr Gemini, nicht die Google-Suche.<\/li>\n\n\n<li><strong>JavaScript:<\/strong> Die meisten KI-Crawler f\u00fchren kein JavaScript aus. Inhalte, die erst im Browser entstehen, sehen sie nicht.<\/li>\n<\/ul>\n<\/div>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Auf dieser Seite findest du:<\/strong><\/p>\n\n\n\n<ul class=\"wp-block-list bz-toc\">\n<li><a href=\"#bots\">Drei Arten von KI-Bots<\/a><\/li>\n\n\n<li><a href=\"#entscheidung\">Was du zulassen solltest<\/a><\/li>\n\n\n<li><a href=\"#vorlagen\">robots.txt-Vorlagen<\/a><\/li>\n\n\n<li><a href=\"#firewall\">Der stille Blocker: CDN und Firewall<\/a><\/li>\n\n\n<li><a href=\"#javascript\">JavaScript: was KI-Crawler sehen<\/a><\/li>\n\n\n<li><a href=\"#faq\">H\u00e4ufige Fragen<\/a><\/li>\n\n\n<li><a href=\"#quellen\">Quellen<\/a><\/li>\n<\/ul>\n\n\n\n<div style=\"height:48px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"bots\">Drei Arten von KI-Bots<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Die gro\u00dfen Anbieter trennen ihre Bots inzwischen nach Zweck. Das ist die wichtigste Information f\u00fcr jede Entscheidung, denn jeder Zweck hat andere Folgen f\u00fcr deine Sichtbarkeit.<\/p>\n\n\n\n<figure class=\"bz-tx\"><figcaption>\/\/ Wof\u00fcr ein KI-Bot kommt<\/figcaption><pre><span class=\"l k\">TRAINING<\/span><span class=\"l\">  GPTBot \u00b7 ClaudeBot<\/span><span class=\"l c\">  \u2192 Wissen f\u00fcr neue Modelle<\/span><span class=\"l\"> <\/span><span class=\"l k\">SUCHE<\/span><span class=\"l\">  OAI-SearchBot \u00b7 Claude-SearchBot<\/span><span class=\"l\">  PerplexityBot<\/span><span class=\"l y\">  \u2192 Index f\u00fcr KI-Suchen<\/span><span class=\"l\"> <\/span><span class=\"l k\">NUTZERABRUF<\/span><span class=\"l\">  ChatGPT-User \u00b7 Claude-User<\/span><span class=\"l\">  Perplexity-User<\/span><span class=\"l c\">  \u2192 eine Seite f\u00fcr eine Frage<\/span><\/pre><\/figure>\n\n\n\n<figure class=\"wp-block-table\"><table><thead><tr><th>Bot<\/th><th>Zweck und Regel<\/th><\/tr><\/thead><tbody><tr><td>GPTBot<\/td><td><strong>OpenAI \u00b7 Training<\/strong><br>h\u00e4lt sich an robots.txt<\/td><\/tr><tr><td>OAI-SearchBot<\/td><td><strong>OpenAI \u00b7 ChatGPT-Suche<\/strong><br>h\u00e4lt sich an robots.txt<\/td><\/tr><tr><td>ChatGPT-User<\/td><td><strong>OpenAI \u00b7 Abruf auf Nutzerwunsch<\/strong><br>robots.txt gilt laut OpenAI oft nicht<\/td><\/tr><tr><td>ClaudeBot<\/td><td><strong>Anthropic \u00b7 Training<\/strong><br>h\u00e4lt sich an robots.txt<\/td><\/tr><tr><td>Claude-SearchBot<\/td><td><strong>Anthropic \u00b7 Suche<\/strong><br>h\u00e4lt sich an robots.txt<\/td><\/tr><tr><td>Claude-User<\/td><td><strong>Anthropic \u00b7 Abruf auf Nutzerwunsch<\/strong><br>h\u00e4lt sich an robots.txt<\/td><\/tr><tr><td>PerplexityBot<\/td><td><strong>Perplexity \u00b7 Suche<\/strong><br>h\u00e4lt sich an robots.txt<\/td><\/tr><tr><td>Perplexity-User<\/td><td><strong>Perplexity \u00b7 Abruf auf Nutzerwunsch<\/strong><br>ignoriert robots.txt meist<\/td><\/tr><tr><td>Google-Extended<\/td><td><strong>Google \u00b7 Gemini-Training<\/strong><br>kein eigener Crawler, nur ein Steuerzeichen in robots.txt<\/td><\/tr><\/tbody><\/table><figcaption class=\"wp-element-caption\">Stand Oktober 2026, laut Dokumentation der Anbieter.<\/figcaption><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Quellen: <a href=\"https:\/\/developers.openai.com\/docs\/bots\" target=\"_blank\" rel=\"noreferrer noopener\">OpenAI<\/a>, <a href=\"https:\/\/support.claude.com\/en\/articles\/8896518-does-anthropic-crawl-the-web\" target=\"_blank\" rel=\"noreferrer noopener\">Anthropic<\/a>, <a href=\"https:\/\/docs.perplexity.ai\/docs\/resources\/perplexity-crawlers\" target=\"_blank\" rel=\"noreferrer noopener\">Perplexity<\/a>, zu Google-Extended <a href=\"https:\/\/seroundtable.com\/google-extended-seo-36865.html\" target=\"_blank\" rel=\"noreferrer noopener\">Search Engine Roundtable<\/a>.<\/p>\n\n\n\n<blockquote class=\"wp-block-quote is-layout-flow wp-block-quote-is-layout-flow\">\n<p class=\"wp-block-paragraph\">Wer Training-Bots ausschlie\u00dft, muss nicht auf KI-Suchen verzichten.<\/p>\n<\/blockquote>\n\n\n\n<div style=\"height:48px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"entscheidung\">Was du zulassen solltest<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Zwei Fragen reichen f\u00fcr die Entscheidung. Die erste ist eine Marketingfrage, die zweite eine Gesch\u00e4ftsfrage.<\/p>\n\n\n\n<figure class=\"bz-tx\"><figcaption>\/\/ Entscheidungshilfe<\/figcaption><pre><span class=\"l k\">IN KI-SUCHEN GENANNT WERDEN?<\/span><span class=\"l y\">  \u251c\u2500 ja   \u2192 Such-Bots erlauben<\/span><span class=\"l\">  \u2514\u2500 nein \u2192 Such-Bots sperren<\/span><span class=\"l\"> <\/span><span class=\"l k\">INHALTE F\u00dcRS TRAINING FREIGEBEN?<\/span><span class=\"l\">  \u251c\u2500 ja   \u2192 nichts tun<\/span><span class=\"l y\">  \u2514\u2500 nein \u2192 Training-Bots sperren<\/span><\/pre><\/figure>\n\n\n\n<p class=\"has-background wp-block-paragraph\" style=\"background-color:#c3e6ff\">Meine Empfehlung: Unternehmen, die gefunden werden wollen, erlauben die Such-Bots immer. Ob du das Training sperrst, ist eine Frage nach dem Wert deiner Inhalte, keine SEO-Frage. F\u00fcr die meisten Dienstleister \u00fcberwiegt der Vorteil, im Wissen der Modelle vorzukommen.<\/p>\n\n\n\n<div style=\"height:48px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"vorlagen\">robots.txt-Vorlagen<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Die robots.txt liegt im Hauptverzeichnis deiner Domain. Fehlt ein Eintrag f\u00fcr einen Bot, darf er alles. \u00c4nderungen greifen laut OpenAI und Perplexity nach etwa 24 Stunden.<\/p>\n\n\n\n<figure class=\"bz-tx\"><figcaption>\/\/ Drei Varianten<\/figcaption><pre><span class=\"l k\">1 ALLES ERLAUBEN<\/span><span class=\"l\">  nichts eintragen<\/span><span class=\"l y\">2 TRAINING SPERREN<\/span><span class=\"l y\">  Suche erlauben<\/span><span class=\"l k\">3 ALLES SPERREN<\/span><span class=\"l c\">  unsichtbar in KI-Suchen<\/span><\/pre><\/figure>\n\n\n\n<h3 class=\"wp-block-heading\">Variante 1: alles erlauben<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Du musst nichts eintragen. Achte nur darauf, dass kein pauschales Verbot wie <code>User-agent: *<\/code> mit <code>Disallow: \/<\/code> in der Datei steht.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Variante 2: Training sperren, Suche erlauben<\/h3>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: GPTBot\nDisallow: \/\n\nUser-agent: ClaudeBot\nDisallow: \/\n\nUser-agent: Google-Extended\nDisallow: \/\n\nUser-agent: OAI-SearchBot\nAllow: \/\n\nUser-agent: Claude-SearchBot\nAllow: \/\n\nUser-agent: PerplexityBot\nAllow: \/<\/code><\/pre>\n\n\n\n<h3 class=\"wp-block-heading\">Variante 3: alles sperren<\/h3>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: GPTBot\nDisallow: \/\n\nUser-agent: OAI-SearchBot\nDisallow: \/\n\nUser-agent: ClaudeBot\nDisallow: \/\n\nUser-agent: Claude-SearchBot\nDisallow: \/\n\nUser-agent: PerplexityBot\nDisallow: \/\n\nUser-agent: Google-Extended\nDisallow: \/<\/code><\/pre>\n\n\n\n<p class=\"has-background wp-block-paragraph\" style=\"background-color:#fff2cc\">Achtung: Variante 3 macht dich in KI-Suchen weitgehend unsichtbar. Nutzerabrufe wie ChatGPT-User lassen sich damit trotzdem nicht sicher verhindern.<\/p>\n\n\n\n<div style=\"height:48px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"firewall\">Der stille Blocker: CDN und Firewall<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Viele Websites sperren KI-Bots, ohne es zu wissen. Der Grund liegt selten in der robots.txt, sondern eine Ebene davor: bei Firewalls, Sicherheits-Plugins und Content Delivery Networks.<\/p>\n\n\n\n<figure class=\"bz-tx\"><figcaption>\/\/ Wo ein Bot h\u00e4ngen bleibt<\/figcaption><pre><span class=\"l k\">KI-BOT<\/span><span class=\"l\">  \u25bc<\/span><span class=\"l\">  CDN \/ Firewall<\/span><span class=\"l y\">  \u251c\u2500 403 \u2192 gesperrt<\/span><span class=\"l\">  \u25bc<\/span><span class=\"l\">  robots.txt<\/span><span class=\"l\">  \u25bc<\/span><span class=\"l\">  Server \u2192 200 \u2192 sichtbar<\/span><span class=\"l c\">robots.txt ist nur Stufe zwei<\/span><\/pre><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Das bekannteste Beispiel ist Cloudflare. Seit Juli 2025 blockiert Cloudflare KI-Crawler bei neuen Kunden standardm\u00e4\u00dfig, wie die <a href=\"https:\/\/www.technologyreview.com\/2025\/07\/01\/1119498\/cloudflare-will-now-by-default-block-ai-bots-from-crawling-its-clients-websites\/\" target=\"_blank\" rel=\"noreferrer noopener\">MIT Technology Review<\/a> berichtete. Wer seine Seite \u00fcber Cloudflare ausliefert, sollte die Bot-Einstellungen pr\u00fcfen, auch wenn die robots.txt alles erlaubt.<\/p>\n\n\n\n<p class=\"has-background wp-block-paragraph\" style=\"background-color:#c3e6ff\">Tipp: Pr\u00fcfe in den Server-Logs, ob OAI-SearchBot, Claude-SearchBot und PerplexityBot \u00fcberhaupt ankommen und welchen Statuscode sie erhalten. Ein 403 hei\u00dft: Irgendwo davor wird gesperrt.<\/p>\n\n\n\n<div style=\"height:48px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"javascript\">JavaScript: was KI-Crawler sehen<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Googlebot f\u00fchrt JavaScript aus, die meisten KI-Crawler nicht. Vercel hat das im <a href=\"https:\/\/vercel.com\/blog\/the-rise-of-the-ai-crawler\" target=\"_blank\" rel=\"noreferrer noopener\">Dezember 2024<\/a> f\u00fcr sein Netzwerk ausgewertet: Keiner der gro\u00dfen KI-Crawler, darunter die Bots von OpenAI, Anthropic und Perplexity, hat JavaScript ausgef\u00fchrt. Ausnahmen waren Gemini, das \u00fcber die Infrastruktur von Googlebot l\u00e4uft, und AppleBot.<\/p>\n\n\n\n<figure class=\"bz-tx\"><figcaption>\/\/ Was ein Crawler ohne JavaScript sieht<\/figcaption><pre><span class=\"l k\">SERVERSEITIG GERENDERT<\/span><span class=\"l\">  Text steht im HTML<\/span><span class=\"l y\">  \u2192 sichtbar<\/span><span class=\"l\"> <\/span><span class=\"l k\">CLIENTSEITIG GERENDERT<\/span><span class=\"l\">  Text entsteht im Browser<\/span><span class=\"l c\">  \u2192 leere Seite f\u00fcr KI-Bots<\/span><\/pre><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Betroffen sind vor allem Websites, die mit React, Vue oder \u00e4hnlichen Frameworks gebaut sind und Inhalte erst im Browser laden. Der Test dauert eine Minute: \u00d6ffne den Seitenquelltext (nicht die Entwicklertools) und suche nach einem Satz aus deinem Text. Steht er dort nicht, sehen ihn die meisten KI-Crawler auch nicht.<\/p>\n\n\n\n<p class=\"has-background wp-block-paragraph\" style=\"background-color:#fff2cc\">Achtung: Das Verhalten der Crawler \u00e4ndert sich. Pr\u00fcfe vor gro\u00dfen Umbauten die aktuelle Dokumentation der Anbieter. Google empfiehlt f\u00fcr JavaScript-Websites ohnehin besondere SEO-Sorgfalt (<a href=\"https:\/\/developers.google.com\/search\/docs\/fundamentals\/ai-optimization-guide\" target=\"_blank\" rel=\"noreferrer noopener\">Leitfaden zu KI-Funktionen<\/a>).<\/p>\n\n\n\n<div class=\"wp-block-group bz-callout-dark has-text-color has-background is-layout-constrained wp-container-core-group-is-layout-e8f27b5c wp-block-group-is-layout-constrained\" style=\"border-radius:15px;color:#f4f2ef;background-color:#161514;padding-top:32px;padding-right:36px;padding-bottom:28px;padding-left:36px\">\n<p class=\"bz-callout-eyebrow wp-block-paragraph\">Aus meiner Praxis<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Auf bernard.digital lasse ich bisher alle KI-Crawler zu, auch die f\u00fcrs Training. Meine robots.txt sperrt keinen einzigen Bot. Eine feste Meinung zum Training habe ich ehrlich gesagt noch nicht. Ein Teil von mir will ins Langzeitged\u00e4chtnis der Modelle, damit sie meine Definitionen kennen. Ein anderer Teil str\u00e4ubt sich gegen den Gedanken, dass Sprachmodelle mit meinen Inhalten trainiert werden. Das f\u00fchlt sich an wie Plagiat. Deshalb trenne ich die beiden Fragen: Die Such-Bots lasse ich in jedem Fall zu, \u00fcber das Training entscheide ich getrennt.<\/p>\n<\/div>\n\n\n\n<div style=\"height:48px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"faq\">H\u00e4ufige Fragen<\/h2>\n\n\n\n<h3 class=\"wp-block-heading\">H\u00e4lt robots.txt KI-Crawler ab?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Die Training- und Such-Bots von OpenAI, Anthropic und Perplexity halten sich laut eigener Dokumentation daran. Abrufe auf Nutzerwunsch wie ChatGPT-User oder Perplexity-User halten sich oft nicht daran.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Ist robots.txt rechtlich bindend?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Die robots.txt ist eine technische Konvention, kein Gesetz. F\u00fcr rechtliche Fragen zum Nutzungsvorbehalt solltest du eine Anw\u00e4ltin oder einen Anwalt fragen. Das hier ist keine Rechtsberatung.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Schadet Google-Extended meinem Google-Ranking?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Nein. Google-Extended steuert nur, ob Inhalte f\u00fcr Gemini und Vertex AI genutzt werden, und hat laut Google keinen Einfluss auf Aufnahme oder Ranking in der Google-Suche.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Wie sperre ich KI-Bots in WordPress?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Am einfachsten \u00fcber die robots.txt im Hauptverzeichnis oder \u00fcber ein SEO-Plugin, das die Datei bearbeiten kann. Pr\u00fcfe danach unter deinedomain.de\/robots.txt, ob die Eintr\u00e4ge ankommen.<\/p>\n\n\n\n<p class=\"bz-bridge wp-block-paragraph\"><strong>Weiter im Handbuch:<\/strong> Neben der robots.txt kursieren zwei weitere Dateiformate, die angeblich f\u00fcr KI wichtig sind. Was sie wirklich bringen und was stattdessen hilft, kl\u00e4rt das n\u00e4chste Kapitel: <a href=\"\/de\/llms-txt\/\">llms.txt und Entity Map<\/a>.<\/p>\n\n\n\n<div style=\"height:48px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"quellen\">Quellen<\/h2>\n\n\n\n<ul class=\"wp-block-list\">\n<li>OpenAI: <a href=\"https:\/\/developers.openai.com\/docs\/bots\" target=\"_blank\" rel=\"noreferrer noopener\">Overview of OpenAI Crawlers<\/a><\/li>\n\n\n<li>Anthropic: <a href=\"https:\/\/support.claude.com\/en\/articles\/8896518-does-anthropic-crawl-the-web\" target=\"_blank\" rel=\"noreferrer noopener\">Does Anthropic crawl the web?<\/a><\/li>\n\n\n<li>Perplexity: <a href=\"https:\/\/docs.perplexity.ai\/docs\/resources\/perplexity-crawlers\" target=\"_blank\" rel=\"noreferrer noopener\">Perplexity Crawlers<\/a><\/li>\n\n\n<li>Search Engine Roundtable: <a href=\"https:\/\/seroundtable.com\/google-extended-seo-36865.html\" target=\"_blank\" rel=\"noreferrer noopener\">Google-Extended does not affect Google Search<\/a>, Februar 2024<\/li>\n\n\n<li>Vercel: <a href=\"https:\/\/vercel.com\/blog\/the-rise-of-the-ai-crawler\" target=\"_blank\" rel=\"noreferrer noopener\">The rise of the AI crawler<\/a>, Dezember 2024<\/li>\n\n\n<li>MIT Technology Review: <a href=\"https:\/\/www.technologyreview.com\/2025\/07\/01\/1119498\/cloudflare-will-now-by-default-block-ai-bots-from-crawling-its-clients-websites\/\" target=\"_blank\" rel=\"noreferrer noopener\">Cloudflare will now block AI bots by default<\/a>, Juli 2025<\/li>\n\n\n<li>Google Search Central: <a href=\"https:\/\/developers.google.com\/search\/docs\/fundamentals\/ai-optimization-guide\" target=\"_blank\" rel=\"noreferrer noopener\">AI features and your website<\/a>, Juli 2026<\/li>\n<\/ul>\n","protected":false},"excerpt":{"rendered":"<p>Welche KI-Bots es gibt, wof\u00fcr sie kommen und wie du sie per robots.txt steuerst: Training sperren, Suche erlauben, mit Vorlagen und den Fallen CDN und JavaScript.<\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_wp_convertkit_post_meta":{"form":"-1","landing_page":"0","tag":"0","restrict_content":"0"},"footnotes":""},"categories":[122],"tags":[],"class_list":["post-11684","post","type-post","status-publish","format-standard","category-geo"],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v28.8 - https:\/\/yoast.com\/product\/yoast-seo-wordpress\/ -->\n<title>KI-Crawler blockieren oder zulassen: robots.txt [Vorlagen]<\/title>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/bernard.digital\/de\/ki-crawler-robots-txt\/\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"KI-Crawler blockieren oder zulassen: robots.txt [Vorlagen]\" \/>\n<meta property=\"og:description\" content=\"Welche KI-Bots es gibt, wof\u00fcr sie kommen und wie du sie per robots.txt steuerst: Training sperren, Suche erlauben, mit Vorlagen und den Fallen CDN und JavaScript.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/bernard.digital\/de\/ki-crawler-robots-txt\/\" \/>\n<meta property=\"og:site_name\" content=\"bernard.digital\" \/>\n<meta property=\"article:published_time\" content=\"2026-10-29T08:08:05+00:00\" \/>\n<meta name=\"author\" content=\"Bernard Zitzer\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@BernardZitzer\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Bernard Zitzer\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"6\u00a0Minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/bernard.digital\\\/de\\\/ki-crawler-robots-txt\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/bernard.digital\\\/de\\\/ki-crawler-robots-txt\\\/\"},\"author\":{\"name\":\"Bernard Zitzer\",\"@id\":\"https:\\\/\\\/bernard.digital\\\/de\\\/#\\\/schema\\\/person\\\/f1805ea4f33fa8bb2024847266a4b81e\"},\"headline\":\"KI-Crawler zulassen oder blockieren: robots.txt f\u00fcr GPTBot, ClaudeBot und Co.\",\"datePublished\":\"2026-10-29T08:08:05+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/bernard.digital\\\/de\\\/ki-crawler-robots-txt\\\/\"},\"wordCount\":1051,\"articleSection\":[\"GEO\"],\"inLanguage\":\"de\"},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/bernard.digital\\\/de\\\/ki-crawler-robots-txt\\\/\",\"url\":\"https:\\\/\\\/bernard.digital\\\/de\\\/ki-crawler-robots-txt\\\/\",\"name\":\"KI-Crawler blockieren oder zulassen: robots.txt [Vorlagen]\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/bernard.digital\\\/de\\\/#website\"},\"datePublished\":\"2026-10-29T08:08:05+00:00\",\"author\":{\"@id\":\"https:\\\/\\\/bernard.digital\\\/de\\\/#\\\/schema\\\/person\\\/f1805ea4f33fa8bb2024847266a4b81e\"},\"breadcrumb\":{\"@id\":\"https:\\\/\\\/bernard.digital\\\/de\\\/ki-crawler-robots-txt\\\/#breadcrumb\"},\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/bernard.digital\\\/de\\\/ki-crawler-robots-txt\\\/\"]}]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/bernard.digital\\\/de\\\/ki-crawler-robots-txt\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Start\",\"item\":\"https:\\\/\\\/bernard.digital\\\/de\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"KI-Crawler zulassen oder blockieren: robots.txt f\u00fcr GPTBot, ClaudeBot und Co.\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/bernard.digital\\\/de\\\/#website\",\"url\":\"https:\\\/\\\/bernard.digital\\\/de\\\/\",\"name\":\"bernard.digital\",\"description\":\"\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/bernard.digital\\\/de\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"de\"},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/bernard.digital\\\/de\\\/#\\\/schema\\\/person\\\/f1805ea4f33fa8bb2024847266a4b81e\",\"name\":\"Bernard Zitzer\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/24b78f3f96e5b588272554226fe171e525c02d1c70395a51588c831c55374a90?s=96&d=mm&r=g\",\"url\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/24b78f3f96e5b588272554226fe171e525c02d1c70395a51588c831c55374a90?s=96&d=mm&r=g\",\"contentUrl\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/24b78f3f96e5b588272554226fe171e525c02d1c70395a51588c831c55374a90?s=96&d=mm&r=g\",\"caption\":\"Bernard Zitzer\"},\"description\":\"Ich bin Bernard Zitzer, SEO- und GEO-Berater aus Berlin. Ich bringe Marken in Google und in KI-Antworten nach vorn und arbeite daf\u00fcr mit h\u00f6chstens f\u00fcnf Dauerkunden und einem Projektkunden gleichzeitig.\",\"sameAs\":[\"https:\\\/\\\/bernard.digital\",\"https:\\\/\\\/www.linkedin.com\\\/in\\\/bernardzitzer\\\/\",\"https:\\\/\\\/x.com\\\/BernardZitzer\"],\"url\":\"https:\\\/\\\/bernard.digital\\\/de\\\/author\\\/bernard\\\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"KI-Crawler blockieren oder zulassen: robots.txt [Vorlagen]","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/bernard.digital\/de\/ki-crawler-robots-txt\/","og_locale":"de_DE","og_type":"article","og_title":"KI-Crawler blockieren oder zulassen: robots.txt [Vorlagen]","og_description":"Welche KI-Bots es gibt, wof\u00fcr sie kommen und wie du sie per robots.txt steuerst: Training sperren, Suche erlauben, mit Vorlagen und den Fallen CDN und JavaScript.","og_url":"https:\/\/bernard.digital\/de\/ki-crawler-robots-txt\/","og_site_name":"bernard.digital","article_published_time":"2026-10-29T08:08:05+00:00","author":"Bernard Zitzer","twitter_card":"summary_large_image","twitter_creator":"@BernardZitzer","twitter_misc":{"Verfasst von":"Bernard Zitzer","Gesch\u00e4tzte Lesezeit":"6\u00a0Minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/bernard.digital\/de\/ki-crawler-robots-txt\/#article","isPartOf":{"@id":"https:\/\/bernard.digital\/de\/ki-crawler-robots-txt\/"},"author":{"name":"Bernard Zitzer","@id":"https:\/\/bernard.digital\/de\/#\/schema\/person\/f1805ea4f33fa8bb2024847266a4b81e"},"headline":"KI-Crawler zulassen oder blockieren: robots.txt f\u00fcr GPTBot, ClaudeBot und Co.","datePublished":"2026-10-29T08:08:05+00:00","mainEntityOfPage":{"@id":"https:\/\/bernard.digital\/de\/ki-crawler-robots-txt\/"},"wordCount":1051,"articleSection":["GEO"],"inLanguage":"de"},{"@type":"WebPage","@id":"https:\/\/bernard.digital\/de\/ki-crawler-robots-txt\/","url":"https:\/\/bernard.digital\/de\/ki-crawler-robots-txt\/","name":"KI-Crawler blockieren oder zulassen: robots.txt [Vorlagen]","isPartOf":{"@id":"https:\/\/bernard.digital\/de\/#website"},"datePublished":"2026-10-29T08:08:05+00:00","author":{"@id":"https:\/\/bernard.digital\/de\/#\/schema\/person\/f1805ea4f33fa8bb2024847266a4b81e"},"breadcrumb":{"@id":"https:\/\/bernard.digital\/de\/ki-crawler-robots-txt\/#breadcrumb"},"inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/bernard.digital\/de\/ki-crawler-robots-txt\/"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/bernard.digital\/de\/ki-crawler-robots-txt\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Start","item":"https:\/\/bernard.digital\/de\/"},{"@type":"ListItem","position":2,"name":"KI-Crawler zulassen oder blockieren: robots.txt f\u00fcr GPTBot, ClaudeBot und Co."}]},{"@type":"WebSite","@id":"https:\/\/bernard.digital\/de\/#website","url":"https:\/\/bernard.digital\/de\/","name":"bernard.digital","description":"","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/bernard.digital\/de\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"de"},{"@type":"Person","@id":"https:\/\/bernard.digital\/de\/#\/schema\/person\/f1805ea4f33fa8bb2024847266a4b81e","name":"Bernard Zitzer","image":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/secure.gravatar.com\/avatar\/24b78f3f96e5b588272554226fe171e525c02d1c70395a51588c831c55374a90?s=96&d=mm&r=g","url":"https:\/\/secure.gravatar.com\/avatar\/24b78f3f96e5b588272554226fe171e525c02d1c70395a51588c831c55374a90?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/24b78f3f96e5b588272554226fe171e525c02d1c70395a51588c831c55374a90?s=96&d=mm&r=g","caption":"Bernard Zitzer"},"description":"Ich bin Bernard Zitzer, SEO- und GEO-Berater aus Berlin. Ich bringe Marken in Google und in KI-Antworten nach vorn und arbeite daf\u00fcr mit h\u00f6chstens f\u00fcnf Dauerkunden und einem Projektkunden gleichzeitig.","sameAs":["https:\/\/bernard.digital","https:\/\/www.linkedin.com\/in\/bernardzitzer\/","https:\/\/x.com\/BernardZitzer"],"url":"https:\/\/bernard.digital\/de\/author\/bernard\/"}]}},"_links":{"self":[{"href":"https:\/\/bernard.digital\/de\/wp-json\/wp\/v2\/posts\/11684","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/bernard.digital\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/bernard.digital\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/bernard.digital\/de\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/bernard.digital\/de\/wp-json\/wp\/v2\/comments?post=11684"}],"version-history":[{"count":6,"href":"https:\/\/bernard.digital\/de\/wp-json\/wp\/v2\/posts\/11684\/revisions"}],"predecessor-version":[{"id":11798,"href":"https:\/\/bernard.digital\/de\/wp-json\/wp\/v2\/posts\/11684\/revisions\/11798"}],"wp:attachment":[{"href":"https:\/\/bernard.digital\/de\/wp-json\/wp\/v2\/media?parent=11684"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/bernard.digital\/de\/wp-json\/wp\/v2\/categories?post=11684"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/bernard.digital\/de\/wp-json\/wp\/v2\/tags?post=11684"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}