Das Wichtigste in Kürze
- "KI-Crawler blocken" ist keine einzelne Einstellung. Es sind mehrere Crawler mit unterschiedlichen Aufgaben, und du steuerst sie einzeln.
- Wichtigste Trennung: Trainings-Crawler holen Text für KI-Modelle. Such-Crawler entscheiden, ob du in KI-Antworten auftauchst. Das sind verschiedene Bots.
- Google-Extended blocken hält deine Inhalte aus dem Gemini-Training. Es wirft dich laut Google-Doku nicht aus der Suche und nicht aus den AI Overviews.
- GPTBot blocken stoppt nur das Training bei OpenAI. Ob du in der ChatGPT-Suche zitiert wirst, steuert ein anderer Bot: OAI-SearchBot.
- Erst die Frage klären, was du schützen willst. Dann die passenden Bots setzen. Pauschal alles blocken kostet oft Sichtbarkeit, die du eigentlich willst.
Ein wachsender Teil der Zugriffe auf deine Website kommt 2026 nicht mehr von Menschen, sondern von Bots. Viele reagieren mit einem Reflex: KI-Crawler raus, alles blocken, Ruhe haben.
Der Reflex ist verständlich. Nur führt er oft ins Gegenteil. "KI-Crawler blocken" klingt nach einem Schalter, den man umlegt. In Wahrheit sind es mehrere Bots mit verschiedenen Jobs. Blockst du den falschen, verschwindest du aus KI-Antworten, in denen du eigentlich stehen möchtest. Blockst du einen anderen im Glauben, du sperrst die KI-Suche aus, passiert dort gar nichts.
In diesem Beitrag zeigen wir dir, welcher Bot was macht, welche zwei Missverständnisse am teuersten sind und mit welchen drei Fragen du selbst zu einer sauberen Entscheidung kommst. Ohne Hype, mit Blick in die offizielle Doku der Anbieter.
Worum es wirklich geht: drei Arten von Crawlern
Ein Crawler (ein Programm, das Websites automatisch abruft und liest) ist nicht gleich Crawler. Bei KI-Diensten lohnt sich eine simple Einteilung in drei Rollen.
1. Trainings-Crawler. Sie sammeln Text, damit ein KI-Modell daraus lernt. Beispiele: Google-Extended (für Gemini) und GPTBot (für die Modelle von OpenAI). Blockst du sie, wird dein Inhalt nicht fürs Training genutzt. Deine Sichtbarkeit in der normalen Suche berührt das nicht.
2. Such-Crawler. Sie entscheiden, ob deine Seite in einer KI-Antwort als Quelle auftaucht. Beispiele: Googlebot (Basis für die AI Overviews) und OAI-SearchBot (für die ChatGPT-Suche). Diese Bots willst du in der Regel hereinlassen, wenn du in KI-Antworten sichtbar sein möchtest.
3. Live-Abruf-Crawler. Sie holen eine Seite genau dann, wenn ein Nutzer sie anfragt. Beispiel: ChatGPT-User, der eine URL abruft, die jemand in den Chat einfügt. Das ist kein Massen-Crawling, sondern ein einzelner Abruf auf Nutzer-Wunsch.
Der entscheidende Punkt: Diese Rollen hängen nicht zusammen. Einen Trainings-Crawler zu blocken, sagt nichts über deine Sichtbarkeit in der KI-Suche. Genau hier passieren die teuren Fehler.
Wie du Crawler überhaupt steuerst: robots.txt
Die Steuerung läuft über die robots.txt. Das ist eine kleine Textdatei im Wurzelverzeichnis deiner Domain (erreichbar unter deine-domain.de/robots.txt). Darin sagst du pro Bot, was er darf.
Ein Beispiel, das Training aussperrt und die Such-Sichtbarkeit behält:
``` # Trainings-Crawler aussperren User-agent: Google-Extended Disallow: /
User-agent: GPTBot Disallow: /
User-agent: CCBot Disallow: /
# Such-Crawler ausdrücklich zulassen User-agent: OAI-SearchBot Allow: / ```
Zwei ehrliche Hinweise dazu. Erstens: Was du nicht sperrst, bleibt erlaubt. Googlebot musst du also nicht extra freigeben, er darf ohne Verbot ohnehin. Zweitens, und wichtiger: robots.txt ist eine Bitte, kein Zaun. Seriöse Anbieter wie Google und OpenAI halten sich daran. Es ist aber keine technische Zugriffssperre. Wer wirklich unerwünschte Bots aussperren muss, braucht zusätzlich eine Firewall oder eine Sperre auf Serverebene.
Missverständnis 1: "Google-Extended blocken versteckt mich vor der KI-Suche"
Das ist der häufigste Irrtum, und er kostet Sichtbarkeit oder Nerven, je nachdem.
Google-Extended ist kein eigener Bot, der herumkrabbelt. Es ist ein reiner Steuer-Token in der robots.txt. Damit legst du fest, ob Google deine Inhalte für das Training und das Grounding seiner Gemini-Modelle nutzen darf (Grounding heißt: aktuelle Inhalte zur Antwort dazuziehen). Google schreibt in seiner Doku klar: Google-Extended hat keinen Einfluss auf die Aufnahme einer Seite in die Google-Suche und ist kein Ranking-Signal.
Und die AI Overviews (die KI-Antwort oben in den Google-Ergebnissen)? Die laufen laut Google über die normale Suche. Voraussetzung, um dort als Quelle zu erscheinen: Deine Seite ist indexiert und für ein Snippet geeignet. Gesteuert wird das über Googlebot und die üblichen Snippet-Einstellungen, nicht über Google-Extended.
Im Klartext: Wenn du Google-Extended sperrst, schützt du deinen Text vor dem Gemini-Training. Aus den AI Overviews wirft dich das nicht. Wer glaubt, mit dieser einen Zeile aus der KI-Suche zu verschwinden, irrt. Und wer sie meidet, weil er Angst um sein Ranking hat, kann beruhigt sein.
Missverständnis 2: "GPTBot blocken stoppt meine Zitate in ChatGPT"
Das zweite Missverständnis spiegelt das erste, nur bei OpenAI.
OpenAI trennt seine Bots sauber. GPTBot sammelt Inhalte fürs Modell-Training. OAI-SearchBot ist der Bot, der Seiten in der ChatGPT-Suche als Quelle sichtbar macht. Und ChatGPT-User ruft eine Seite ab, wenn ein Nutzer sie direkt anfragt.
Jetzt die Konsequenz. Blockst du GPTBot, stoppst du nur das Training. Deine Zitate in der ChatGPT-Suche berührt das nicht. Die hängen an OAI-SearchBot. OpenAI schreibt es deutlich: Seiten, die OAI-SearchBot ausschließen, werden in den ChatGPT-Such-Antworten nicht gezeigt.
Daraus folgt eine klare Regel. Willst du dein Material vor dem Training schützen, aber in der ChatGPT-Suche zitiert werden? Dann blockst du GPTBot und lässt OAI-SearchBot zu. Sperrst du beide pauschal, verschenkst du die Sichtbarkeit, die für viele B2B-Firmen der eigentliche Grund ist, überhaupt über KI-Suche nachzudenken.
Perplexity, Common Crawl und der Rest
Zwei weitere Namen begegnen dir oft. PerplexityBot holt Inhalte für die Antworten von Perplexity. Laut deren Hilfe hält er sich an die robots.txt. Blockst du ihn, sinkt deine Chance, in Perplexity-Antworten zu erscheinen.
CCBot gehört zu Common Crawl, einem offenen Web-Datensatz, den viele KI-Projekte als Rohstoff nutzen. Auch CCBot befolgt die robots.txt. Sperrst du ihn, landet dein Inhalt nicht im Common-Crawl-Archiv.
Es gibt noch mehr Bots, und die Liste ändert sich. Deshalb ist Auswendiglernen der falsche Weg. Der richtige Weg ist ein Prinzip: Ordne jeden Bot einer der drei Rollen zu (Training, Suche, Live-Abruf). Dann weißt du, was ein Verbot bewirkt.
Die drei Fragen, die deine Entscheidung wirklich treffen
Feature-Listen und Bot-Namen führen in die Irre. In der Praxis entscheiden drei nüchterne Fragen. Das ist das Raster, an dem wir Projekte durchgehen.
- Willst du verhindern, dass dein Inhalt KI-Modelle trainiert? Wenn ja, sperrst du die Trainings-Crawler: Google-Extended, GPTBot, CCBot. Das ist eine Haltungsfrage, kein SEO-Hebel.
- Willst du in KI-Antworten sichtbar bleiben? Wenn ja, lässt du die Such-Crawler herein: Googlebot für die AI Overviews, OAI-SearchBot für die ChatGPT-Suche, PerplexityBot für Perplexity. Beides gleichzeitig zu wollen (kein Training, aber Sichtbarkeit) ist völlig legitim und technisch möglich.
- Geht es dir eigentlich um Server-Last? Wenn dein Anlass hoher Bot-Verkehr ist, löst robots.txt das nur halb. Last drosselst du besser über Serverregeln oder eine Firewall. Das ist eine andere Baustelle als die Sichtbarkeitsfrage.
Wenn du diese drei Fragen ehrlich beantwortest, ergibt sich die robots.txt fast von allein.
Was das für den B2B-Mittelstand heißt
Für viele mittelständische Firmen ist die zweite Frage die wichtigste. Wer im Vertrieb auf Anfragen aus der Suche angewiesen ist, will in KI-Antworten vorkommen, nicht daraus verschwinden. Für die gilt: Such-Crawler offen halten, und beim Training in Ruhe entscheiden.
Anders sieht es aus, wenn eigener Fachtext ein echtes Kapital ist, etwa aufwändige Studien oder geschützte Methoden. Dann kann es sinnvoll sein, das Training zu sperren und trotzdem in der Suche sichtbar zu bleiben. Genau diese Kombination ist möglich, wird aber selten sauber gesetzt.
Und noch ein Punkt, der oft untergeht: robots.txt ist keine einmalige Sache. Es kommen neue Bots dazu, alte ändern ihre Namen. Ein Blick pro Quartal reicht meist. Aber ganz ohne Pflege veraltet die Datei, wie jede Technik im Hintergrund.
Was wir daraus mitnehmen
Ein offenes Wort aus der Praxis. Wir betreuen robots.txt und Crawling seit 2007, quer durch TYPO3, WordPress und Neos. Was wir dabei immer wieder sehen: Die meisten "KI blocken"-Entscheidungen fallen aus Bauchgefühl, nicht aus einer klaren Frage.
Das Muster ist fast immer gleich. Jemand liest eine Schlagzeile über KI-Crawler, kopiert eine robots.txt aus einem Forum und sperrt pauschal alles, was nach KI klingt. Wochen später wundert man sich, warum die Firma in der ChatGPT-Suche nicht mehr auftaucht. Der Grund steht dann in genau der kopierten Datei.
Der ruhigere Weg ist unspektakulär: erst klären, was du schützen willst, dann die passenden Bots setzen. Nicht andersherum.
Fazit
KI-Crawler blocken oder zulassen: Die Antwort steckt nicht in einer Zeile, sondern in deiner Absicht. Trainings-Crawler wie Google-Extended und GPTBot steuern, ob dein Text KI-Modelle füttert. Such-Crawler wie Googlebot und OAI-SearchBot steuern, ob du in KI-Antworten sichtbar bist. Das sind zwei getrennte Fragen.
Geh die drei Fragen durch. Sie führen dich näher zur richtigen robots.txt als jede fertige Vorlage aus dem Netz. Und wenn du unsicher bist, ob dein aktuelles Setup dich eher schützt oder eher unsichtbar macht, lässt sich das in einem kurzen Blick klären.
→ robots.txt und KI-Crawler-Setup für deine Website prüfen lassen
Häufige Fragen
Schadet es meinem Google-Ranking, wenn ich Google-Extended blocke?
Nein. Google schreibt in seiner Doku, dass Google-Extended die Aufnahme in die Google-Suche nicht beeinflusst und kein Ranking-Signal ist. Du sperrst damit nur die Nutzung deiner Inhalte für das Gemini-Training. Deine Position in den Suchergebnissen bleibt davon unberührt.
Verschwinde ich aus den AI Overviews, wenn ich KI-Crawler blocke?
Das hängt vom Bot ab. Die AI Overviews laufen über die normale Google-Suche und damit über Googlebot. Google-Extended zu blocken entfernt dich laut Doku nicht daraus. Erst wenn du Googlebot selbst aussperrst oder die Seite auf noindex setzt, fällst du aus Suche und AI Overviews.
Wie bleibe ich in der ChatGPT-Suche sichtbar, ohne mein Training freizugeben?
Blocke GPTBot und lass OAI-SearchBot zu. GPTBot steuert das Training, OAI-SearchBot die Sichtbarkeit in der ChatGPT-Suche. Laut OpenAI werden Seiten, die OAI-SearchBot ausschließen, in den ChatGPT-Such-Antworten nicht gezeigt.
Hält sich jeder Bot an meine robots.txt?
Die großen, seriösen Anbieter wie Google und OpenAI halten sich daran. robots.txt ist aber eine Bitte, keine technische Sperre. Bots, die sich nicht daran halten, stoppst du nur mit einer Firewall oder einer Sperre auf Serverebene, nicht mit der robots.txt.
Löst das Blocken von KI-Crawlern mein Problem mit hohem Bot-Verkehr?
Nur teilweise. robots.txt steuert, wer crawlen darf, aber sie bremst die Server-Last nicht direkt. Wenn dich vor allem der Traffic belastet, sind Serverregeln, Rate-Limits oder eine Firewall der passendere Hebel.
Quellen
- developers.google.com: Google's common crawlers. developers.google.com
- developers.google.com: AI Features and Your Website. developers.google.com
- developers.google.com: Robots.txt Einführung/Refresher. developers.google.com
- developers.openai.com: Overview of OpenAI Crawlers. developers.openai.com
- perplexity.ai Hilfe-Center: Wie befolgt Perplexity robots.txt. perplexity.ai
- commoncrawl.org: CCBot und robots.txt. commoncrawl.org