KI-Crawler blocken oder zulassen? Warum das kein einzelner Schalter ist
KI-Crawler per robots.txt steuern statt blocken: was Google-Extended, GPTBot und OAI-SearchBot wirklich tun. Setup für deine Website prüfen lassen.
Mehr lesen
// glossar-eintrag
Robots.txt
Was ist robots.txt?
Die robots.txt ist eine Textdatei im Root einer Domain, die Suchmaschinen-Bots Regeln für den Zugriff auf Verzeichnisse und URLs gibt. Mit User-agent und Disallow lassen sich Bereiche vom Crawling ausschließen, mit Sitemap-Angabe die XML-Sitemap referenzieren. Wichtig: robots.txt verhindert Crawling, nicht Indexierung, für Indexierungs-Steuerung ist noindex im Seiten-Head zuständig. Bei Waterproof Web Wizard prüfen wir die robots.txt bei jedem Onboarding: fehlerhaft gesetzte Disallow-Regeln gehören zu den häufigsten Ursachen für "warum ranke ich nicht?".
// synonyme
- robots.txt
- Robots Exclusion Protocol
// weiterführend
Weiterführende Artikel & Blogposts
Google AI Mode und AI Overviews - Was sich für SEO ändert
AI Overviews bestrafen nicht dich, sondern austauschbare Antworten. So wird B2B-Industrie zitierfähig statt nur zu ranken, mit Struktur und sauberem TYPO3.
Mehr lesen
Frankreich bekommt AI Overviews bis 23. September: Was der Rollout für DACH-Websites bedeutet
Google startet AI Overviews und AI Mode in Frankreich bis 23. September 2026. Der französische Deal enthält drei Zusagen. Was DACH-Websites jetzt aus dem Nachbarland ableiten und vorbereiten.
Mehr lesen
Domain-Umzug 2026: Google verschärft Anforderungen an Change of Address
Google hat am 17.06.2026 die Migrations-Doku aktualisiert. Alle Subdomain- und WWW-Varianten muessen jetzt mit umziehen. Was wir aus der eigenen Umstellung gelernt haben.
Mehr lesen
Bot-Traffic übersteigt Menschen-Traffic: Was KMU-Websites jetzt ändern müssen
7,5 Prozent aller Web-Anfragen kommen von Bots, nicht von Menschen. Cloudflare-Daten vom Juni 2026 zeigen einen Wendepunkt, der KMU-Websites direkt trifft.
Mehr lesen
llms.txt: brauchst du die Datei für KI-Suchen?
llms.txt soll mehr Sichtbarkeit in KI-Suchen bringen. Google nutzt sie nicht. Erfahre, was wirklich zählt, und spar dir den Hype.
Mehr lesenBegriff unklar geblieben?
Lass uns 15 Minuten reden
Wenn ein Begriff aus diesem Glossar in deinem Projekt-Kontext nicht ganz klar ist, oder du wissen willst, ob das Konzept für deine Situation relevant ist, frag uns. Erstgespräch ist kostenlos und unverbindlich.