// glossar-eintrag

Robots.txt

Was ist robots.txt?

Die robots.txt ist eine Textdatei im Root einer Domain, die Suchmaschinen-Bots Regeln für den Zugriff auf Verzeichnisse und URLs gibt. Mit User-agent und Disallow lassen sich Bereiche vom Crawling ausschließen, mit Sitemap-Angabe die XML-Sitemap referenzieren. Wichtig: robots.txt verhindert Crawling, nicht Indexierung — für Indexierungs-Steuerung ist noindex im Seiten-Head zuständig. Bei Waterproof Web Wizard prüfen wir die robots.txt bei jedem Onboarding: fehlerhaft gesetzte Disallow-Regeln gehören zu den häufigsten Ursachen für "warum ranke ich nicht?".

// synonyme

  • robots.txt
  • Robots Exclusion Protocol
Zurück zum Glossar

// weiterführend

Weiterführende Artikel & Blogposts

March 2026 Core Update: Was KMU jetzt wirklich pruefen muessen

Seit dem 27. März rollt Google ein Core Update aus. In solchen Phasen sehe ich zwei typische Fehler. Erster Fehler: Panik. Alles wird geändert. Oft wird es schlimmer. Zweiter Fehler: Ignorieren. Zwei Wochen später sind die Leads weg. Ich zeige dir hier meinen sauberen Weg dazwischen. Kurz. Praktisch. Ohne Hysterie. Was ist dieses Update überhaupt? […]

Mehr lesen

TYPO3 Website erstellen – Das ist zu beachten

Eine TYPO3-Website zu erstellen ist mehr als Core installieren und Inhalte einpflegen — Site-Package, URL-Routing, Caching und Extension-Wahl entscheiden über Performance und Wartbarkeit für Jahre. Wir zeigen dir die Bausteine, an denen sich ein solides TYPO3-Setup von einem Wartungs-Albtraum unterscheidet.

Mehr lesen

TYPO3 Suchmaschinenoptimierung: Tipps für besseres SEO

TYPO3 gilt als SEO-stark — aber nur wenn Redakteure die eingebauten Werkzeuge auch nutzen. URL-Segmente, Meta-Tags, Schema-Markup und Performance-Features sind vorhanden, werden aber oft ignoriert. Wir zeigen dir, welche TYPO3-Funktionen du aktivieren solltest und wo häufige Konfigurations-Fehler Rankings kosten.

Mehr lesen

Was ist ein SEO-Retainer und was beinhaltet er?

Ein SEO-Retainer ist kein Stunden-Deal, sondern eine strategische Vereinbarung über langfristige Rankings. Wer einen Retainer ohne klare Ziele, Reporting und Exit-Klauseln abschließt, verbrennt Budget. Wir erklären, welche Leistungen seriöse Retainer umfassen, was sie realistisch kosten und woran du eine gute Vereinbarung erkennst.

Mehr lesen

SEO-Fehler bei URL-Migration vermeiden

Eine URL-Migration ist der riskanteste SEO-Moment im Leben einer Website — ein falscher Redirect, eine vergessene Canonical, und Jahre an Rankings sind weg. Wir zeigen dir aus Migrationsprojekten die typischen Fehlerquellen und welche Checklist du vor, während und nach der URL-Umstellung abarbeiten solltest.

Mehr lesen
Begriff unklar geblieben?

Lass uns 15 Minuten reden

Wenn ein Begriff aus diesem Glossar in deinem Projekt-Kontext nicht ganz klar ist, oder du wissen willst, ob das Konzept für deine Situation relevant ist — frag uns. Erstgespräch ist kostenlos und unverbindlich.

Erstgespräch buchen Anrufen: +49 751 95899217
Kostenlos Unverbindlich 15 Minuten