Kostenloses Serponado-Tool

robots.txt Validator

Prüfe Syntax, Direktiven und Sitemap-Angabe deiner robots.txt – lokal im Browser. Optional lädt das Tool die robots.txt direkt von deiner Domain.

Start›Tools›robots.txt Validator

robots.txt prüfen

Inhalt einfügen oder von URL laden

Füge den Inhalt deiner robots.txt ein oder lade sie direkt von einer Domain. Die Prüfung bleibt lokal im Browser.

Bereit

Was gehört in eine saubere robots.txt?

User-agent + Direktiven

Jeder Block beginnt mit User-agent:, gefolgt von Allow: oder Disallow:. Blöcke werden durch eine Leerzeile getrennt.

Sitemap-Angabe

Sitemap: https://domain.de/sitemap.xml hilft Crawlern, die Sitemap zu finden. Die Direktive steht üblicherweise am Ende der Datei.

KI-Crawler

GPTBot, ClaudeBot, PerplexityBot und Google-Extended können separat gesteuert werden – falls gewünscht mit eigenem Disallow:-Block.

Hintergründe: Alle KI-Crawler-Typen vollständig erklärt unter KI-Crawler erklärt und im Glossar: KI-Crawler.

Praxiswissen

robots.txt-Regeln verstehen und gezielt einsetzen

Die robots.txt arbeitet nach dem Prinzip der spezifischsten Regel: Bei widersprüchlichen Allow- und Disallow-Anweisungen gewinnt der längere, genauere Pfad. Ein häufiges Missverständnis ist außerdem der Unterschied zwischen Crawling und Indexierung – eine per robots.txt gesperrte Seite kann trotzdem im Index landen, wenn sie extern verlinkt wird. Wer eine Seite sicher aus den Suchergebnissen halten will, braucht noindex, nicht Disallow.

Bei KI-Crawlern lohnt ein differenzierter Blick: GPTBot, ClaudeBot, PerplexityBot und Co. respektieren eigene User-agent-Gruppen, sodass du Training und KI-Suche getrennt von der klassischen Suche steuern kannst. Der Validator zeigt dir für jeden dieser Bots, welche Regel aktuell greift, und warnt bei Syntaxfehlern wie fehlenden Doppelpunkten oder ungültigen Wildcards, die sonst still ignoriert würden. Teste nach jeder Änderung eine Handvoll konkreter URLs gegen die Datei – so merkst du sofort, wenn eine neue Regel breiter greift als geplant.

Was prüft der robots.txt Validator?

Das Tool prüft die Syntax deiner robots.txt auf Fehler: fehlende User-agent-Angaben, ungültige Direktiven, leere Regeln, Kommentarfehler und ob eine Sitemap-Direktive vorhanden ist. Die Prüfung erfolgt vollständig lokal im Browser.

Ruft das Tool meine robots.txt automatisch ab?

Nur auf Wunsch. Über "Von URL laden" wird die robots.txt deiner Domain über den Serponado-Proxy abgerufen. Standardmäßig prüfst du einen eigenen Text lokal.

Was bedeutet "Disallow: /" für eine Suchmaschine?

Disallow: / unter dem passenden User-Agent blockiert den Crawler vollständig vom Indexieren aller Seiten. Das Tool warnt explizit, wenn diese riskante Regel erkannt wird.

Kann ich KI-Crawler-Regeln prüfen?

Ja. Das Tool erkennt GPTBot, ClaudeBot, PerplexityBot, Amazonbot und Google-Extended und zeigt deren Status separat an.

Serponado-Cluster