Was Robots-Meta bedeutet
Das Robots-Meta-Tag (<meta name="robots">) steht im Head einer Seite und gibt Suchmaschinen Anweisungen für genau diese Seite. Die wichtigsten Werte:
Robots-Meta-Angaben gehören zur technischen Crawler-Steuerung. Sie zeigen Suchmaschinen, ob eine Seite indexiert werden darf und welche Follow-Signale für Links auf der Seite gelten sollen.
- index / noindex – soll die Seite in den Index aufgenommen werden?
- follow / nofollow – sollen die Links auf der Seite verfolgt werden?
Ohne Angabe gilt der Standard index, follow – die Seite darf also indexiert werden und Links werden verfolgt.
Der entscheidende Unterschied zur robots.txt
Hier passieren die häufigsten Fehler: Die robots.txt steuert das Crawlen (Abrufen), das Robots-Meta das Indexieren. Wer eine Seite per robots.txt sperrt, verhindert, dass Google das noindex im Meta-Tag überhaupt liest – die Seite kann dann trotzdem (ohne Beschreibung) im Index landen. Wer eine Seite zuverlässig aus dem Index halten will, lässt sie crawlbar und setzt noindex.
Merksatz: robots.txt = „Darfst du reinschauen?“, Robots-Meta = „Darfst du es behalten?“. Beides zusammen ergibt erst eine saubere Steuerung.
Robots-Meta bei Serponado
Serponado lässt alle relevanten Seiten indexierbar und folgt dem Standard index, follow. Der Robots-Meta-Checker unter den Tools liest die Angaben einer eingegebenen URL aus und erklärt, was sie bewirken – damit du nicht versehentlich wichtige Seiten aussperrst oder unwichtige indexieren lässt.
Robots Meta in der Praxis
Robots Meta ist bei Serponado vor allem für Prüfungen wichtig. Der Robots-&-Meta-Checker zeigt, ob eine Seite versehentlich auf noindex steht, ob Links verfolgt werden dürfen und ob technische Regeln der gewünschten Sichtbarkeit widersprechen. Gerade bei neuen Contest-Seiten wäre ein falsches noindex-Signal kritisch, weil Inhalte dann trotz guter Struktur nicht in den Suchergebnissen erscheinen können.
Typische Fehler bei Robots Meta
Häufig werden robots.txt und Robots Meta verwechselt. Die robots.txt steuert den Abruf, Robots Meta steuert die Indexierungsanweisung auf Seitenebene. Eine Seite, die per robots.txt blockiert ist, kann ihr Meta-Robots-Signal eventuell gar nicht übermitteln. Deshalb sollten beide Ebenen zusammen geprüft werden: Darf der Crawler die Seite abrufen, und darf sie anschließend in den Index?
Robots Meta kurz eingeordnet
Bei Serponado zeigen Robots-Meta-Angaben, ob eine einzelne Seite indexiert werden darf und ob Links verfolgt werden sollen. Sie sind direkter als robots.txt, weil sie im HTML der URL selbst stehen.
Der wichtigste Check: Widersprechen sich Meta Robots, Canonical und interne Links? Eine wichtige Seite mit noindex oder falschem Canonical verliert Sichtbarkeit, auch wenn Inhalt und Snippet gut sind.
