Welche KI-Bots rufen deine Website ab, wofür werden sie eingesetzt und wie steuerst du Suche, Nutzerabrufe und Training getrennt? Ein aktueller Überblick ohne Mythen.
KI-Crawler sind automatisierte Programme, die Webseiten abrufen – ähnlich wie klassische Suchmaschinen-Crawler, aber mit anderen Zielen. Sie sammeln Inhalte für das Training großer Sprachmodelle, verbessern Suchfunktionen in KI-Assistenten oder rufen Webseiten im Auftrag eines Nutzers ab.
Je nach Bot unterscheiden sich Zweck und Steuerung deutlich. Search-Bots können Inhalte als Quellen in Antworten auffindbar machen, Trainingsbots sammeln potenzielles Trainingsmaterial und User-Bots führen konkrete Nutzerabrufe aus. Deshalb sollten Websitebetreiber die Tokens nicht pauschal behandeln.
OpenAI
GPTBot — Training von KI-Modellen
OAI-SearchBot — Web-Suche in ChatGPT
ChatGPT-User — bestimmte Nutzeraktionen
OAI-SearchBot und GPTBot sind unabhängig steuerbar. Bei ChatGPT-User können robots.txt-Regeln aufgrund des nutzerinitiierten Abrufs nicht in jedem Fall anwendbar sein.
Anthropic / Claude
ClaudeBot — potenzielles Modelltraining
Claude-SearchBot — Suche in Claude
Claude-User — Nutzeranfragen
Anthropic veröffentlicht seine Crawler-Tokens auf der eigenen Dokumentationsseite.
Perplexity, Google & weitere
PerplexityBot — Perplexity AI
Perplexity-User — Nutzeranfragen
Google-Extended — Steuerung für Gemini-Training und Grounding
Amazonbot, Cohere-AI, DiffBot
Diese Konfiguration erlaubt respektvollen Crawlern öffentliche Inhalte, sperrt aber interne API-Endpunkte und den Storage-Bereich. Search- und Trainingsbots bleiben getrennt steuerbar:
User-agent: * Allow: / Disallow: /api/ Disallow: /storage/ # OpenAI User-agent: GPTBot Allow: / User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / # Anthropic / Claude User-agent: ClaudeBot Allow: / User-agent: Claude-SearchBot Allow: / # Perplexity User-agent: PerplexityBot Allow: / # Google User-agent: Google-Extended Allow: / Sitemap: https://deine-domain.de/sitemap.xml
Ein Disallow für Google-Extended blockiert nicht die klassische Google-Indexierung. Der Token steuert separat, ob von Google gecrawlte Inhalte für das Training künftiger Gemini-Modelle und für bestimmte Grounding-Funktionen in Gemini Apps und Vertex AI genutzt werden dürfen. Für Google Search, AI Overviews und AI Mode bleibt Googlebot entscheidend.
robots.txt ist eine Vereinbarung, keine technische Schranke. Seriöse Crawler – GPTBot, ClaudeBot, PerplexityBot – respektieren sie. Unbekannte oder ethisch fragwürdige Bots ignorieren sie möglicherweise. Wer Inhalte wirklich technisch schützen möchte, braucht zusätzliche Maßnahmen: Authentifizierung, IP-Sperren oder serverseitige Filterung.
GEO steht für Generative Engine Optimization – die Optimierung von Inhalten für Sichtbarkeit in KI-gestützten Antwortmaschinen wie ChatGPT, Claude oder Perplexity. Während klassisches SEO auf Klicks aus Suchmaschinen zielt, geht es bei GEO darum, dass Inhalte in generierten Antworten zitiert oder referenziert werden.
Dafür sind besonders wichtig: crawlbare und indexierbare Seiten, klare Definitionen, präzise Antworten, nachvollziehbare Autorenschaft, interne Links und strukturierte Daten, die exakt zum sichtbaren Inhalt passen. Für Google AI Overviews und AI Mode gelten dieselben Grundlagen wie für die klassische Google-Suche; spezielle AI-Dateien oder ein eigenes AI-Schema sind dort nicht erforderlich.
GPTBot ruft Inhalte ab, die für das Training generativer OpenAI-Modelle genutzt werden können. OAI-SearchBot dient der Suche in ChatGPT. Beide Tokens lassen sich unabhängig steuern. Für Sichtbarkeit in ChatGPT Search sollte OAI-SearchBot erlaubt sein; über GPTBot kann getrennt entschieden werden. ChatGPT-User wird bei bestimmten nutzerinitiierten Aktionen verwendet und ist kein automatischer Webcrawler.
Google-Extended ist kein eigener Suchcrawler, sondern ein separater robots.txt-Token. Er steuert, ob von Google gecrawlte Inhalte für das Training künftiger Gemini-Modelle und für bestimmte Grounding-Funktionen in Gemini Apps und Vertex AI verwendet werden dürfen. Google Search und die Indexierung über Googlebot werden davon nicht blockiert.
Nein. Die Entscheidung liegt bei dir. Für klassische Google-Sichtbarkeit ist vor allem Googlebot relevant. Für Suchfunktionen in ChatGPT oder Claude sollten die jeweiligen Search-Bots erreichbar sein. Trainingscrawler können unabhängig davon erlaubt oder gesperrt werden. Inhalte, Rechte, Serverlast und Datenschutz sollten in die Entscheidung einfließen.
Nein. Viele KI-Crawler – vor allem die bekannten wie GPTBot, ClaudeBot und PerplexityBot – respektieren die robots.txt. Unbekannte oder ethisch fragwürdige Crawler hingegen ignorieren sie möglicherweise. robots.txt ist kein technischer Schutz, sondern eine Höflichkeitskonvention.
Begriff, Generator, Tools und offene Dokumentation – der vollständige Themenwirbel auf einen Blick.
