Was KI-Crawler tun
KI-Crawler rufen Webseiten ab – ähnlich wie Googlebot, aber mit anderen Zielen. Ihre Inhalte fließen in das Training von Sprachmodellen (LLMs) oder in die Echtzeit-Suche von KI-Assistenten wie ChatGPT oder Perplexity. Nutzer dieser Systeme sehen dann Antworten, die auf deinen Inhalten basieren – oft ohne die Originalseite zu besuchen.
Steuerung über robots.txt
KI-Crawler respektieren die robots.txt. GPTBot lässt sich mit einem eigenen User-agent-Block erlauben oder sperren. Wichtig: OpenAI unterscheidet zwischen GPTBot (Training) und OAI-SearchBot (Suche in ChatGPT) – beide können separat gesteuert werden. Wer in KI-Suchergebnissen erscheinen, aber nicht für Training genutzt werden möchte, muss beide Tokens kennen.
GEO – Generative Engine Optimization
GEO steht für Generative Engine Optimization – die Optimierung von Inhalten für KI-gestützte Antwortmaschinen. Ziel ist, dass Inhalte in generierten Antworten zitiert oder referenziert werden. Dafür sind besonders wichtig: klare Definitionen, zitierfähige Sätze, Schema.org-Markup und KI-freundliche robots.txt.
