robots.txt für KI-Crawler: GPTBot, OAI-SearchBot, ClaudeBot und Co. richtig einstellen
Die großen KI-Anbieter trennen inzwischen zwischen Crawlern für das Training und Crawlern für die Suche. Wer in ChatGPT, Claude oder Perplexity als Quelle erscheinen will, sollte zumindest die Such-Crawler erlauben. Ob Sie das Training erlauben, ist eine eigene Entscheidung.
Die wichtigsten KI-Crawler
| Anbieter | Crawler | Zweck laut Anbieter |
|---|---|---|
| OpenAI | OAI-SearchBot | Suche in ChatGPT |
| OpenAI | GPTBot | Training |
| OpenAI | ChatGPT-User | Abruf, wenn ein Nutzer fragt |
| Anthropic | Claude-SearchBot | Suchergebnisse in Claude |
| Anthropic | ClaudeBot | Training |
| Anthropic | Claude-User | Abruf, wenn ein Nutzer fragt |
| Perplexity | PerplexityBot | Suche in Perplexity |
| Perplexity | Perplexity-User | Abruf, wenn ein Nutzer fragt |
| Googlebot | Google Suche, auch KI-Modus und KI-Übersichten | |
| Google-Extended | Steuert Nutzung für Gemini-Training, kein eigenes Ranking |
Hinweis: Laut den Anbietern beachten die Nutzer-Abrufe (ChatGPT-User, Perplexity-User) die robots.txt teilweise nicht in gleicher Weise, weil sie im Auftrag einer Person handeln.
Beispiel: Sichtbar werden, Training erlauben
User-agent: OAI-SearchBot Allow: / User-agent: GPTBot Allow: / User-agent: Claude-SearchBot Allow: / User-agent: ClaudeBot Allow: / User-agent: PerplexityBot Allow: / Sitemap: https://www.ihre-domain.at/sitemap.xml
So ist digtatur.com eingestellt. Wenn Sie das Training ausschließen, aber in der Suche sichtbar bleiben wollen, setzen Sie bei GPTBot, ClaudeBot und Google-Extended Disallow: / und lassen die Such-Crawler erlaubt.
Häufige Fehler
- Pauschales Blockieren: Manche Sicherheits-Plugins oder Hosting-Firewalls sperren alle Bots. Prüfen Sie das in den Server-Logs.
- Googlebot blockiert, um „KI zu stoppen“: Damit verschwinden Sie aus der ganzen Google Suche.
- Inhalte nur per JavaScript: Nicht alle KI-Crawler führen JavaScript aus. Wichtige Texte sollten im HTML stehen.
Und llms.txt?
Die llms.txt ist ein Vorschlag für eine Übersichtsdatei für Sprachmodelle. Sie ist kein offizieller Standard, und Google nutzt sie laut eigener Aussage nicht. Sie schadet nicht und ist schnell erstellt, ersetzt aber keine gute robots.txt und klare Inhalte.
Wir prüfen und richten das gerne für Sie ein: GEO Agentur Wien. Plattform-Details: ChatGPT, Claude, Perplexity.
Häufige Fragen
Wo finde ich meine robots.txt?
Unter ihre-domain.at/robots.txt. Bei WordPress wird sie oft von einem SEO-Plugin erzeugt.
Werde ich schlechter bei Google, wenn ich GPTBot sperre?
Nein. GPTBot gehört zu OpenAI und hat mit dem Google-Ranking nichts zu tun.
