GEO-Ratgeber

KI-Crawler im Überblick:
GPTBot, ClaudeBot & Co. steuern

Q: Sollte ich KI-Crawler blockieren oder zulassen?

Das hängt vom Ziel ab. Wer in KI-Antworten als Quelle zitiert werden will, sollte die Such-Crawler (OAI-SearchBot, PerplexityBot, ClaudeBot, GPTBot, Google-Extended) zulassen. Reine Trainings-Crawler wie CCBot oder Bytespider zu blockieren kostet dagegen keine Zitierfähigkeit in KI-Suchen — das ist eine bewusste Abwägung zwischen Sichtbarkeit und Kontrolle über die eigenen Inhalte.

Q: Was ist der Unterschied zwischen GPTBot und OAI-SearchBot?

Beide gehören zu OpenAI, haben laut OpenAI-Dokumentation aber verschiedene Aufgaben: GPTBot sammelt Inhalte, die auch für das Training der Modelle verwendet werden können. OAI-SearchBot indexiert Inhalte für die ChatGPT-Suche, in der Websites als Quelle verlinkt werden. Wer in ChatGPT-Suchergebnissen auftauchen, aber nicht ins Training einfließen will, kann OAI-SearchBot erlauben und GPTBot blockieren.

Q: Hält sich jeder Bot an die robots.txt?

Die robots.txt ist eine Konvention, kein technischer Zwang. Die großen Anbieter (OpenAI, Anthropic, Google, Apple, Meta) erklären öffentlich, dass ihre Crawler die robots.txt respektieren. Einzelne Bots sind in der Vergangenheit aber durch Ignorieren von Regeln aufgefallen. Wer Inhalte wirklich schützen muss, braucht serverseitige Maßnahmen — die robots.txt bleibt trotzdem das Standardinstrument der Steuerung.

Q: Was ist Google-Extended?

Google-Extended ist kein eigener Crawler, sondern ein Steuerungs-Token für die robots.txt: Damit legst du fest, ob Google die ohnehin gecrawlten Inhalte auch für seine KI-Modelle (Gemini) verwenden darf. Das Blockieren von Google-Extended beeinflusst laut Google nicht das Ranking in der klassischen Google-Suche.

Jeder große KI-Anbieter betreibt eigene Crawler — und du entscheidest per robots.txt, welche davon deine Inhalte nutzen dürfen. Diese Übersicht zeigt alle wichtigen Bots, ihre Aufgaben laut Anbieter-Dokumentation und fertige robots.txt-Beispiele zum Zulassen oder Blockieren.

Die wichtigsten KI-Crawler auf einen Blick

User-Agent	Betreiber	Aufgabe laut Anbieter-Dokumentation	Relevanz für Zitate
GPTBot	OpenAI	Sammelt Inhalte, die auch für das Modell-Training verwendet werden können	Hoch
OAI-SearchBot	OpenAI	Indexierung für die ChatGPT-Suche mit Quellen-Verlinkung	Sehr hoch
ChatGPT-User	OpenAI	Ruft Seiten ab, wenn ein ChatGPT-Nutzer sie konkret anfragt	Hoch
ClaudeBot	Anthropic	Crawlt Inhalte für Claude	Hoch
PerplexityBot	Perplexity	Indexierung für die Perplexity-Antwortsuche mit Quellenangabe	Sehr hoch
Google-Extended	Google	Steuerungs-Token: darf Google gecrawlte Inhalte für Gemini/KI nutzen? (kein eigener Crawler)	Hoch
CCBot	Common Crawl	Offenes Webarchiv — Basis vieler KI-Trainingsdatensätze	Gering (Training)
Bytespider	ByteDance	Crawling, u. a. für KI-Training	Gering (Training)
Applebot-Extended	Apple	Steuerungs-Token: dürfen Applebot-Daten für Apple-KI-Training genutzt werden?	Gering (Training)
Meta-ExternalAgent	Meta	Crawling für Meta-KI, u. a. Training	Gering (Training)

Merkregel: Such-Crawler (OAI-SearchBot, PerplexityBot & Co.) bringen Zitate und Klicks. Reine Trainings-Crawler (CCBot, Bytespider …) bringen keine direkte Sichtbarkeit — sie zu blockieren ist eine legitime Abwägung, kein GEO-Fehler.

robots.txt: KI-Sichtbarkeit maximieren

Wenn deine robots.txt keine Regeln für diese Bots enthält, gelten die allgemeinen User-agent: *-Regeln — bei einem simplen Allow: / dürfen also alle rein. Wer es explizit machen will:

# KI-Such-Crawler ausdrücklich zulassen
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ClaudeBot
User-agent: PerplexityBot
User-agent: Google-Extended
Allow: /

robots.txt: Nur KI-Training unterbinden

Der Mittelweg für alle, die in KI-Suchen zitiert werden, aber nicht ins Modell-Training einfließen wollen:

# Trainings-Crawler blockieren, Such-Crawler bleiben erlaubt
User-agent: CCBot
User-agent: Bytespider
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
Disallow: /

Wichtig zu wissen: Die robots.txt ist eine Konvention, kein technischer Zwang. Die großen Anbieter erklären öffentlich, sie zu respektieren; wer Inhalte hart schützen muss, braucht zusätzlich serverseitige Maßnahmen.

Prüfen statt raten

Ob deine robots.txt KI-Crawler blockiert — absichtlich oder versehentlich — zeigt dir der kostenlose GEO-Check in Sekunden: Er wertet die Regeln für alle hier gelisteten Bots aus und bewertet zusätzlich Maschinenlesbarkeit, E-E-A-T-Signale und Antwort-Struktur deiner Seite.

Blockiert deine robots.txt KI-Crawler?

Der GEO-Check prüft die Regeln für alle wichtigen KI-Bots plus llms.txt, Schema-Markup und Antwort-Struktur — kostenlos, ohne Anmeldung.

Jetzt kostenlos prüfen

Häufige Fragen

Sollte ich KI-Crawler blockieren oder zulassen?

Wer in KI-Antworten zitiert werden will, lässt die Such-Crawler zu. Reine Trainings-Crawler (CCBot, Bytespider …) zu blockieren kostet keine Zitierfähigkeit — eine bewusste Abwägung, kein Fehler.

Was ist der Unterschied zwischen GPTBot und OAI-SearchBot?

Beide gehören zu OpenAI: GPTBot sammelt Inhalte, die auch fürs Training genutzt werden können; OAI-SearchBot indexiert für die ChatGPT-Suche mit Quellen-Verlinkung. Man kann den einen erlauben und den anderen blockieren.

Hält sich jeder Bot an die robots.txt?

Die robots.txt ist eine Konvention, kein Zwang. Die großen Anbieter erklären öffentlich, sie zu respektieren; harter Schutz erfordert serverseitige Maßnahmen.

Was ist Google-Extended?

Kein eigener Crawler, sondern ein Steuerungs-Token: Es legt fest, ob Google ohnehin gecrawlte Inhalte für seine KI-Modelle (Gemini) nutzen darf. Laut Google ohne Einfluss auf das Ranking in der klassischen Suche.

KI-Crawler im Überblick:GPTBot, ClaudeBot & Co. steuern