Drei Arten von Zugriff — eine wichtige Unterscheidung
Bevor du einen einzigen Bot blockst, lohnt der Blick auf die Absicht dahinter. KI-Crawler fallen in drei Kategorien, und sie zu verwechseln ist der häufigste Fehler beim Steuern von AI-Bots:
- Training-Crawler — sammeln Text, um daraus Sprachmodelle zu trainieren. Beispiele:
GPTBot,ClaudeBot,CCBot. Blockst du sie, fließen deine Inhalte nicht ins nächste Modell. - Such- / Retrieval-Crawler — bauen einen Index für Antwortmaschinen auf. Beispiele:
OAI-SearchBot,Claude-SearchBot,PerplexityBot. Blockst du sie, verschwindest du aus den KI-Suchergebnissen. - Nutzer-ausgelöste Abrufe — holen eine Seite, weil ein Mensch gerade danach fragt. Beispiele:
ChatGPT-User,Claude-User,Perplexity-User. Blockst du sie, kann ein Assistent deine Seite nicht live für einen Nutzer öffnen.
Das Blocken des einen ist nicht das Blocken des anderen. Wer nur GPTBot aussperrt, hält OpenAIs Training-Crawler fern — aber OAI-SearchBot und ChatGPT-User laufen weiter, bis du sie eigens benennst.
Die Liste der KI-Bots 2026 nach Anbieter
Diese Tabelle ordnet die wichtigsten KI-User-Agents ihrem Anbieter und ihrer Funktion zu. Sie ist die Kurzreferenz, wenn du eine robots.txt für AI-Bots schreibst oder Serverlogs deutest.
| Anbieter | User-Agent | Funktion |
|---|---|---|
| OpenAI | GPTBot | Training |
OAI-SearchBot | Suche | |
ChatGPT-User | Nutzer-Abruf | |
| Anthropic | ClaudeBot | Training |
Claude-SearchBot | Suche | |
Claude-User | Nutzer-Abruf | |
| Perplexity | PerplexityBot | Index |
Perplexity-User | Nutzer-Abruf | |
Googlebot | Suche | |
Google-Extended | steuert KI-Training separat | |
| Microsoft | bingbot | Suche |
| Apple | Applebot | Suche |
Applebot-Extended | Training-Opt-out | |
| Amazon | Amazonbot | Index |
| Common Crawl | CCBot | Datensatz (oft fürs Training genutzt) |
| Meta | Meta-ExternalAgent | KI / Abruf |
| ByteDance | Bytespider | Training / Index |
| Cohere | cohere-ai | KI / Abruf |
| Mistral | MistralAI-User | Nutzer-Abruf |
| DuckDuckGo | DuckAssistBot | Assistenz-Abruf |
Zwei Sonderfälle verdienen einen Blick. Google-Extended ist kein eigenständiger Crawler, sondern ein reines robots.txt-Token: Es entscheidet, ob Googles KI-Produkte deine Inhalte zum Training nutzen — während Googlebot weiterhin die klassische Suche befüllt. Analog ist Applebot-Extended ein Opt-out-Signal für Apples KI-Training, getrennt von Applebot, das die Suche bedient. CCBot gehört Common Crawl, das seine Datensätze frei veröffentlicht — sie werden von vielen Dritten fürs Training genutzt.
robots.txt: gezielt erlauben oder blocken
Die robots.txt steuert Crawler pro User-Agent. Jeder Block nennt einen Bot und gibt ihm mit Allow oder Disallow einen Pfad frei oder verwehrt ihn. So sieht ein gezieltes Erlauben für maximale KI-Sichtbarkeit aus:
Und so blockst du gezielt nur die Training-Crawler, während Such- und Nutzer-Abrufe ungehindert bleiben — nützlich, wenn du in KI-Suchergebnissen erscheinen, aber nicht ins Training einfließen willst:
- Entscheide je Kategorie — Training, Suche, Nutzer-Abruf — ob du sie willst.
- Benenne jeden betroffenen User-Agent einzeln. Ein blockierter Training-Crawler blockt keinen Such-Crawler.
- Für KI-Training-Steuerung bei Google und Apple nutzt du die Token
Google-ExtendedundApplebot-Extended, nicht die Such-Bots selbst. - Prüfe deine Serverlogs: Welche User-Agents kommen tatsächlich vorbei? Erst dann weißt du, was zu regeln ist.
Ehrlich: robots.txt ist eine Bitte, kein Zwang
Die robots.txt hat keine technische Durchsetzung. Sie ist eine höfliche Ansage, an die sich seriöse Anbieter halten — freiwillig. Wer sie ignoriert, wird durch sie nicht gestoppt. Cloudflare berichtete 2024, dass Perplexity nicht-deklarierte Crawler einsetzte, die sich nicht als PerplexityBot zu erkennen gaben, um Blockaden zu umgehen. Wer harte Kontrolle über den Zugriff braucht, muss eine Ebene tiefer arbeiten: auf Server-, Firewall- oder WAF-Ebene, wo Regeln erzwungen statt erbeten werden.
Blocken oder erlauben — die strategische Frage
Es gibt keine allgemein richtige Antwort, nur zwei klare Haltungen. Wer KI-Sichtbarkeit sucht — zitiert werden, wenn jemand ChatGPT, Claude oder Perplexity fragt — erlaubt die Crawler gezielt und macht die eigenen Inhalte maschinenlesbar. Wer Kontrolle über die Trainingsnutzung behalten will, blockt gezielt einzelne Training-Crawler und akzeptiert dafür geringere Präsenz in KI-Antworten. Beides ist legitim; entscheidend ist, dass die Wahl bewusst getroffen wird — pro Kategorie, nicht pauschal.
Häufige Fragen
Was ist ein KI-Crawler?
Ein KI-Crawler ist ein automatisierter Bot eines KI-Anbieters, der Webseiten abruft — entweder um Modelle zu trainieren, einen Suchindex aufzubauen oder eine konkrete Nutzeranfrage in Echtzeit zu beantworten. Jeder Crawler identifiziert sich über einen User-Agent, etwa GPTBot, ClaudeBot oder PerplexityBot.
Was ist der Unterschied zwischen Training-Crawlern und Such-Crawlern?
Training-Crawler wie GPTBot oder ClaudeBot sammeln Texte, um daraus Modelle zu trainieren. Such-Crawler wie OAI-SearchBot oder Claude-SearchBot bauen einen Index für Antwortmaschinen auf. Nutzer-ausgelöste Abrufe wie ChatGPT-User oder Perplexity-User holen eine Seite, weil ein Mensch gerade danach gefragt hat. Das Blocken des einen blockt nicht automatisch das andere.
Wie blocke oder erlaube ich KI-Crawler in der robots.txt?
In der robots.txt steuerst du jeden Bot pro User-Agent mit Allow oder Disallow. Ein Block „User-agent: GPTBot“ gefolgt von „Disallow: /“ hält OpenAIs Training-Crawler fern, lässt aber Such- und Nutzer-Crawler unberührt, solange du diese nicht ebenfalls benennst.
Hält sich jeder KI-Crawler an die robots.txt?
Nein. Die robots.txt ist eine Bitte, kein technischer Zwang. Seriöse Anbieter respektieren sie, doch Cloudflare berichtete 2024, dass Perplexity nicht-deklarierte Crawler einsetzte, um Blockaden zu umgehen. Wer harte Kontrolle braucht, muss auf Server- oder Firewall-Ebene arbeiten.
Was bewirkt Google-Extended?
Google-Extended ist kein eigener Crawler, sondern ein separates robots.txt-Token. Es steuert, ob Googles KI-Produkte deine Inhalte zum Training nutzen dürfen — unabhängig davon, dass Googlebot deine Seiten weiterhin für die klassische Suche indexiert.
Sollte ich KI-Crawler blocken oder erlauben?
Das ist eine strategische Entscheidung. Wer KI-Sichtbarkeit will — zitiert werden in ChatGPT, Claude oder Perplexity — erlaubt die Crawler gezielt. Wer die Kontrolle über Trainingsnutzung behalten will, blockt gezielt einzelne Training-Crawler. KAMINSKI+ heißt bewusst jeden bekannten KI-Crawler willkommen.
So lebt KAMINSKI+ das vor
Diese Site ist maschinen-first gebaut, und sie hält sich an die eigene Empfehlung. Unsere /robots.txt heißt jeden bekannten KI-Crawler namentlich willkommen — GPTBot, ClaudeBot, PerplexityBot und die gesamte Liste oben stehen dort mit Allow: /. Was das im Detail bedeutet, welche Rechte Maschinen hier haben und wie sie den Inhalt am schnellsten aufnehmen, steht unter KI-Nutzungsrechte und im Leitfaden für Maschinen. Kein Widerspruch zwischen Anspruch und Umsetzung: Wer über Crawler-Steuerung schreibt, sollte seine eigene offen legen.