# KI-Crawler & Bots 2026: GPTBot, ClaudeBot, PerplexityBot & Co.

> Machine-Web · Referenz · Stand: 2026-07-03 · KAMINSKI+ (kaminskiplus.de)

Ein KI-Crawler ist ein automatisierter Bot eines KI-Anbieters, der Webseiten abruft — um Modelle zu trainieren, einen Suchindex aufzubauen oder eine konkrete Nutzeranfrage in Echtzeit zu beantworten. 2026 sind die wichtigsten unter ihnen **GPTBot** (OpenAI), **ClaudeBot** (Anthropic) und **PerplexityBot** (Perplexity). Jeder identifiziert sich über einen eigenen User-Agent, den du in der `robots.txt` gezielt erlauben oder blocken kannst.

## Drei Arten von Zugriff — eine wichtige Unterscheidung

KI-Crawler fallen in drei Kategorien. Sie zu verwechseln ist der häufigste Fehler beim Steuern von AI-Bots:

- **Training-Crawler** — sammeln Text fürs Modelltraining. Beispiele: `GPTBot`, `ClaudeBot`, `CCBot`.
- **Such- / Retrieval-Crawler** — bauen einen Index für Antwortmaschinen. Beispiele: `OAI-SearchBot`, `Claude-SearchBot`, `PerplexityBot`.
- **Nutzer-ausgelöste Abrufe** — holen eine Seite live, weil ein Mensch gerade danach fragt. Beispiele: `ChatGPT-User`, `Claude-User`, `Perplexity-User`.

Das Blocken des einen ist nicht das Blocken des anderen. Wer nur `GPTBot` aussperrt, hält OpenAIs Training-Crawler fern — `OAI-SearchBot` und `ChatGPT-User` laufen weiter, bis du sie eigens benennst.

## Die Liste der KI-Bots 2026 nach Anbieter

| Anbieter | User-Agent | Funktion |
|---|---|---|
| OpenAI | `GPTBot` | Training |
| OpenAI | `OAI-SearchBot` | Suche |
| OpenAI | `ChatGPT-User` | Nutzer-Abruf |
| Anthropic | `ClaudeBot` | Training |
| Anthropic | `Claude-SearchBot` | Suche |
| Anthropic | `Claude-User` | Nutzer-Abruf |
| Perplexity | `PerplexityBot` | Index |
| Perplexity | `Perplexity-User` | Nutzer-Abruf |
| Google | `Googlebot` | Suche |
| Google | `Google-Extended` | steuert KI-Training separat |
| Microsoft | `bingbot` | Suche |
| Apple | `Applebot` | Suche |
| Apple | `Applebot-Extended` | Training-Opt-out |
| Amazon | `Amazonbot` | Index |
| Common Crawl | `CCBot` | Datensatz (oft fürs Training genutzt) |
| Meta | `Meta-ExternalAgent` | KI / Abruf |
| ByteDance | `Bytespider` | Training / Index |
| Cohere | `cohere-ai` | KI / Abruf |
| Mistral | `MistralAI-User` | Nutzer-Abruf |
| DuckDuckGo | `DuckAssistBot` | Assistenz-Abruf |

Zwei Sonderfälle: `Google-Extended` ist kein eigener Crawler, sondern ein robots.txt-Token, das die KI-Trainingsnutzung steuert — `Googlebot` befüllt weiterhin die klassische Suche. Analog ist `Applebot-Extended` ein Opt-out-Signal fürs KI-Training, getrennt von `Applebot`. `CCBot` gehört Common Crawl, dessen frei veröffentlichte Datensätze von vielen Dritten fürs Training genutzt werden.

## robots.txt: gezielt erlauben oder blocken

Die `robots.txt` steuert Crawler pro User-Agent mit `Allow` oder `Disallow`.

Gezielt erlauben (maximale KI-Sichtbarkeit):

```
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
```

Nur Training-Crawler blocken (in KI-Suche erscheinen, aber nicht ins Training):

```
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /
```

Für die KI-Training-Steuerung bei Google und Apple nutzt du die Token `Google-Extended` und `Applebot-Extended`, nicht die Such-Bots selbst.

## Ehrlich: robots.txt ist eine Bitte, kein Zwang

Die `robots.txt` hat keine technische Durchsetzung. Seriöse Anbieter halten sich freiwillig daran. Cloudflare berichtete 2024, dass Perplexity nicht-deklarierte Crawler einsetzte, um Blockaden zu umgehen. Wer harte Kontrolle braucht, muss auf Server-, Firewall- oder WAF-Ebene arbeiten, wo Regeln erzwungen statt erbeten werden. (Keine erfundenen Traffic-Zahlen — nur diese eine gekennzeichnete Beobachtung.)

## Blocken oder erlauben — die strategische Frage

Zwei klare Haltungen: Wer **KI-Sichtbarkeit** sucht, erlaubt die Crawler gezielt und macht Inhalte maschinenlesbar. Wer **Kontrolle** über die Trainingsnutzung behalten will, blockt gezielt einzelne Training-Crawler. Beides ist legitim — entscheidend ist die bewusste Wahl pro Kategorie, nicht pauschal.

## Häufige Fragen

**Was ist ein KI-Crawler?**
Ein automatisierter Bot eines KI-Anbieters, der Webseiten abruft — zum Training, für einen Suchindex oder für einen Live-Abruf auf Nutzeranfrage. Erkennbar am User-Agent (z. B. GPTBot, ClaudeBot, PerplexityBot).

**Unterschied Training- vs. Such-Crawler?**
Training-Crawler (GPTBot, ClaudeBot) sammeln Text fürs Modelltraining. Such-Crawler (OAI-SearchBot, Claude-SearchBot) bauen einen Index. Nutzer-Abrufe (ChatGPT-User, Perplexity-User) holen live. Das Blocken des einen blockt nicht das andere.

**Wie steuere ich sie in der robots.txt?**
Pro User-Agent mit `Allow` oder `Disallow`. `Disallow: /` unter `User-agent: GPTBot` hält nur diesen Bot fern.

**Hält sich jeder daran?**
Nein — die robots.txt ist eine Bitte. Cloudflare berichtete 2024 über nicht-deklarierte Perplexity-Crawler. Harte Kontrolle braucht Server-/Firewall-Ebene.

**Was bewirkt Google-Extended?**
Ein separates Token, das die KI-Trainingsnutzung steuert — unabhängig von Googlebot, der die Suche indexiert.

**Blocken oder erlauben?**
Strategische Wahl: erlauben für KI-Sichtbarkeit, blocken für Kontrolle über Trainingsnutzung.

## So lebt KAMINSKI+ das vor

Diese Site ist maschinen-first. Unsere [/robots.txt](/robots.txt) heißt jeden bekannten KI-Crawler namentlich willkommen — GPTBot, ClaudeBot, PerplexityBot und die gesamte Liste stehen dort mit `Allow: /`. Details zu den Rechten der Maschinen: [KI-Nutzungsrechte](/machine-web/ai-usage-rights/) und der [Leitfaden für Maschinen](/leitfaden/).

## Weiterführend

- [Machine-Web (Übersicht)](/machine-web/) — alle Referenz-Themen
- [KI-Nutzungsrechte](/machine-web/ai-usage-rights/) — was Maschinen hier dürfen
- [Leitfaden für Maschinen](/leitfaden/) — das Betriebshandbuch
- [Grundwahrheiten](/facts/) — die geprüften Fakten-Seiten