KAMINSKI+
// referenz· thema: ki-nutzungsrechte· format: html · md· stand: 2026-07-03

Machine-Web · Referenz

KI-Nutzungsrechte: KI-Training auf deiner Website erlauben oder verbieten (ai.txt, robots.txt & Co.)

KI-Nutzungsrechte regeln, ob und wie KI-Systeme deine Website abrufen, indexieren und zum Training nutzen dürfen. Steuern kannst du das über mehrere übereinanderliegende Signale: die robots.txt pro User-Agent, die separaten Trainings-Token Google-Extended und Applebot-Extended, die aufkommende ai.txt, den rechtlichen TDM-Rechtevorbehalt sowie Meta-Tags und HTTP-Header. Wichtig: Keines davon ist ein technischer Zwang — es sind Bitten und rechtliche Erklärungen, an die sich seriöse Anbieter halten.

Antwort zuerst: Kann KI auf meiner Website trainieren?

Standardmäßig ja. Ist deine Seite öffentlich erreichbar, kann ein KI-Anbieter sie abrufen, solange du nicht aktiv widersprichst. Die eigentliche Frage lautet also nicht „ob es möglich ist“, sondern „welches Signal du setzt“. Du hast fünf Werkzeuge, die auf verschiedenen Ebenen wirken — von der einfachen Crawler-Bitte bis zum rechtlichen Vorbehalt. Sie schließen sich nicht aus, sondern ergänzen einander. Diese Seite ist eine Orientierung, keine Rechtsberatung; im Zweifel prüfe die jeweilige Quelle oder hole juristischen Rat ein.

robots.txt
Zugriff pro User-Agent — Standard-Werkzeug, aber nur eine Bitte
Google-Extended / Applebot-Extended
separate Steuerung des KI-Trainings, getrennt von der Suche
ai.txt
aufkommende, maschinenlesbare Nutzungsrichtlinie — permissiv oder restriktiv
TDM-Rechtevorbehalt
rechtlicher Opt-out gegen Text-and-Data-Mining (u. a. EU-Kontext)
Meta-Tags / HTTP-Header
X-Robots-Tag, noai/noimageai — wo unterstützt

1. robots.txt — das Standard-Werkzeug pro User-Agent

Die robots.txt ist der etablierte Ort, an dem du Crawlern Pfade freigibst oder verwehrst. Du steuerst jeden Bot einzeln über seinen User-Agent mit Allow oder Disallow. Wer KI-Training verbieten will, benennt die Training-Crawler und setzt sie auf Disallow:

User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: CCBot Disallow: /

Wer umgekehrt maximale KI-Sichtbarkeit sucht, erlaubt sie ausdrücklich — allow GPTBot und Geschwister:

User-agent: GPTBot Allow: / User-agent: ClaudeBot Allow: / User-agent: PerplexityBot Allow: /

Die robots.txt ist eine Bitte, kein technischer Zwang. Sie hat keine erzwingende Wirkung — sie ist eine höfliche Ansage, an die sich seriöse Anbieter freiwillig halten. Wer harte Kontrolle braucht, muss eine Ebene tiefer arbeiten: Server-, Firewall- oder WAF-Regeln, die Zugriffe tatsächlich blockieren, statt sie nur zu erbitten.

2. Google-Extended & Applebot-Extended — KI-Training getrennt steuern

Der häufigste Irrtum: Man blockt Googlebot und glaubt, damit das KI-Training zu unterbinden. Das stimmt nicht. Google und Apple trennen das KI-Training bewusst von der normalen Suche über eigene Token. So machst du einen Google-Extended opt out, ohne aus der klassischen Suche zu verschwinden:

User-agent: Google-Extended Disallow: / User-agent: Applebot-Extended Disallow: /
  • Google-Extended — kein eigener Crawler, sondern ein reines robots.txt-Token. Es entscheidet, ob Googles KI-Produkte deine Inhalte zum Training nutzen. Googlebot indexiert deine Seiten davon unberührt weiter für die Suche.
  • Applebot-Extended — das Gegenstück bei Apple: ein Opt-out-Signal fürs KI-Training, getrennt von Applebot, das die Suche bedient.

Merke: Trainingssteuerung und Suchindexierung sind zwei verschiedene Hebel. Du kannst in der Suche sichtbar bleiben und trotzdem dem Training widersprechen — oder umgekehrt.

3. ai.txt — die maschinenlesbare Nutzungsrichtlinie

Die robots.txt kennt nur „darf abrufen / darf nicht abrufen“. Sie sagt nichts darüber, was mit den abgerufenen Inhalten geschehen darf. Genau diese Lücke füllt die aufkommende ai.txt: eine Datei (üblicherweise unter /.well-known/ai.txt), in der du deine KI-Nutzungsrichtlinie ausformulierst — permissiv oder restriktiv. Statt nur den Zugriff zu regeln, benennst du einzelne Nutzungsarten: Training, Indexierung, Zitieren, Speichern, Inferenz.

  1. Lege fest, ob deine Richtlinie grundsätzlich erlaubend oder untersagend ist.
  2. Erlaube oder untersage die Nutzungsarten einzeln — z. B. Training ja, Zitieren ja, Speichern nein.
  3. Ergänze Bedingungen: gewünschte Attribution, Kontakt, Verweise auf llms.txt und strukturierte Daten.
  4. Verstehe die Grenze: ai.txt ist ein junger, noch nicht universell unterstützter Standard — eine klare Absichtserklärung, kein durchsetzbarer Vertrag.

Weil das Format jung ist, sollte es andere Signale ergänzen, nicht ersetzen. Eine restriktive ai.txt ohne begleitende robots.txt-Blocks ist schwächer als beides zusammen.

4. TDM-Rechtevorbehalt — der rechtliche Opt-out

Während robots.txt und ai.txt technische bzw. konventionelle Signale sind, ist der TDM-Rechtevorbehalt eine rechtliche Erklärung. TDM steht für Text-and-Data-Mining — die automatisierte Auswertung von Inhalten, wie sie dem KI-Training zugrunde liegt. Im EU-Kontext können Rechteinhaber sich diese Auswertung ausdrücklich vorbehalten; ein solcher, idealerweise maschinenlesbar hinterlegter Vorbehalt ist ein Opt-out gegen die kommerzielle TDM-Nutzung ihrer Werke.

Orientierung, keine Rechtsberatung: Ob, wie und mit welcher Wirkung ein TDM-Rechtevorbehalt greift, hängt von Rechtsraum, Werkart und Ausgestaltung ab und entwickelt sich weiter. Diese Seite erklärt das Werkzeug, nicht deinen Einzelfall. Für verbindliche Aussagen ziehe fachkundigen Rat hinzu.

In der Debatte um KI und Urheberrecht ist der TDM-Vorbehalt das schärfste der hier genannten Instrumente, weil er nicht nur um technisches Wohlverhalten bittet, sondern eine Rechtsposition erklärt. Er ändert allerdings nichts daran, dass die technische Abrufbarkeit bestehen bleibt, solange keine Zugriffssperre greift.

5. Meta-Tags & HTTP-Header — noai, noimageai, X-Robots-Tag

Manche Signale lassen sich pro Seite statt zentral setzen — über ein Meta-Tag im <head> oder den HTTP-Header X-Robots-Tag. Wo unterstützt, signalisieren noai und noimageai den Wunsch, Text bzw. Bilder nicht fürs KI-Training zu verwenden:

<meta name="robots" content="noai, noimageai"> # oder serverseitig als Header: X-Robots-Tag: noai, noimageai

Diese Signale sind punktgenau — ideal, wenn du nur einzelne Seiten oder Bildbereiche schützen willst. Ihr Nachteil: Sie werden nicht von allen Anbietern ausgewertet. noai ist kein flächendeckend etablierter Standard wie das klassische noindex. Wie bei allen anderen Signalen gilt: eine Bitte, kein Zwang.

Die Debatte: Opt-out oder Opt-in, Sichtbarkeit oder Kontrolle

Hinter der Technik steht ein ungelöster Konflikt. Das heutige Web funktioniert überwiegend nach dem Opt-out-Prinzip: Inhalte sind für KI nutzbar, bis jemand widerspricht. Ein Teil der Rechteinhaber fordert ein Opt-in — Nutzung erst nach ausdrücklicher Zustimmung. Diese Auseinandersetzung berührt das Urheberrecht direkt und ist rechtlich wie politisch offen.

Für Betreiber läuft sie auf eine Abwägung hinaus: Sichtbarkeit gegen Kontrolle. Wer erlaubt, gewinnt Präsenz in KI-Antworten und gibt ein Stück Kontrolle über die Nutzung ab. Wer blockt, behält Kontrolle und verzichtet auf einen Teil der KI-Sichtbarkeit. Es gibt keine für alle richtige Antwort — nur die bewusste Wahl.

Praxis für beide Lager

Du willst erlauben (KI-Sichtbarkeit maximieren)

  • Setze in der robots.txt pro Training- und Such-Crawler Allow: / — inklusive allow GPTBot, ClaudeBot, PerplexityBot.
  • Hinterlege eine ausdrücklich erlaubende ai.txt und mache Inhalte über llms.txt maschinenlesbar.
  • Verzichte auf noai-Signale und lass Google-Extended/Applebot-Extended offen.

Du willst verbieten (Kontrolle behalten)

  • Blocke die Training-Crawler gezielt in der robots.txt (GPTBot, ClaudeBot, CCBot …).
  • Setze Google-Extended und Applebot-Extended auf Disallow — der eigentliche Trainings-Opt-out bei Google und Apple.
  • Ergänze eine restriktive ai.txt, wo unterstützt noai/noimageai, und prüfe einen TDM-Rechtevorbehalt.
  • Für harte Durchsetzung: Server-/Firewall-/WAF-Regeln — denn alle obigen Signale sind Bitten, kein Zwang.

Häufige Fragen

Kann KI auf meiner Website trainieren?

Standardmäßig kann jeder KI-Anbieter deine öffentlich erreichbaren Seiten abrufen, solange du es nicht aktiv unterbindest. Du kannst die Trainingsnutzung einschränken, indem du Training-Crawler in der robots.txt blockst, die Token Google-Extended und Applebot-Extended auf Disallow setzt und — im EU-Kontext — einen maschinenlesbaren TDM-Rechtevorbehalt erklärst. Keine dieser Maßnahmen ist ein technischer Zwang; sie sind Signale, an die sich seriöse Anbieter halten.

Wie verbiete ich KI-Training in der robots.txt?

Du benennst jeden Training-Crawler einzeln und gibst ihm Disallow. Ein Block „User-agent: GPTBot“ gefolgt von „Disallow: /“ hält OpenAIs Training-Crawler fern; für Anthropic nimmst du ClaudeBot, für Common Crawl CCBot. Für Google und Apple nutzt du stattdessen die separaten Token Google-Extended und Applebot-Extended, weil deren Such-Bots davon unberührt bleiben.

Wie mache ich einen Google-Extended opt out?

Google-Extended ist kein eigener Crawler, sondern ein robots.txt-Token. Du trägst „User-agent: Google-Extended“ und darunter „Disallow: /“ ein. Das nimmt deine Inhalte aus Googles KI-Training heraus, während Googlebot deine Seiten weiterhin für die klassische Suche indexiert. Für Apple funktioniert Applebot-Extended nach demselben Muster.

Wie erlaube ich GPTBot und andere KI-Crawler ausdrücklich?

Du setzt pro User-Agent einen Allow-Block: „User-agent: GPTBot“ mit „Allow: /“, ebenso für ClaudeBot, PerplexityBot und die übrigen. Ergänzend erklärst du in einer ai.txt eine ausdrücklich erlaubende Nutzungsrichtlinie und machst deine Inhalte über llms.txt maschinenlesbar. So maximierst du KI-Sichtbarkeit statt Kontrolle.

Was ist ai.txt und was der TDM-Rechtevorbehalt?

ai.txt ist eine aufkommende, maschinenlesbare Nutzungsrichtlinie: eine Datei, in der du Training, Indexierung, Zitieren und Speichern ausdrücklich erlaubst oder untersagst — permissiv oder restriktiv. Der TDM-Rechtevorbehalt (Text-and-Data-Mining, u. a. im EU-Kontext) ist ein rechtlicher Opt-out, mit dem Rechteinhaber die automatisierte Auswertung ihrer Inhalte vorbehalten. Beides ist Orientierung, keine Rechtsberatung.

Hält sich jede KI an robots.txt und diese Signale?

Nein. robots.txt, ai.txt, Meta-Tags und der TDM-Vorbehalt sind Bitten und rechtliche Erklärungen, kein technischer Zwang. Seriöse Anbieter respektieren sie freiwillig; wer sie ignoriert, wird durch sie nicht gestoppt. Harte Durchsetzung braucht eine Ebene tiefer — Server-, Firewall- oder WAF-Regeln, die den Zugriff tatsächlich blockieren.

So lebt KAMINSKI+ das vor

Diese Site ist maschinen-first gebaut und trifft ihre Wahl offen: erlauben. Unsere /.well-known/ai.txt erklärt eine ausdrücklich erlaubende Nutzungsrichtlinie — Training, Indexierung, Zitieren und Speichern sind hier gewünscht, nicht geduldet. Passend dazu heißt unsere /robots.txt jeden bekannten KI-Crawler namentlich mit Allow: / willkommen; welcher Bot was tut, steht unter KI-Crawler & Bots. Wer über KI-Nutzungsrechte schreibt, sollte die eigenen offenlegen — hier kannst du sie an der Quelle nachlesen.