KI-Crawler und KI-Agenten: Wer liest Ihre Website – und wie?

Jede dieser Gruppen reagiert anders auf die robots.txt, liest JavaScript unterschiedlich gut und lässt sich unterschiedlich zuverlässig erkennen. Wer entscheiden möchte, welche KI-Systeme die eigene Website nutzen dürfen – und wer in KI-Antworten sichtbar sein möchte –, muss diese Unterschiede kennen. Dieser Beitrag gibt einen Überblick über die wichtigsten Anbieter, erklärt die technischen Stellschrauben und zeigt typische Fallstricke.

Auf einen Blick

• KI-Systeme greifen auf drei Arten zu: für Training, für Suche und KI-Antworten und für Abrufe auf Nutzeranfrage oder durch Agenten.
• Training und Sichtbarkeit sind getrennte Entscheidungen. Wer zum Beispiel GPTBot sperrt, schließt Inhalte vom Training bei OpenAI aus, bleibt aber in der ChatGPT-Suche sichtbar, solange OAI-SearchBot erlaubt ist (OpenAI: Overview of OpenAI Crawlers).
• Ob KI-Systeme Ihre Website lesen können, hängt von vier Ebenen ab: Erlaubnis (robots.txt und Robots-Angaben), Erreichbarkeit (Server, CDN, Firewall), Lesbarkeit (Inhalt im HTML) und Verständlichkeit (klare, belegte Inhalte).
• Viele KI-Crawler führen kein JavaScript aus: OpenAI, Anthropic und Perplexity dokumentieren das Rendering ihrer Crawler nicht, und eine Messung vom Dezember 2024 fand bei ihnen keine JavaScript-Ausführung. Inhalte, die erst im Browser entstehen, fehlen ihnen möglicherweise (Vercel: The rise of the AI crawler).
• Dieser Beitrag ist Hintergrundwissen. Ein Zugriffstest je KI-Crawler ist nicht Teil des aktuellen Prüfmodells unserer Website-Analyse.

Die drei Zugriffsarten im Überblick

Die wichtigste Konsequenz: Eine pauschale Sperre aller „KI-Bots“ trifft auch die Crawler, die für Quellenangaben und Verlinkungen in KI-Antworten sorgen. Umgekehrt bleibt eine Website, die nur Such-Crawler zulässt, in KI-Suchen sichtbar, ohne Inhalte für das Training freizugeben.

Die Anbieter im Detail

Stand: 2. November 2026. Die Angaben der Anbieter ändern sich regelmäßig; maßgeblich sind jeweils die verlinkten Originalquellen.

Google: Suche, AI Overviews, AI Mode und Gemini

Googlebot crawlt für die Google-Suche. AI Overviews und AI Mode bauen auf diesem Suchindex auf: Eine Seite muss indexiert und mit Snippet ausspielbar sein, um als unterstützender Link zu erscheinen; zusätzliche technische Anforderungen gibt es laut Google nicht. Google nennt ausdrücklich, dass das Crawling nicht nur in der robots.txt, sondern auch durch CDN- und Hosting-Infrastruktur erlaubt sein sollte (Google Search Central: KI-Funktionen und Ihre Website).

Google-Extended ist kein eigener Crawler, sondern ein Steuer-Token in der robots.txt. Es regelt, ob Inhalte, die Google crawlt, für Gemini-Apps und Modelle der Vertex-AI-Plattform genutzt werden dürfen – für das Training und für die Verankerung von Antworten in Quellen (Grounding). Laut Google beeinflusst Google-Extended weder die Aufnahme noch das Ranking in der Google-Suche (Google for Developers: Common Crawlers).

AI Overviews und AI Mode werden nicht über Google-Extended gesteuert, sondern über die üblichen Snippet- und Index-Angaben wie nosnippet, data-nosnippet, max-snippet oder noindex (Google Search Central: KI-Funktionen und Ihre Website). Seit dem 31. August 2026 bietet Google zudem weltweit eine Einstellung in der Search Console an, mit der Websites sich von generativen KI-Funktionen der Suche ausschließen können. Laut Google wirkt sich diese Einstellung nicht auf das Ranking in der normalen Suche aus (Google: New opportunities, control and insights for website owners).

Google-Agent ist eine neuere Kennung, die Google 2026 dokumentiert hat. Sie wird von Agenten auf Google-Infrastruktur genutzt, die im Auftrag von Nutzern im Web navigieren und Aktionen ausführen. Wie andere nutzerausgelöste Google-Abrufe beachten diese Zugriffe die robots.txt in der Regel nicht; die IP-Bereiche veröffentlicht Google gesondert. Seit Mai 2026 erprobt Google für diese Zugriffe zudem das Verfahren Web Bot Auth, mit dem sich Anfragen kryptografisch einem Absender zuordnen lassen (Google for Developers: Google-Agent).

JavaScript: Google rendert JavaScript, empfiehlt aber weiterhin serverseitiges Rendering oder Pre-Rendering, weil nicht alle Bots JavaScript ausführen können (Google Search Central: JavaScript-SEO-Grundlagen).

OpenAI: ChatGPT

OpenAI dokumentiert mehrere Kennungen mit getrennten Aufgaben (OpenAI: Overview of OpenAI Crawlers).

• OAI-SearchBot sorgt dafür, dass Websites in den Suchergebnissen von ChatGPT erscheinen. Gesperrte Websites werden laut OpenAI nicht in Suchantworten gezeigt, können aber weiterhin als reine Navigationslinks auftauchen. Änderungen an der robots.txt wirken nach etwa 24 Stunden.
• GPTBot sammelt Inhalte, die für das Training von OpenAI-Modellen verwendet werden können. Eine Sperre signalisiert, dass Inhalte nicht für das Training genutzt werden sollen – unabhängig von der Suche.
• ChatGPT-User wird für Aktionen verwendet, die Nutzer auslösen, etwa wenn ChatGPT während einer Unterhaltung eine Seite öffnet. Weil eine Person den Abruf auslöst, gelten die Regeln der robots.txt laut OpenAI möglicherweise nicht.
• OAI-AdsBot prüft ausschließlich Zielseiten von Anzeigen, die in ChatGPT eingereicht wurden.

Der Cloud-Browser, mit dem ChatGPT als Agent im Web arbeitet, signiert seine Anfragen nach dem Verfahren HTTP Message Signatures (RFC 9421), damit CDNs und Firewalls echte Anfragen von gefälschten unterscheiden können; die Anfragen tragen den Header Signature-Agent mit dem Wert https://chatgpt.com, die öffentlichen Schlüssel veröffentlicht OpenAI unter chatgpt.com/.well-known/http-message-signatures-directory (OpenAI Help Center: Cloud browser allowlisting, IETF: RFC 9421 – HTTP Message Signatures). Für seinen Browser ChatGPT Atlas gab OpenAI zudem an, dass der Agent ARIA-Rollen und -Beschriftungen nutzt, um Seitenstruktur und Bedienelemente zu verstehen (OpenAI: Publishers and Developers FAQ). Barrierefrei gestaltete Seiten sind für solche Agenten also leichter zu bedienen. Um eine Seite aus ChatGPT herauszuhalten, nennt OpenAI das Meta-Tag noindex; der Crawler muss die Seite dafür abrufen dürfen.

Anthropic: Claude

Anthropic unterscheidet drei Kennungen (Anthropic: Does Anthropic crawl data from the web?).

• ClaudeBot sammelt Inhalte, die zum Training beitragen können. Eine Sperre signalisiert, dass künftige Inhalte nicht in Trainingsdaten gelangen sollen.
• Claude-SearchBot indexiert Inhalte, um Suchergebnisse für Claude-Nutzer zu verbessern.
• Claude-User ruft Seiten ab, wenn eine Frage an Claude das erfordert.

Laut Anthropic beachten alle drei die robots.txt, unterstützen die Angabe Crawl-delay und umgehen keine CAPTCHAs. Regeln müssen für jede Subdomain einzeln gesetzt werden. Anthropic rät von IP-Sperren als Opt-out ab, weil sie nicht zuverlässig oder dauerhaft wirken müssen, und veröffentlicht die IP-Adressen seiner Crawler.

Perplexity

• PerplexityBot verlinkt Websites in den Suchergebnissen von Perplexity und wird laut Anbieter nicht für das Training von Basismodellen genutzt.
• Perplexity-User ruft Seiten ab, wenn eine Nutzerfrage das erfordert, und ignoriert die robots.txt laut Perplexity in der Regel, weil der Abruf von einer Person ausgeht. Für Firewall-Regeln empfiehlt Perplexity, Kennung und IP-Bereich gemeinsam zu prüfen (Perplexity: Perplexity Crawlers).

Im August 2025 warf Cloudflare Perplexity vor, nach Sperren mit nicht deklarierten Crawlern und wechselnden IP-Adressen weiter auf Inhalte zuzugreifen, und entfernte Perplexity aus seiner Liste verifizierter Bots (Cloudflare: Perplexity is using stealth, undeclared crawlers). Perplexity wies die Darstellung zurück und argumentierte, nutzerausgelöste KI-Assistenten seien keine Crawler im herkömmlichen Sinn (Perplexity: Agents or Bots? Making Sense of AI on the Open Web). Seit Oktober 2026 prüft Cloudflare nach eigenen Angaben fortlaufend, ob verifizierte Bots die robots.txt und Rückmeldungen wie HTTP 429 beachten (Cloudflare: Continuous accountability for Verified bots). Der Fall zeigt, dass die Grenze zwischen Crawler und Assistent umstritten ist.

Microsoft: Bing und Copilot

Copilot und die KI-Zusammenfassungen von Bing nutzen Inhalte, die Bing erfasst. Website-Betreiber steuern deren Verwendung über Präferenzen, die Microsoft für KI-Training und für Grounding vorsieht: Das Training lässt sich künftig per robots.txt oder pro Seite ausschließen, das Grounding pro Seite; ein Wert DisallowExtended erlaubt Grounding nur noch für Microsofts eigene Dienste wie Copilot und Microsoft 365 (Bing Search Blog: Your content, your choice).

Bis zum 1. März 2027 wertet Bing die Robots-Angaben noarchive und nocache als Präferenz für die Nutzung in KI-Antworten. Am 30. Oktober 2026 hat Microsoft angekündigt, sie ab dem 1. Februar 2027 durch die getrennten Präferenzen für Training und Grounding zu ersetzen; ohne Angabe gelten beide als erlaubt, und auf die normalen Bing-Suchergebnisse wirken sie sich nicht aus (Bing Search Blog: Your content, your choice). Abschnitte, die nicht in Snippets und KI-Zusammenfassungen erscheinen sollen, lassen sich seit Oktober 2025 mit data-nosnippet markieren (Bing Webmaster Blog: Support for the data-nosnippet HTML Attribute). Messbar wird die Sichtbarkeit in Bing Webmaster Tools: Der Bericht „AI Performance“, seit Februar 2026 als öffentliche Vorschau verfügbar, zeigt, wie oft eine Website in Copilot, in KI-Zusammenfassungen bei Bing und in ausgewählten Partnerintegrationen zitiert wird; seit Juni 2026 kommen Auswertungen nach Themen, Absichten und Zitieranteil hinzu (Bing Webmaster Blog: Introducing AI Performance in Bing Webmaster Tools, Bing Search Blog: New AI Visibility Insights in Bing Webmaster Tools). Microsoft rät, die Werte als Orientierung für die Planung zu lesen, nicht als exakte Messung (Bing Webmaster Blog: Introducing Topics Portfolio (Beta) in AI Performance).

Apple: Siri, Spotlight und Apple Intelligence

Applebot crawlt für Such- und Vorschlagsfunktionen in Apple-Produkten; die Daten können auch für das Training von Apples Modellen genutzt werden. Applebot beachtet die robots.txt, folgt den Regeln für Googlebot, wenn Applebot nicht eigens genannt wird, unterstützt kein Crawl-delay und kann Seiten wie ein Browser darstellen. Applebot-Extended crawlt selbst nicht: Wer es sperrt, widerspricht der Nutzung für das Training von Apples Basismodellen, die Seiten können aber weiterhin in Apples Suchergebnissen erscheinen. Laut Apple können von Applebot erfasste Inhalte auch als Kontext für KI-generierte Antworten dienen; mit der Angabe nosnippet lässt sich eine Seite davon ausschließen (Apple Support: About Applebot).

Meta: Meta AI in Facebook, Instagram und WhatsApp

Meta dokumentiert mehrere Kennungen (Meta for Developers: Web Crawlers).

• Meta-ExternalAgent crawlt laut Meta für das Training von KI-Modellen oder zur Verbesserung von Produkten durch direkte Indexierung. Eine Sperre betrifft also beide Zwecke.
• Meta-WebIndexer verbessert die Suchergebnisse von Meta AI. Ihn zuzulassen hilft laut Meta, Inhalte in Antworten von Meta AI zu zitieren und zu verlinken.
• Meta-ExternalFetcher ruft einzelne Links auf Nutzerwunsch ab und kann die robots.txt deshalb umgehen. FacebookExternalHit erzeugt Linkvorschauen und kann die robots.txt bei Sicherheitsprüfungen umgehen.
• Meta-ExternalAds ruft Seiten für Werbe- und Geschäftsprodukte von Meta ab.

Common Crawl

CCBot baut ein offenes Webarchiv auf, das vielen KI-Projekten als Trainingsquelle dient. Common Crawl gibt an, die robots.txt zu beachten, und veröffentlicht die IP-Bereiche des Crawlers zur Überprüfung. Eine Sperre wirkt auf künftige Crawls; für bereits erfasste Inhalte verweist Common Crawl auf sein Opt-out-Register (Common Crawl: CCBot, Common Crawl: FAQ).

Agenten in echten Browsern

Einige KI-Assistenten arbeiten direkt in einem Browser – in einer Cloud-Umgebung des Anbieters oder auf dem Gerät der Nutzer. Solcher Verkehr ist von gewöhnlichen Besuchen oft kaum zu unterscheiden, wenn er nicht signiert oder eindeutig gekennzeichnet ist. Infrastruktur-Anbieter wie Cloudflare ordnen deshalb Anfragen inzwischen nach ihrer Funktion ein und unterscheiden eigens die Kategorie „Agent“ für automatisierte Aktivitäten, die in Echtzeit im Auftrag einer Person handeln (Cloudflare Changelog: New options to manage AI traffic (01.07.2026)). Für solche Besucher zählt vor allem, ob die Seite für Menschen gut bedienbar ist.

Was das für Ihre Website bedeutet

robots.txt ist eine Bitte, kein Schloss

Die robots.txt ist seit 2022 im IETF-Standard RFC 9309 (Proposed Standard) beschrieben. Seriöse Crawler halten sich daran; technisch erzwingen kann die Datei nichts, und sie ist ausdrücklich keine Form der Zugriffskontrolle. Für die Praxis besonders wichtig: Ein Crawler befolgt die Gruppe, die seine Kennung ausdrücklich nennt, und nur ohne passende Gruppe die Regeln unter User-agent: *. Wer also eine eigene Gruppe für einen Crawler anlegt, muss dort alle gewünschten Regeln wiederholen (IETF: RFC 9309 – Robots Exclusion Protocol).

Unsichtbare Sperren liegen oft außerhalb der robots.txt

Viele Sperren entstehen im CDN, in der Firewall oder in Sicherheits-Erweiterungen des Hostings – oft ohne dass die Verantwortlichen für die Inhalte davon wissen. Ein Beispiel: Cloudflare hat im Juli 2025 seine Voreinstellung so geändert, dass bekannte KI-Crawler blockiert werden, sofern Betreiber sie nicht ausdrücklich zulassen (Cloudflare: Content Independence Day). Seit Juli 2026 unterscheidet Cloudflare die Kategorien „Search“, „Agent“ und „Training“. Für Domains, die ab dem 15. September 2026 neu hinzukommen, sind Training- und Agent-Crawler auf Seiten mit Werbung standardmäßig gesperrt, Such-Crawler bleiben erlaubt. Mehrzweck-Crawler, die Suche und Training verbinden, sind von einer Trainingssperre ebenfalls betroffen (Cloudflare Changelog: New options to manage AI traffic (01.07.2026)). Wie stark sich der Verkehr verschoben hat, zeigen Zahlen von Cloudflare: Im Juni 2026 dienten rund 52 % der Crawler-Anfragen in seinem Netz dem KI-Training, im Frühjahr 2025 waren es 22 % (Cloudflare: Content Independence Day, one year on).

Ob eine Firewall einen bestimmten Crawler durchlässt, lässt sich von außen nur eingeschränkt prüfen: Firewalls erkennen echte Crawler häufig an IP-Adressen oder Signaturen, die ein externer Test nicht nachbilden kann. Verlässlich sind Server- oder CDN-Protokolle mit den jeweiligen Statuscodes – etwa 200, 403 oder 429 – oder ein direkter Blick in die Bot-Einstellungen.

Viele KI-Crawler führen kein JavaScript aus

Google verarbeitet JavaScript, sofern es nicht blockiert ist, und Applebot kann Seiten wie ein Browser darstellen (Google Search Central: Leitfaden zu generativen KI-Funktionen, Apple Support: About Applebot). OpenAI, Anthropic und Perplexity dokumentieren das Rendering-Verhalten ihrer Crawler nicht (Stand November 2026). Die jüngste uns bekannte veröffentlichte Messung außerhalb von Agentur-Tests, eine Auswertung von Vercel und MERJ aus dem Dezember 2024, fand bei den Crawlern von OpenAI, Anthropic, Meta, ByteDance und Perplexity keine Ausführung von JavaScript; sie luden JavaScript-Dateien teilweise herunter, ohne sie auszuführen (Vercel: The rise of the AI crawler). Für die Praxis heißt das: Hauptinhalt, Überschriften, Leistungsbeschreibung, Preise und Kontaktdaten sollten bereits im ausgelieferten HTML stehen, etwa durch serverseitiges Rendering oder statische Seiten. Die Studie ist eine Momentaufnahme; prüfen Sie im Zweifel selbst, was im Seitenquelltext steht.

Agenten lesen über Screenshot, HTML und Accessibility Tree

Google beschreibt drei Wege, wie KI-Agenten eine Seite erfassen: über Screenshots, über das HTML und über den Accessibility Tree – dieselbe Struktur, die auch Screenreader nutzen. Empfohlen werden semantische Elemente wie button und a statt umgebauter div-Elemente, verknüpfte Formularbeschriftungen, wichtige Aktionen an gleichbleibender Stelle und keine verdeckenden, transparenten Überlagerungen (web.dev: Build agent-friendly websites). Barrierefreiheit und Agentenfreundlichkeit sind damit weitgehend dieselbe Arbeit. Mehr dazu im Bereich Barrierefreiheit.

llms.txt ist optional, kein Ersatz

Die Datei llms.txt ist ein 2024 vorgeschlagenes und im August 2026 in Version 2 überarbeitetes, nicht standardisiertes Format, das KI-Systemen eine Übersicht wichtiger Inhalte geben soll (llmstxt.org: The /llms.txt file). Verbreitet ist es kaum: Laut Web Almanac 2025 hatten rund 2 % der untersuchten Websites eine gültige llms.txt, ein großer Teil davon automatisch von einem SEO-Plugin erzeugt (HTTP Archive: Web Almanac 2025, SEO). Google stellt klar, dass die Google-Suche weder KI-Textdateien noch zusätzliche maschinenlesbare Dateien nutzt (Google Search Central: Leitfaden zu generativen KI-Funktionen). OpenAI, Anthropic und Perplexity verweisen für die Steuerung ihrer Crawler auf die robots.txt; dass ihre Crawler fremde llms.txt-Dateien auswerten, dokumentiert keiner dieser Anbieter in den oben verlinkten Crawler-Dokumentationen. Eine llms.txt kann für Entwicklerwerkzeuge nützlich sein, ersetzt aber weder crawlbares HTML noch klare Inhalte.

Echte Crawler erkennen

Kennungen im User-Agent lassen sich fälschen. Google, OpenAI, Anthropic, Perplexity, Apple und Common Crawl veröffentlichen deshalb IP-Bereiche oder Prüfverfahren für ihre Crawler; signierte Anfragen nach RFC 9421 sind ein neuerer Ansatz, der sich kryptografisch prüfen lässt. Firewall-Regeln sollten Kennung und IP-Bereich kombinieren und die offiziellen Listen regelmäßig abgleichen.

Wirkung messen statt vermuten

• Google Search Console: Zugriffe aus AI Overviews und AI Mode erscheinen im Leistungsbericht unter dem Suchtyp „Web“ (Google Search Central: KI-Funktionen und Ihre Website). Seit 2026 gibt es zusätzlich eigene Berichte zur Leistung in generativen KI-Funktionen.
• Bing Webmaster Tools: Der Bericht „AI Performance“ zeigt Zitierungen in Copilot.
• Web-Analyse: Verweise von Domains wie chatgpt.com, perplexity.ai, claude.ai, copilot.microsoft.com oder gemini.google.com. ChatGPT ergänzt Links aus der ChatGPT-Suche laut OpenAI um den Parameter utm_source=chatgpt.com (OpenAI: Publishers and Developers FAQ). Solche Signale sind nicht vollständig: Verweisangaben können durch Apps, Browser-Einstellungen oder technische Änderungen fehlen, sodass Besuche als direkte Zugriffe erscheinen.
• Server-Protokolle: Welche Kennungen greifen auf welche Adressen zu, mit welchem Statuscode?

Beispiel: Ausgewählte Trainings-Crawler ablehnen, KI-Suche weiterhin erlauben

Welche Einstellung richtig ist, ist eine geschäftliche Entscheidung, keine technische. Das folgende Beispiel zeigt nur das Prinzip für eine Website, die in KI-Suchen sichtbar bleiben, aber ausgewählten Trainings-Crawlern widersprechen möchte. Es ist bewusst keine vollständige Trainingssperre:

# Beispiel – keine pauschale Empfehlung
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.example.de/sitemap.xml

Zu beachten:

• OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot und Bingbot fallen hier unter User-agent: * und bleiben erlaubt.
• Die Sperre von Google-Extended schließt auch die Verankerung von Antworten in Gemini-Apps aus – also mögliche Quellenangaben dort.
• Meta-ExternalAgent fehlt bewusst: Er dient bei Meta auch der Indexierung, eine Sperre würde also mehr als das Training betreffen. Wer das Training bei Meta ausschließen möchte, nimmt diesen Zielkonflikt in Kauf.
• Nutzerausgelöste Abrufe und Agenten in echten Browsern lassen sich auf diesem Weg nicht zuverlässig steuern.
• Eine Erlaubnis in der robots.txt bedeutet nicht, dass eine Seite tatsächlich gecrawlt, indexiert oder zitiert wird.
• Das für 2027 angekündigte gemeinsame Trainingssignal ist im Beispiel bewusst nicht enthalten, solange es nicht unterstützt wird (siehe Ausblick).

Ausblick: Nutzungspräferenzen statt nur Zugriffsregeln

Die robots.txt regelt nach RFC 9309 nur, welche Adressen ein Crawler abrufen darf – nicht, was danach mit den Inhalten geschieht. In der Arbeitsgruppe „AI Preferences“ (AIPREF) der IETF wird deshalb an Ergänzungen gearbeitet, mit denen sich Nutzungspräferenzen ausdrücken lassen sollen, etwa ob Inhalte für das KI-Training genutzt werden dürfen. Dazu liegen zwei Entwürfe vor: ein Vokabular für Nutzungspräferenzen wie „KI-Training“ (draft-ietf-aipref-vocab-08, September 2026) und ein Verfahren, diese Präferenzen per robots.txt oder HTTP-Header an Inhalte zu knüpfen (draft-ietf-aipref-attach-05, August 2026). Beide sind Entwürfe, keine verabschiedeten Standards (IETF: draft-ietf-aipref-vocab, IETF: draft-ietf-aipref-attach-05).

Angekündigt: ein gemeinsames Trainingssignal für mehrere Anbieter

Im Oktober 2026 haben Google und Microsoft angekündigt, ein gemeinsames Signal für KI-Training in der robots.txt zu unterstützen (Google Search Central Blog: Supporting a shared AI training control for websites). Statt jeden KI-Anbieter einzeln anzusprechen, sollen Website-Betreiber ihre Trainingspräferenz mit einer gemeinsamen Zeile User-agent: __usage_ai-training ausdrücken können. Google will das laut seiner Crawler-Dokumentation ab Anfang 2027 unterstützen (Google for Developers: Common Crawlers); Microsoft nennt dieselbe Zeile in seiner Ankündigung vom 30. Oktober 2026 und wertet seine neuen Präferenzen ab dem 1. Februar 2027 aus (Bing Search Blog: Your content, your choice). Die Schreibweise __usage_ai-training steht nicht in den beiden Entwürfen der AIPREF-Arbeitsgruppe, die eine eigene Syntax vorsehen (Stand November 2026).

Für die Praxis wichtig:

• Heute noch nicht verlässlich: Das Signal ist angekündigt, aber noch nicht umgesetzt. Bis zur tatsächlichen Unterstützung bleiben die einzelnen Kennungen wie GPTBot, ClaudeBot oder Google-Extended maßgeblich.
• Nicht jeder Anbieter ist dabei: Ob und wann weitere Anbieter wie OpenAI oder Anthropic das Signal beachten, ist nicht verbindlich dokumentiert. Prüfen Sie dazu die jeweilige Crawler-Dokumentation.
• Übergang je Anbieter verschieden: Bei Microsoft ersetzen die neuen Präferenzen ab 2027 die bisherigen Angaben noarchive und nocache. Wie Google das gemeinsame Signal mit einer bestehenden Regel für Google-Extended verknüpft, beschreiben die von uns geprüften Google-Dokumente bislang nicht (Stand November 2026).
• Training ist nicht Suche: Microsoft betont, dass die Präferenzen keine Auswirkung auf die normalen Bing-Suchergebnisse haben. Bei Google beeinflusst schon heute das Token Google-Extended die Aufnahme in die Google-Suche nicht (Google for Developers: Common Crawlers).

Bis aus Ankündigungen und Entwürfen gelebte Standards werden, bleibt die Steuerung über einzelne Kennungen der verlässlichste Weg. Prüfen Sie Ihre robots.txt nach der Einführung erneut.

Rechtlicher Rahmen in Deutschland

Vervielfältigungen rechtmäßig zugänglicher Werke für das Text und Data Mining sind nach § 44b des Urheberrechtsgesetzes (UrhG) grundsätzlich erlaubt, solange die Rechteinhaber sich diese Nutzung nicht vorbehalten haben. Bei online zugänglichen Werken ist ein solcher Vorbehalt nur wirksam, wenn er in maschinenlesbarer Form erfolgt (§ 44b UrhG).

Im Verfahren um den Datensatz des Vereins LAION hat das Hanseatische Oberlandesgericht am 10. Dezember 2025 die Berufung eines Fotografen zurückgewiesen (Az. 5 U 104/24). Nach der Pressemitteilung des Gerichts konnte sich der Verein auf die Schrankenregelungen für das Text und Data Mining berufen; der zum Zeitpunkt des Downloads auf der Website einer Bildagentur formulierte Nutzungsvorbehalt genügte mangels Maschinenlesbarkeit nicht. Die Entscheidung ist nicht rechtskräftig; das Oberlandesgericht hat die Revision zum Bundesgerichtshof zugelassen (Hanseatisches Oberlandesgericht: Pressemitteilung vom 10.12.2025). Über die Revision hat der Bundesgerichtshof am 3. September 2026 verhandelt (Az. I ZR 281/25); die Verkündung einer Entscheidung ist für den 17. Dezember 2026 angesetzt (Bundesgerichtshof: Terminhinweis I ZR 281/25, Bundesgerichtshof: Pressemitteilung Nr. 085/2026). Im Kern geht es darum, ob ein in natürlicher Sprache formulierter Nutzungsvorbehalt als maschinenlesbar im Sinne von § 44b Abs. 3 UrhG gelten kann. Bis dahin ist ein Vorbehalt in einem technisch auswertbaren Format wie der robots.txt der vorsichtigere Weg. Dieser Abschnitt ist keine Rechtsberatung; die Rechtslage entwickelt sich weiter.

Wie das mit unserer Website-Analyse zusammenhängt

Mehrere Prüfkriterien betreffen genau die Voraussetzungen, die KI-Systeme zum Lesen einer Website brauchen:

• Öffentliche Erreichbarkeit – ohne erfolgreichen Abruf liest weder ein Mensch noch ein Crawler etwas.
• robots.txt & Sitemap – die abgerufene robots.txt zeigt, welche Bereiche gesperrt sind; dabei werden auch Regeln für einzelne KI-Kennungen sichtbar.
• Indexierbarkeit & Canonicals – noindex und widersprüchliche Signale wirken auch auf KI-Suchfunktionen, die auf einem Suchindex aufbauen.
• Öffentlicher Technologie-Snapshot – liefert Hinweise, ob Inhalte erst im Browser per JavaScript entstehen.
• Semantische Struktur & Landmarks – Grundlage für den Accessibility Tree, den auch Agenten auswerten.
• KI-Verständlichkeit – sieben Kriterien zu Entitätsklarheit, Antwortstruktur, Belegen und Konsistenz.

Nicht Teil des aktuellen Prüfmodells ist ein Zugriffstest je KI-Crawler. Keines dieser Kriterien garantiert, dass ein bestimmtes KI-System eine Website liest, zitiert oder empfiehlt.

Quellen

Die Aussagen auf dieser Seite stützen sich auf die folgenden Quellen, geordnet nach Herausgeber. Angaben von Anbietern beschreiben, was ein Unternehmen über sein eigenes System sagt; sie sind dafür die maßgebliche Quelle und können sich jederzeit ändern. Bei Gesetzen, Standards und technischen Referenzen nennen wir die geltende Fassung.

Google

Google dokumentiert seine Crawler und Steuer-Tokens, die Anforderungen an KI-Funktionen der Suche, nutzerausgelöste Abrufe durch Agenten und die Einstellungen für Website-Betreiber.

• AI features and your website
• List of Google's common crawlers (u. a. Google-Extended)
• Google Blog: New opportunities, control and insights for website owners
• Google User-Triggered Fetchers: Google-Agent
• Understand JavaScript SEO basics
• Google's Guide to Optimizing for Generative AI Features on Google Search
• web.dev: Build agent-friendly websites
• Search Central Blog: Supporting a shared AI training control for websites

Microsoft

Microsoft beschreibt die Präferenzen für KI-Training und Grounding, die Steuerung von Snippets und die Berichte zur KI-Sichtbarkeit in Copilot und Bing.

• Bing Search Blog: Your content, your choice – clearer preferences for training and grounding
• Bing Webmaster Blog: Bing Introduces Support for the data-nosnippet HTML Attribute
• Bing Webmaster Blog: Introducing AI Performance in Bing Webmaster Tools (Public Preview)
• Bing Search Blog: New AI Visibility Insights in Bing Webmaster Tools
• Bing Webmaster Blog: Introducing Topics Portfolio (Beta) in AI Performance

OpenAI

OpenAI dokumentiert seine Crawler, die Signatur der Agenten-Anfragen und Hinweise für Website-Betreiber.

• Overview of OpenAI Crawlers
• Help Center: ChatGPT Work's Cloud browser allowlisting
• Help Center: Publishers and Developers – FAQ

Anthropic

Anthropic beschreibt seine drei Kennungen und wie Website-Betreiber sie steuern.

• Help Center: Does Anthropic crawl data from the web, and how can site owners block the crawler?

Perplexity

Perplexity dokumentiert seine Kennungen und seine Sicht auf nutzerausgelöste Abrufe.

• Perplexity Crawlers
• Agents or Bots? Making Sense of AI on the Open Web

Apple

Apple beschreibt Applebot, Applebot-Extended und die Nutzung von Inhalten für KI-Antworten.

• About Applebot

Meta

Meta dokumentiert die Kennungen seiner Crawler und Abrufdienste.

• Meta Web Crawlers

Common Crawl

Common Crawl beschreibt seinen Crawler, die IP-Bereiche und das Opt-out-Register.

• CCBot
• Frequently Asked Questions

Cloudflare

Cloudflare beschreibt seine Voreinstellungen für KI-Crawler, die Einordnung von Bots und eigene Messdaten aus seinem Netz.

• Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives
• Continuous accountability for Verified bots
• Changelog: New options to manage AI traffic
• Content Independence Day: no AI crawl without compensation!
• Content Independence Day, one year on

Vercel

Die Auswertung von Vercel und MERJ ist die jüngste uns bekannte veröffentlichte Messung außerhalb von Agentur-Tests, ob KI-Crawler JavaScript ausführen (Stand November 2026).

• The rise of the AI crawler (Auswertung mit MERJ)

HTTP Archive

Der Web Almanac misst, wie verbreitet llms.txt und KI-bezogene robots.txt-Regeln sind.

• Web Almanac 2025, Kapitel SEO

llmstxt.org

Der Vorschlag für die Datei llms.txt beschreibt Format und Zweck; ein Standard ist er nicht.

• The /llms.txt file, Version 2

IETF

Die IETF beschreibt die robots.txt als Standard (RFC 9309), signierte HTTP-Anfragen und die Entwürfe für KI-Nutzungspräferenzen.

• RFC 9421 – HTTP Message Signatures
• RFC 9309 – Robots Exclusion Protocol
• draft-ietf-aipref-vocab-08 – A Vocabulary For Expressing AI Usage Preferences
• draft-ietf-aipref-attach-05 – Associating AI Usage Preferences with Content in HTTP

Bundesamt für Justiz

Das Urheberrechtsgesetz regelt das Text und Data Mining und den Nutzungsvorbehalt.

• Urheberrechtsgesetz (UrhG), § 44b Text und Data Mining

Bundesgerichtshof

Der Bundesgerichtshof informiert über das laufende Revisionsverfahren zum LAION-Datensatz.

• Terminhinweis: Verkündungstermin am 17.12.2026 in Sachen I ZR 281/25
• Pressemitteilung Nr. 085/2026: Verhandlungstermin in Sachen I ZR 281/25

Hanseatisches Oberlandesgericht

Das Oberlandesgericht hat die Entscheidung der Vorinstanz und die Zulassung der Revision veröffentlicht.

• Pressemitteilung: KI und Urheberrecht – Hanseatisches Oberlandesgericht weist Berufung zurück