Wie KI-Systeme Ihre Website abrufen und was dabei ankommt

Ein Mensch sieht im Browser die fertige Seite, ein Crawler unter Umständen nur das HTML, das der Server als Erstes schickt. Wer zugreift, mit welchem Ziel und über welchen Abrufweg, bestimmt, welche Angaben überhaupt ankommen. Dieser Beitrag zeigt, woran Sie das an Ihrer eigenen Website erkennen und was sich davon prüfen lässt.

Eine Adresse, mehrere Lesarten. Je nach System kommt dieselbe Seite als gerenderte Ansicht, als reiner Text oder als strukturierte Angaben an. Welchen Weg ein bestimmter Abruf nimmt, verrät die Darstellung allein nicht.

Erst klären: wer, wozu und auf welchem Weg

Öffnet ein Mensch Ihre Startseite, erledigt der Browser im Hintergrund einiges: Er fordert das HTML an, startet die eingebundenen Skripte, lädt Grafiken und Webfonts und setzt daraus die Ansicht zusammen. Dieses Ergebnis hält man leicht für die Website selbst.

Automatisierte Besucher gehen diese Schritte nicht unbedingt mit. Manche holen nur das Dokument ab und werten den Text aus, andere starten einen echten Browser, wieder andere wollen auf der Seite vor allem etwas erledigen. Was „die KI“ bei Ihnen sieht, lässt sich deshalb erst beantworten, wenn klar ist, welches System zugreift, was es vorhat und wie es die Seite abruft.

Suchen, trainieren, nachschlagen: drei Arten von Zugriffen

Sortiert man automatisierte Zugriffe nach ihrem Ziel, ergeben sich grob drei Gruppen. Das ist eine Lesehilfe, keine offizielle Einteilung.

  • Für Suchergebnisse und Antworten: Laut OpenAI sollte OAI-SearchBot nicht ausgesperrt werden, wenn Inhalte in ChatGPT-Zusammenfassungen und -Ausschnitten erscheinen sollen. Anthropic ordnet Claude-SearchBot der Verbesserung seiner Suchergebnisse zu. Perplexity setzt PerplexityBot ein, um Websites in den eigenen Ergebnissen anzuzeigen und zu verlinken.
  • Für die Modellentwicklung: Wer Seiten aus möglichem Training heraushalten will, schließt nach OpenAI den User-Agent GPTBot aus. Anthropic beschreibt ClaudeBot als Crawler, dessen gesammelte Inhalte möglicherweise in das Training einfließen. Perplexity betont dagegen, PerplexityBot erfasse keine Inhalte für KI-Basismodelle.
  • Für eine konkrete Nutzerfrage: Stellt jemand Claude eine Frage, kann Claude über Claude-User gezielt Websites aufrufen. Ähnlich beschreibt Perplexity seinen Abrufer Perplexity-User und vermerkt, dass er die robots.txt meist nicht beachtet, weil ein Mensch den Abruf ausgelöst hat.

robots.txt ist ein Wegweiser, kein Türschloss

Für viele Crawler ist eine Textdatei im Wurzelverzeichnis der Domain das wichtigste Steuerungsmittel: die robots.txt. Anthropic gibt an, dass sich seine Bots an die dort üblichen Anweisungen halten. Bei Abrufen, die ein Nutzer anstößt, entscheiden Anbieter und Zugriffsart, ob die Datei greift. Sie lenkt also, sperrt aber nichts zuverlässig ab.

Oft missverstanden wird Google-Extended. Nach Googles Crawler-Dokumentation ist das kein eigenständiger Bot mit eigener User-Agent-Kennung; gecrawlt wird mit den bestehenden Google-User-Agents. Die zugehörige Zeile in der robots.txt legt nur fest, ob Inhalte, die Google ohnehin erfasst, in das Training kommender Gemini-Modelle einfließen und in einzelnen Google-Produkten als Grounding dienen dürfen. Für die Google-Suche selbst, also Aufnahme und Platzierung, spielt sie laut derselben Quelle keine Rolle.

Was beim ersten Abruf im Dokument steht

Ein ausgedachtes Beispiel: ein Berliner Elektrobetrieb, der Wallboxen installiert und Terminanfragen bekommen möchte. Firmenname, Angebot, Standort und das gewünschte Ziel erkennt ein Mensch auf einen Blick. Was eine Maschine davon erfasst, hängt vom Abrufweg ab.

Für Maschinen zählt dabei nicht nur sichtbarer Fließtext. Auch strukturierte Daten, im HTML eingebettete Datenblöcke und vom Server vorab aufbereitete Inhalte gehören zum ausgelieferten Dokument und lassen sich auslesen. Entscheidend ist, ob der Server eine Angabe mitliefert oder ob sie erst im Browser entsteht. Welchen Weg ein bestimmtes System bei einem bestimmten Abruf wählt, verrät das Beispiel nicht.

Führen KI-Crawler JavaScript aus?

Ob JavaScript ausgeführt wird, hängt vom einzelnen System ab, nicht von „der KI“ als Ganzes. Für einige Crawler gibt es eine datierte Messung: Vercel und MERJ werteten echte Zugriffsprotokolle aus und veröffentlichten das Ergebnis am 17. Dezember 2024. Die untersuchten KI-Crawler, darunter PerplexityBot, Bytespider, Meta-ExternalAgent, ClaudeBot von Anthropic sowie GPTBot, ChatGPT-User und OAI-SearchBot von OpenAI, führten demnach kein JavaScript aus. Einige luden JavaScript-Dateien zwar herunter, führten sie aber nicht aus.

Dieselbe Studie nennt jedoch Gegenbeispiele: Gemini konnte dank der Infrastruktur von Google komplett rendern; AppleBot arbeitet laut der Studie mit einem browserbasierten Crawler. Selbst in dieser einen Messung gilt „kein JavaScript“ also nicht für alle KI-nahen Zugriffe. Zudem beschreibt sie ausdrücklich den damaligen Stand und sagt nichts Verbindliches über heutige Abrufe.

Anders bei der klassischen Google-Suche, für die es eine offizielle Beschreibung gibt: Google führt JavaScript mit einer laufend aktuell gehaltenen Chromium-Version aus und unterscheidet Crawling, Rendering und Indexierung. Diese Phasen laufen laut Google nicht streng nacheinander ab und sind von außen nicht einsehbar. Google kann im Browser erzeugte Inhalte also verarbeiten, während ein Abruf ohne Rendering nur das erste Dokument erhält. Ein Blick allein auf die eigene Google-Präsenz verrät diesen Unterschied nicht.

Daraus ergibt sich keine Pauschalregel, alles serverseitig auszuliefern, sondern eine Prüffrage: Welche geschäftlich wichtigen Angaben tauchen erst im Browser auf? Für Kontaktweg, Preisrahmen, Leistung und Ort ist diese Abhängigkeit ein Risiko, das sich vermeiden lässt. Ein Bildkarussell oder Chatfenster ist weniger heikel, solange sich keine wichtige Angabe und kein nötiger Schritt nur über dieses Element erreichen lässt. Mehr zur Technik dahinter im Beitrag Wie Websites ausgeliefert werden.

Lesbar heißt noch nicht genannt

Abrufbar zu sein ist erst der Anfang. Ob sich Leistung, Ort und Kontaktweg eindeutig entnehmen lassen und ob die Seite eine konkrete Frage beantwortet (mehr dazu unter Answerability), braucht jeweils einen eigenen Nachweis; keine frühe Stufe belegt eine spätere.

Auch die Anbieter formulieren hier vorsichtig. OpenAI nennt die Freigabe für OAI-SearchBot eine Bedingung, damit eine Website überhaupt aufgenommen werden kann, und stellt im selben Zusammenhang klar, dass damit keine Platzierung zugesichert ist.

Wenn ein Agent auf der Seite handeln soll

Ein Browser-Agent erhält eine Oberfläche und einen Auftrag. Er muss Bedienelemente erkennen, was leichter gelingt, wenn die Seite sie korrekt ausweist: Schaltflächen als Schaltflächen, Eingabefelder mit Beschriftung, Menüs mit erkennbarem Zustand.

OpenAI nennt als Beispiel ChatGPT Atlas. Atlas wertet ARIA-Auszeichnungen aus, also dieselben Rollen- und Namensangaben, mit denen Screenreader arbeiten, um Aufbau und interaktive Elemente einer Seite zu verstehen. OpenAI empfiehlt, sich an WAI-ARIA zu orientieren und Bedienelemente wie Menüs, Formulare und Schaltflächen mit aussagekräftigen Rollen, Zuständen und Beschriftungen auszustatten. Dokumentiert ist das für Atlas; für andere Agenten folgt daraus keine Aussage.

Barrierefreiheit ist dabei kein Kniff für Maschinen. Sie dient zuerst Menschen, die mit Screenreader, per Tastatur oder mit eingeschränktem Sehvermögen unterwegs sind. Geschäftlich relevant wird das bei Zielen wie: eine Anfrage abschicken, eine Leistung aussuchen, einen Kontaktweg finden oder eine Buchung in die Wege leiten. Wie weit einzelne Agenten dabei heute kommen, ist offen. Belastbar ist nur: Fehlen Namen und Rollen an Bedienelementen, haben es Agenten, die genau diese Angaben auswerten, schwerer, und ebenso ein Teil Ihrer Besucher. Vertiefend: Agent-Readiness.

Woran Sie es an Ihrer Website erkennen

  • Steht das Wesentliche im ersten Dokument? Name, Ort, Leistung, Kontaktweg und Preisrahmen sollten nicht von einem bestimmten Rendering-Weg abhängen; was tragend ist, hängt von Ihrem Angebot ab.
  • Ist die robots.txt bewusst gesetzt? Suche und Modelltraining lassen sich dort getrennt regeln. Wer pauschal sperrt, schließt womöglich auch Systeme aus, über die Ihre Inhalte gefunden werden sollen.
  • Stehen Antworten als Text auf der Seite? Was nur in PDFs oder Bildern steckt, erreicht nicht jedes System auf jedem Abrufweg gleich zuverlässig; was nur am Telefon zu erfahren ist, fehlt ganz. Zuständigkeiten, Fristen, Einzugsgebiete und Preise gehören deshalb auch als HTML-Text auf die Seite.
  • Wird Sichtbarkeit gemessen oder behauptet? Ob Ihre Domain in KI-Antworten vorkommt, belegen nur festgelegte, wiederholbare Tests.

Welche Prüfkriterien der Analyse dazu passen

In der Analyse von 360°Pixelkiez sehen wir uns bis zu sechs öffentliche Seiten Ihrer Website persönlich an und fassen die Befunde in einem siebenseitigen PDF-Bericht zusammen. Welche Prüfpunkte passen, entscheiden wir je Website. Zu diesem Thema gehören vor allem:

  • Abruf und Steuerung (SEO & Auffindbarkeit): „Öffentliche Erreichbarkeit“, „robots.txt & Sitemap“ und „Strukturierte Daten“.
  • Auslieferung (Performance & Technik): „Öffentlicher Technologie-Snapshot“, also nur das, was öffentlich über CMS, Frameworks oder Auslieferung erkennbar ist.
  • Auslesbarkeit und Antworten (GEO & AI Visibility): „Entitätsklarheit“, „Leistung, Zielgruppe & Standort explizit“ und „Antwortbarkeit & FAQ-Struktur“.
  • Bedienbarkeit (UX, Barrierefreiheit & Vertrauen): „Semantische Struktur & Landmarks“, „Formularbeschriftungen“ und „Tastatur & sichtbarer Fokus“.

Die Analyse beschreibt, was an den geprüften Seiten öffentlich nachvollziehbar ist. Ob ein bestimmtes KI-System Ihre Website künftig in Antworten nennt, kann sie nicht vorhersagen. Anbieterangaben können sich zudem ohne Vorankündigung ändern.

Quellen

Häufige Fragen.

Sieht eine KI meine Website so, wie ich sie im Browser sehe?

Nicht unbedingt. Ein Browser startet Skripte, lädt Grafiken und Schriften und setzt daraus die Ansicht zusammen; manche automatisierten Besucher holen dagegen nur das HTML ab, das der Server als Erstes schickt. Was ankommt, hängt davon ab, welches System zugreift, was es vorhat und wie es die Seite abruft.

Führen KI-Crawler JavaScript aus?

Das hängt vom einzelnen System ab, nicht von „der KI“ als Ganzes. Eine veröffentlichte Messung fand bei den untersuchten KI-Crawlern keine JavaScript-Ausführung, nannte aber Gegenbeispiele und beschreibt nur ihren damaligen Stand; die Google-Suche führt JavaScript nach eigener Beschreibung aus. Was schon im ersten Dokument steht, erreicht auch Systeme ohne Browser.

Sollte ich KI-Crawler in meiner robots.txt aussperren?

Das entscheiden Sie, am besten bewusst: Suche und Modelltraining lassen sich dort getrennt regeln, und wer pauschal sperrt, schließt womöglich auch Systeme aus, über die Ihre Inhalte gefunden werden sollen. Ein Schloss ist die robots.txt ohnehin nicht; bei Abrufen, die ein Mensch anstößt, greift sie nicht immer.

Welche Angaben sollten schon im ausgelieferten HTML stehen?

Alles, was für Ihr Geschäft tragend ist, etwa Firmenname, Ort, Leistung, Kontaktweg und gegebenenfalls ein Preisrahmen. Was nur in PDFs oder Bildern steckt, erreicht nicht jedes System gleich zuverlässig, und was nur am Telefon zu erfahren ist, fehlt ganz. Mehr zur Technik dahinter im Beitrag Wie Websites ausgeliefert werden.

Weiterlesen.

SEO, GEO und AI Visibility: Begriffe, Grundlagen, GrenzenWas SEO, GEO und AI Visibility jeweils meinen, welche Grundlagen sie teilen und warum sich Nennungen in KI-Antworten nur beobachten lassen. Was Ihre Website beim ersten Abruf tatsächlich ausliefertWarum der Name des Frameworks wenig sagt und welche Inhalte Ihre Seite schon beim ersten Abruf mitbringen sollte. Analyse: KI-Crawler und KI-Agenten: Wer liest Ihre Website – und wie?Welche KI-Systeme Ihre Website abrufen und wie Sie das steuern

Wie steht Ihre Website da?

Pixelkiez prüft bis zu sechs öffentliche Seiten Ihrer Website persönlich und schickt Ihnen einen Bericht mit sieben Seiten als PDF. Kostenlos, ohne Abo.

Kostenlose Analyse-Anfragen in Kürze verfügbar.