Technische KI-Sichtbarkeit: Warum KI-Crawler deine Website nicht verstehen

Dein CMS rendert JavaScript. Die meisten KI-Crawler können kein JavaScript. Das ist der ganze Konflikt in zwei Sätzen.

Aus berechtigter Angst vor Datenklau haben viele Unternehmen 2024 alle KI-Crawler ausgesperrt. Jetzt stellen sie fest, dass sie sich aus dem Zukunftsmarkt zensiert haben.

Viele Security-Plugins und WAFs blockieren GPTBot, PerplexityBot und ClaudeBot pauschal, oft schon in der Standardkonfiguration. Dein IT-Team hat vermutlich keine böse Absicht, aber das Ergebnis ist dasselbe: deine Website ist für KI unsichtbar. Was KI-Sichtbarkeit inhaltlich bedeutet, steht im Grundlagen-Guide. Diese Seite behandelt nur die Technik darunter.

Die Reihenfolge der Diagnose ist immer dieselbe: Kommt der Bot überhaupt an, im Server-Log nachsehen. Bekommt er HTML mit Text, in den Quelltext schauen statt in den Inspector. Versteht er die Entität, Schema prüfen. Findet er eine abgrenzbare Passage, Struktur prüfen. Wer bei Schritt vier anfängt, obwohl Schritt eins fehlschlägt, optimiert für ein System, das die Seite nie gesehen hat.

User-Agents lassen sich fälschen, und ein Teil der angeblichen KI-Zugriffe im Log kommt von Scrapern, die sich als GPTBot ausgeben. Die Betreiber veröffentlichen deshalb ihre IP-Bereiche, und ein Reverse-DNS-Check auf die abrufende IP trennt echte Crawler von Nachahmern. Das gehört gemacht, bevor du aus Log-Zahlen ableitest, wie oft KI-Systeme dich wirklich lesen.

Viele Unternehmen haben nach dem KI-Hype 2024 pauschal alle KI-Bots blockiert. Das war nachvollziehbar, aber strategisch ein Fehler. Du kannst selektiv erlauben, was du öffentlich machen willst, und den Rest schützen.

Wichtig ist die Reihenfolge der Prüfung: erst robots.txt, dann WAF, dann CDN. Eine erlaubende robots.txt hilft nichts, wenn eine Firewall-Regel oder ein Bot-Schutz denselben User-Agent zwei Schichten tiefer mit 403 abweist. Der Crawler meldet dir das nicht, im Server-Log steht es trotzdem.

Zwei Direktiven werden regelmäßig übersehen, weil sie nicht in der robots.txt stehen, sondern im Meta-Robots-Tag: nosnippet und max-snippet. Google verwendet für AI Overviews nur Text, der auch als Snippet erlaubt ist. Wer nosnippet setzt oder max-snippet klein hält, bleibt indexiert und verschwindet trotzdem aus den KI-Antworten. Das ist der leiseste Weg, sich selbst unsichtbar zu machen.

Der Unterschied: robots.txt sagt Crawlern, was sie dürfen. llms.txt sagt LLMs, wer du bist und was du anbietest. Es ist dein Elevator Pitch für Maschinen.

Erwartungswert für 2026, damit du nicht enttäuscht wirst: Google hat für die eigenen KI-Funktionen ausdrücklich klargestellt, dass llms.txt nicht ausgewertet wird (mehr dazu im Begriffsvergleich). Für ChatGPT, Claude und Perplexity ist die Datei ein zusätzlicher, sehr leicht abrufbarer Einstiegspunkt. Eine Stunde Aufwand, überschaubarer Nutzen, kein Ersatz für saubere Seiten.

Was llms.txt nicht kann: Sie verschafft dir keine Zitate, wenn die verlinkten Seiten dünn sind. Sie ist ein Inhaltsverzeichnis, kein Inhalt. Ihr Wert liegt darin, dass ein Modell in einem einzigen Abruf versteht, was du anbietest, statt es aus einer Navigation zu rekonstruieren. Wer sie mit Marketingtext füllt, verschenkt genau diesen Vorteil.

Zwei Details entscheiden, ob aus Markup eine Entität wird. Erstens dieselben Angaben zu Name, Adresse und Telefonnummer auf jeder Seite, im Impressum und in externen Verzeichnissen, ohne Abweichung. Zweitens verknüpfte Objekte statt isolierter Schnipsel, also eine @id für die Organisation, auf die Article, Product und FAQPage verweisen. Ein Modell, das drei leicht verschiedene Firmennamen findet, nennt am Ende keinen davon.

Ein Prinzip trägt die vier Regeln: eine Frage pro Abschnitt, und der Abschnitt muss ohne die Seite um ihn herum verständlich bleiben. Zitiert wird nie die Seite, zitiert wird der Absatz. Steht darin "wie oben beschrieben" oder "das Tool", ist die Passage aus dem Zusammenhang gerissen wertlos und fällt aus der Antwort heraus.

TTFB ist die kritischste Metrik für KI-Crawler. Wenn dein Server länger als 800ms braucht, um zu antworten, wird der Crawl-Versuch möglicherweise abgebrochen. CDNs, Edge-Caching und Server-Side Rendering sind deine Werkzeuge.

Der zweite Effekt wird oft übersehen: Schnelle Seiten werden häufiger neu abgeholt. Bei Perplexity, das zum Zeitpunkt der Frage abruft, entscheidet die Antwortzeit mit darüber, ob die aktuelle Fassung deiner Seite in die Antwort kommt oder die zuletzt indexierte. Serverseitiges Caching ist damit kein reines Performance-Thema, sondern Teil der Aktualität deiner Sichtbarkeit.

Googlebot kann JavaScript rendern, mit Verzögerung. GPTBot, PerplexityBot und ClaudeBot können es nicht. Das heißt: Du kannst bei Google auf Platz 1 ranken und für ChatGPT gleichzeitig unsichtbar sein.

Der Test dauert zehn Sekunden. Lade die Seite mit deaktiviertem JavaScript, oder schau in den Quelltext statt in den Inspector. Was dort an Text steht, ist alles, was ein KI-Crawler von dir hat.

Der Test gehört in den Deploy, nicht in ein Quartalsritual. Ein Skript, das nach jedem Release den Quelltext einer Kernseite abruft und nach drei Pflichtsätzen sucht, findet ein Rendering-Problem am selben Tag. Ohne diesen Schritt fällt es beim nächsten Framework-Update auf, im schlechteren Fall Monate später über fehlende Zitate.

Arbeite die Liste von oben nach unten ab, nicht nach Aufwand sortiert. Punkt eins bis drei sind Zugang und Identität, sie entscheiden über die Wirkung aller weiteren. Punkt vier bis zehn sind Extraktion, dort entstehen die Zitate. Der Rest ist Hygiene: richtet keinen Schaden an, bewegt allein aber auch nichts.