Viele reden über Inhalte für KI-Systeme – kaum jemand über die technische Basis. Die besten Inhalte nützen nichts, wenn KI-Crawler sie nicht erreichen, rendern oder verarbeiten können.

Viele sprechen über Inhalte für KI-Systeme – aber kaum jemand über die technische Basis. Dabei gilt: Die besten Inhalte nützen nichts, wenn KI-Crawler sie nicht erreichen, nicht rendern oder nicht verarbeiten können.

Dieser Artikel geht die technischen Voraussetzungen der Reihe nach durch – mit konkreten Prüfschritten, die ihr direkt umsetzen könnt.

KI-Anbieter nutzen eigene Crawler mit eigenen Namen. Die wichtigsten: GPTBot und OAI-SearchBot (OpenAI/ChatGPT), ClaudeBot (Anthropic/Claude), PerplexityBot (Perplexity) und Google-Extended – letzteres steuert die Nutzung für Googles KI-Modelle, nicht die normale Suche.

Gesteuert wird der Zugriff über die robots.txt eurer Website. Der häufigste Fehler ist nicht das bewusste Sperren, sondern das unbeabsichtigte: Sicherheits-Plugins, Firewalls oder pauschale robots.txt-Regeln sperren KI-Crawler aus, ohne dass es jemand merkt.

Prüfschritt: Öffnet euredomain.de/robots.txt und sucht nach den Crawler-Namen und nach pauschalen Disallow-Regeln. Prüft zusätzlich in Server-Logs oder im CDN-Dashboard, ob Anfragen dieser Bots blockiert werden.

KI-Crawler verarbeiten in erster Linie den ausgelieferten HTML-Text. Und hier liegt ein Problem, das viele moderne Websites betrifft: Ein Großteil der KI-Crawler führt kein oder nur eingeschränkt JavaScript aus. Inhalte, die erst im Browser nachgeladen werden, sind für diese Systeme unsichtbar – auch wenn Besucher:innen sie einwandfrei sehen.

Kritisch sind außerdem Inhalte, die nur in Bildern oder Grafiken stehen, ausschließlich in PDF-Broschüren liegen oder hinter Logins, Formularen und Cookie-Walls versteckt sind.

Prüfschritt: Ruft eure wichtigsten Seiten mit deaktiviertem JavaScript auf oder seht euch den Seitenquelltext an. Alles, was dort nicht als Text steht, existiert für viele KI-Crawler nicht.

Schema-Markup im Format JSON-LD beschreibt Maschinen, worum es auf einer Seite geht und wie die Elemente zusammenhängen. Besonders relevant im B2B: Organization (Unternehmensdaten, Logo, Kontakt), Service/Product (Leistungen), FAQPage (häufige Fragen) und Article (Blogbeiträge mit Datum und Autor:in).

Wie stark strukturierte Daten Zitierungen direkt beeinflussen, ist umstritten. HubSpots State of AEO 2026 fand jedoch einen messbaren Zusammenhang: Seiten, die eine Q&A-Sektion mit FAQ-Markup kombinierten, erzielten auf Gemini, Google AI Mode und Perplexity höhere Zitierraten. Der Aufwand ist gering, das Risiko null.

Prüfschritt: Testet eure wichtigsten Seiten mit dem Rich-Results-Test von Google oder dem Schema-Validator (validator.schema.org).

Auch KI-Crawler haben begrenzte Ressourcen. Websites, die langsam laden oder häufig Fehler ausgeben, werden seltener und unvollständiger erfasst. Die Basics: Ladezeit unter zwei bis drei Sekunden, saubere interne Verlinkung, eine aktuelle XML-Sitemap in der robots.txt referenziert, keine 404-Fehler oder Redirect-Ketten auf zentralen Seiten.

Dazu kommt die Konsistenz eurer Unternehmensdaten im Netz. KI-Systeme gleichen Informationen über verschiedene Quellen ab, um Entitäten zu erkennen: Ist die Firma auf der Website dieselbe wie im LinkedIn-Profil und im Branchenverzeichnis? Widersprüchliche Angaben schwächen dieses Vertrauen – und damit die Wahrscheinlichkeit, als Quelle herangezogen zu werden.

Prüfschritt: Vergleicht Firmenname, Leistungsbeschreibung und Kontaktdaten auf Website, LinkedIn, Google-Unternehmensprofil und den zwei bis drei wichtigsten Branchenverzeichnissen. Vereinheitlicht Abweichungen, entfernt veraltete Einträge.

Ein Maschinenbauunternehmen wunderte sich, warum es trotz inhaltlich guter Website in keiner KI-Antwort auftauchte. Der technische Check ergab gleich drei Blocker: Ein Sicherheits-Plugin sperrte sämtliche KI-Crawler auf Firewall-Ebene – in der robots.txt war davon nichts zu sehen. Die zentralen Leistungsbeschreibungen lagen ausschließlich in PDF-Broschüren. Und die Unternehmensdaten widersprachen den Einträgen in zwei Branchenportalen.

Nach der Bereinigung – Firewall-Ausnahmen für die wichtigsten KI-Crawler, Leistungsinhalte als reguläre HTML-Seiten mit FAQ-Markup, vereinheitlichte Verzeichniseinträge – wurden die Inhalte innerhalb weniger Wochen von Perplexity und ChatGPT erfasst. Beim monatlichen Prompt-Test tauchte das Unternehmen erstmals in Anbieterlisten auf.

KI-Readiness beginnt nicht beim Content, sondern bei der Technik. Die gute Nachricht: Die Prüfung kostet einen Nachmittag, die meisten Fixes sind schnell umgesetzt – und ohne dieses Fundament verpufft jede Content-Optimierung. Erst zugänglich, dann lesbar, dann zitierfähig. In dieser Reihenfolge.

Weiterlesen: So wird euer Unternehmen von ChatGPT empfohlen – der GEO-Leitfaden

Spiegelt die echten Prompts aus ChatGPT, Perplexity & Google AI rund um technische KI-Readiness.