KI-Crawler

KI-Crawler sind automatisierte Bots von KI-Anbietern, die Webseiten abrufen, um Inhalte für Sprachmodelle nutzbar zu machen. Bekannte Beispiele sind GPTBot und OAI-SearchBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot sowie Google-Extended für die Gemini-Modelle. Sie unterscheiden sich im Zweck: Manche sammeln Trainingsdaten, andere rufen Inhalte in Echtzeit ab, um KI-Suchantworten mit aktuellen Quellen zu belegen.

Gesteuert werden KI-Crawler in der Regel über die robots.txt, in der sich einzelne Bots per User-Agent erlauben oder ausschließen lassen. Die Entscheidung ist strategisch: Wer KI-Crawler blockiert, schützt Inhalte vor der Verwendung in Modellen, verzichtet aber auf Sichtbarkeit und Zitate in KI-Antworten von ChatGPT, Perplexity und Co.

Für Generative Engine Optimization (GEO) ist die Zugänglichkeit für KI-Crawler eine technische Grundvoraussetzung. Dazu gehört auch, dass wichtige Inhalte serverseitig als HTML ausgeliefert werden, da viele KI-Bots JavaScript nicht oder nur eingeschränkt rendern.