llms.txt und strukturierte Daten: Die technische Basis für GEO

Was llms.txt ist und wofür sie gedacht ist

Die Datei llms.txt liegt, ähnlich wie robots.txt oder sitemap.xml, im Wurzelverzeichnis einer Website und listet in einfachem Markdown die wichtigsten Seiten und Kerninhalte auf. Die Idee dahinter: Ein Sprachmodell muss nicht die gesamte Website durchsuchen, sondern erhält eine kuratierte Übersicht, welche Inhalte relevant sind. Ein verbindlicher Standard ist llms.txt bislang nicht, einzelne Systeme werten sie unterschiedlich stark aus – als kostengünstige, klare Orientierungshilfe für Crawler ist sie dennoch sinnvoll.

Was strukturierte Daten zusätzlich leisten

Schema.org-Markup übersetzt Inhalte in ein maschinenlesbares Format: Ein Produkt wird explizit als Produkt mit Preis und Verfügbarkeit ausgezeichnet, ein Artikel trägt Autor und Veröffentlichungsdatum als strukturierte Angabe, statt dass ein System diese Informationen erst aus Fließtext ableiten muss. Für Sprachmodelle senkt das die Hürde, eine Aussage korrekt zuzuordnen, weil zentrale Fakten nicht interpretiert, sondern direkt ausgelesen werden können.

Warum saubere Crawler-Zugänglichkeit die Voraussetzung ist

Robots.txt und KI-Crawler

Verschiedene KI-Anbieter betreiben eigene Crawler mit eigenen Nutzeragenten. Eine robots.txt, die pauschal alle unbekannten Bots blockiert, kann versehentlich auch die Crawler von ChatGPT oder Claude aussperren – eine Website, die für Sprachmodelle unsichtbar bleiben soll, tut das oft ungewollt.

Serverantwortzeit und Rendering

Crawler, die Inhalte nicht per JavaScript nachladen, sehen nur das, was der Server direkt ausliefert. Inhalte, die erst clientseitig nachgeladen werden, können für solche Crawler schlicht unsichtbar bleiben, selbst wenn ein menschlicher Besucher sie im Browser problemlos sieht.

Priorisierung statt vollständiger Auflistung

Eine llms.txt, die einfach die komplette Sitemap in Markdown umwandelt, verfehlt ihren Zweck: Sie soll ein Sprachmodell zu den wichtigsten Seiten führen, nicht zu jeder einzelnen. Für eine größere Website bedeutet das eine bewusste Auswahl – Kernprodukte, zentrale Leistungsseiten, wichtige Grundlagenartikel –, statt jede Unterseite gleichwertig aufzulisten. Genau diese Priorisierung unterscheidet eine nützliche llms.txt von einer, die ein Sprachmodell mit Informationen überfrachtet.

Wie Provimedia die technische Basis aufbaut

• Prüfung, ob robots.txt bekannte KI-Crawler korrekt zulässt oder ungewollt blockiert
• Aufbau einer llms.txt mit kuratierter Übersicht der zentralen Seiten und Kerninhalte
• Auszeichnung relevanter Inhalte mit strukturierten Daten nach schema.org, etwa für Produkte, Artikel oder FAQ-Bereiche
• Kontrolle, ob zentrale Inhalte serverseitig ausgeliefert werden statt ausschließlich clientseitig nachzuladen
• Test der tatsächlichen Lesbarkeit mit dem kostenlosen GEO-Check, um den technischen Ist-Zustand zu belegen
• Laufende Pflege, da sich sowohl Crawler-Verhalten als auch Empfehlungen zu llms.txt fortlaufend weiterentwickeln

Diese technischen Grundlagen sind kein einmaliges Projekt, sondern erfordern wiederkehrende Kontrolle – neue Seiten, geänderte Strukturen oder ein Website-Relaunch können bestehende llms.txt-Einträge oder strukturierte Daten veralten lassen, ohne dass es auf den ersten Blick auffällt.

Was eine solide technische Basis bewirkt

Ohne technischen Zugang bleibt jede inhaltliche GEO-Maßnahme wirkungslos, weil ein Sprachmodell die Inhalte gar nicht erst erreicht. Erst wenn robots.txt, llms.txt, strukturierte Daten und die Serverauslieferung sauber zusammenspielen, kann eine Website überhaupt Kandidat für ein Zitat in einer generierten Antwort werden. Provimedia prüft deshalb nicht nur, ob diese Elemente einmalig vorhanden sind, sondern ob sie nach jeder größeren Änderung an der Website weiterhin den tatsächlichen Aufbau widerspiegeln.