Crawler und Zugriff
llms.txt
llms.txt ist eine Textdatei im Wurzelverzeichnis einer Website, die KI-Systemen eine kuratierte Übersicht gibt, was die Website bietet und wo ihre wichtigsten Seiten liegen. Sie ist eine vorgeschlagene Konvention, keine Pflicht, und günstig zu veröffentlichen.
Ausführlich
Eine gute llms.txt listet die Seiten, auf die es ankommt, mit je einer Zeile Beschreibung, damit ein Assistent sich schnell orientieren kann, statt die Struktur aus der Navigation abzuleiten.
Manche Websites veröffentlichen zusätzlich eine längere llms-full.txt mit vollständigen Produktfakten, Preisen und FAQs, damit Assistenten genau zitieren können.
Leitfäden dazu
Verwandte Begriffe
robots.txt
robots.txt ist eine Datei im Wurzelverzeichnis einer Website, die Crawlern sagt, welche Pfade sie abrufen dürfen. Für die KI-Suche ist sie die zentrale Steuerung darüber, ob Assistenten Ihre Seiten überhaupt erreichen.
AI Crawler
Ein AI Crawler ist ein automatisierter Agent, der Webseiten für ein KI-Unternehmen sammelt – entweder als Material für das Modelltraining oder für den Suchindex, aus dem ein Assistent abruft. Jeder wird in der robots.txt über seinen eigenen User-Agent-Namen angesprochen.
Strukturierte Daten
Strukturierte Daten sind maschinenlesbare Auszeichnungen, die angeben, was eine Seite ist und was sie enthält. Sie helfen Suchmaschinen, Rich Results anzuzeigen, und KI-Systemen, eine Seite zu verstehen, bevor sie entscheiden, ob sie sie verwenden.
Bereit, die KI-Suche zu dominieren?
Jetzt loslegen
Allswap