Crawler und Zugriff
AI Crawler
Auch: KI-Crawler
Ein AI Crawler ist ein automatisierter Agent, der Webseiten für ein KI-Unternehmen sammelt – entweder als Material für das Modelltraining oder für den Suchindex, aus dem ein Assistent abruft. Jeder wird in der robots.txt über seinen eigenen User-Agent-Namen angesprochen.
Ausführlich
Crawler lassen sich grob nach drei Aufgaben unterscheiden: Trainingsmaterial sammeln, einen Abrufindex aufbauen und eine Seite während eines Gesprächs live holen. Die Abruf- und Live-Agenten zuzulassen ist das, was Ihre Seiten in Antworten erscheinen lässt.
Wie Allswap das misst
Verwandte Begriffe
GPTBot
GPTBot ist der Crawler von OpenAI, der Webseiten sammelt, die künftiges Modelltraining speisen können. Gesteuert wird er in der robots.txt über seinen User-Agent-Namen, getrennt von den Such- und Live-Abruf-Agenten von OpenAI.
robots.txt
robots.txt ist eine Datei im Wurzelverzeichnis einer Website, die Crawlern sagt, welche Pfade sie abrufen dürfen. Für die KI-Suche ist sie die zentrale Steuerung darüber, ob Assistenten Ihre Seiten überhaupt erreichen.
llms.txt
llms.txt ist eine Textdatei im Wurzelverzeichnis einer Website, die KI-Systemen eine kuratierte Übersicht gibt, was die Website bietet und wo ihre wichtigsten Seiten liegen. Sie ist eine vorgeschlagene Konvention, keine Pflicht, und günstig zu veröffentlichen.
Trainingsdaten
Trainingsdaten sind der Textbestand, aus dem ein Modell gelernt hat. Sie legen fest, wie das Modell eine Kategorie standardmäßig versteht und welche Marken es womit verbindet – noch bevor irgendein Live-Abruf stattfindet.
Bereit, die KI-Suche zu dominieren?
Jetzt loslegen
Allswap