Crawler und Zugriff
robots.txt
robots.txt ist eine Datei im Wurzelverzeichnis einer Website, die Crawlern sagt, welche Pfade sie abrufen dürfen. Für die KI-Suche ist sie die zentrale Steuerung darüber, ob Assistenten Ihre Seiten überhaupt erreichen.
Ausführlich
Jeder AI Crawler liest die Regeln, die an seinen eigenen User-Agent-Namen gerichtet sind. Sie ausdrücklich zu nennen statt sich auf einen Platzhalter zu verlassen, macht die Absicht eindeutig.
Verwandte Begriffe
AI Crawler
Ein AI Crawler ist ein automatisierter Agent, der Webseiten für ein KI-Unternehmen sammelt – entweder als Material für das Modelltraining oder für den Suchindex, aus dem ein Assistent abruft. Jeder wird in der robots.txt über seinen eigenen User-Agent-Namen angesprochen.
llms.txt
llms.txt ist eine Textdatei im Wurzelverzeichnis einer Website, die KI-Systemen eine kuratierte Übersicht gibt, was die Website bietet und wo ihre wichtigsten Seiten liegen. Sie ist eine vorgeschlagene Konvention, keine Pflicht, und günstig zu veröffentlichen.
GPTBot
GPTBot ist der Crawler von OpenAI, der Webseiten sammelt, die künftiges Modelltraining speisen können. Gesteuert wird er in der robots.txt über seinen User-Agent-Namen, getrennt von den Such- und Live-Abruf-Agenten von OpenAI.
Google-Extended
Google-Extended ist die robots.txt-Steuerung darüber, ob Ihre Inhalte für das Gemini-Training und für die Fundierung in Gemini Apps und Vertex AI verwendet werden dürfen. Google gibt an, dass sie die Aufnahme in die Google-Suche nicht beeinflusst und kein Ranking-Signal ist.
Bereit, die KI-Suche zu dominieren?
Jetzt loslegen
Allswap