Crawler und Zugriff
Crawl Budget
Auch: Crawl-Budget
Das Crawl Budget ist der Umfang an Crawling, den eine Website in einem bestimmten Zeitraum erhält. Aktuelle Sitemaps und der Verzicht auf doppelte URLs helfen Crawlern, dieses Budget auf Seiten zu verwenden, die Sie abgerufen sehen wollen.
Ausführlich
Nur die URLs einzureichen, die es in einer Sprachfassung wirklich gibt, und Dubletten auf ein Canonical zu verweisen, hält das Budget auf echte Seiten gerichtet.
Leitfäden dazu
Verwandte Begriffe
robots.txt
robots.txt ist eine Datei im Wurzelverzeichnis einer Website, die Crawlern sagt, welche Pfade sie abrufen dürfen. Für die KI-Suche ist sie die zentrale Steuerung darüber, ob Assistenten Ihre Seiten überhaupt erreichen.
Canonical URL
Eine Canonical URL sagt Suchmaschinen, welche Fassung einer Seite indexiert werden soll, wenn derselbe Inhalt unter mehreren Adressen erreichbar ist. Sie bündelt die Signale auf eine einzige Adresse, statt sie aufzuteilen.
Sitemap
Eine Sitemap ist eine XML-Datei, die die URLs auflistet, die eine Website gecrawlt sehen möchte, mit optionalen Hinweisen zu Änderungshäufigkeit und Sprachalternativen. Über sie entdeckt ein Crawler Seiten, die die Navigation allein nicht zeigen würde.
Bereit, die KI-Suche zu dominieren?
Jetzt loslegen
Allswap