AI-Crawler-Referenz
Googlebot: der Crawler hinter den AI Overviews
Googlebot baut den Suchindex von Google auf – und weil KI-Funktionen Teil der Suche sind, macht er eine Seite zugleich berechtigt für AI Overviews und AI Mode. Es gibt keinen eigenen KI-Crawler zum Zulassen oder Blockieren: Die Steuerung sind Googlebots robots.txt-Regeln und die Snippet-Direktiven.
Die Fakten
Entnommen der Dokumentation von Google.
- robots.txt-Token
- Googlebot
- Betreiber
- Wofür er sammelt
- Suchindex
- Befolgt robots.txt
- Ja.
Was jede Entscheidung kostet
Keine der beiden Optionen ist umsonst. Das ist der Handel.
Wenn Sie ihn zulassen
Gewöhnliche Suchindexierung und damit die Berechtigung für AI Overviews und AI Mode. Google gibt an, dass es über Indexierung und Snippet-Fähigkeit hinaus keine zusätzlichen Anforderungen gibt.
User-agent: Googlebot Allow: /
Wenn Sie ihn blockieren
Sie verlassen die Google-Suche vollständig. Es gibt keinen Weg, organische Treffer zu behalten und sich allein über robots.txt von den KI-Funktionen abzumelden.
User-agent: Googlebot Disallow: /
Das gemeinsam mit den übrigen Bots zu entscheiden ist an einer Stelle leichter: die ganze Datei bauen.
Wissenswert
- Es gibt keinen AI-Overviews-Crawler. Teams, die einen zum Blockieren suchen, suchen etwas, das nicht existiert.
- Die tatsächlichen Steuerungen sind nosnippet, data-nosnippet, max-snippet und noindex – und jede davon kostet auch das normale Such-Snippet.
- Google gibt an, dass für KI-Funktionen kein besonderes Schema, kein Chunking und keine llms.txt nötig oder in Verwendung sind.
Verifizieren
Ein User-Agent-Header allein beweist nichts, denn den kann jeder senden. Google veröffentlicht die IP-Bereiche seiner Bots – eine Anfrage ist nur dann echt, wenn die Quell-IP dort auftaucht.
Fragen
Wie melden wir uns von AI Overviews ab, ohne die Suche zu verlassen?
Über die Snippet-Steuerungen statt über robots.txt. nosnippet oder ein niedriges max-snippet begrenzen, was gezeigt werden darf – dieselbe Grenze gilt aber auch für Ihr gewöhnliches Such-Snippet.
Gibt es besondere Auszeichnungen, die uns helfen zu erscheinen?
Google sagt nein. Eine Seite muss indexiert und snippet-fähig sein, ab da gilt gewöhnliche gute SEO-Praxis.
Nutzt Google llms.txt?
Googles Leitfaden gibt an, dass llms.txt-Dateien von der Google-Suche nicht verwendet werden. Andere Assistenten rufen sie durchaus ab, die Veröffentlichung lohnt sich also weiterhin.
Die Engine, der er dient
Wie Allswap das misst
Bereit, die KI-Suche zu dominieren?
Jetzt loslegen
Allswap