AI-Crawler-Referenz
GoogleOther: der Allzweck-Crawler
GoogleOther ist ein generischer Crawler, den Produktteams von Google für Forschung und Entwicklung nutzen. Er treibt kein bestimmtes nutzerseitiges Produkt an, was ihn zum folgenärmsten Google-Token macht: Das Blockieren hat keine dokumentierte Auswirkung auf die Suche oder die KI-Funktionen.
Die Fakten
Entnommen der Dokumentation von Google.
- robots.txt-Token
- GoogleOther
- Betreiber
- Wofür er sammelt
- Modelltraining
- Befolgt robots.txt
- Ja.
Was jede Entscheidung kostet
Keine der beiden Optionen ist umsonst. Das ist der Handel.
Wenn Sie ihn zulassen
Produktteams von Google dürfen Ihre Seiten für interne Forschungs- und Entwicklungsarbeit abrufen.
User-agent: GoogleOther Allow: /
Wenn Sie ihn blockieren
Diese Abrufe hören auf. Google verbindet diesen Crawler mit keinem nutzerseitigen Produkt, sichtbar ändert sich also nichts.
User-agent: GoogleOther Disallow: /
Das gemeinsam mit den übrigen Bots zu entscheiden ist an einer Stelle leichter: die ganze Datei bauen.
Wissenswert
- Er teilt sich die Infrastruktur mit Googlebot und kann in Logs wie Googlebot aussehen, bis man das Token liest.
- Da er an kein Produkt gebunden ist, gibt es in beide Richtungen kein Sichtbarkeitsargument.
- Er wird oft versehentlich in Regeln blockiert, die auf Googlebot zielen – eine weit teurere Sperre.
Verifizieren
Ein User-Agent-Header allein beweist nichts, denn den kann jeder senden. Google veröffentlicht die IP-Bereiche seiner Bots – eine Anfrage ist nur dann echt, wenn die Quell-IP dort auftaucht.
Fragen
Ist das Blockieren gefahrlos?
Es hat keine dokumentierte Auswirkung auf Suche oder KI-Funktionen. Es ist das folgenärmste Google-Token zum Blockieren.
Warum sieht er in unseren Logs wie Googlebot aus?
Er teilt sich die Crawl-Infrastruktur. Unterschieden wird über das User-Agent-Token; die IP-Bereiche sind dieselben.
Speist er Gemini?
Gemini-Training und -Fundierung werden über Google-Extended gesteuert, nicht über dieses Token.
Die Engine, der er dient
Leitfäden dazu
Bereit, die KI-Suche zu dominieren?
Jetzt loslegen
Allswap