AI-Crawler-Referenz
Google-CloudVertexBot: Crawls für Vertex-AI-Agenten
Google-CloudVertexBot crawlt Websites im Auftrag von Betreibern, die Vertex AI Agents bauen. Er handelt für einen Kunden, der genau diesen Crawl verlangt hat – solange niemand einen Agenten auf Ihren Inhalten baut, hat er für Ihre Sichtbarkeit wenig Bedeutung.
Die Fakten
Entnommen der Dokumentation von Google.
- robots.txt-Token
- Google-CloudVertexBot
- Betreiber
- Wofür er sammelt
- Modelltraining
- Befolgt robots.txt
- Ja.
Was jede Entscheidung kostet
Keine der beiden Optionen ist umsonst. Das ist der Handel.
Wenn Sie ihn zulassen
Entwickler von Vertex-AI-Agenten können Ihre Seiten für ihre eigenen Agenten indexieren – einschließlich Ihres eigenen Teams, falls es einen baut.
User-agent: Google-CloudVertexBot Allow: /
Wenn Sie ihn blockieren
Diese Crawls hören auf, auch die von Ihnen selbst beauftragten. Suche und AI Overviews bleiben unberührt.
User-agent: Google-CloudVertexBot Disallow: /
Das gemeinsam mit den übrigen Bots zu entscheiden ist an einer Stelle leichter: die ganze Datei bauen.
Wissenswert
- Er handelt für einen Google-Cloud-Kunden, nicht für Googles eigene Produkte.
- Baut Ihr eigenes Team einen Vertex-Agenten über Ihre Website, blockiert dieses Token Ihr eigenes Projekt.
- Er hat keine Verbindung zum Gemini-Training – das ist Aufgabe von Google-Extended.
Verifizieren
Ein User-Agent-Header allein beweist nichts, denn den kann jeder senden. Google veröffentlicht die IP-Bereiche seiner Bots – eine Anfrage ist nur dann echt, wenn die Quell-IP dort auftaucht.
Fragen
Wer crawlt uns da eigentlich?
Ein Google-Cloud-Kunde, der einen Vertex AI Agent baut und dafür Googles Infrastruktur nutzt.
Beeinflusst das die Suche?
Nein. Er ist von Googlebot und der Suchindexierung vollständig getrennt.
Sollten wir ihn blockieren?
Nur wenn Sie Einwände dagegen haben, dass Dritte Agenten auf Ihren Inhalten bauen – und prüfen Sie zuerst, ob Ihr eigenes Team nicht genau das tut.
Leitfäden dazu
Bereit, die KI-Suche zu dominieren?
Jetzt loslegen
Allswap