AI-Crawler-Referenz
Claude-SearchBot: Suchqualität für Claude
Claude-SearchBot durchsucht das Web, um die Qualität der Suchergebnisse von Claude zu verbessern. Wo ClaudeBot das Training speist, speist dieser den Abruf – und ist damit das Anthropic-Token mit der direktesten Verbindung dazu, ob Ihre Seiten in Claudes Antworten auftauchen und zitiert werden können.
Die Fakten
Entnommen der Dokumentation von Anthropic.
- robots.txt-Token
- Claude-SearchBot
- Betreiber
- Anthropic
- Wofür er sammelt
- Suchindex
- Befolgt robots.txt
- Ja, wie die übrigen Bots von Anthropic.
Was jede Entscheidung kostet
Keine der beiden Optionen ist umsonst. Das ist der Handel.
Wenn Sie ihn zulassen
Ihre Seiten bleiben auffindbar und zitierfähig, wenn Claude im Web sucht.
User-agent: Claude-SearchBot Allow: /
Wenn Sie ihn blockieren
Sie verlieren diese Berechtigung. Wie bei OpenAI ist das Such-Token das teure zum Blockieren.
User-agent: Claude-SearchBot Disallow: /
Das gemeinsam mit den übrigen Bots zu entscheiden ist an einer Stelle leichter: die ganze Datei bauen.
Wissenswert
- Die Trennung von Training und Suche entspricht der von OpenAI. Suche zulassen, über Training getrennt entscheiden.
- Es ist das jüngste der drei Anthropic-Tokens und fehlt daher in den meisten bestehenden robots.txt-Dateien.
- Ihn zu blockieren hindert Claude nicht daran, aus Bekanntem über Ihre Marke zu sprechen.
Verifizieren
Ein User-Agent-Header allein beweist nichts, denn den kann jeder senden. Anthropic veröffentlicht die IP-Bereiche seiner Bots – eine Anfrage ist nur dann echt, wenn die Quell-IP dort auftaucht.
Fragen
Wie unterscheidet sich das von ClaudeBot?
ClaudeBot sammelt Inhalte, die die Modelle verbessern können. Claude-SearchBot unterstützt die Suchqualität und ist damit an Abruf und Zitation gebunden.
Sollten wir ihn zulassen, wenn wir Training blockieren?
Das ist die verbreitete und schlüssige Haltung: zitierbar bleiben und sich zugleich vom Training abmelden.
Befolgt er robots.txt?
Ja. Anthropic gibt an, dass alle seine Bots die üblichen Direktiven beachten.
Die Engine, der er dient
Leitfäden dazu
Wie Allswap das misst
Bereit, die KI-Suche zu dominieren?
Jetzt loslegen
Allswap