AI-Crawler-Referenz
ClaudeBot: der Trainings-Crawler von Anthropic
ClaudeBot sammelt Webinhalte, um die Modelle von Anthropic zu verbessern. Er ist eines von drei Anthropic-Tokens, neben Claude-SearchBot für die Suchqualität und Claude-User für Abrufe, um die eine Person gebeten hat. Alle drei befolgen robots.txt und teilen sich eine veröffentlichte IP-Liste.
Die Fakten
Entnommen der Dokumentation von Anthropic.
- robots.txt-Token
- ClaudeBot
- Betreiber
- Anthropic
- Wofür er sammelt
- Modelltraining
- Befolgt robots.txt
- Ja. Anthropic beachtet die üblichen robots.txt-Direktiven und unterstützt zusätzlich Crawl-delay.
Was jede Entscheidung kostet
Keine der beiden Optionen ist umsonst. Das ist der Handel.
Wenn Sie ihn zulassen
Ihre Seiten können in die Modelle von Anthropic einfließen und prägen so, was Claude über Ihre Marke sagen kann, ohne nachzuschlagen.
User-agent: ClaudeBot Allow: /
Wenn Sie ihn blockieren
Ihre Seiten sind davon ausgenommen. Claude erreicht Sie weiterhin über Claude-SearchBot und Claude-User, sofern diese nicht ebenfalls blockiert sind.
User-agent: ClaudeBot Disallow: /
Das gemeinsam mit den übrigen Bots zu entscheiden ist an einer Stelle leichter: die ganze Datei bauen.
Wissenswert
- Anthropic veröffentlicht drei Tokens. Eine Regel, die nur ClaudeBot nennt, lässt die anderen beiden unberührt.
- Crawl-delay wird hier beachtet – eine Möglichkeit, einen Bot zu verlangsamen, statt ihn auszusperren, die die meisten Betreiber ignorieren.
- Ältere robots.txt-Dateien verwenden oft anthropic-ai, ein Alt-Token. Der aktuelle Bestand ist ClaudeBot, Claude-SearchBot und Claude-User.
Verifizieren
Ein User-Agent-Header allein beweist nichts, denn den kann jeder senden. Anthropic veröffentlicht die IP-Bereiche seiner Bots – eine Anfrage ist nur dann echt, wenn die Quell-IP dort auftaucht.
Fragen
Ist anthropic-ai noch das richtige Token?
Es ist das ältere. Die aktuelle Dokumentation von Anthropic nennt ClaudeBot, Claude-SearchBot und Claude-User – eine moderne Regel sollte diese drei listen.
Können wir ihn verlangsamen statt blockieren?
Ja. Anthropic unterstützt die Crawl-delay-Erweiterung, die die meisten Betreiber ignorieren.
Wie verifizieren wir ihn?
Prüfen Sie die Quell-IP gegen claude.com/crawling/bots.json, das alle Bots von Anthropic abdeckt.
Die Engine, der er dient
Wie Allswap das misst
Bereit, die KI-Suche zu dominieren?
Jetzt loslegen
Allswap