AI-Crawler-Referenz

Claude-User: Abrufe auf Anfrage

Claude-User holt eine Seite, weil eine Person in Claude darum gebeten hat. Er unterstützt Nutzeranfragen und baut keinen Index auf – Traffic von ihm bedeutet also, dass jemand Ihre Seite gewählt hat. Anthropic gibt an, dass er robots.txt beachtet, was strenger ist als bei mehreren vergleichbaren Agenten.

KI-Präsenz analysieren Demo buchen

Die Fakten

Entnommen der Dokumentation von Anthropic.

robots.txt-Token: Claude-User
Betreiber: Anthropic
Wofür er sammelt: Live-Abruf für Nutzer
Befolgt robots.txt: Ja. Deutlich strenger als manche nutzerausgelösten Abrufer, von denen einige das nicht tun.

Was jede Entscheidung kostet

Keine der beiden Optionen ist umsonst. Das ist der Handel.

Wenn Sie ihn zulassen

Menschen, die Claude nutzen, können Ihre Seiten öffnen, wenn sie darum bitten, und der Inhalt steht zur Beantwortung bereit.

User-agent: Claude-User
Allow: /

Wenn Sie ihn blockieren

Wer Claude ausdrücklich bittet, Ihre Seite zu lesen, bekommt die Auskunft, dass sie nicht gelesen werden kann.

User-agent: Claude-User
Disallow: /

Das gemeinsam mit den übrigen Bots zu entscheiden ist an einer Stelle leichter: die ganze Datei bauen.

Wissenswert

Dass Anthropic robots.txt auf einen nutzerausgelösten Abruf anwendet, ist eine bewusste Entscheidung. Perplexity und Meta halten es bei ihren Gegenstücken umgekehrt.
Anfragen von hier sind ein Nachfragesignal, kein Crawl-Volumen.
Er hat keinen Einfluss darauf, ob Claude Sie überhaupt findet.

Verifizieren

Ein User-Agent-Header allein beweist nichts, denn den kann jeder senden. Anthropic veröffentlicht die IP-Bereiche seiner Bots – eine Anfrage ist nur dann echt, wenn die Quell-IP dort auftaucht.

https://claude.com/crawling/bots.json Dokumentation von Anthropic