Référence des robots d'IA

Claude-User : des récupérations à la demande

Claude-User va chercher une page parce qu'une personne utilisant Claude l'a demandée. Il sert des requêtes d'utilisateurs plutôt qu'il ne construit un index : son trafic reflète donc un choix. Anthropic indique qu'il honore le robots.txt, ce qui est plus strict que plusieurs agents comparables.

Analyser votre présence IA Réserver une démo

Les faits

Tiré de la documentation d{operator}.

Token robots.txt: Claude-User
Opérateur: Anthropic
Ce qu'il alimente: Récupération à la demande
Respecte le robots.txt: Oui. Nettement plus strict que certains récupérateurs déclenchés par l'utilisateur, dont plusieurs ne le font pas.

Ce que coûte chaque choix

Aucune des deux options n'est gratuite. Voici l'arbitrage.

Si vous l'autorisez

Les personnes utilisant Claude peuvent ouvrir vos pages lorsqu'elles le demandent, et le contenu est disponible pour leur répondre.

User-agent: Claude-User
Allow: /

Si vous le bloquez

Une personne qui demande explicitement à Claude de lire votre page s'entend dire qu'elle ne peut pas l'être.

User-agent: Claude-User
Disallow: /

Décider cela en même temps que pour les autres robots est plus simple au même endroit : construire le fichier entier.

Bon à savoir

Qu'Anthropic applique le robots.txt à une récupération déclenchée par un utilisateur est un choix délibéré. Perplexity et Meta font l'inverse sur leurs équivalents.
Les requêtes venant d'ici sont un signal de demande, pas du volume d'exploration.
Il n'a aucun effet sur la capacité de Claude à vous trouver en premier lieu.

Le vérifier

Un en-tête user-agent ne prouve rien à lui seul, puisque n'importe quoi peut l'envoyer. Anthropic publie les plages d'IP de ses robots : une requête n'est authentique que si l'IP source y figure.

https://claude.com/crawling/bots.json Documentation d{operator}