Référence des robots d'IA
ClaudeBot : le robot d'entraînement d'Anthropic
ClaudeBot collecte du contenu web pour améliorer les modèles d'Anthropic. C'est l'un des trois tokens d'Anthropic, aux côtés de Claude-SearchBot pour la qualité de recherche et de Claude-User pour les récupérations demandées par une personne. Les trois respectent le robots.txt et partagent une liste d'IP publiée.
Les faits
Tiré de la documentation d{operator}.
- Token robots.txt
- ClaudeBot
- Opérateur
- Anthropic
- Ce qu'il alimente
- Entraînement de modèles
- Respecte le robots.txt
- Oui. Anthropic honore les directives robots.txt standard et prend aussi en charge Crawl-delay.
Ce que coûte chaque choix
Aucune des deux options n'est gratuite. Voici l'arbitrage.
Si vous l'autorisez
Vos pages peuvent nourrir les modèles d'Anthropic, ce qui façonne ce que Claude peut dire de votre marque sans rien chercher.
User-agent: ClaudeBot Allow: /
Si vous le bloquez
Vos pages en sont exclues. Claude peut toujours vous atteindre via Claude-SearchBot et Claude-User, sauf si ceux-ci sont aussi bloqués.
User-agent: ClaudeBot Disallow: /
Décider cela en même temps que pour les autres robots est plus simple au même endroit : construire le fichier entier.
Bon à savoir
- Anthropic publie trois tokens. Une règle ne nommant que ClaudeBot laisse les deux autres intacts.
- Crawl-delay est honoré ici : un moyen de ralentir un robot plutôt que de l'exclure, que la plupart des opérateurs ignorent.
- Les anciens fichiers robots.txt utilisent souvent anthropic-ai, un token hérité. Le parc actuel est ClaudeBot, Claude-SearchBot et Claude-User.
Le vérifier
Un en-tête user-agent ne prouve rien à lui seul, puisque n'importe quoi peut l'envoyer. Anthropic publie les plages d'IP de ses robots : une requête n'est authentique que si l'IP source y figure.
Questions
anthropic-ai est-il encore le bon token ?
C'est l'ancien. La documentation actuelle d'Anthropic nomme ClaudeBot, Claude-SearchBot et Claude-User : une règle moderne devrait lister ces trois-là.
Peut-on le ralentir plutôt que le bloquer ?
Oui. Anthropic prend en charge l'extension Crawl-delay, que la plupart des opérateurs ignorent.
Comment le vérifier ?
Comparez l'IP source à claude.com/crawling/bots.json, qui couvre tous les robots d'Anthropic.
Le moteur qu'il sert
Guides sur le sujet
Comment Allswap le mesure
Prêt à dominer la recherche IA ?
Commencer maintenant
Allswap