Référence des robots d'IA
Claude-SearchBot : la qualité de recherche pour Claude
Claude-SearchBot parcourt le web pour améliorer la qualité des résultats de recherche de Claude. Là où ClaudeBot nourrit l'entraînement, celui-ci nourrit la récupération : c'est donc le token d'Anthropic le plus directement lié au fait que vos pages puissent remonter et être citées dans les réponses de Claude.
Les faits
Tiré de la documentation d{operator}.
- Token robots.txt
- Claude-SearchBot
- Opérateur
- Anthropic
- Ce qu'il alimente
- Index de recherche
- Respecte le robots.txt
- Oui, comme les autres robots d'Anthropic.
Ce que coûte chaque choix
Aucune des deux options n'est gratuite. Voici l'arbitrage.
Si vous l'autorisez
Vos pages restent éligibles à être trouvées et citées lorsque Claude cherche sur le web.
User-agent: Claude-SearchBot Allow: /
Si vous le bloquez
Vous perdez cette éligibilité. Comme chez OpenAI, le token de recherche est celui qu'il coûte cher de bloquer.
User-agent: Claude-SearchBot Disallow: /
Décider cela en même temps que pour les autres robots est plus simple au même endroit : construire le fichier entier.
Bon à savoir
- La séparation entraînement / recherche reflète celle d'OpenAI. Autorisez la recherche, décidez séparément pour l'entraînement.
- C'est le plus récent des trois tokens d'Anthropic : il manque donc dans la plupart des robots.txt existants.
- Le bloquer n'empêche pas Claude de parler de votre marque à partir de ce qu'il sait déjà.
Le vérifier
Un en-tête user-agent ne prouve rien à lui seul, puisque n'importe quoi peut l'envoyer. Anthropic publie les plages d'IP de ses robots : une requête n'est authentique que si l'IP source y figure.
Questions
En quoi diffère-t-il de ClaudeBot ?
ClaudeBot collecte du contenu susceptible d'améliorer les modèles. Claude-SearchBot soutient la qualité de recherche : c'est lui qui est lié à la récupération et à la citation.
Faut-il l'autoriser si l'on bloque l'entraînement ?
C'est la position courante, et elle est cohérente : rester citable tout en se retirant de l'entraînement.
Respecte-t-il le robots.txt ?
Oui. Anthropic indique que tous ses robots honorent les directives standard.
Le moteur qu'il sert
Guides sur le sujet
Comment Allswap le mesure
Prêt à dominer la recherche IA ?
Commencer maintenant
Allswap