Référence des robots d'IA
CCBot : l'exploration derrière beaucoup de modèles
CCBot est le robot de Common Crawl. Il bâtit un jeu de données public et gratuit que beaucoup d'organisations utilisent comme matière d'entraînement : le bloquer porte donc exceptionnellement loin, une seule règle touchant tous ceux qui puisent dans cette archive plutôt qu'une seule entreprise.
Les faits
Tiré de la documentation d{operator}.
- Token robots.txt
- CCBot
- Opérateur
- Common Crawl
- Ce qu'il alimente
- Entraînement de modèles
- Respecte le robots.txt
- Oui. Common Crawl documente un Disallow sur CCBot comme le contrôle.
- Chaîne user-agent
- CCBot/2.0 (https://commoncrawl.org/faq/)
Ce que coûte chaque choix
Aucune des deux options n'est gratuite. Voici l'arbitrage.
Si vous l'autorisez
Vos pages entrent dans une archive publique utilisée par de nombreux constructeurs de modèles, y compris ceux qui n'ont pas de robot propre.
User-agent: CCBot Allow: /
Si vous le bloquez
Vous en êtes exclu pour l'avenir. Les explorations déjà publiées ne sont pas modifiées rétroactivement.
User-agent: CCBot Disallow: /
Décider cela en même temps que pour les autres robots est plus simple au même endroit : construire le fichier entier.
Bon à savoir
- Un blocage, de nombreux effets en aval. Aucun autre token de cette liste n'a cette portée.
- C'est une archive à but non lucratif, pas une entreprise collectant pour son propre produit.
- Common Crawl avertit que d'autres robots se font passer pour CCBot : vérifiez avant de tirer des conclusions de vos logs.
Le vérifier
Un en-tête user-agent ne prouve rien à lui seul, puisque n'importe quoi peut l'envoyer. Common Crawl publie les plages d'IP de ses robots : une requête n'est authentique que si l'IP source y figure.
Questions
Pourquoi celui-ci compte-t-il plus qu'il n'y paraît ?
Parce que le jeu de données est public. Beaucoup de constructeurs de modèles l'utilisent au lieu d'explorer eux-mêmes : une seule règle les atteint tous.
Le bloquer nous retire-t-il des explorations passées ?
Non. Cela vaut pour l'avenir. Les archives déjà publiées restent telles quelles.
Nous voyons beaucoup de trafic CCBot. Est-il réel ?
Peut-être pas. Common Crawl indique avoir connaissance de robots se faisant passer pour CCBot et recommande de vérifier plutôt que de se fier au user-agent. Il publie des plages d'IP et prend en charge le reverse DNS pour cela.
Guides sur le sujet
Prêt à dominer la recherche IA ?
Commencer maintenant
Allswap