Référence des robots d'IA
Bingbot : un seul robot pour la recherche et Copilot
Bingbot bâtit l'index Bing dans lequel Microsoft Copilot puise. Microsoft n'offre aucun token distinct pour l'entraînement IA : il utilise des balises meta au niveau de la page. NOCACHE limite Copilot à votre URL, votre titre et votre snippet ; NOARCHIVE va plus loin encore.
Les faits
Tiré de la documentation d{operator}.
- Token robots.txt
- bingbot
- Opérateur
- Microsoft
- Ce qu'il alimente
- Index de recherche
- Respecte le robots.txt
- Oui.
Ce que coûte chaque choix
Aucune des deux options n'est gratuite. Voici l'arbitrage.
Si vous l'autorisez
L'indexation Bing ordinaire, et avec elle l'éligibilité à être mobilisé par Copilot.
User-agent: bingbot Allow: /
Si vous le bloquez
Vous quittez la recherche Bing et Copilot ensemble. Aucun moyen de les séparer via le robots.txt.
User-agent: bingbot Disallow: /
Décider cela en même temps que pour les autres robots est plus simple au même endroit : construire le fichier entier.
Bon à savoir
- Les contrôles de Microsoft sont des balises meta, pas des tokens robots.txt : un robots.txt écrit pour les robots IA n'y fait rien.
- NOCACHE signifie que seuls votre URL, votre titre et votre snippet peuvent être utilisés dans les réponses Copilot et dans l'entraînement.
- Vous pouvez viser Microsoft en particulier en remplaçant robots par bingbot dans le nom de la balise meta.
Le vérifier
Un en-tête user-agent ne prouve rien à lui seul, puisque n'importe quoi peut l'envoyer. Microsoft ne publie aucune liste d'IP pour cet agent : une requête portant ce nom ne peut donc pas être confirmée comme authentique.
Questions
Quel token bloquer pour l'entraînement de Copilot ?
Il n'y en a pas. Microsoft gère cela par les balises meta NOCACHE et NOARCHIVE plutôt que par un user-agent robots.txt.
Que fait NOCACHE exactement ?
Un contenu marqué NOCACHE peut toujours apparaître dans les réponses Copilot, mais seulement comme URL, titre et snippet, et seules ces parties peuvent servir à l'entraînement.
Peut-on appliquer une balise à Bing seulement ?
Oui. Utilisez bingbot à la place de robots dans le nom de la balise meta, ou en en-tête X-Robots-Tag.
Le moteur qu'il sert
Guides sur le sujet
Prêt à dominer la recherche IA ?
Commencer maintenant
Allswap