Référence des robots d'IA
Amazonbot : le robot d'Amazon
Amazon indique qu'Amazonbot sert à améliorer ses produits et services, et que le contenu peut servir à entraîner ses modèles d'IA. Il honore le robots.txt et respecte aussi rel=nofollow et les balises meta robots au niveau de la page, ce qui est plus large que la plupart des robots de cette liste.
Les faits
Tiré de la documentation d{operator}.
- Token robots.txt
- Amazonbot
- Opérateur
- Amazon
- Ce qu'il alimente
- Entraînement de modèles
- Respecte le robots.txt
- Oui, et de façon inhabituellement large — Amazon indique honorer le robots.txt, rel=nofollow et les balises meta robots de page.
- Chaîne user-agent
- Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36
Ce que coûte chaque choix
Aucune des deux options n'est gratuite. Voici l'arbitrage.
Si vous l'autorisez
Votre contenu peut servir à améliorer les produits et services d'Amazon, et peut servir à entraîner ses modèles d'IA.
User-agent: Amazonbot Allow: /
Si vous le bloquez
Vous vous en retirez. Amazon ne documente ici aucune voie de citation ou de référence : il n'y a donc pas de coût direct de visibilité à mettre en balance.
User-agent: Amazonbot Disallow: /
Décider cela en même temps que pour les autres robots est plus simple au même endroit : construire le fichier entier.
Bon à savoir
- Amazon honore plus que le robots.txt. rel=nofollow et les balises meta robots de page s'appliquent aussi, ce qui donne un contrôle plus fin qu'une règle générale.
- La formulation d'Amazon est large : améliorer ses produits et services, et éventuellement entraîner des modèles d'IA. Elle ne nomme aucun produit précis.
- La liste d'IP publiée est le moyen de confirmer une requête, puisque le user-agent porte une version générique.
Le vérifier
Un en-tête user-agent ne prouve rien à lui seul, puisque n'importe quoi peut l'envoyer. Amazon publie les plages d'IP de ses robots : une requête n'est authentique que si l'IP source y figure.
Questions
À quoi sert réellement notre contenu ?
Amazon dit qu'il sert à améliorer ses produits et services, et qu'il peut servir à entraîner ses modèles d'IA. Il ne détaille pas par produit : tout ce qui serait plus précis relève de la conjecture.
Peut-on l'autoriser en limitant ce qu'il prend ?
Oui, davantage qu'avec la plupart des robots. Amazon indique respecter rel=nofollow et les balises meta robots de page en plus du robots.txt : vous pouvez donc contrôler page par page.
Comment le vérifier ?
Comparez l'IP source à la liste publiée par Amazon. Le user-agent se termine par une version générique : c'est un mauvais critère de correspondance.
Guides sur le sujet
Prêt à dominer la recherche IA ?
Commencer maintenant
Allswap