Référence des robots d'IA
GPTBot : le robot d'entraînement d'OpenAI
GPTBot est le robot par lequel OpenAI collecte des pages susceptibles de nourrir ses futurs modèles de fondation. Il est distinct du robot qui bâtit l'index de recherche de ChatGPT : bloquer GPTBot ne retire donc pas un site des résultats de recherche de ChatGPT. Il respecte le robots.txt et publie ses plages d'IP.
Les faits
Tiré de la documentation d{operator}.
- Token robots.txt
- GPTBot
- Opérateur
- OpenAI
- Ce qu'il alimente
- Entraînement de modèles
- Respecte le robots.txt
- Oui. OpenAI désigne le robots.txt comme le contrôle.
- Chaîne user-agent
- Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
Ce que coûte chaque choix
Aucune des deux options n'est gratuite. Voici l'arbitrage.
Si vous l'autorisez
Vos pages peuvent servir à entraîner de futurs modèles d'OpenAI. Aucune citation ni trafic de référence n'y est attaché : l'entraînement n'est pas de la récupération.
User-agent: GPTBot Allow: /
Si vous le bloquez
Les futurs modèles retiendront peut-être moins de choses de vos propres pages. Votre présence dans les résultats de ChatGPT n'est pas affectée, car elle vient d'OAI-SearchBot.
User-agent: GPTBot Disallow: /
Décider cela en même temps que pour les autres robots est plus simple au même endroit : construire le fichier entier.
Bon à savoir
- GPTBot et OAI-SearchBot sont deux robots aux rôles différents. Bloquer le premier ne bloque pas le second, et les équipes bloquent régulièrement l'un en pensant à l'autre.
- L'entraînement n'est pas une citation. Une page lue par GPTBot ne rapporte ni lien ni trafic ; une page indexée par OAI-SearchBot peut rapporter les deux.
- Le user-agent peut être usurpé. Vérifiez la plage d'IP publiée avant de tirer des conclusions de vos logs.
Le vérifier
Un en-tête user-agent ne prouve rien à lui seul, puisque n'importe quoi peut l'envoyer. OpenAI publie les plages d'IP de ses robots : une requête n'est authentique que si l'IP source y figure.
Questions
Bloquer GPTBot nous retire-t-il de ChatGPT ?
Non. Les résultats de recherche de ChatGPT sont bâtis par OAI-SearchBot, un token distinct. Bloquer GPTBot ne fait que retirer vos pages de l'entraînement.
Y a-t-il un gain de visibilité à l'autoriser ?
Indirect, et dans la durée. Ce qu'un modèle retient de l'entraînement est ce qu'il peut dire sans chercher : une marque bien représentée à l'entraînement a besoin de moins de récupération pour être nommée.
Comment confirmer qu'une requête venait vraiment de GPTBot ?
Comparez l'IP source à openai.com/gptbot.json. L'en-tête user-agent seul ne prouve rien, puisque n'importe quoi peut l'envoyer.
Le moteur qu'il sert
Guides sur le sujet
Comment Allswap le mesure
Prêt à dominer la recherche IA ?
Commencer maintenant
Allswap