Référence des robots d'IA
ChatGPT-User : des récupérations demandées par une personne
ChatGPT-User n'est pas un robot d'exploration. Il va chercher une page parce qu'une personne dans ChatGPT a demandé cette page, ou parce qu'un Custom GPT l'a appelée. OpenAI indique qu'il ne sert pas à explorer le web automatiquement : le trafic qu'il génère reflète donc un intérêt réel, pas de l'indexation.
Les faits
Tiré de la documentation d{operator}.
- Token robots.txt
- ChatGPT-User
- Opérateur
- OpenAI
- Ce qu'il alimente
- Récupération à la demande
- Respecte le robots.txt
- Oui, selon la documentation d'OpenAI pour cet agent.
- Chaîne user-agent
- Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
Ce que coûte chaque choix
Aucune des deux options n'est gratuite. Voici l'arbitrage.
Si vous l'autorisez
Les personnes utilisant ChatGPT peuvent ouvrir et lire vos pages lorsqu'elles le demandent, et les Custom GPT atteignent votre contenu.
User-agent: ChatGPT-User Allow: /
Si vous le bloquez
Une personne qui demande explicitement à ChatGPT de lire votre page s'entend répondre que c'est impossible. C'est un refus adressé à un humain, pas une décision d'indexation.
User-agent: ChatGPT-User Disallow: /
Décider cela en même temps que pour les autres robots est plus simple au même endroit : construire le fichier entier.
Bon à savoir
- Les visites de cet agent sont un signal de demande. Quelqu'un voulait cette page précise au point de la réclamer.
- Le bloquer touche des personnes qui vous avaient déjà choisi : un arbitrage différent de celui d'un robot d'entraînement.
- Il ne bâtit pas d'index : l'autoriser n'a aucun effet sur votre présence dans la recherche ChatGPT.
Le vérifier
Un en-tête user-agent ne prouve rien à lui seul, puisque n'importe quoi peut l'envoyer. OpenAI publie les plages d'IP de ses robots : une requête n'est authentique que si l'IP source y figure.
Questions
Faut-il le bloquer ?
Rarement utile. Il ne récupère que des pages demandées : un blocage produit surtout un message d'échec pour quelqu'un qui était déjà intéressé.
Est-ce que cela compte comme du trafic ?
C'est une vraie récupération, mais que votre outil d'analyse l'enregistre dépend de votre configuration, la page étant lue plutôt qu'affichée dans un navigateur.
Est-ce ainsi que ChatGPT découvre de nouvelles pages ?
Non. La découverte passe par OAI-SearchBot. Cet agent ne va que là où on l'envoie.
Le moteur qu'il sert
Guides sur le sujet
Comment Allswap le mesure
Prêt à dominer la recherche IA ?
Commencer maintenant
Allswap