Référence des robots d'IA
OAI-SearchBot : le robot derrière la recherche ChatGPT
OAI-SearchBot bâtit l'index de recherche dans lequel ChatGPT puise lorsqu'il cherche. C'est lui qui décide si vos pages peuvent être remontées et liées dans les réponses de ChatGPT, ce qui en fait le seul robot d'OpenAI directement relié aux citations et au trafic de référence.
Les faits
Tiré de la documentation d{operator}.
- Token robots.txt
- OAI-SearchBot
- Opérateur
- OpenAI
- Ce qu'il alimente
- Index de recherche
- Respecte le robots.txt
- Oui. OpenAI désigne le robots.txt comme le contrôle.
- Chaîne user-agent
- Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
Ce que coûte chaque choix
Aucune des deux options n'est gratuite. Voici l'arbitrage.
Si vous l'autorisez
Vos pages peuvent apparaître et être liées dans les résultats de ChatGPT, d'où viennent les citations et les clics.
User-agent: OAI-SearchBot Allow: /
Si vous le bloquez
Vos pages cessent d'être éligibles aux résultats de recherche de ChatGPT. Des robots d'OpenAI, c'est celui qu'il coûte cher de bloquer.
User-agent: OAI-SearchBot Disallow: /
Décider cela en même temps que pour les autres robots est plus simple au même endroit : construire le fichier entier.
Bon à savoir
- Si vous n'en autorisez qu'un, autorisez celui-ci. C'est le robot auquel les citations sont attachées.
- Le bloquer n'empêche pas ChatGPT de parler de votre marque. Cela l'empêche de lier vers vos pages en le faisant.
- Il est facile à prendre dans une règle générale. Un blocage robots.txt écrit pour les robots d'entraînement l'emporte souvent avec lui.
Le vérifier
Un en-tête user-agent ne prouve rien à lui seul, puisque n'importe quoi peut l'envoyer. OpenAI publie les plages d'IP de ses robots : une requête n'est authentique que si l'IP source y figure.
Questions
Est-ce la même chose que GPTBot ?
Non. GPTBot collecte des pages pour l'entraînement. OAI-SearchBot bâtit l'index de recherche interrogé par ChatGPT, et seul le second mène à des citations.
Nous avons bloqué tous les robots IA. Qu'est-ce que cela nous a coûté ?
Très probablement l'éligibilité aux citations dans la recherche ChatGPT. Autoriser OAI-SearchBot tout en bloquant GPTBot est une position répandue et cohérente.
L'autoriser garantit-il d'être cité ?
Non, cela vous rend éligible. Les pages citées dépendent toujours de leur capacité à répondre à la question posée.
Le moteur qu'il sert
Guides sur le sujet
Comment Allswap le mesure
Prêt à dominer la recherche IA ?
Commencer maintenant
Allswap