Robots et accès
robots.txt
robots.txt est un fichier placé à la racine d'un site qui indique aux robots quels chemins ils peuvent récupérer. Pour la recherche par IA, c'est le contrôle principal sur la possibilité même pour les assistants d'atteindre vos pages.
En détail
Chaque AI crawler lit les règles adressées à son propre nom de user-agent. Les nommer explicitement plutôt que de s'en remettre à un joker rend votre intention sans ambiguïté.
Termes liés
AI Crawler
Un AI crawler est un agent automatisé qui collecte des pages web pour une entreprise d'IA, soit pour nourrir l'entraînement d'un modèle, soit pour bâtir l'index de recherche dans lequel un assistant puise. Chacun s'identifie par son propre user-agent dans le robots.txt.
llms.txt
llms.txt est un fichier texte placé à la racine d'un site qui donne aux systèmes d'IA un résumé choisi de ce que le site propose et de l'emplacement de ses pages clés. C'est une convention proposée, pas une obligation, et peu coûteuse à publier.
GPTBot
GPTBot est le robot d'OpenAI qui collecte des pages web susceptibles de nourrir de futurs entraînements. Il se contrôle dans le robots.txt par son nom de user-agent, séparément des agents de recherche et de lecture directe d'OpenAI.
Google-Extended
Google-Extended est le contrôle robots.txt portant sur l'usage de votre contenu pour l'entraînement de Gemini et pour l'ancrage dans Gemini Apps et Vertex AI. Google indique qu'il n'affecte pas l'inclusion dans Google Search et n'est pas un signal de classement.
Prêt à dominer la recherche IA ?
Commencer maintenant
Allswap