Référence des robots d'IA
Googlebot : le robot derrière les AI Overviews
Googlebot bâtit l'index de Google Search et, comme les fonctions IA font partie de Search, c'est aussi lui qui rend une page éligible aux AI Overviews et à l'AI Mode. Il n'existe pas de robot IA distinct à autoriser ou bloquer : le contrôle, ce sont les règles robots.txt de Googlebot et les directives de snippet.
Les faits
Tiré de la documentation d{operator}.
- Token robots.txt
- Googlebot
- Opérateur
- Ce qu'il alimente
- Index de recherche
- Respecte le robots.txt
- Oui.
Ce que coûte chaque choix
Aucune des deux options n'est gratuite. Voici l'arbitrage.
Si vous l'autorisez
L'indexation Search ordinaire, et avec elle l'éligibilité aux AI Overviews et à l'AI Mode. Google indique qu'il n'y a pas d'exigence supplémentaire au-delà d'être indexé et éligible à un snippet.
User-agent: Googlebot Allow: /
Si vous le bloquez
Vous quittez Google Search entièrement. Il n'existe aucun moyen de garder les résultats organiques tout en se retirant des fonctions IA par le seul robots.txt.
User-agent: Googlebot Disallow: /
Décider cela en même temps que pour les autres robots est plus simple au même endroit : construire le fichier entier.
Bon à savoir
- Il n'y a pas de robot AI Overviews. Les équipes qui en cherchent un à bloquer cherchent une chose qui n'existe pas.
- Les vrais contrôles sont nosnippet, data-nosnippet, max-snippet et noindex — et chacun vous coûte aussi vos snippets de recherche ordinaires.
- Google indique qu'aucun schéma particulier, découpage ou fichier llms.txt n'est requis ni utilisé pour les fonctions IA.
Le vérifier
Un en-tête user-agent ne prouve rien à lui seul, puisque n'importe quoi peut l'envoyer. Google publie les plages d'IP de ses robots : une requête n'est authentique que si l'IP source y figure.
Questions
Comment se retirer des AI Overviews sans quitter Search ?
Par les directives de snippet plutôt que par le robots.txt. nosnippet ou un max-snippet bas limite ce qui peut être montré, mais la même limite s'applique à votre snippet ordinaire.
Existe-t-il un balisage particulier qui aide à apparaître ?
Google dit que non. Une page doit être indexée et éligible à un snippet ; au-delà, les bonnes pratiques SEO habituelles s'appliquent.
Google utilise-t-il llms.txt ?
Le guide de Google indique que les fichiers llms.txt ne sont pas utilisés par Google Search. D'autres assistants les récupèrent bel et bien : la publication garde donc son intérêt.
Le moteur qu'il sert
Guides sur le sujet
Comment Allswap le mesure
Prêt à dominer la recherche IA ?
Commencer maintenant
Allswap