Référence des robots d'IA
Meta-ExternalFetcher : peut contourner le robots.txt
Meta-ExternalFetcher soutient des capacités d'IA agentique, notamment aider une IA à naviguer sur des sites pour accomplir des tâches pour des personnes. Meta documente qu'il peut contourner les règles du robots.txt : une entrée robots.txt n'est donc pas un moyen fiable de l'arrêter.
Les faits
Tiré de la documentation d{operator}.
- Token robots.txt
- meta-externalfetcher
- Opérateur
- Meta
- Ce qu'il alimente
- Récupération à la demande
- Respecte le robots.txt
- Non. Meta documente qu'il peut contourner les règles du robots.txt.
- Chaîne user-agent
- meta-externalfetcher/1.1
Ce que coûte chaque choix
Aucune des deux options n'est gratuite. Voici l'arbitrage.
Si vous l'autorisez
Rien à configurer : il agit indépendamment du robots.txt.
User-agent: meta-externalfetcher Allow: /
Si vous le bloquez
Une règle robots.txt n'est pas fiable ici. Un blocage efficace exige des règles au niveau réseau ou serveur.
User-agent: meta-externalfetcher Disallow: /
Décider cela en même temps que pour les autres robots est plus simple au même endroit : construire le fichier entier.
Bon à savoir
- L'un des trois agents de cette liste pouvant ignorer le robots.txt, avec Perplexity-User et facebookexternalhit.
- C'est un récupérateur agentique : il cherche à accomplir une tâche sur une page plutôt qu'à l'indexer.
- Le trafic agentique augmente, et il mérite d'être suivi dans les logs séparément de l'exploration.
Le vérifier
Un en-tête user-agent ne prouve rien à lui seul, puisque n'importe quoi peut l'envoyer. Meta ne publie aucune liste d'IP pour cet agent : une requête portant ce nom ne peut donc pas être confirmée comme authentique.
Questions
Peut-on le bloquer par robots.txt ?
Pas de façon fiable. Meta indique qu'il peut contourner ces règles : le blocage doit se faire au niveau réseau ou serveur.
Que fait-il sur notre site ?
Il aide l'IA de Meta à naviguer sur des pages pour accomplir une tâche demandée par quelqu'un, plutôt que de collecter du contenu pour un index.
Est-ce la même chose que Meta-ExternalAgent ?
Non. Meta-ExternalAgent est le robot d'entraînement, et lui respecte le robots.txt.
Le moteur qu'il sert
Guides sur le sujet
Prêt à dominer la recherche IA ?
Commencer maintenant
Allswap