Référence des robots d'IA
Meta-ExternalAgent : le robot d'entraînement de Meta
Meta-ExternalAgent explore pour entraîner des modèles de fondation et pour améliorer des produits en indexant directement du contenu. C'est le seul robot de Meta qui respecte le robots.txt de façon fiable — les deux autres peuvent le contourner, d'où l'importance de la distinction.
Les faits
Tiré de la documentation d{operator}.
- Token robots.txt
- meta-externalagent
- Opérateur
- Meta
- Ce qu'il alimente
- Entraînement de modèles
- Respecte le robots.txt
- Oui, contrairement aux deux autres agents de Meta.
- Chaîne user-agent
- meta-externalagent/1.1
Ce que coûte chaque choix
Aucune des deux options n'est gratuite. Voici l'arbitrage.
Si vous l'autorisez
Vos pages peuvent servir à entraîner les modèles de Meta et à indexer du contenu pour ses produits.
User-agent: meta-externalagent Allow: /
Si vous le bloquez
Vous vous en retirez. Meta-ExternalFetcher et facebookexternalhit ne sont pas couverts par la même règle.
User-agent: meta-externalagent Disallow: /
Décider cela en même temps que pour les autres robots est plus simple au même endroit : construire le fichier entier.
Bon à savoir
- Meta publie trois tokens et seul celui-ci honore le robots.txt de façon fiable.
- Meta AI touche une très large audience via WhatsApp, Instagram et Facebook : la représentation de marque y a une portée considérable.
- Une règle robots.txt ne nommant que ce token laisse les deux autres agents de Meta intacts.
Le vérifier
Un en-tête user-agent ne prouve rien à lui seul, puisque n'importe quoi peut l'envoyer. Meta ne publie aucune liste d'IP pour cet agent : une requête portant ce nom ne peut donc pas être confirmée comme authentique.
Questions
Cela couvre-t-il toute l'exploration de Meta ?
Non. Meta-ExternalFetcher et facebookexternalhit sont distincts, et Meta documente que tous deux peuvent contourner le robots.txt.
Le bloquer affecte-t-il les aperçus de liens ?
Non. Les aperçus sur Facebook, Instagram et WhatsApp viennent de facebookexternalhit.
Vaut-il la peine de l'autoriser ?
C'est l'arbitrage habituel de l'entraînement : une représentation plus large dans un modèle à très grande portée, sans citation associée.
Le moteur qu'il sert
Guides sur le sujet
Prêt à dominer la recherche IA ?
Commencer maintenant
Allswap