Référence des robots d'IA
facebookexternalhit : les aperçus de liens
facebookexternalhit récupère une page partagée sur les applications de Meta pour construire l'aperçu : titre, description et vignette. Il lit vos balises Open Graph. Meta documente qu'il peut contourner le robots.txt lors de contrôles de sécurité ou d'intégrité.
Les faits
Tiré de la documentation d{operator}.
- Token robots.txt
- facebookexternalhit
- Opérateur
- Meta
- Ce qu'il alimente
- Récupération à la demande
- Respecte le robots.txt
- Pas toujours. Meta indique qu'il peut contourner le robots.txt lors de contrôles de sécurité ou d'intégrité.
- Chaîne user-agent
- facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
Ce que coûte chaque choix
Aucune des deux options n'est gratuite. Voici l'arbitrage.
Si vous l'autorisez
Les liens vers votre site partagés sur Facebook, Instagram, WhatsApp et Threads s'affichent avec un titre, une description et une image corrects.
User-agent: facebookexternalhit Allow: /
Si vous le bloquez
Vos liens partagés peuvent perdre leur aperçu et s'afficher en URL brute, ce qui réduit fortement le taux de clic.
User-agent: facebookexternalhit Disallow: /
Décider cela en même temps que pour les autres robots est plus simple au même endroit : construire le fichier entier.
Bon à savoir
- C'est le plus ancien robot de cette liste et celui qu'on bloque le plus souvent par accident dans une règle IA générale.
- Il lit les balises Open Graph : une og:image manquante se voit ici avant partout ailleurs.
- Le bloquer est une décision de partage social, pas une décision IA.
Le vérifier
Un en-tête user-agent ne prouve rien à lui seul, puisque n'importe quoi peut l'envoyer. Meta ne publie aucune liste d'IP pour cet agent : une requête portant ce nom ne peut donc pas être confirmée comme authentique.
Questions
Pourquoi nos liens partagés n'ont-ils pas d'aperçu ?
Le plus souvent, cet agent est bloqué, ou la page n'a pas de balises Open Graph à lire. Vérifiez les deux.
Est-ce un robot d'IA ?
Pas vraiment. Il est antérieur à tous les autres et sert à construire des aperçus, mais il est happé par les règles de blocage IA générales.
Respecte-t-il le robots.txt ?
En général oui, mais Meta indique qu'il peut le contourner lors de contrôles de sécurité ou d'intégrité.
Guides sur le sujet
Prêt à dominer la recherche IA ?
Commencer maintenant
Allswap