Référence des robots d'IA
Perplexity-User : des récupérations que le robots.txt n'arrête pas
Perplexity-User visite une page parce que quelqu'un a posé à Perplexity une question qui l'exige. Perplexity documente que, la récupération étant demandée par un utilisateur, cet agent ignore généralement les règles du robots.txt : ce n'est donc pas là que se trouve le contrôle.
Les faits
Tiré de la documentation d{operator}.
- Token robots.txt
- Perplexity-User
- Opérateur
- Perplexity
- Ce qu'il alimente
- Récupération à la demande
- Respecte le robots.txt
- Généralement non. Perplexity documente que cet agent ignore le robots.txt parce qu'une personne a demandé la récupération.
- Chaîne user-agent
- Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
Ce que coûte chaque choix
Aucune des deux options n'est gratuite. Voici l'arbitrage.
Si vous l'autorisez
Rien à configurer : il agit sur demande d'un utilisateur quoi que dise le robots.txt.
User-agent: Perplexity-User Allow: /
Si vous le bloquez
Une règle robots.txt ne l'arrêtera pas de façon fiable. Le blocage doit se faire au niveau réseau ou serveur, à partir de la liste d'IP publiée.
User-agent: Perplexity-User Disallow: /
Décider cela en même temps que pour les autres robots est plus simple au même endroit : construire le fichier entier.
Bon à savoir
- C'est le fait le plus souvent manqué de cette liste. Une entrée robots.txt pour Perplexity-User n'est pas un blocage efficace.
- La liste d'IP publiée sert à la vérification, et c'est aussi ce avec quoi vous bloqueriez en périphérie.
- Le raisonnement est le même dans tout le secteur : un agent agissant pour une personne nommée est traité comme cette personne naviguant.
Le vérifier
Un en-tête user-agent ne prouve rien à lui seul, puisque n'importe quoi peut l'envoyer. Perplexity publie les plages d'IP de ses robots : une requête n'est authentique que si l'IP source y figure.
Questions
Notre robots.txt le bloque. Sommes-nous couverts ?
Probablement pas. Perplexity documente que cet agent ignore généralement le robots.txt : un blocage efficace doit être appliqué au niveau réseau.
Est-ce permis ?
C'est le raisonnement que plusieurs opérateurs appliquent aux récupérations déclenchées par un utilisateur : la requête tient lieu de visite d'une personne.
Comment le bloquer correctement ?
En filtrant sur les plages d'IP publiées au niveau de votre CDN ou pare-feu plutôt qu'en comptant sur le robots.txt.
Le moteur qu'il sert
Guides sur le sujet
Prêt à dominer la recherche IA ?
Commencer maintenant
Allswap