Les robots d'IA, et ce que chacun fait vraiment

Il n'existe pas de liste unique des robots d'IA, chaque opérateur publiant la sienne dans son propre centre d'aide. Voici cette liste au même endroit : le token robots.txt exact, ce que chaque robot alimente réellement, et si une règle robots.txt l'arrête — trois d'entre eux l'ignorent, et c'est précisément ce que la plupart des règles manquent.

Vérifier votre robots.txt En construire un nouveau

OpenAI

GPTBotEntraînement de modèlesOui. OpenAI désigne le robots.txt comme le contrôle.OAI-SearchBotIndex de rechercheOui. OpenAI désigne le robots.txt comme le contrôle.ChatGPT-UserRécupération à la demandeOui, selon la documentation d'OpenAI pour cet agent.OAI-AdsBotContrôle des annoncesOui. OpenAI désigne le robots.txt comme le contrôle.

Anthropic

ClaudeBotEntraînement de modèlesOui. Anthropic honore les directives robots.txt standard et prend aussi en charge Crawl-delay.Claude-SearchBotIndex de rechercheOui, comme les autres robots d'Anthropic.Claude-UserRécupération à la demandeOui. Nettement plus strict que certains récupérateurs déclenchés par l'utilisateur, dont plusieurs ne le font pas.

Perplexity

PerplexityBotIndex de rechercheOui. Perplexity désigne le robots.txt comme le contrôle.Perplexity-UserRécupération à la demandeGénéralement non. Perplexity documente que cet agent ignore le robots.txt parce qu'une personne a demandé la récupération.

Google

Google-ExtendedEntraînement de modèlesOui. Il n'existe que comme contrôle robots.txt.GooglebotIndex de rechercheOui.GoogleOtherEntraînement de modèlesOui.Google-CloudVertexBotEntraînement de modèlesOui.

Apple

ApplebotIndex de rechercheOui.Applebot-ExtendedEntraînement de modèlesOui. Il n'existe que comme contrôle robots.txt.

Microsoft

bingbotIndex de rechercheOui.

Meta

meta-externalagentEntraînement de modèlesOui, contrairement aux deux autres agents de Meta.meta-externalfetcherRécupération à la demandeNon. Meta documente qu'il peut contourner les règles du robots.txt.facebookexternalhitRécupération à la demandePas toujours. Meta indique qu'il peut contourner le robots.txt lors de contrôles de sécurité ou d'intégrité.

Common Crawl

CCBotEntraînement de modèlesOui. Common Crawl documente un Disallow sur CCBot comme le contrôle.

Amazon

AmazonbotEntraînement de modèlesOui, et de façon inhabituellement large — Amazon indique honorer le robots.txt, rel=nofollow et les balises meta robots de page.

ByteDance

BytespiderEntraînement de modèlesNon documenté. ByteDance ne publie rien à ce sujet : confirmez-le dans vos propres logs plutôt que de le supposer.

Prêt à dominer la recherche IA ?

Commencer maintenant

Allswap