AI-Crawler und was jeder einzelne wirklich tut

Es gibt keine einzelne Liste der AI-Crawler, weil jeder Betreiber seine eigene im eigenen Hilfebereich veröffentlicht. Dies ist diese Liste an einem Ort: das genaue robots.txt-Token, wofür jeder Bot wirklich sammelt und ob eine robots.txt-Regel ihn aufhält – drei davon ignorieren robots.txt, und genau das übersehen die meisten Regeln.

robots.txt prüfen Eine neue bauen

OpenAI

GPTBotModelltrainingJa. OpenAI nennt robots.txt als die Steuerung dafür.OAI-SearchBotSuchindexJa. OpenAI nennt robots.txt als die Steuerung dafür.ChatGPT-UserLive-Abruf für NutzerJa, gemäß der Dokumentation von OpenAI zu diesem Agenten.OAI-AdsBotAnzeigenprüfungJa. OpenAI nennt robots.txt als die Steuerung dafür.

Anthropic

ClaudeBotModelltrainingJa. Anthropic beachtet die üblichen robots.txt-Direktiven und unterstützt zusätzlich Crawl-delay.Claude-SearchBotSuchindexJa, wie die übrigen Bots von Anthropic.Claude-UserLive-Abruf für NutzerJa. Deutlich strenger als manche nutzerausgelösten Abrufer, von denen einige das nicht tun.

Perplexity

PerplexityBotSuchindexJa. Perplexity nennt robots.txt als die Steuerung.Perplexity-UserLive-Abruf für NutzerIn aller Regel nein. Perplexity dokumentiert, dass dieser Agent robots.txt ignoriert, weil eine Person den Abruf verlangt hat.

Google

Google-ExtendedModelltrainingJa. Es existiert allein als robots.txt-Steuerung.GooglebotSuchindexJa.GoogleOtherModelltrainingJa.Google-CloudVertexBotModelltrainingJa.

Apple

ApplebotSuchindexJa.Applebot-ExtendedModelltrainingJa. Es existiert allein als robots.txt-Steuerung.

Microsoft

bingbotSuchindexJa.

Meta

meta-externalagentModelltrainingJa, anders als die beiden anderen Agenten von Meta.meta-externalfetcherLive-Abruf für NutzerNein. Meta dokumentiert, dass er robots.txt-Regeln umgehen kann.facebookexternalhitLive-Abruf für NutzerNicht immer. Meta gibt an, dass er robots.txt bei Sicherheits- oder Integritätsprüfungen umgehen kann.

Common Crawl

CCBotModelltrainingJa. Common Crawl nennt eine CCBot-Disallow-Regel als die Steuerung.

Amazon

AmazonbotModelltrainingJa, und ungewöhnlich weitgehend – Amazon gibt an, robots.txt, rel=nofollow und Robots-Meta-Tags auf Seitenebene zu beachten.

ByteDance

BytespiderModelltrainingNicht dokumentiert. ByteDance veröffentlicht dazu nichts, prüfen Sie es also in Ihren eigenen Logs statt es anzunehmen.

Bereit, die KI-Suche zu dominieren?

Allswap