AI-Crawler-Referenz
Meta-ExternalAgent: der Trainings-Crawler von Meta
Meta-ExternalAgent crawlt für das Training von KI-Basismodellen und um Produkte durch direkte Indexierung von Inhalten zu verbessern. Er ist der einzige Meta-Bot, der robots.txt verlässlich befolgt – die anderen beiden können es umgehen, weshalb die Unterscheidung wichtig ist.
Die Fakten
Entnommen der Dokumentation von Meta.
- robots.txt-Token
- meta-externalagent
- Betreiber
- Meta
- Wofür er sammelt
- Modelltraining
- Befolgt robots.txt
- Ja, anders als die beiden anderen Agenten von Meta.
- User-Agent-String
- meta-externalagent/1.1
Was jede Entscheidung kostet
Keine der beiden Optionen ist umsonst. Das ist der Handel.
Wenn Sie ihn zulassen
Ihre Seiten dürfen zum Training von Metas Modellen und zur Indexierung von Inhalten für Meta-Produkte verwendet werden.
User-agent: meta-externalagent Allow: /
Wenn Sie ihn blockieren
Sie melden sich davon ab. Meta-ExternalFetcher und facebookexternalhit sind von derselben Regel nicht erfasst.
User-agent: meta-externalagent Disallow: /
Das gemeinsam mit den übrigen Bots zu entscheiden ist an einer Stelle leichter: die ganze Datei bauen.
Wissenswert
- Meta veröffentlicht drei Tokens, und nur dieses befolgt robots.txt verlässlich.
- Meta AI erreicht über WhatsApp, Instagram und Facebook ein sehr großes Publikum – die Markenrepräsentation hier hat weite Reichweite.
- Eine robots.txt-Regel, die nur dieses Token nennt, lässt die beiden anderen Meta-Agenten unberührt.
Verifizieren
Ein User-Agent-Header allein beweist nichts, denn den kann jeder senden. Meta veröffentlicht keine IP-Liste für diesen Agenten; eine Anfrage unter diesem Namen lässt sich also nicht als echt bestätigen.
Fragen
Deckt das Metas gesamtes Crawling ab?
Nein. Meta-ExternalFetcher und facebookexternalhit sind getrennt, und Meta dokumentiert, dass beide robots.txt umgehen können.
Beeinflusst Blockieren die Link-Vorschauen?
Nein. Vorschauen auf Facebook, Instagram und WhatsApp stammen von facebookexternalhit.
Lohnt sich das Zulassen?
Es ist der übliche Trainings-Handel: breitere Repräsentation in einem Modell mit sehr großer Reichweite, ohne Zitation.
Die Engine, der er dient
Leitfäden dazu
Bereit, die KI-Suche zu dominieren?
Jetzt loslegen
Allswap