AI-Crawler-Referenz
Meta-ExternalFetcher: kann robots.txt umgehen
Meta-ExternalFetcher unterstützt agentische KI-Fähigkeiten, darunter KI, die Websites navigiert, um Aufgaben für Menschen zu erledigen. Meta dokumentiert, dass er robots.txt-Regeln umgehen kann – ein robots.txt-Eintrag ist also kein verlässlicher Weg, ihn aufzuhalten.
Die Fakten
Entnommen der Dokumentation von Meta.
- robots.txt-Token
- meta-externalfetcher
- Betreiber
- Meta
- Wofür er sammelt
- Live-Abruf für Nutzer
- Befolgt robots.txt
- Nein. Meta dokumentiert, dass er robots.txt-Regeln umgehen kann.
- User-Agent-String
- meta-externalfetcher/1.1
Was jede Entscheidung kostet
Keine der beiden Optionen ist umsonst. Das ist der Handel.
Wenn Sie ihn zulassen
Nichts zu konfigurieren – er handelt unabhängig von robots.txt.
User-agent: meta-externalfetcher Allow: /
Wenn Sie ihn blockieren
Eine robots.txt-Regel ist hier nicht verlässlich. Eine wirksame Sperre braucht Regeln auf Netzwerk- oder Serverebene.
User-agent: meta-externalfetcher Disallow: /
Das gemeinsam mit den übrigen Bots zu entscheiden ist an einer Stelle leichter: die ganze Datei bauen.
Wissenswert
- Einer von drei Agenten auf dieser Liste, die robots.txt ignorieren können – neben Perplexity-User und facebookexternalhit.
- Er ist ein agentischer Abrufer: Er versucht auf einer Seite eine Aufgabe zu erledigen, statt sie zu indexieren.
- Agentischer Traffic nimmt zu und lohnt sich, in Logs getrennt vom Crawling zu beobachten.
Verifizieren
Ein User-Agent-Header allein beweist nichts, denn den kann jeder senden. Meta veröffentlicht keine IP-Liste für diesen Agenten; eine Anfrage unter diesem Namen lässt sich also nicht als echt bestätigen.
Fragen
Können wir ihn mit robots.txt blockieren?
Nicht verlässlich. Meta gibt an, dass er diese Regeln umgehen kann – Blockieren muss auf Netzwerk- oder Serverebene geschehen.
Was tut er auf unserer Website?
Er hilft Metas KI, Seiten zu navigieren, um eine von einem Menschen gestellte Aufgabe zu erledigen, statt Inhalte für einen Index zu sammeln.
Ist das dasselbe wie Meta-ExternalAgent?
Nein. Meta-ExternalAgent ist der Trainings-Crawler und befolgt robots.txt.
Die Engine, der er dient
Leitfäden dazu
Bereit, die KI-Suche zu dominieren?
Jetzt loslegen
Allswap