AI-Crawler-Referenz
facebookexternalhit: Link-Vorschauen
facebookexternalhit ruft eine in Metas Apps geteilte Seite ab, um die Vorschau zu erzeugen: Titel, Beschreibung und Vorschaubild. Er liest Ihre Open-Graph-Tags. Meta dokumentiert, dass er robots.txt bei Sicherheits- oder Integritätsprüfungen umgehen kann.
Die Fakten
Entnommen der Dokumentation von Meta.
- robots.txt-Token
- facebookexternalhit
- Betreiber
- Meta
- Wofür er sammelt
- Live-Abruf für Nutzer
- Befolgt robots.txt
- Nicht immer. Meta gibt an, dass er robots.txt bei Sicherheits- oder Integritätsprüfungen umgehen kann.
- User-Agent-String
- facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
Was jede Entscheidung kostet
Keine der beiden Optionen ist umsonst. Das ist der Handel.
Wenn Sie ihn zulassen
Links zu Ihrer Website, die auf Facebook, Instagram, WhatsApp und Threads geteilt werden, erscheinen mit ordentlichem Titel, Beschreibung und Bild.
User-agent: facebookexternalhit Allow: /
Wenn Sie ihn blockieren
Ihre geteilten Links können ihre Vorschau verlieren und als nackte URL erscheinen, was die Klickrate stark senkt.
User-agent: facebookexternalhit Disallow: /
Das gemeinsam mit den übrigen Bots zu entscheiden ist an einer Stelle leichter: die ganze Datei bauen.
Wissenswert
- Der älteste Bot dieser Liste und derjenige, der am häufigsten versehentlich in einer pauschalen KI-Regel blockiert wird.
- Er liest Open-Graph-Tags – ein fehlendes og:image fällt hier vor allen anderen Stellen auf.
- Ihn zu blockieren ist eine Entscheidung über Social Sharing, keine über KI.
Verifizieren
Ein User-Agent-Header allein beweist nichts, denn den kann jeder senden. Meta veröffentlicht keine IP-Liste für diesen Agenten; eine Anfrage unter diesem Namen lässt sich also nicht als echt bestätigen.
Fragen
Warum haben unsere geteilten Links keine Vorschau?
Meist ist dieser Agent blockiert oder die Seite hat keine Open-Graph-Tags zum Auslesen. Prüfen Sie beides.
Ist er ein KI-Crawler?
Nicht wirklich. Er ist älter als alle anderen und erzeugt Link-Vorschauen, gerät aber in pauschale KI-Sperren.
Befolgt er robots.txt?
Meist ja, doch Meta gibt an, dass er es bei Sicherheits- oder Integritätsprüfungen umgehen kann.
Bereit, die KI-Suche zu dominieren?
Jetzt loslegen
Allswap