AI-Crawler-Referenz
OAI-SearchBot: der Crawler hinter der ChatGPT-Suche
OAI-SearchBot baut den Suchindex auf, auf den ChatGPT zurückgreift, wenn es etwas nachschlägt. Er entscheidet, ob Ihre Seiten in ChatGPT-Antworten auftauchen und verlinkt werden können – und ist damit der einzige Crawler im Bestand von OpenAI mit direkter Verbindung zu Zitationen und Verweis-Traffic.
Die Fakten
Entnommen der Dokumentation von OpenAI.
- robots.txt-Token
- OAI-SearchBot
- Betreiber
- OpenAI
- Wofür er sammelt
- Suchindex
- Befolgt robots.txt
- Ja. OpenAI nennt robots.txt als die Steuerung dafür.
- User-Agent-String
- Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
Was jede Entscheidung kostet
Keine der beiden Optionen ist umsonst. Das ist der Handel.
Wenn Sie ihn zulassen
Ihre Seiten können in den Suchergebnissen von ChatGPT auftauchen und verlinkt werden – dort entstehen Zitationen und Klicks.
User-agent: OAI-SearchBot Allow: /
Wenn Sie ihn blockieren
Ihre Seiten sind nicht mehr berechtigt, in ChatGPT-Suchergebnissen zu erscheinen. Von den OpenAI-Bots ist dies der teure zum Blockieren.
User-agent: OAI-SearchBot Disallow: /
Das gemeinsam mit den übrigen Bots zu entscheiden ist an einer Stelle leichter: die ganze Datei bauen.
Wissenswert
- Wenn Sie nur einen zulassen, dann diesen. Er ist der Bot, an dem Zitationen hängen.
- Ihn zu blockieren hindert ChatGPT nicht daran, über Ihre Marke zu sprechen. Es hindert ChatGPT daran, dabei auf Ihre Seiten zu verlinken.
- Er gerät leicht in eine Pauschalregel. Eine robots.txt-Sperre, die für Trainings-Crawler gedacht war, nimmt ihn oft mit.
Verifizieren
Ein User-Agent-Header allein beweist nichts, denn den kann jeder senden. OpenAI veröffentlicht die IP-Bereiche seiner Bots – eine Anfrage ist nur dann echt, wenn die Quell-IP dort auftaucht.
Fragen
Ist das dasselbe wie GPTBot?
Nein. GPTBot sammelt Seiten für das Modelltraining. OAI-SearchBot baut den Suchindex auf, den ChatGPT abfragt – und nur der zweite führt zu Zitationen.
Wir haben alle KI-Bots blockiert. Was hat das gekostet?
Höchstwahrscheinlich die Berechtigung, in der ChatGPT-Suche zitiert zu werden. OAI-SearchBot zuzulassen und GPTBot zu blockieren ist eine verbreitete und in sich schlüssige Haltung.
Garantiert das Zulassen, dass wir zitiert werden?
Nein, es macht Sie berechtigt. Welche Seiten zitiert werden, hängt weiterhin davon ab, ob sie die gestellte Frage beantworten.
Die Engine, der er dient
Leitfäden dazu
Wie Allswap das misst
Bereit, die KI-Suche zu dominieren?
Jetzt loslegen
Allswap