AI-Crawler-Referenz
ChatGPT-User: Abrufe, um die jemand gebeten hat
ChatGPT-User ist kein Crawler. Er holt eine Seite, weil jemand in ChatGPT genau diese Seite verlangt hat oder weil ein Custom GPT sie aufgerufen hat. OpenAI gibt an, dass er nicht dazu dient, das Web automatisch zu durchsuchen – Traffic von ihm spiegelt also echtes Interesse wider, keine Indexierung.
Die Fakten
Entnommen der Dokumentation von OpenAI.
- robots.txt-Token
- ChatGPT-User
- Betreiber
- OpenAI
- Wofür er sammelt
- Live-Abruf für Nutzer
- Befolgt robots.txt
- Ja, gemäß der Dokumentation von OpenAI zu diesem Agenten.
- User-Agent-String
- Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
Was jede Entscheidung kostet
Keine der beiden Optionen ist umsonst. Das ist der Handel.
Wenn Sie ihn zulassen
Menschen, die ChatGPT nutzen, können Ihre Seiten öffnen und lesen, wenn sie darum bitten, und Custom GPTs erreichen Ihre Inhalte.
User-agent: ChatGPT-User Allow: /
Wenn Sie ihn blockieren
Wer ChatGPT ausdrücklich bittet, Ihre Seite zu lesen, bekommt die Auskunft, dass das nicht geht. Das ist eine Absage an einen Menschen, keine Indexierungsentscheidung.
User-agent: ChatGPT-User Disallow: /
Das gemeinsam mit den übrigen Bots zu entscheiden ist an einer Stelle leichter: die ganze Datei bauen.
Wissenswert
- Treffer von diesem Agenten sind ein Nachfragesignal. Jemand wollte genau diese Seite so sehr, dass er danach gefragt hat.
- Ihn zu blockieren trifft Menschen, die sich bereits für Sie entschieden hatten – ein anderer Handel als das Blockieren eines Trainings-Crawlers.
- Er baut keinen Index auf, das Zulassen hat also keinen Einfluss darauf, ob Sie in der ChatGPT-Suche erscheinen.
Verifizieren
Ein User-Agent-Header allein beweist nichts, denn den kann jeder senden. OpenAI veröffentlicht die IP-Bereiche seiner Bots – eine Anfrage ist nur dann echt, wenn die Quell-IP dort auftaucht.
Fragen
Sollten wir ihn blockieren?
Selten lohnend. Er holt nur Seiten, nach denen gefragt wurde – eine Sperre erzeugt vor allem eine Fehlermeldung für jemanden, der bereits interessiert war.
Zählt das als Traffic?
Es ist ein echter Abruf, ob Ihre Analytics ihn erfasst, hängt jedoch von Ihrem Aufbau ab, da die Seite gelesen und nicht in einem Browser dargestellt wird.
Findet ChatGPT so neue Seiten?
Nein. Die Entdeckung läuft über OAI-SearchBot. Dieser Agent geht nur dorthin, wohin man ihn schickt.
Die Engine, der er dient
Leitfäden dazu
Wie Allswap das misst
Bereit, die KI-Suche zu dominieren?
Jetzt loslegen
Allswap