AI-Crawler-Referenz
GPTBot: der Trainings-Crawler von OpenAI
GPTBot ist der Crawler, mit dem OpenAI Seiten sammelt, die in künftige Basismodelle einfließen können. Er ist getrennt von dem Bot, der den Suchindex von ChatGPT aufbaut – GPTBot zu blockieren entfernt eine Website also nicht aus den ChatGPT-Suchergebnissen. Er befolgt robots.txt und veröffentlicht seine IP-Bereiche.
Die Fakten
Entnommen der Dokumentation von OpenAI.
- robots.txt-Token
- GPTBot
- Betreiber
- OpenAI
- Wofür er sammelt
- Modelltraining
- Befolgt robots.txt
- Ja. OpenAI nennt robots.txt als die Steuerung dafür.
- User-Agent-String
- Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
Was jede Entscheidung kostet
Keine der beiden Optionen ist umsonst. Das ist der Handel.
Wenn Sie ihn zulassen
Ihre Seiten dürfen zum Training künftiger OpenAI-Modelle verwendet werden. Damit ist keine Zitation und kein Verweis-Traffic verbunden – Training ist kein Abruf.
User-agent: GPTBot Allow: /
Wenn Sie ihn blockieren
Künftige Modelle wissen womöglich weniger über Ihre Marke aus Ihren eigenen Seiten. Ihre Präsenz in den ChatGPT-Suchergebnissen bleibt unberührt, denn die kommt von OAI-SearchBot.
User-agent: GPTBot Disallow: /
Das gemeinsam mit den übrigen Bots zu entscheiden ist an einer Stelle leichter: die ganze Datei bauen.
Wissenswert
- GPTBot und OAI-SearchBot sind verschiedene Bots mit verschiedenen Aufgaben. Den einen zu blockieren blockiert den anderen nicht – und Teams blockieren regelmäßig den einen, während sie den anderen meinen.
- Training ist keine Zitation. Eine Seite, die GPTBot liest, bringt keinen Link und keinen Traffic; eine Seite, die OAI-SearchBot indexiert, kann beides.
- Der User-Agent-String lässt sich fälschen. Gleichen Sie ihn mit der veröffentlichten IP-Liste ab, bevor Sie aus Server-Logs Schlüsse ziehen.
Verifizieren
Ein User-Agent-Header allein beweist nichts, denn den kann jeder senden. OpenAI veröffentlicht die IP-Bereiche seiner Bots – eine Anfrage ist nur dann echt, wenn die Quell-IP dort auftaucht.
Fragen
Entfernt uns das Blockieren von GPTBot aus ChatGPT?
Nein. Die Suchergebnisse von ChatGPT baut OAI-SearchBot auf, ein eigenes Token. GPTBot zu blockieren nimmt Ihre Seiten nur vom Training aus.
Bringt das Zulassen einen Sichtbarkeitsvorteil?
Mittelbar und über die Zeit. Was ein Modell aus dem Training hält, ist das, was es ohne Suche sagen kann – eine im Training gut vertretene Marke braucht weniger Abruf, um genannt zu werden.
Wie bestätigen wir, dass eine Anfrage wirklich von GPTBot kam?
Prüfen Sie die Quell-IP gegen openai.com/gptbot.json. Der User-Agent-Header allein beweist nichts, denn den kann jeder senden.
Die Engine, der er dient
Wie Allswap das misst
Bereit, die KI-Suche zu dominieren?
Jetzt loslegen
Allswap