AI-Crawler-Referenz
Bingbot: ein Crawler für Suche und Copilot
Bingbot baut den Bing-Index auf, auf den Microsoft Copilot zurückgreift. Microsoft bietet kein eigenes Token für KI-Training, sondern arbeitet mit Meta-Tags auf Seitenebene. NOCACHE beschränkt Copilot auf URL, Titel und Snippet, NOARCHIVE geht noch weiter.
Die Fakten
Entnommen der Dokumentation von Microsoft.
- robots.txt-Token
- bingbot
- Betreiber
- Microsoft
- Wofür er sammelt
- Suchindex
- Befolgt robots.txt
- Ja.
Was jede Entscheidung kostet
Keine der beiden Optionen ist umsonst. Das ist der Handel.
Wenn Sie ihn zulassen
Gewöhnliche Bing-Indexierung und damit die Berechtigung, von Copilot herangezogen zu werden.
User-agent: bingbot Allow: /
Wenn Sie ihn blockieren
Sie verlassen Bing-Suche und Copilot gemeinsam. Über robots.txt lassen sie sich nicht trennen.
User-agent: bingbot Disallow: /
Das gemeinsam mit den übrigen Bots zu entscheiden ist an einer Stelle leichter: die ganze Datei bauen.
Wissenswert
- Microsofts Steuerungen sind Meta-Tags, keine robots.txt-Tokens – eine für KI-Bots geschriebene robots.txt bewirkt hier nichts.
- NOCACHE bedeutet, dass nur URL, Titel und Snippet in Copilot-Antworten und im Training verwendet werden dürfen.
- Sie können Microsoft gezielt ansprechen, indem Sie im Meta-Tag robots durch bingbot ersetzen.
Verifizieren
Ein User-Agent-Header allein beweist nichts, denn den kann jeder senden. Microsoft veröffentlicht keine IP-Liste für diesen Agenten; eine Anfrage unter diesem Namen lässt sich also nicht als echt bestätigen.
Fragen
Welches Token blockieren wir für Copilot-Training?
Es gibt keines. Microsoft regelt das über die Meta-Tags NOCACHE und NOARCHIVE statt über einen robots.txt-User-Agent.
Was bewirkt NOCACHE genau?
Mit NOCACHE markierte Inhalte können weiterhin in Copilot-Antworten erscheinen, aber nur als URL, Titel und Snippet – und nur diese Teile dürfen ins Training.
Können wir ein Tag nur auf Bing anwenden?
Ja. Verwenden Sie bingbot statt robots im Namen des Meta-Tags oder als X-Robots-Tag im Antwort-Header.
Die Engine, der er dient
Bereit, die KI-Suche zu dominieren?
Jetzt loslegen
Allswap