AI-Crawler-Referenz
CCBot: der Crawl hinter vielen Modellen
CCBot ist der Crawler von Common Crawl. Er baut einen frei verfügbaren öffentlichen Datensatz auf, den viele Organisationen als Trainingsmaterial nutzen – ihn zu blockieren reicht daher ungewöhnlich weit: Eine Regel betrifft jeden Modellbauer, der auf dieses Archiv zurückgreift, nicht ein einzelnes Unternehmen.
Die Fakten
Entnommen der Dokumentation von Common Crawl.
- robots.txt-Token
- CCBot
- Betreiber
- Common Crawl
- Wofür er sammelt
- Modelltraining
- Befolgt robots.txt
- Ja. Common Crawl nennt eine CCBot-Disallow-Regel als die Steuerung.
- User-Agent-String
- CCBot/2.0 (https://commoncrawl.org/faq/)
Was jede Entscheidung kostet
Keine der beiden Optionen ist umsonst. Das ist der Handel.
Wenn Sie ihn zulassen
Ihre Seiten gelangen in ein öffentliches Archiv, das viele Modellbauer nutzen – auch solche ohne eigenen Crawler.
User-agent: CCBot Allow: /
Wenn Sie ihn blockieren
Sie werden künftig aus diesem Archiv ausgeschlossen. Bereits veröffentlichte Crawls werden nicht rückwirkend geändert.
User-agent: CCBot Disallow: /
Das gemeinsam mit den übrigen Bots zu entscheiden ist an einer Stelle leichter: die ganze Datei bauen.
Wissenswert
- Eine Sperre, viele nachgelagerte Wirkungen. Kein anderes Token dieser Liste hat diese Reichweite.
- Es ist ein gemeinnütziges Archiv, kein Unternehmen, das für das eigene Produkt sammelt.
- Common Crawl warnt, dass andere Crawler sich fälschlich als CCBot ausgeben – verifizieren Sie also, bevor Sie aus Logs Schlüsse ziehen.
Verifizieren
Ein User-Agent-Header allein beweist nichts, denn den kann jeder senden. Common Crawl veröffentlicht die IP-Bereiche seiner Bots – eine Anfrage ist nur dann echt, wenn die Quell-IP dort auftaucht.
Fragen
Warum zählt dieser mehr, als er aussieht?
Weil der Datensatz öffentlich ist. Viele Modellbauer nutzen ihn, statt selbst zu crawlen – eine einzige Regel erreicht sie alle.
Entfernt uns das Blockieren aus früheren Crawls?
Nein. Es gilt ab jetzt. Bereits veröffentlichte Archive bleiben, wie sie sind.
Wir sehen viel CCBot-Traffic. Ist der echt?
Möglicherweise nicht. Common Crawl gibt an, dass sich Crawler fälschlich als CCBot ausgeben, und empfiehlt zu verifizieren statt dem User-Agent zu trauen. Es veröffentlicht dafür IP-Bereiche und unterstützt Reverse-DNS.
Leitfäden dazu
Bereit, die KI-Suche zu dominieren?
Jetzt loslegen
Allswap