AI-Crawler-Referenz
Amazonbot: der Crawler von Amazon
Amazon gibt an, dass Amazonbot dazu dient, seine Produkte und Dienste zu verbessern, und dass die Inhalte zum Training von Amazons KI-Modellen verwendet werden können. Er befolgt robots.txt und beachtet zusätzlich rel=nofollow und Robots-Meta-Tags auf Seitenebene – breiter als die meisten Crawler dieser Liste.
Die Fakten
Entnommen der Dokumentation von Amazon.
- robots.txt-Token
- Amazonbot
- Betreiber
- Amazon
- Wofür er sammelt
- Modelltraining
- Befolgt robots.txt
- Ja, und ungewöhnlich weitgehend – Amazon gibt an, robots.txt, rel=nofollow und Robots-Meta-Tags auf Seitenebene zu beachten.
- User-Agent-String
- Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36
Was jede Entscheidung kostet
Keine der beiden Optionen ist umsonst. Das ist der Handel.
Wenn Sie ihn zulassen
Ihre Inhalte können zur Verbesserung von Amazons Produkten und Diensten und zum Training von Amazons KI-Modellen verwendet werden.
User-agent: Amazonbot Allow: /
Wenn Sie ihn blockieren
Sie melden sich davon ab. Amazon dokumentiert hier keinen Zitations- oder Verweisweg, es gibt also keine direkten Sichtbarkeitskosten abzuwägen.
User-agent: Amazonbot Disallow: /
Das gemeinsam mit den übrigen Bots zu entscheiden ist an einer Stelle leichter: die ganze Datei bauen.
Wissenswert
- Amazon beachtet mehr als robots.txt. Auch rel=nofollow und Robots-Meta-Tags auf Seitenebene gelten, was feinere Steuerung erlaubt als eine Pauschalregel.
- Amazons eigene Formulierung ist breit: Produkte und Dienste verbessern und möglicherweise KI-Modelle trainieren. Ein einzelnes Produkt nennt sie nicht.
- Die veröffentlichte IP-Liste ist der Weg, eine Anfrage zu bestätigen, da der User-Agent-String eine Platzhalter-Version trägt.
Verifizieren
Ein User-Agent-Header allein beweist nichts, denn den kann jeder senden. Amazon veröffentlicht die IP-Bereiche seiner Bots – eine Anfrage ist nur dann echt, wenn die Quell-IP dort auftaucht.
Fragen
Wofür werden unsere Inhalte tatsächlich verwendet?
Amazon sagt, zur Verbesserung seiner Produkte und Dienste und möglicherweise zum Training von Amazons KI-Modellen. Eine Aufschlüsselung nach Produkt gibt es nicht – alles Genauere wäre Spekulation.
Können wir ihn zulassen, aber begrenzen, was er nimmt?
Ja, mehr als bei den meisten Crawlern. Amazon gibt an, neben robots.txt auch rel=nofollow und Robots-Meta-Tags auf Seitenebene zu beachten – Sie können also Seite für Seite steuern.
Wie verifizieren wir ihn?
Prüfen Sie die Quell-IP gegen die von Amazon veröffentlichte Liste. Der User-Agent-String endet auf eine Platzhalter-Version und taugt daher schlecht zum Abgleich.
Leitfäden dazu
Bereit, die KI-Suche zu dominieren?
Jetzt loslegen
Allswap