AI-Crawler-Referenz
Perplexity-User: Abrufe, die robots.txt nicht stoppt
Perplexity-User besucht eine Seite, weil jemand Perplexity eine Frage gestellt hat, die sie erfordert. Perplexity dokumentiert, dass dieser Agent robots.txt-Regeln in aller Regel ignoriert, weil ein Mensch den Abruf verlangt hat – robots.txt ist hier also nicht die Steuerung.
Die Fakten
Entnommen der Dokumentation von Perplexity.
- robots.txt-Token
- Perplexity-User
- Betreiber
- Perplexity
- Wofür er sammelt
- Live-Abruf für Nutzer
- Befolgt robots.txt
- In aller Regel nein. Perplexity dokumentiert, dass dieser Agent robots.txt ignoriert, weil eine Person den Abruf verlangt hat.
- User-Agent-String
- Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
Was jede Entscheidung kostet
Keine der beiden Optionen ist umsonst. Das ist der Handel.
Wenn Sie ihn zulassen
Nichts zu tun – er handelt auf Nutzeranfrage, unabhängig davon, was robots.txt sagt.
User-agent: Perplexity-User Allow: /
Wenn Sie ihn blockieren
Eine robots.txt-Regel hält ihn nicht zuverlässig auf. Blockieren muss auf Netzwerk- oder Serverebene geschehen, anhand der veröffentlichten IP-Liste.
User-agent: Perplexity-User Disallow: /
Das gemeinsam mit den übrigen Bots zu entscheiden ist an einer Stelle leichter: die ganze Datei bauen.
Wissenswert
- Dies ist der auf dieser Liste am häufigsten übersehene Punkt. Ein robots.txt-Eintrag für Perplexity-User ist keine wirksame Sperre.
- Die veröffentlichte IP-Liste dient der Verifizierung – und ist zugleich das, womit Sie am Edge blockieren würden.
- Die Begründung ist branchenweit dieselbe: Ein Agent, der für eine bestimmte Person handelt, wird behandelt wie diese Person beim Surfen.
Verifizieren
Ein User-Agent-Header allein beweist nichts, denn den kann jeder senden. Perplexity veröffentlicht die IP-Bereiche seiner Bots – eine Anfrage ist nur dann echt, wenn die Quell-IP dort auftaucht.
Fragen
Unsere robots.txt blockiert ihn. Sind wir abgedeckt?
Wahrscheinlich nicht. Perplexity dokumentiert, dass dieser Agent robots.txt in aller Regel ignoriert – eine wirksame Sperre muss auf Netzwerkebene durchgesetzt werden.
Ist das zulässig?
Es ist dieselbe Begründung, die mehrere Betreiber auf nutzerausgelöste Abrufe anwenden: Die Anfrage steht für eine Person, die die Seite besucht.
Wie blockieren wir ihn richtig?
Über die veröffentlichten IP-Bereiche an Ihrem CDN oder in der Firewall statt über robots.txt.
Die Engine, der er dient
Bereit, die KI-Suche zu dominieren?
Jetzt loslegen
Allswap