Référence des robots d'IA
Bytespider : le robot de ByteDance
Bytespider est le robot de ByteDance, qui collecte du contenu pour ses modèles d'IA. C'est le seul robot de cette liste sans documentation d'opérateur derrière lui : ByteDance ne publie ni page dédiée, ni spécification de user-agent, ni liste d'IP — il n'existe donc rien de faisant autorité pour vérifier une requête.
Les faits
ByteDance ne publie aucune documentation sur ce robot : ce qui suit est observé, non déclaré.
- Token robots.txt
- Bytespider
- Opérateur
- ByteDance
- Ce qu'il alimente
- Entraînement de modèles
- Respecte le robots.txt
- Non documenté. ByteDance ne publie rien à ce sujet : confirmez-le dans vos propres logs plutôt que de le supposer.
Ce que coûte chaque choix
Aucune des deux options n'est gratuite. Voici l'arbitrage.
Si vous l'autorisez
Votre contenu peut être collecté pour les modèles d'IA de ByteDance. Aucune citation ni référence n'y est attachée.
User-agent: Bytespider Allow: /
Si vous le bloquez
Confirmez-le dans vos logs plutôt que de le supposer. Si le trafic continue après une règle robots.txt, une règle de pare-feu est l'étape habituelle.
User-agent: Bytespider Disallow: /
Décider cela en même temps que pour les autres robots est plus simple au même endroit : construire le fichier entier.
Bon à savoir
- Tous les autres opérateurs ici publient de la documentation. Celui-ci non : traitez donc tout ce qui se dit sur Bytespider — y compris sur cette page — comme de seconde main jusqu'à confirmation par vos propres logs.
- Sans liste d'IP publiée, impossible de distinguer une vraie requête Bytespider de quelque chose qui en porte le nom.
- Le bloquer coûte peu en visibilité, puisqu'il n'existe ici aucune voie documentée de citation ou de référence.
Le vérifier
Un en-tête user-agent ne prouve rien à lui seul, puisque n'importe quoi peut l'envoyer. ByteDance ne publie aucune liste d'IP pour cet agent : une requête portant ce nom ne peut donc pas être confirmée comme authentique.
ByteDance ne publie aucune documentation de robot vers laquelle pointer.
Questions
Notre règle robots.txt ne semble pas fonctionner. Que faire ?
Vérifiez d'abord dans vos logs. Il n'existe aucune déclaration publiée de conformité à invoquer : si le trafic continue, l'étape concrète est un blocage au CDN ou au pare-feu.
Que perdons-nous en le bloquant ?
Une représentation dans les modèles de ByteDance. Il n'y a ici ni citation ni trafic de référence à abandonner.
Le trafic est-il authentique ?
Impossible d'en être sûr. Le user-agent est trivial à usurper et ByteDance ne publie aucune liste d'IP pour le vérifier, ce qui n'est vrai d'aucun autre robot ici.
Guides sur le sujet
Prêt à dominer la recherche IA ?
Commencer maintenant
Allswap