Robots et accès
Crawl budget
Aussi: budget d'exploration
Le crawl budget est la quantité d'exploration qu'un site reçoit sur une période donnée. Garder des sitemaps exacts et éviter les URL dupliquées aide les robots à dépenser ce budget sur les pages que vous voulez voir récupérées.
En détail
Ne soumettre que les URL qui existent réellement dans une langue, et pointer les doublons vers un canonique, maintiennent tous deux le budget dirigé vers de vraies pages.
Guides sur le sujet
Termes liés
robots.txt
robots.txt est un fichier placé à la racine d'un site qui indique aux robots quels chemins ils peuvent récupérer. Pour la recherche par IA, c'est le contrôle principal sur la possibilité même pour les assistants d'atteindre vos pages.
URL canonique
Une URL canonique indique aux moteurs quelle version d'une page indexer lorsque le même contenu est accessible à plusieurs adresses. Elle consolide les signaux sur une adresse unique au lieu de les disperser.
Sitemap
Un sitemap est un fichier XML listant les URL qu'un site souhaite voir explorées, avec des indications facultatives sur la fréquence de changement et les variantes linguistiques. C'est ainsi qu'un robot découvre des pages que la navigation seule ne ferait pas remonter.
Prêt à dominer la recherche IA ?
Commencer maintenant
Allswap