Le crawl budget désigne les limites que le robot d’un moteur de recherche va crawler en termes de nombre de pages.
Avant de comprendre le concept de crawl budget pour le référencement, vous devez d’abord vous familiariser avec un autre terme: Googlebot. Googlebot est le nom donné à l’agent automatisé qui parcourt votre site à la recherche de pages à ajouter à son index. Vous pouvez le considérer comme un internaute numérique. Puisqu’il y a des milliards et des milliards de pages sur le Web, il serait impossible pour le Googlebot de les explorer chaque seconde de chaque jour. Cela consommerait une bande passante précieuse en ligne, ce qui ralentirait les performances des sites Web.
Google alloue donc un budget d’exploration à chaque site Web. Ce budget détermine la fréquence à laquelle Googlebot explore le site à la recherche de pages à indexer. Google définit la mission du crawl budget comme suit: « La hiérarchisation des éléments à explorer, du moment et de la quantité de ressources que le serveur hébergeant le site Web peut allouer à l’exploration est plus importante pour les sites Web plus volumineux ou ceux qui génèrent automatiquement des pages en fonction des paramètres d’URL , par exemple. »
Pourquoi l’optimisation du crawl budget est-elle importante pour le référencement? La réponse à cela est fondamentale et simple. Plus un budget d’exploration est optimisé pour indexer une page, plus elle sera classée sur Google. Il est essentiel de vous assurer que si vous avez un grand site, en particulier un site e-commerce, ou si vous avez ajouté beaucoup de pages ou avez beaucoup de pages redirigées, vous devez gérer le crawl budget de votre site. Cependant, cela ne devrait pas être une préoccupation majeure, car Google explore efficacement les pages indexées, mais c’est certainement quelque chose dont il faut être conscient.
