Le crawl budget désigne la quantité de ressources qu’alloue Google à votre site pour son exploration. Plus ce budget est important, plus vos pages seront indexées rapidement. Cependant, pour préserver ses ressources et optimiser ses dépenses énergétiques, Google fixe pour chaque site une limite de budget de crawl. C’est donc un défi : « Comment optimiser son budget de crawl malgré la limite imposée par Google ? » Je réponds à cette question dans cet article.
Qu’est-ce que le crawl budget ?
Le crawl budget, ou budget de crawl en français, désigne le nombre de pages que veulent et peuvent indexer les crawlers de Google sur un site en une période donnée. Plus concrètement, c’est la capacité du site à supporter le passage du Googlebot sur une période, et vice versa, l’intérêt que les spiders de Google accordent à ce contenu.
En SEO, le crawl budget est influencé par deux éléments principaux :
Le Crawl Demand
Demande de crawl en français, le Crawl Demand désigne l’intérêt qu’a Google pour un site. Plus votre site est mis à jour régulièrement et est populaire avec du contenu, plus Google aura envie de l’explorer le plus souvent, et donc, plus votre Crawl Demand sera élevé.
Par exemple, des sites comme Pinterest et BBC News, qui reçoivent continuellement du contenu, ont un Crawl Demand très élevé, ce qui explique un passage fréquent du Googlebot chez eux.
Le Crawl Rate Limit
Défini comme la limite de fréquence de crawl, cet indicateur désigne la capacité de votre serveur à supporter le passage des robots d’indexation. Plus vos serveurs sont performants, plus le crawling sera efficace sans nuire à l’expérience utilisateur, et plus votre budget de crawl sera optimisé.
Une astuce très utilisée par certains webmasters pour un bon Crawl Rate Limit est d’indiquer directement dans le fichier robots.txt le Crawl Delay : une instruction indiquant le temps maximal à passer sur une page.
Pourquoi optimiser le crawl budget ?
Optimiser le budget de crawl, c’est s’assurer que les moteurs de recherche explorent en priorité les pages à forte priorité SEO. Si vous le gaspillez, c’est toute votre stratégie qui est compromise.
- Améliorer l’indexation des pages stratégiques
Comme je l’ai mentionné précédemment, le budget de crawl qu’alloue Google à chaque site est très limité. Par conséquent, l’idéal est que vous ne devez pas le gaspiller sur des pages inutiles, telles que les pages de remerciement, les pages de panier ou encore les contenus dupliqués. Il est préférable de l’utiliser judicieusement pour des pages importantes, comme vos pages de services ou vos pages de produits.
- Accélère l’exploration des nouvelles pages
Pour indexer votre page sur Google, il faut que les robots de Google la découvrent, l’analysent et l’enregistrent dans leur base de données. Ce procédé, qui paraît pourtant si simple, requiert une quantité considérable de ressources pour le moteur de recherche. Si votre crawl budget est donc mal utilisé, les ressources sont gaspillées et vos pages seront explorées très tardivement (ou peut-être jamais !).
Présentation du robot Googlebot
Pour ajouter de nouvelles pages à leur base de données, les moteurs de recherche déploient sur la toile des crawlers. Ce sont des programmes informatiques autonomes qui se laissent guider par les liens qu’ils rencontrent pour découvrir de nouveaux contenus sur le web.
Par exemple, nous avons Bingbot pour Bing de Microsoft et YandexBot pour le moteur de recherche russe Yandex. Parmi les nombreux robots, il y a Googlebot. Comme vous vous y attendiez, il s’agit du robot d’indexation de Google.
Également connu sous le nom de spider, ce crawler de Google est en réalité un ensemble de deux robots : Googlebot Smartphone, qui s’occupe de l’exploration des sites en version smartphone, et Googlebot Desktop, qui s’en occupe en version ordinateur.
Son rôle ? Il parcourt le web 24 h sur 24 et 7 j sur 7 à la recherche de nouveaux contenus. Ainsi, dès son arrivée sur une page, il analyse la page, extrait son code HTML et le stocke dans la gigantesque base de données de Google s’il le juge utile. Il suit tous les liens dofollow présents sur la page pour découvrir d’autres pages et reprendre le processus.
Comment optimiser votre crawl budget ?
Pour optimiser votre budget de crawl, il existe une règle d’or : identifier les pages qui consomment des ressources inutiles sur votre site et réaffecter ces ressources aux pages stratégiques. Il est simple de le présenter ainsi, mais dans la pratique, c’est autre chose.
Voici quatre actions très simples que vous pouvez mettre en œuvre dès maintenant sur votre site pour améliorer votre crawl budget.
Optimiser votre fichier robots.txt
Le fichier robots.txt est le premier fichier que lit un robot à son arrivée sur un site. C’est un petit document “texte” qui permet d’indiquer aux robots les pages à visiter ou non. Il vous permet donc de concentrer votre budget de crawl sur les éléments essentiels, comme vos articles de blog et vos fichiers, tout en évitant l’indexation de certains éléments inutiles, comme les commentaires, le cache ou encore les plugins.
Bien qu’il soit recommandé de ne se focaliser que sur l’essentiel, il n’est pas conseillé de bloquer les fichiers JS et CSS, sans quoi les robots d’indexation ne pourront pas interpréter les scripts sur vos pages.
Accélérez la vitesse de chargement de votre site
À son arrivée sur un site, selon son Crawl Rate Limit, le Googlebot connaît déjà le temps maximal qu’il peut passer sur ce site. Ainsi, plus le site sera rapide, plus il parcourra de pages avant de le quitter. Au contraire, un site trop lent ralentira l’exploration et empêchera certaines pages d’être explorées.
C’est pourquoi il est recommandé d’opter pour des hébergeurs performants, mais aussi de minimiser la vitesse de chargement des pages de votre site.
Évitez liens brisés et les pages d’erreur 404
Dans sa quête d’informations, le Googlebot suit tous les liens rencontrés sur une page web. Que ces liens soient fonctionnels ou non, il est de son devoir de les suivre pour découvrir (logiquement) d’autres pages de votre site. Suivre un lien brisé, c’est conduire les robots dans une impasse, leur faire perdre du temps et gaspiller des ressources, à savoir votre budget de crawl.
Je vous recommande de vérifier régulièrement votre Google Search Console pour repérer ces liens et mettre en place des redirections 301 appropriées.
Minimifiez le code JavaScript
Contrairement au langage HTML qui représente le « langage phare » du web, le JavaScript demeure un code dont la prise en charge représente un fardeau pour le robot de Google. Il ne contient pas de texte dans un premier temps et demande également d’importantes ressources de la part des robots d’indexation. Bien évidemment, ces ressources seront tirées de votre crawl budget.
Quels sont les éléments qui impactent le crawl budget d’un site ?
D’un site à un autre, le budget de crawl n’est pas fixe. De même, pour le même site, le budget varie en fonction de son développement. En gros, certains éléments peuvent soit ralentir ou limiter le budget de crawl, soit l’optimiser ou l’améliorer.
La structure du site
La structure de votre site est le premier élément qui impacte directement votre budget de crawl. Plus votre site contient de pages avec une navigation fluide, plus le robot de Google prendra du plaisir à passer d’une page à une autre, et plus votre budget sera important.
De plus, si le maillage interne dans le site est bien organisé, les robots d’indexation trouveront rapidement de nombreux liens, ce qui impacte grandement le budget de crawl.
La notoriété du site
Plus un site est populaire, avec des backlinks de qualité, plus Google voudra l’explorer. C’est un cycle sans fin : vous créez du contenu, et Google vous considère comme un site « populaire ». Vos contenus attirent des liens entrants, votre popularité croît et donc votre budget de crawl devient de plus en plus important.
Cela explique pourquoi des sites d’actualités et de médias reçoivent régulièrement la visite des spiders.
La vitesse de réponse du serveur
Un serveur lent constitue un obstacle pour Googlebot. Plus il met de temps à obtenir une réponse, moins il explorera de pages. Si chaque requête prend plusieurs secondes, le moteur de recherche limitera naturellement son exploration pour éviter de surcharger votre serveur.
En revanche, un site rapide et bien optimisé permet aux robots d’explorer plus de pages en moins de temps, maximisant ainsi votre budget de crawl. Pour cela, il faut optimiser les performances du site.
Comment connaître votre budget crawl en SEO ?
Bien qu’il existe sur le marché des outils de crawling qui vous proposent une évaluation de cette métrique, je vous recommande de vous limiter à la Google Search Console. C’est un outil gratuit qui provient directement de Google, ce qui rend ses informations plus fiables.
Bon, revenons à la question : comment évaluer son budget de crawl en SEO ?
Pour estimer votre budget de crawl, rendez-vous dans la section des paramètres de votre Google Search Console. À ce niveau, ouvrez le rapport intitulé « Statistiques sur l’exploration » dans la rubrique « Exploration ».
Parmi toutes les informations fournies, trois d’entre elles sont les plus intéressantes :
- Toutes les demandes d’exploration : cette métrique vous permet de connaître le nombre de fois que votre site a demandé aux robots d’indexer l’une de ses pages. Par défaut, la valeur affichée concerne le nombre au cours des 90 derniers jours. Plus il est élevé, mieux c’est.
- Taille de téléchargement totale : cette donnée vous permet de mesurer la taille des données totales qu’a téléchargées le Googlebot sur votre site. Ces données comprennent notamment le HTML, le CSS, le JavaScript, les images, etc. Les proportions sont d’ailleurs présentées plus bas sur la page.
- Le temps de réponse moyenne : c’est le temps qu’une page met, en millisecondes, à afficher son contenu suite à une demande d’exploration. C’est pour moi la métrique la plus importante, car plus elle est élevée, plus vos pages mettent du temps à se charger et plus vite le Googlebot quittera votre site.
Bien évidemment, je compte rédiger un guide plus détaillé sur l’exploitation des données de ce rapport de la Search Console, mais ce sera pour un autre article.
Conclusion
En conclusion, le crawl budget, ou budget de crawl, désigne en SEO la quantité de pages que les spiders des moteurs de recherche, notamment Google, peuvent explorer sur votre site dans un laps de temps. Il varie d’un site à un autre et est influencé par la limite de fréquence de crawl et la demande de crawl du site. Plusieurs éléments, tels que l’arborescence du site et le fichier robots.txt, contribuent à l’optimisation de ce budget de crawl.
FOIRE AUX QUESTIONS
Je réponds dans cette section aux questions fréquemment posées sur le budget crawl.
Pourquoi un budget de crawl est-il important ?
Le budget de crawl est très important en référencement naturel en ce sens qu’il permet une meilleure indexation et des mises à jour plus rapides. C’est donc un facteur essentiel pour l’indexation d’un site.
Qu’est-ce que le crawl de budget ?
Le budget de crawl correspond à la quantité de ressources que Google alloue à votre site. Il s’agit du nombre de pages que Googlebot veut visiter sur votre site en une journée. Il dépend à la fois du Crawl Demand et du Crawl Rate Limit.
Comment fonctionne le crawler ?
Le crawler est un robot entièrement autonome qui parcourt le web 24 h sur 24. Sa mission principale est de collecter des informations. Dans son exploration, il suit tous les liens dofollow rencontrés.
Quels éléments du site Google ne doit pas crawler ?
Si vous remarquez sur votre site des informations qui n’apportent aucune valeur à vos internautes, bloquez leur exploration. Par exemple, des pages à caractère juridique, comme les politiques de confidentialité ou les mentions légales, ne doivent pas être indexées pour économiser votre budget de crawl.
