Une des notions les plus importantes dans le SEO technique est le crawling. Ce processus par lequel les robots des moteurs de recherche prennent connaissance de votre page et essaient de le comprendre. Il est assuré par les crawlers, ces miniprogrammes informatiques autonomes et sans pilotage. Dans cet article, je vous présente donc, ce que c’est et comment les inciter à passer plus souvent sur votre site.
Définition du crawler
Un crawler est un robot déployé sur le web pour aller à la recherche de l’information. Pour ce faire, il passe de site en site, de page en page, pour effectuer des analyses, des extractions et des enregistrements dans les archives.
Dans sa quête d’informations, certaines informations sont particulièrement importantes pour lui, et donc, celles sur lesquelles il s’attarde le plus. Elles sont entre autres :
- L’URL de la page explorée
- Le code source ou code HTML présent sur la page
- L’attribut des images présentes
- Les données enrichies et les titres Hn
- Les métadonnées SEO, notamment le Title et la Meta description
Comment fonctionnent les crawlers (en particulier Googlebot) ?
Lorsqu’un moteur de recherche ou un outil de scraping déploie un crawler, c’est principalement pour enrichir sa base de données. Ainsi, le robot aura pour mission principale d’ajouter à l’index du moteur de recherche les pages inexistantes ou d’actualiser celles déjà présentes, mais qui ont été actualisées. Partant de ce principe, on peut donc décliner le fonctionnement d’un spider web en trois rôles.
L’exploration du web : le premier rôle d’un crawler
Le petit nom qu’on donne très souvent aux crawlers est « cliqueur fou ». En fait, lorsqu’ils sont lâchés sur la toile, les crawlers se comportent comme des internautes fous, qui cliquent sur tous les liens rencontrés. Cela leur permet d’aller à la découverte de nouvelles pages et de découvrir de nouveaux documents, de quoi enrichir la data base des moteurs de recherche.
L’extraction de données : le deuxième rôle des crawlers
Leur fonction ne se limite pas à parcourir le web tout simplement. En effet, après être arrivé sur une page, ils prennent le temps d’y collecter les informations importantes afin de dupliquer une version « texte » de page dans le cache des moteurs de recherche. C’est d’ailleurs sur cette version « texte » que se basent les algorithmes du moteur de recherches pour attribuer un point de pertinence à la page.
Le classement des pages : le troisième rôle des spiders
Bien qu’ils existent chez les moteurs de recherche d’autres algorithmes spécialisés dans le classement dans la SERP, les crawlers y ont un rôle préliminaire : la sélection. En fait, au cours de leur exploration, ces robots ne dupliquent pas toutes les pages dans l’archive. Ce phénomène est assez fréquent avec le Googlebot de Google qui considère comme « inexplorées » les pages trop similaires ou les contenus dupliqués.
Les différents types de crawler
Dans le milieu du référencement naturel, il existe trois types de crawlers. Bien que leur rôle soit distinct, ils convergent tous vers le même objectif : permettre aux moteurs de recherche d’avoir la meilleure qualité de contenus pour leurs internautes.
Le crawler d’indexation
Celui-ci est le premier des crawlers à avoir vu le jour. Son objectif est de classer les pages explorées dans les résultats des moteurs de recherche. Logiquement, il est celui qui assure la troisième fonction. Vous vous en doutez bien, lorsqu’il n’a pas accès à une page, soit par une balise “No index” ou une structure de liens brisés, celle-ci ne peut apparaître dans la SERP, elle est juste considérée comme inexistante.
Le crawler de diagnostic
Au début de l’article, j’ai commencé par souligner les outils de scraping comme détenteurs de spiders. Eh bien ! Sachez que cette catégorie de crawlers, dont le but principal est l’audit SEO et la collecte d’informations, leur appartient. En fait, ce sont des programmes de simulation lancés par certains outils SEO comme Semrush, Ahrefs ou Screaming Frog pour explorer un site afin d’y recenser des erreurs telles que :
- Les liens brisés
- La qualité du maillage interne
- La présence du duplicate content
- Les pages en « profondeur »
- La structure du site
- Le nombre de pages
Le crawler de veille
Comme son nom l’indique, le rôle de ce crawler est la veille informationnelle. Il a pour mission principale d’être à l’affut des tendances et des actualités. Il est particulièrement utile pour les e-commerçants qui doivent s’informer continuellement sur l’état du marché pour un positionnement plus stratégique.
Comment crawler un site ?
Pour crawler un site, deux options s’offrent à vous. La première consiste à soumettre l’URL du site à la Google Search Console afin de placer votre site dans la file d’attente. Certes, ce procédé est gratuit, néanmoins, il requiert du temps pour un crawling complet, surtout si vous avez une multitude de pages sur votre site. C’est pourquoi il est conseillé de soumettre, en plus de l’URL de départ du site, le sitemap.
La seconde méthode consiste à recourir à l’API d’Indexation de Google. C’est normalement un outil destiné aux plateformes de recherche d’emploi (job-posting) et des sites spécialisés dans les vidéos sur les actualités. L’avantage ici est la rapidité de l’indexation, qui prend seulement 4 à 5 heures, mais nécessite néanmoins des connaissances techniques. C’est pourquoi il existe désormais des plugins WordPress comme Rankmath pour faire le travail à votre place.
L’importance du crawling en SEO
Le crawling est très important en SEO, car il est le principal moyen par lequel vous présentez votre contenu aux robots d’indexation. Par conséquent, c’est dorénavant impossible de bâtir une stratégie SEO durable sans mettre en place un plan pour maximiser le budget crawl et, par la même occasion, d’augmenter la fréquence de crawling. Je tiens à ajouter que plus un site reçoit des visites des spiders web, plus il a de chances de ranker rapidement.
Comment faciliter le crawling sur son site web ?
Il existe plusieurs astuces pour faciliter le crawling de votre site, et surtout, augmenter la fréquence de crawl. Avant de continuer, je tiens à souligner que le budget de crawl est un facteur déterminant dans le crawling de vos pages web et que les astuces suivantes visent à en tirer le maximum davantage.
Le maillage interne facilite l’indexation
Le maillage interne est une technique SEO qui consiste à créer des liens depuis une page de son site vers une autre. Cela permet aux spiders qui sont des « cliqueurs fous » d’accéder à la page cible lorsqu’ils explorent la page hôte. C’est donc un meilleur moyen de leur inciter au crawling de votre page, surtout si la page hôte bénéficie d’une certaine autorité.
La qualité du contenu facilite la compréhension au robot
Lorsque vous produisez du contenu de qualité sur votre site, le crawler auront tendance à y faire un tour de temps en temps pour prendre connaissance des nouvelles pages. Quand je parle de qualité de contenu, je fais référence à l’intention de recherche, la bonne hiérarchisation des titres, l’optimisation des attributs ALT des images, etc.
L’arborescence facilite la navigation entre les pages web
L’arborescence est cette partie technique d’un site qui désigne la structure et l’architecture d’un site. Plus elle est optimisée, plus il est facile d’accéder aux nouvelles pages et donc d’en faciliter l’indexation. Il faut retenir que les crawlers explorent rarement les pages accessibles à plus de trois clics. Je vous recommande donc de placer les pages les plus importantes, comme les pages “services”, à des endroits stratégiques comme le menu ou de les créer des liens internes depuis la page d’accueil.
Les backlinks facilitent le crawling des sites
Un backlink est un lien venant d’un site externe pointant vers l’une de vos pages. En les ajoutant à votre stratégie SEO, vous créez un canal d’attraction de ses spiders vers votre site. Il leur suffit de tomber sur ce backlink au cours de leur exploration pour qu’ils viennent visiter votre page.
Conclusion
En conclusion, le crawling est un processus clé dans le classement des pages web par les moteurs de recherche. Il est assuré par des robots, connus sous le nom de « web spider » ou « crawlers » qui sont entièrement autonomes et en perpétuelle exploration. Au moment de cette rédaction, il en existe trois catégories, chacune ayant une spécialité différente dans le classement des pages.
FOIRE AUX QUESTIONS
Avez-vous une dernière question sur les crawlers en SEO ? Je vous réponds dans cette section.
Qu’est-ce qu’un crawler dans un moteur de recherche ?
Le crawler d’un moteur de recherche est un programme, un robot autonome qui parcourt et scanne chaque page qu’il rencontre. Il n’a qu’un seul but, parcourir des sites pour enrichir la base de données du moteur de recherche.
Quelle différence entre crawl et index en SEO ?
Le crawling, c’est lorsque les robots parcourent votre contenu sur le web. En revanche, l’indexation, c’est lorsque votre contenu est jugé pertinent et classé dans la SERP. Ainsi, votre page peut bien être crawlée sans être indexée, c’est ce qui justifie la mention « Explorée, actuellement non indexée » dans les erreurs d’indexation de votre Search Console.
Comment forcer le crawling d’un site ?
Si vous venez de mettre en ligne votre site ou une page web, vous pouvez forcer les crawlers à y jeter un coup d’œil si vous jugez la procédure normale chronophage. La première méthode est de leur envoyer directement l’URL via la Search Console, dans le cas de Googlebot. La seconde méthode est de recourir à « l’API d’Index Now » pour forcer les robots à explorer votre contenu.
Comment créer un crawler ?
Si vous décidez de créer un crawler, tournez-vous vers les programmeurs, notamment en langage Python. Retenez que ce robot que vous aurez créé peut être utilisé à n’importe quelle fin de votre choix sauf pour une indexation. En effet, seuls les robots des moteurs de recherche ont cette capacité d’indexer les pages sur la toile.
6 réflexions sur “Crawlers : qu’est-ce que le robot d’indexation en SEO ?”
Il y a une expression qui revient très souvent dans ton article : crawl budget.
Est-ce que tu peux m’en dire plus ?
Le crawl budget, c’est le nombre de pages que veulent et peuvent indexer les crawlers de Google sur un site sur une période donnée.
Pour en savoir plus, cliquez sur « Crawl budget en SEO : qu’est-ce que le et comment l’optimiser sur son site ?«