Comprendre et connaître Googlebot est essentiel pour faire du référencement sans “souffrir”.
Googlebot est le robot d’exploration et d’indexation de Google. Dans la pratique, il existe plusieurs types de Googlebot spécialisés par contenus à explorer / indexer.
Googlebot est un programme d’indexation qui est en fait réparti sur un grand nombre de serveurs éclatés géographiquement pour réduire la consommation de ressources liée à la démarche d’exploration et d’indexation des pages web.
La fréquence du passage de Googlebot sur les pages d’un site est variable selon la nature du site et sa périodicité de mise à jour détectée.
Googlebot a été programmé par Google selon plusieurs critères. Il est très perfectionné, et comprendre son fonctionnement est l’une des clés pour bien réussir son référencement.
- Vous allez voir ici le comportement que Googlebot adoptera au moment où il verra votre site web.
Il lit votre site, si il est nouveau alors il l’ajoute à son « index » dans le cas contraire il contrôle si les pages on changées.
Plus vos pages sont modifiées, plus il passera vous voir, attention l’inverse est vrai.
Conseil : mettez un blog ou faite apparaître vos modifications sur la page d’accueil.
1. Googlebot arrive sur votre site web : à son arrivée sur votre site web, Googlebot va commencer par analyser votre page web, en regardant son code source HTML. Il enregistre ce code source, et le fait parvenir à Google.
2. Googlebot explore les liens : Googlebot ne va pas s’arrêter là. Il va repérer tous vos liens et les explorer, de la même manière qu’un utilisateur cliquera dessus.
3. Googlebot arrive sur de nouvelles pages web : de la même manière que précédemment, il va récupérer les codes HTML de ces nouvelles pages et les faire parvenir à Google.
4. Googlebot explore à nouveaux les liens : Googlebot va encore explorer tous les liens présents, avant d’enregistrer les codes HTML des pages qu’il atteindra… et ainsi de suite.
Tout comme les annuaires autrefois, les moteurs de recherche ont un index de toutes les pages de tous les site web qu’ils connaissent. Votre site peut seulement apparaître sur les moteurs de recherche s’il fait partie de cet index.
Votre site dans l’index des moteurs de recherche
Avant que votre site ne puisse apparaître dans les résultats des moteurs de recherche, ces derniers doivent savoir qu’il existe. En d’autres termes, il faut que les moteurs de recherche ajoutent votre site à leurs index de sites web connus. C’est la première chose sur laquelle travailler : tout ce que vous faites pour optimiser votre site sera seulement utile si les moteurs de recherche connaissent votre site.
Informez les moteurs de recherche de l’existence de votre site
Pour trouver de nouveaux sites web, les moteurs de recherche utilisent des “crawlers” ou robots indexeurs : ce sont des robots virtuels qui explorent automatiquement les sites Internet. Tous les jours, toute la journée. Ces robots regardent les sites en détail : le texte, les descriptions des images, et tous les liens sur un site. A ce stade-là, ils cherchent simplement à savoir ce qui se trouve sur le site, afin de l’analyser plus tard.
Si votre site est tout nouveau, les robots indexeurs des moteurs de recherche finiront par le trouver. Mais si vous voulez accélérer le processus, le meilleur moyen de voir votre site indexé rapidement est de soumettre l’adresse de votre site web grâce à la Google Search Console (l’ancien Google Webmasters Tools ou GWT). Cela peut prendre un peu de temps, mais vous pouvez ainsi être sûr qu’un robot passera sur votre site. Et c’est toujours mieux que d’attendre en se tournant les pouces !
Votre site a-t-il déjà été indexé ?
Site;www.votresite.fr
Une fois que les robots indexeurs ont pris connaissance de l’existence de votre site et de son contenu, ils vont alors l’analyser. Cette analyse aboutit à un classement : une liste de sites Internet correspondant le mieux à une certaine recherche.
A quelles questions votre site répond-il ?
Google prend beaucoup d’éléments en compte lorsqu’il analyse un site. Les moteurs de recherche veulent connaître la thématique de votre site et surtout, à quel moment votre site doit apparaître dans les recherches des internautes. Les moteurs de recherche essaient de trouver à quelles expressions de recherche votre site correspond.
Ce processus est complexe mais l’algorithme de Google s’est beaucoup amélioré ces dernières années, pour offrir des résultats plus précis. Par exemple, si votre site est sur le café : doit-il apparaître quand les internautes cherchent le meilleur endroit pour boire un café dans votre ville ou bien lorsqu’ils recherchent un bon fournisseur de café pour leur propre bar ?
Une fois que les moteurs de recherche ont fait leur analyse, ils essaient de savoir si votre site est plus pertinent qu’un site concurrent pour ces expressions de recherche. Pour cela, ils utilisent à peu près 150 facteurs de classement. Certains ont plus d’importance que d’autres.
Malheureusement il n’y a pas de façon simple d’optimiser votre site en fonction des différents facteurs de classement. Google et les autres moteurs de recherche ne nous disent pas exactement ce qu’ils cherchent car ils ne veulent pas que nous manipulions les résultats des recherche. Mais ils donnent quand même des lignes directrices. Ceux qui travaillent dans le SEO font souvent des tests pour voir comment les moteurs de recherche comprennent et évaluent le contenu d’un site web.
Vous pouvez donc optimiser votre site et améliorer votre classement pour certaines expressions de recherche. L’optimisation pour les moteurs de recherche peut faire l’objet d’un emploi à plein temps, mais tout le monde peut commencer avec ces étapes simples :
- Trouvez vos mots-clés pour avoir une idée des expressions pour lesquelles vous souhaitez positionner votre site.
- Ouvrez les paramètres SEO de votre site et remplissez les titres et descriptions de vos pages (aussi appelé meta-descriptions). Utilisez ces champs pour décrire le contenu de chaque page en utilisant certains mots-clés sélectionnés dans la première partie. Le titre de la page donne des informations à Google et à vos visiteurs. La description de page aide votre page à se démarquer dans les résultats de recherche, et encourage les internautes à cliquer sur votre site plutôt que sur celui de vos concurrents.
- Ajoutez des éléments Titre sur votre site et remplissez les champs Texte alternatif de vos images.
- Améliorez le contenu de votre site. Il est vivement conseillé de renseigner les paramètres SEO de votre site, mais cela ne suffit pas. Le facteur le plus important dans le classement des moteurs de recherche, c’est d’avoir des textes pertinents et de qualité sur votre site.
Ca y est, votre site est indexé. Vous avez effectué quelques changements afin de l’optimiser pour certaines expressions de recherche. Que faire maintenant ?
Google met un certain temps à voir les changements
Maintenant, il faut faire preuve d’un peu de patience. Avant que vos changements aient un effet sur les résultats de recherche, les robots indexeurs doivent d’abord les prendre en compte. Lors de leur prochaine visite, ils exploreront votre site pour voir s’il y a eu des modifications depuis la dernière fois. En fait, ils veulent savoir si ils ont une raison de changer le classement de votre site sur ses pages de résultat en fonction de tel ou tel mots clés.
La fréquence de passage des robots indexeurs varie pour chaque site web. La logique de Google ici est fondée sur la pertinence et la mise à jour des résultats des recherches. Si vous avez un site très populaire avec du contenu nouveau toutes les heures, les robots lui rendront régulièrement visite. Si vous modifiez votre site seulement une fois par an, ces visites seront plus espacées dans le temps. Une fois que votre site a été une nouvelle fois indexé et analysé, il est possible que votre position pour une certaine recherche change.Elle peut s’améliorer ou empirer.
De nombreux outils SEO peuvent vous aider à traquer les changements de vos positions sur les pages de résultat. Nous vous recommandons Google Search Console(anciennement Google Webmaster Tools), idéal pour obtenir des informations sur votre classement Google.
- Connectez-vous à votre compte Google Search Console
- Rendez-vous dans la rubrique Trafic de recherche > Analyse de la recherche
- Sélectionnez Position dans la barre du haut
Vous pourrez maintenant voir les positions de votre site web en fonction des expressions de recherche utilisées par les internautes. Si votre site existe déjà depuis un certain temps, vous pourrez avoir des visiteurs venant de différentes expressions de recherche. Utilisez le filtre pour trouver les positions de mots-clés spécifiques.
Dans la plupart des cas, ne vous attendez pas à arriver immédiatement en première position des moteurs de recherche. Mais ne vous découragez pas ! Cela peut prendre du temps et c’est souvent le résultat de nombreuses petites étapes. En développant votre trafic et en ajoutant du contenu à votre site, votre classement devrait s’améliorer régulièrement
Comment fonctionne la recherche Google
Comment fonctionne Google ? Vous trouverez ci-dessous une réponse courte et une réponse longue.
Google collecte des informations à partir de nombreuses sources distinctes :
- Pages Web
- Contenu soumis par les internautes, par exemple via Google My Business ou Maps
- Livres numérisés
- Bases de données publiques sur Internet
- Et bien d’autres sources
Toutefois, nous allons ici nous concentrer sur les pages Web.
Version courte
Trois étapes de base sont nécessaires pour que Google puisse générer des résultats à partir des pages Web :
Exploration
La première étape consiste à identifier quelles pages se trouvent sur le Web. Il n’existe aucun registre qui les centralise. Google doit donc rechercher constamment les nouvelles pages et les ajouter à la liste des pages connues. Ce processus de découverte s’appelle l’exploration.
Les pages connues sont celles que Google a déjà explorées. D’autres pages sont découvertes lorsque nous suivons un lien depuis une page connue vers une nouvelle page ou lorsqu’un propriétaire de site Web nous transmet une liste de pages (sitemap) à explorer. Si vous avez recours à un hôte Web géré, tel que Wix ou Blogger, celui-ci signale parfois à Google les pages nouvelles ou mises à jour à explorer.
Pour améliorer l’exploration de votre site :
- En cas de modifications apportées à une seule page, vous pouvez envoyer une URL individuelle à Google.
- Faites en sorte qu’une page connue par Google inclue un lien vers votre page. Cependant, sachez que les liens publiés dans les annonces ou les commentaires, ceux que vous payez pour apparaître sur d’autres sites ou tout autre lien qui ne respecte pas les Consignes Google aux webmasters ne sont pas pris en compte.
- Si vous demandez à Google de ne parcourir qu’une page, sélectionnez votre page d’accueil. En ce qui nous concerne, votre page d’accueil est la page la plus importante de votre site. Pour encourager l’exploration complète du site, assurez-vous que toutes les pages, dont la page d’accueil, contiennent un bon système de navigation qui renvoie vers toutes les pages et sections importantes de votre site. Cela aide les utilisateurs (et Google) à parcourir votre site.
Indexation
Une fois que nous trouvons une page, nous essayons de déterminer ce sur quoi elle porte. Ce processus s’appelle l’indexation. Nous analysons le contenu de la page, cataloguons les images et les fichiers vidéo qui s’y trouvent, et exploitons toute autre information disponible pour identifier l’objet de cette page. Ces informations sont rassemblées dans l’index Google, une énorme base de données stockée sur un très grand nombre d’ordinateurs.
Pour améliorer l’indexation de votre page :
- Créez des noms de page courts et descriptifs.
- Utilisez des titres qui illustrent le contenu de la page.
- Pour faire passer votre message, préférez le texte aux images. Nous interprétons le contenu de certaines images et vidéos, mais pas aussi bien que le texte. Pensez à au moins annoter les vidéos et les images avec un texte alt et à renseigner tout autre attribut utile.
Diffusion (et classement)
Lorsqu’un internaute saisit une requête, nous nous basons sur de nombreux critères pour essayer de déterminer la réponse la plus appropriée à partir de notre index. Nous tenons compte d’autres éléments, tels que la zone géographique de l’internaute, sa langue ou son appareil (ordinateur ou téléphone), pour optimiser l’expérience utilisateur et fournir les réponses les plus pertinentes. Par exemple, la recherche “atelier de réparation de vélo” ne génère pas les mêmes résultats selon que l’internaute se trouve à Paris ou à Hong Kong. Nous n’acceptons aucun paiement pour améliorer le classement d’une page. Ce processus repose exclusivement sur l’algorithme Google.
Pour améliorer la diffusion et le classement de votre page :
- Assurez-vous que votre page se charge rapidement et qu’elle est adaptée aux mobiles.
- Veillez à y publier des informations utiles et à jour.
- Respectez les Consignes Google aux webmasters, qui contribuent à l’amélioration de l’expérience utilisateur.
- Lisez le Guide de démarrage relatif à l’optimisation du référencement (SEO) pour obtenir des conseils et vous familiariser avec les bonnes pratiques.
- Consultez d’autres informations, y compris les consignes que nous fournissons à nos évaluateurs afin d’assurer la pertinence des résultats.
Version longue
Vous souhaitez en savoir plus ? Lisez la suite.
Exploration
Lors de l’exploration, Googlebot détecte les pages nouvelles ou mises à jour à ajouter dans l’index Google.
Nous utilisons un nombre impressionnant d’ordinateurs pour explorer des milliards de pages Web. Le programme chargé de l’exploration s’appelle Googlebot (également désigné par les termes “robot” ou “robot d’indexation”, ou encore “spider” en anglais). Le processus de Googlebot est basé sur des algorithmes ; nos programmes informatiques déterminent les sites à explorer, la fréquence d’exploration et le nombre de pages à extraire de chaque site.
Dans un premier temps, sont explorées les URL des pages Web comprises dans une liste générée lors de précédents processus d’exploration. À ces URL viennent s’ajouter les données sitemap fournies par les webmasters. Les liens qui figurent sur chaque page des sites auxquels Googlebot accède sont détectés et ajoutés à la liste des pages à explorer. Les nouveaux sites, les modifications de sites existants et les liens non fonctionnels sont répertoriés et utilisés pour mettre à jour l’index Google.
Comment une page est-elle détectée par Google ?
Nous utilisons de nombreuses techniques pour trouver une page, y compris les suivantes :
- Suivre les liens provenant d’autres sites ou d’autres pages
- Lire les sitemaps
Comment déterminons-nous les pages à ne pas explorer ?
- Les pages bloquées dans le fichier robots.txt ne sont pas explorées, mais peuvent être indexées si elles sont identifiées par un lien sur une autre page. En effet, nous sommes en mesure de déduire le contenu d’une page rien qu’à partir d’un lien qui renvoie vers elle, et d’indexer celle-ci sans avoir à l’explorer.
- Nous ne sommes pas en mesure d’explorer les pages auxquelles les utilisateurs anonymes ne peuvent pas accéder. En d’autres termes, nous ne pouvons pas explorer les pages protégées par des identifiants de connexion ou tout autre mécanisme d’autorisation.
- Les pages déjà explorées et considérées comme des doublons d’une autre page sont explorées moins souvent.
Améliorer l’exploration de votre page
Utilisez les techniques ci-dessous pour nous aider à détecter les pages appropriées sur votre site :
- Transmettez-nous un sitemap.
- Envoyez une demande d’exploration pour des pages individuelles.
- Utilisez des chemins d’URL simples, intelligibles et logiques pour vos pages, et indiquez des liens internes clairs et directs sur le site.
- Si vous spécifiez des paramètres d’URL sur votre site pour la navigation (par exemple, si vous indiquez le pays de l’utilisateur sur un site d’achat mondial), utilisez l’outil Paramètres d’URL pour signaler à Google les paramètres importants.
- Utilisez le fichier robots.txt judicieusement, notamment pour indiquer à Google les pages à explorer en priorité afin de protéger la charge du serveur, et non comme moyen de bloquer l’affichage de contenu dans l’index Google.
- Utilisez l’attribut hreflang pour renvoyer les internautes vers d’autres variantes linguistiques de la page.
- Identifiez clairement la page canonique et les autres pages.
- Vérifiez quelles pages ont été explorées et indexées à l’aide du Rapport de couverture de l’index.
Indexation
Chacune des pages explorées est traitée afin de compiler un index volumineux répertoriant tous les mots rencontrés ainsi que leur emplacement sur chaque page. Nous exploitons également les informations incluses dans les balises de contenu et les attributs clés, notamment les balises Title et les attributs alt. De nombreux types de contenu peuvent être traités, mais pas tous. Par exemple, il nous est impossible d’analyser le contenu des fichiers rich media.
Lors du processus d’exploration et d’indexation, Google détermine si une page est un doublon ou la version canonique d’une autre page. S’il s’agit d’un doublon, elle est explorée beaucoup moins fréquemment.
Notez que Google n’indexe pas les pages avec une directive noindex (en-tête ou balise). Toutefois, nous devons être en mesure de voir cette directive. Si la page est bloquée par un fichier robots.txt, des identifiants de connexion ou tout autre dispositif, elle peut être indexée même si nous ne l’avons pas explorée.
Améliorer l’indexation de votre page
De nombreuses techniques permettent d’améliorer l’interprétation du contenu d’une page par Google :
- Utilisez une directive noindex pour empêcher Google d’explorer ou de trouver les pages que vous souhaitez masquer. Toutefois, n’ajoutez pas cette directive à une page bloquée par le fichier robots.txt, car celle-ci passerait inaperçue, et la page risquerait d’être tout de même indexée.
- Utilisez des données structurées.
- Suivez les consignes Google aux webmasters.
- Lisez le Guide de démarrage relatif à l’optimisation du référencement (SEO pour obtenir plus de conseils.
Diffusion des résultats
Lorsqu’un internaute saisit une requête, nos ordinateurs recherchent les pages correspondantes dans l’index et renvoient les résultats que nous estimons être les plus pertinents. Plus de 200 facteurs sont pris en compte pour calculer la pertinence d’une page, et nous apportons des améliorations constantes à notre algorithme. La qualité de l’expérience utilisateur fait partie des critères sur lesquels nous nous basons pour inclure ou non votre page dans les résultats et pour déterminer son classement. Assurez-vous donc qu’elle se charge rapidement et qu’elle est adaptée aux mobiles.
Améliorer la diffusion de votre page
- Si vos résultats sont destinés à des utilisateurs dont la zone géographique ou la langue sont spécifiques, vous pouvez nous indiquer vos préférences.
- Assurez-vous que votre page se charge rapidement et qu’elle est adaptée aux mobiles.
- Suivez les Consignes Google aux webmasters pour éviter les erreurs courantes et améliorer le classement de votre site.
- Envisagez de mettre en œuvre des fonctionnalités de résultats de recherche pour votre site, telles que des fiches de recettes ou d’articles.
- Adoptez le format AMP pour accélérer le chargement des pages sur les appareils mobiles. Certaines pages AMP sont également éligibles à des fonctionnalités de recherche supplémentaires, telles que le carrousel “À la une”.
- Nous améliorons constamment notre algorithme. Au lieu d’essayer d’en deviner les spécificités et de concevoir votre page en conséquence, nous vous conseillons de suivre nos consignes et de vous concentrer sur la création d’un contenu apportant des informations originales, utiles et de bonne qualité aux internautes.