Google met à jour en profondeur sa documentation sur ses Crawlers

Si vous êtes intéressés par l’univers du SEO, vous serez heureux, tout come mois d’apprendre que Google a complètement refondu sa documentation sur les crawlers. Pourquoi cette refonte ? Principalement, pour rendre l’information plus dense et accessible. Vous allez voir, cela pourrait bien changer votre manière d’aborder le référencement. En effet, d’après un article de Roger Montti de Search Engine Journal, Google a divisé son ancienne page de présentation en trois nouvelles pages spécifiques. Cela peut sembler anodin. Cependant, cette stratégie permet de rentabiliser l’espace informationnel. Vous avez désormais accès à des sections dédiées aux spécificités techniques et aux encodages de contenu, tels que gzip et Brotli.

Pourquoi Google propose-t-il une mise à jour de cette documentation ?

Pour offrir du mieux pardi ! Imaginez que vous essayez de lire un manuel de 100 pages juste pour trouver une simple information. C’est fatigant, non ? En séparant les documents, Google allège la charge cognitive. La page de présentation est désormais un point d’entrée vers des sous-thèmes plus détaillés. Cela facilite la vie des professionnels pressés comme vous (et nous on l’avoue).

Les nouvelles sections introduites par la refonte de la documentation sur les Crawlers

Google a introduit et c’est une première, une section sur les propriétés techniques. Si vous souhaitez optimiser le référencement de votre site, c’est l’endroit où il faut être attentif. En ce qui concerne les robots d’exploration, trois catégories ont été établies :

• les « Common Crawlers »,
• les « Special-Case Crawlers »
• et les « User-Triggered Fetchers ».

Chaque type de robot a son rôle spécifique et manipule les règles du fichier “robots.txt” différemment.

Quels sont les Common Crawlers ?

Google utilise plusieurs crawlers spécifiques pour différentes fonctions. Le principal est Googlebot, qui parcourt le web en suivant des liens d’une page à l’autre et en indexant les contenus pour les rendre disponibles dans les résultats de recherche. Toutefois, il existe d’autres crawlers spécialisés que Google déploie pour des contenus spécifiques :

1. Googlebot : Le principal crawler de Google, utilisé pour explorer les pages web classiques.
2. Googlebot Image : Utilisé pour explorer et indexer les images disponibles sur les sites.
3. Googlebot Video : Conçu pour crawler les vidéos.
4. Googlebot News : Dédié à l’exploration des actualités, permettant d’inclure des articles dans Google News.
5. Google StoreBot : Ce bot est orienté vers l’indexation des informations provenant de Google Store.
6. Google-InspectionTool : Utilisé lors des inspections de sites via des outils comme Google Search Console.
7. GoogleOther : Ce crawler généraliste s’occupe des tâches qui ne relèvent pas directement des autres Googlebots spécialisés.

Ces crawlers obéissent généralement aux directives données dans le fichier robots.txt, un fichier placé à la racine des sites web pour indiquer quelles pages ou sections du site peuvent être explorées.

Quels sont les Special Case Crawlers ?

Certains crawlers sont destinés à des produits ou services particuliers de Google. Contrairement aux bots standard, ces crawlers agissent en fonction d’accords spécifiques avec les utilisateurs et utilisent des adresses IP différentes. Parmi ces bots, on trouve notamment :

1. Mediapartners-Google : Utilisé pour les annonces AdSense, ce bot analyse les pages web afin de diffuser des publicités ciblées.
2. AdsBot : Ce crawler vérifie les pages publicitaires pour s’assurer qu’elles respectent les règles de qualité et de sécurité des annonces Google.
3. AdsBot-Google-Mobile : Conçu spécifiquement pour vérifier la compatibilité mobile des annonces.
4. APIs-Google : Ce bot est utilisé pour les API Google.
5. Google-Safety : Un bot dédié à la sécurité des sites et à la détection de menaces potentielles.

Ces crawlers permettent à Google de maintenir un écosystème publicitaire et de sécurité performant, tout en garantissant la qualité des résultats proposés aux utilisateurs. Il est important de noter que ces bots suivent également les directives du fichier robots.txt.

Quels sont les User-Triggered Fetchers ?

Les fetchers déclenchés par l’utilisateur sont des bots activés à la demande des utilisateurs pour exécuter une fonction spécifique dans un produit Google. Contrairement aux crawlers réguliers, ces bots ne respectent généralement pas les directives du fichier robots.txt, car ils répondent à une requête explicite de l’utilisateur.

Voici quelques exemples de fetchers déclenchés par l’utilisateur :

1. Feedfetcher : Utilisé pour récupérer des flux RSS ou Atom, généralement pour des services comme Google News.
2. Google Publisher Center : Ce fetcher est utilisé pour aider les éditeurs à gérer leurs contenus dans Google News.
3. Google Read Aloud : Conçu pour lire à haute voix les contenus web.
4. Google Site Verifier : Utilisé pour vérifier la propriété des sites dans Google Search Console, notamment en vérifiant que l’utilisateur a accès à des fichiers spécifiques.

Ces fetchers répondent directement aux actions des utilisateurs et jouent un rôle essentiel dans les outils de gestion de contenu ou de vérification des sites. Ils sont souvent utilisés dans des contextes techniques spécifiques, comme la gestion de contenu RSS ou la vérification de la propriété d’un site.

Comment optimiser votre site pour les crawlers Google ?

L’optimisation pour les crawlers est cruciale pour s’assurer que votre site est bien indexé par Google et les autres moteurs de recherche. Voici quelques bonnes pratiques pour optimiser votre site web :

1. Fichier robots.txt : Ce fichier contrôle l’accès des bots à différentes parties de votre site. Assurez-vous que votre fichier robots.txt est correctement configuré pour permettre aux crawlers d’indexer les pages importantes tout en bloquant celles que vous ne souhaitez pas indexer, comme les pages en double ou les fichiers confidentiels.
2. Plan de site XML : Un plan de site bien structuré aide les crawlers à comprendre la hiérarchie de votre site et à identifier rapidement les pages importantes. En soumettant un fichier Sitemap.xml dans Google Search Console, vous facilitez le travail des crawlers.
3. Liens internes : Les crawlers utilisent les liens pour naviguer d’une page à une autre. Il est donc important d’avoir une structure de liens internes bien pensée, qui facilite l’exploration et l’indexation des pages clés de votre site.
4. Performance mobile : Google accorde une grande importance aux sites optimisés pour mobile, notamment via son bot AdsBot-Google-Mobile. Assurez-vous que votre site est responsive et rapide sur mobile pour améliorer votre référencement naturel.
5. Contenu de qualité : Un contenu pertinent, original et régulièrement mis à jour est crucial pour attirer et retenir l’attention des crawlers. En publiant du contenu de qualité qui répond aux requêtes des utilisateurs, vous augmentez les chances d’être bien indexé et classé dans les résultats de recherche.
6. Utilisation des balises : Les balises meta robots, noindex, et nofollow vous permettent de contrôler finement l’indexation de certaines pages. Utilisez-les à bon escient pour guider les crawlers et éviter d’indexer des pages inutiles ou confidentielles.

Que retenir de ces modifications ?

En fin de compte, Google nous apprend que la simplicité et la segmentation peuvent parfois apporter plus de valeur qu’un amas de données brutes. La mise à jour s’aligne sur un objectif simple : rendre l’information plus compréhensible et plus facile à gérer. Alors, êtes-vous prêt à faire un test ? Mettez ces enseignements à profit pour ajuster votre propre contenu, et qui sait, peut-être que vos pages web sortiront du lot lors des recherches.