Comment nettoyer les résultats Google ?
- Installer Cloudflare a mis en évidence la nécessité de nettoyer les résultats Google
- Ajouter des directives dans le fichier robots.txt pour empêcher l'indexation de certains fichiers et pages
- Google Webmaster Tools permet d'éliminer des pages dynamiques de l'index sans modifier le fichier robots.txt
J'ai installé il y a maintenant un peu plus d'une semaine la solution Cloudflare.
Je ferai sans doute un retour d'expérience dessus - en particulier sur les problèmes rencontrés - mais un effet inattendu de l'installation de Cloudflare a été de mettre en évidence que mon nettoyage Google était loin d’être terminé.
Voici ce à quoi ressemble ma console Google Webmaster Tools, autant dire que ce n'est pas joli joli :
Pourquoi autant de bazar ?
Tout simplement parce que je n'ai pas mis ce qu'il fallait dans mon fichier robots.txt
J'ai donc rajouté les lignes suivantes afin d’empêcher l'indexation dans Google :
- des fichiers .php
- des fichiers javascript
- des pages dynamiques
- des feuilles de style
User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.php*
Disallow: /*?*
Mais cela ne suffisait pas, car j'ai eu la mauvais idée d'installer un plug-in de traduction il y a maintenant plus d'un an, et le coquinou a laissé pas mal de traces...
J'ai donc du rajouter le bloc suivant :
User-agent: *
Disallow: /ar/
Disallow: /de/
Disallow: /en/
Disallow: /es/
Disallow: /nl/
Disallow: /it/
Disallow: /iw/
Disallow: /ja/
Disallow: /ko/
Disallow: /pt/
Disallow: /ru/
Disallow: /th/
Disallow: /tr/
Disallow: /zh-CN/
Enfin, pour compléter le nettoyage j'ai aussi interdit l'indexation :
- des pages de recherche
- et des pages générées exclusivement pour une impression
Disallow: /*/*/print/
Disallow: /search/
Ah ben voilà ça fait du bien !
Et pour ceux qui ne peuvent/veulent pas modifier leur fichier robots.txt ? Comment qu'on fait ?
Google a pensé à tout, puisque vous allez pouvoir éliminer certaines pages dynamiques de l'index Google en fonction des paramètres définis par vos soins.
Rendez-vous dans Google Webmaster Tools dans le menu :
Configuration du site > Paramètres d'URL
Vous pouviez déjà modifier ou ajouter des paramètres, mais depuis quelques jours cette fonction a été enrichie :
Si vous estimez que le paramètre va générer une page dynamique, vous pouvez préciser quel est l'impact de ce paramètre sur le contenu de la page, et si vous le souhaitez vous pourrez aller jusqu'à interdire purement et simplement l'indexation des pages concernées.
Cerise sur le cheesecake, vous pourrez même visualiser quelques pages préalablement indexées avec le paramètre en question afin de ne pas faire de boulette.
C'est-y pas canon ça doudou dis donc ? 😉