Seuls les crawlers des moteur de recherche interpréteront les valeurs dans le méta élément « robots ». Dans la plupart des cas, les valeurs « INDEX » et « FOLLOW » sont utilisées pour inclure la page concernée dans l’index et suivre l’ensemble des liens de cette page.
Votre page pourra être ajoutée à l’index et tous ses liens pourront être parcourus, si on ajoute le texte suivant dans le code source de la page en question :
<meta name="robots" content="index, follow">Avantage/intérêt de la valeur NOINDEX
Si on ne souhaite pas d’avoir une URL spécifique dans l’index Google (ou dans l’index de n’importe quel autre moteur de recherche), il est nécessaire d’ajouter la valeur NOINDEX au méta élément « robots » dans la section du code source de la page concernée.
En ajoutant le texte suivant dans le code source d’une page, on peut s’assurer que cette page ne sera pas incluse dans l’index :
<meta name="robots" content="noindex">Est-il logique d’utiliser les valeurs NOINDEX et FOLLOW ensemble ?
Il n’y a pas de réponse fixe car cela dépend de l’objectif. Pourquoi souhaiterait-on empêcher l’indexation d’une page par les moteurs de recherche, tout en leur demandant de parcourir tous les liens de cette page ?
Supposons que nous ayons un plan de site HTML contenant quelques centaines de liens internes, et que, pour une raison ou une autre, ce plan de site ne soit pas propre et par conséquent pas franchement utile au visiteur. Dans ce cas-là, l’utilisateur ne sera probablement pas satisfait s’il atterrit sur cette page depuis des résultats de recherche. Afin d’éviter cela, tout en s’assurant que les moteurs de recherche suivent tout de même l’ensemble des liens de la page, on utilisera la combinaison des valeurs NOINDEX et FOLLOW.
En ajoutant le texte suivant au code source d’une page, on empêche son indexation, tout en permettant le suivi de ses liens :
<meta name="robots" content="noindex, follow">Les pages de tags sur les blogs sont un autre scénario possible. Certains webmasters ont parfois observé que les pages de tags de leurs blogs obtenaient de meilleurs classements que les articles correspondants. Les pages de tags se positionnaient à 2 ou 3 positions au-dessus des articles correspondants. Après avoir modifié ces pages de tags avec les valeurs « noindex » et « follow », les classements de ces articles se sont améliorés de ces mêmes 2 ou 3 positions.
Vidéo explicative de Matt Cutts / Google sur le sujet
Matt Cutts nous donne un excellent exemple dans l’une de ses vidéos webmasters Google :
