La directive X Robots Tag permet de donner des indications aux robots des moteurs de recherche comme par exemple, indexer ou pas le document…
X-Robots-Tag est considéré comme faisant partie intégrante de REP – Robots Exclusion Protocol. Le REP (ou Protocole d’exclusion des robots) est une sorte de fusion de différents critères qui déterminent le comportement des robots de recherche sur votre site Web, les données qu’ils explorent et indexent. Les soi-disant «directives» entrent en jeu tout en réglementant la manière d’afficher le contenu de votre page Web. En fait, il existe plusieurs directives qui, toutes ensemble, indiquent aux robots des moteurs de recherche les pages et le contenu spécifiques à explorer et, évidemment, à indexer. Les plus populaires sont les fichiers robot.txt qui vont de pair avec la balise meta robots.
X-Robots-Tag fait partie d’un en-tête HTTP envoyé par un serveur Web conçu pour contrôler le processus d’indexation de la page globale, y compris des types de fichiers spécifiques.
Bien sûr, vous pouvez traiter la majorité des questions concernant l’exploration de sites Web à l’aide d’un fichiers robots.txt. Mais il y a quelques cas où X-Robots-Tag semblera être un meilleur ajustement:
Vous souhaitez que certains types de fichiers vidéo, image ou PDF ne soient pas indexés.
Utilisez votre budget d’exploration de manière raisonnable. L’objectif principal est d’orienter un robot dans la bonne direction. Les robots n’ont pas besoin de passer du temps à indexer des parties sans importance du site Web (telles que les pages d’administration, le panier d’achat etc). Mais cela ne signifie pas que ces parties ne sont pas importantes pour les utilisateurs, et vous n’avez pas à dépenser vos efforts d’optimisation pour améliorer la qualité de ces pages.
Vous n’avez pas besoin d’indexer un sous-domaine entier, un sous-répertoire, des pages avec des paramètres spécifiques…
