Comment optimiser un robots.txt pour le SEO ?
Optimiser le référencement regroupe un ensemble de stratégies et de techniques qui ne se résument pas uniquement à l’utilisation des bons mots-clés. Pour optimiser le SEO de vos pages, vous devez maîtriser un outil très important : le fichier robots.txt. Les robots des moteurs de recherche se permettent d’explorer tous les liens sans la permission des gestionnaires de sites. Si vous avez envie d’interdire certaines l’accès à vos pages à ces robots, vous devez intégrer ces consignes dans le fichier robots.txt.
Qu’est-ce qu’un fichier robots.txt ?
Sommaire
Le fichier robots.txt permet de montrer aux robots des moteurs de recherche les pages qu’ils doivent crawler ou non. Ce fichier est censé permettre d »éviter donc une exploration intrusive de vos pages web. (En d’autres termes, optimiser le crawl). Ce fichier, à titre indicatif, se trouve, à la racine du site.
Que faut-il savoir avant de modifier un fichier robots ?
Ce genre de fichier est une donnée accessible de manière publique. Par conséquent, toute personne (ou tout bot) peut facilement y accéder. De plus, les indications que vous mentionnez dans le fichier sont des consignes et non des interdits. Les robots d’exploitation des moteurs de recherche sérieux tels que Google, Yahoo ou Bing les respectent. Cependant, ce fichier ne peut pas obliger un robot malveillant à suivre les indications inscrites. Vous devez aussi retenir que le rôle du robots.txt n’est pas de sécuriser votre site sur internet.
Qu’est-ce qu’un user-agent ?
Un user agent est une chaîne de caractères qui est transmise au serveur via le navigateur lorsqu’un visiteur consulte une page en ligne. Cependant, le user agent est aussi envoyé lorsqu’un robot ou un programme informatique explore une URL.
Rôle des fichiers robots.txt
Cet outil permet de contrôler l’accès des robots d’exploration aux URL de vos pages. Il donne aux robots des indications sur les fichiers ou les pages qu’ils peuvent télécharger et analyser. Ainsi, Google et autres moteurs de recherche peuvent crawler votre site intelligemment pour la réussite de votre SEO.
Fonctionnement d’un robots.txt
Lorsqu’un robot (comme ceux lancés par Google pour le référencement) cherche à explorer une URL, il va systématiquement chercher à lire le robots.txt. Au cas où le fichier se trouve sur votre site, le robot va le lire et consulter toutes les consignes qui sont inscrites dans le fichier.
Quelles sont les indications de base pour optimiser un robots.txt ?
Vous pouvez soumettre les URL (ou type d’URL) que vous ne souhaitez pas que les robots explorent. Il peut s’agir des URL qui n’ont aucune importance pour le SEO, des rubriques que vous ne voulez pas voir être crawlées ou encore des fichiers qui ne le doivent pas. L’instruction disallow: est une des premières à connaître pour cela.
Quelles sont les limites de cet outil lors d’un crawl ?
Ce n’est pas un instrument qui bloque l’exploration des robots. Ce sont plutôt les robots qui sont conçus pour décider du comportement à adopter face aux consignes du fichier. Par conséquent, le robots.txt ne peut pas obliger un robot à suivre les consignes qui sont mentionnées. De plus, il s’agit d’un outil très sensible, car mal codé, il peut donner des informations, par inadvertance, pour faciliter le piratage.
Faut-il optimiser un robots.txt sur chaque nom de domaine ou sous-domaine ?
En général, les robots d’exploration considèrent les sous-domaines comme des sites à part entière. Alors si votre sous-domaine se trouve sur un emplacement différent de celui de votre domaine, il est primordial d’installer certaines lignes dans le fichier robots.txt pour le sous-domaine.
Quel est le signe à utiliser pour marquer la fin d’une URL dans un robots.txt ?
Pour marquer la fin d’une URL, il faut utiliser le signe $ en bout de chemin. Très pratique, ce caractère, il permet d’empêcher le crawl d’un type d’URL bien particulière sans empêcher de crawler les autres URLS qui commencent de la même façon.
Tenter d’optimiser le robots.txt peut-elle s’avérer nocif pour le SEO ?
Avoir un robots.txt n’est pas dangereux, ceci à 2 conditions. Au contraire, c’est un outil SEO qui peut améliorer votre référencement. Cependant, il peut servir pour les attaques provenant de personnes malveillantes, si celui-ci est trop explicite pour les pirates. De plus, si celui-ci contient des directives bloquant à tord des URLS, votre SEO risque d’en pâtir.
Comment optimiser le robots.txt pour WordPress ?
Le robots.txt de base n’est pas particulièrement adapté pour WordPress. Il faut l’optimiser pour permettre d’interdire l’exploration d’URLS inutiles pour votre référencement et ainsi contourner des limites propres à WordPress. Attention, n’allez pas bloquer des URLS qui aident Google à comprendre le design et la » responsivité » d’un site.
N’oubliez pas d’y ajouter un sitemap à la dernière ligne du fichier.
Voyons comment créer et contrôler votre robots.txt
En cas de changement, il est préférable de surveiller votre fichier. Des problèmes assez graves sont provoqués par des consignes incorrectes ou des modifications brusques du fichier.
Si vous ne pouvez / savez pas formater correctement votre robots.txt sur votre site, faites appel à mes services en tant que :
Comment tester le robots.txt ?
L’instrument de test du robots.txt officiel de Google autorise la vérification de votre fichier. Ceci permet de voir si une ligne empêche vraiment les robots d’exploration de Google et autres moteurs de recherche de crawler des URL spécifiques.
Pour plus d’utilisation pour l’emploi de cet outil, rendez-vous sur le support de Google.
