Fichier robots.txt : comment l’optimiser pour booster le SEO de votre site PME

Le fichier robots.txt se trouve à la racine du site, à l’adresse votresite.fr/robots.txt. Il indique aux robots d’exploration ce qu’ils peuvent parcourir. Il ne protège rien : il est public, et un robot malveillant l’ignore.

Ce qu’il fait, et ce qu’il ne fait pas

Le robots.txt contrôle l’exploration, pas l’indexation. La distinction n’est pas théorique : une page bloquée à l’exploration mais pointée par des liens externes peut apparaître dans les résultats, sans titre ni description, parce que Google sait qu’elle existe sans avoir pu la lire.

Pour exclure réellement une page des résultats, il faut une balise meta robots en noindex dans la page, ou un en-tête HTTP X-Robots-Tag. Et pour que Google voie cette instruction, la page doit rester explorable : bloquer l’URL dans le robots.txt empêche justement la lecture du noindex. Les deux méthodes se contrarient, elles ne se cumulent pas.

La directive noindex écrite dans le robots.txt lui-même n’est plus prise en compte par Google depuis septembre 2019 (SOURCE EXTERNE). Elle traîne encore dans beaucoup de fichiers, sans aucun effet.

La syntaxe utile

Trois directives couvrent la quasi-totalité des besoins.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://votresite.fr/sitemap_index.xml

User-agent désigne le robot concerné, l’astérisque valant pour tous. Disallow interdit un chemin. Allow rouvre une exception à l’intérieur d’un chemin interdit. Sitemap indique où trouver le plan du site, en adresse absolue.

Deux pièges de syntaxe reviennent souvent. Un Disallow suivi d’une barre oblique seule bloque le site entier. Et les règles se lisent par préfixe : Disallow interdisant /produit bloque aussi /produits-soldes, ce qui n’est en général pas l’intention.

Le cas WordPress

WordPress génère un robots.txt virtuel : le fichier n’existe pas sur le disque, il est produit à la volée. Tant qu’aucun fichier réel n’est déposé à la racine, c’est cette version qui s’applique, et les extensions de référencement comme Yoast permettent de la modifier depuis l’administration.

Conséquence pratique : si un fichier robots.txt physique est présent à la racine, il prend le dessus et le champ d’édition de l’extension n’a plus aucun effet. C’est la cause la plus fréquente des modifications qui ne changent rien.

Deux réglages méritent attention sur WordPress. La case « demander aux moteurs de recherche de ne pas indexer ce site », dans les réglages de lecture, reste parfois activée après une mise en ligne : elle bloque tout, et elle n’est pas dans le robots.txt. Et le dossier /wp-content/uploads/ ne se bloque pas à la légère, sauf à faire disparaître les images des résultats.

Les erreurs qui coûtent cher

• Bloquer les ressources d’affichage. Interdire l’accès aux fichiers CSS et JavaScript empêche Google de voir la page telle qu’elle s’affiche, ce qui dégrade son évaluation.
• Bloquer une page pour la désindexer. Sans lecture possible, l’instruction de désindexation n’est jamais vue, et l’URL reste affichée.
• Oublier la ligne Sitemap, ou y mettre une adresse relative, qui n’est pas valide.
• Copier le robots.txt d’un autre site, avec ses chemins et ses règles qui ne correspondent à rien chez vous.
• Laisser la version de préproduction partir en production. Un Disallow général oublié après une migration fait disparaître un site en quelques jours.

Vérifier avant de mettre en ligne

La Search Console affiche le robots.txt tel que Google le lit, signale les erreurs de syntaxe et permet de tester une URL précise. C’est la seule vérification qui fasse foi : elle interroge la version réellement récupérée par Google, pas celle que vous croyez avoir publiée.

Après toute modification, deux contrôles suffisent : ouvrir votresite.fr/robots.txt dans un navigateur pour voir ce qui est servi, puis tester dans la Search Console deux ou trois adresses stratégiques, dont la page d’accueil et une page de conversion.

Cette vérification fait partie des points systématiquement contrôlés lors d’un audit WordPress, au même titre que l’indexation et les redirections. Elle figure aussi dans les contrôles de départ d’un audit de site internet plus large.