Testeur gratuit de robots.txt
Vérifiez si les moteurs de recherche et les robots d'IA peuvent lire une page, et voyez la ligne exacte qui en décide
Comment le testeur lit un fichier robots.txt
+
Google a retiré son propre testeur de robots.txt en 2023. Celui-ci suit les mêmes règles publiées (la norme robots.txt, RFC 9309, et la documentation de Google), et ajoute les robots d'IA qui n'existaient pas quand l'ancien outil a été créé.
Un robot ne suit qu'un seul groupe
Si le fichier contient une section écrite pour un robot nommément, ce robot la suit et ignore la section générale. Une erreur fréquente consiste à ajouter une section pour Googlebot en oubliant qu'il n'hérite plus des règles de « User-agent: * ».
La règle correspondante la plus longue l'emporte
Quand un Allow et un Disallow correspondent tous deux à une adresse, c'est le plus long, donc le plus précis, qui décide. À longueur égale, Allow l'emporte. L'ordre des lignes dans le fichier n'a pas d'importance.
Caractères génériques
Un astérisque correspond à n'importe quelle suite de caractères, et un signe dollar à la fin signifie « l'adresse se termine ici ». Ainsi, « Disallow: /*.pdf$ » bloque les adresses qui se terminent par .pdf, et rien d'autre.
Testez un brouillon avant de le publier
Collez le fichier que vous vous apprêtez à mettre en ligne et testez-y de vraies adresses. Une ligne erronée dans robots.txt peut faire disparaître un site entier des moteurs de recherche : cela vaut bien une minute.
Bloqué ne veut pas dire caché
robots.txt empêche un robot de lire une page. Il ne retire pas la page des résultats si d'autres sites pointent vers elle. Pour garder une page hors des résultats, laissez-la lisible et ajoutez une balise noindex.
Ce que cet outil ne peut pas dire
Si un robot obéit au fichier. Les robots sérieux le font. Le testeur lit aussi le fichier tel qu'il nous est servi ; quelques sites servent des fichiers différents selon les visiteurs.
Le testeur vérifie une adresse à la fois. Pour un contrôle du site entier, y compris les pages cachées des moteurs par erreur, lancez l'audit complet.
Autres outils gratuits
Cette page dans d'autres langues: English · Español · Português · Deutsch