Probador gratuito de robots.txt
Comprueba si los buscadores y los rastreadores de IA pueden leer una página, y mira la línea exacta que lo decide
Cómo lee el probador un archivo robots.txt
+
Google retiró su propio probador de robots.txt en 2023. Este sigue las mismas reglas publicadas (el estándar de robots.txt, RFC 9309, y la documentación de Google), y añade los rastreadores de IA que no existían cuando se creó la herramienta antigua.
Un rastreador sigue un solo grupo
Si el archivo tiene una sección escrita para un rastreador por su nombre, ese rastreador la sigue e ignora la sección general. Un error habitual es añadir una sección para Googlebot y olvidar que ya no hereda las reglas de «User-agent: *».
Gana la regla coincidente más larga
Cuando un Allow y un Disallow coinciden con una dirección, decide el más largo y específico. Si miden lo mismo, gana Allow. El orden de las líneas en el archivo no importa.
Comodines
Un asterisco equivale a cualquier secuencia de caracteres, y un signo de dólar al final significa «la dirección termina aquí». Así, «Disallow: /*.pdf$» bloquea las direcciones que terminan en .pdf y nada más.
Prueba un borrador antes de publicarlo
Pega el archivo que vas a subir y prueba direcciones reales contra él. Una línea equivocada en robots.txt puede sacar un sitio entero de los buscadores, así que vale la pena dedicarle un minuto.
Bloqueado no es lo mismo que oculto
robots.txt impide que un rastreador lea una página. No la quita de los resultados si otros sitios la enlazan. Para mantener una página fuera de los resultados, deja que se lea y añade una etiqueta noindex.
Lo que esta herramienta no puede decirte
Si un rastreador obedece el archivo. Los serios lo hacen. Además, el probador lee el archivo tal como nos lo sirven; unos pocos sitios sirven archivos distintos a visitantes distintos.
El probador comprueba una dirección cada vez. Para revisar todo el sitio, incluidas las páginas ocultas a los buscadores por error, haz la auditoría completa.
Más herramientas gratuitas
Esta página en otros idiomas: English · Português · Français · Deutsch