Testador gratuito de robots.txt
Verifique se buscadores e robôs de IA podem ler uma página, e veja a linha exata que decide
Como o testador lê um arquivo robots.txt
+
O Google aposentou o próprio testador de robots.txt em 2023. Este segue as mesmas regras publicadas (o padrão do robots.txt, RFC 9309, e a documentação do Google), e acrescenta os robôs de IA que não existiam quando a ferramenta antiga foi criada.
Um robô segue um único grupo
Se o arquivo tem uma seção escrita para um robô pelo nome, esse robô a segue e ignora a seção geral. Um erro comum é adicionar uma seção para o Googlebot e esquecer que ele deixa de herdar as regras de “User-agent: *”.
Vence a regra correspondente mais longa
Quando um Allow e um Disallow correspondem a um endereço, decide o mais longo e específico. Se tiverem o mesmo tamanho, vence o Allow. A ordem das linhas no arquivo não importa.
Curingas
Um asterisco corresponde a qualquer sequência de caracteres, e um cifrão no final significa “o endereço termina aqui”. Assim, “Disallow: /*.pdf$” bloqueia endereços que terminam em .pdf e nada mais.
Teste um rascunho antes de publicar
Cole o arquivo que você vai enviar e teste endereços reais contra ele. Uma linha errada no robots.txt pode tirar um site inteiro dos buscadores, então vale um minuto.
Bloqueado não é o mesmo que oculto
O robots.txt impede um robô de ler uma página. Ele não remove a página dos resultados se outros sites apontarem para ela. Para manter uma página fora dos resultados, deixe que ela seja lida e adicione uma tag noindex.
O que isto não consegue dizer
Se um robô obedece ao arquivo. Os sérios obedecem. Além disso, o testador lê o arquivo como ele é servido para nós; alguns poucos sites servem arquivos diferentes para visitantes diferentes.
O testador verifica um endereço por vez. Para uma verificação do site inteiro, incluindo páginas escondidas dos buscadores por engano, faça a auditoria completa.
Mais ferramentas gratuitas
Esta página em outros idiomas: English · Español · Français · Deutsch