Verificador gratuito de acesso de robôs de IA
Veja quais assistentes de IA o seu site deixa entrar e obtenha as regras de robots.txt para a política que você quiser
Obtenha as regras de robots.txt para a política que você quiser
User-agent: GPTBot Disallow: / User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: ClaudeBot Disallow: / User-agent: Claude-SearchBot Allow: / User-agent: Claude-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / User-agent: Google-Extended Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: Meta-ExternalAgent Disallow: / User-agent: Amazonbot Allow: / User-agent: CCBot Disallow: / User-agent: Bytespider Disallow: /
Adicione-as ao arquivo robots.txt na raiz do seu site. Robôs sérios seguem essas regras; elas são um pedido, não uma tranca.
O que este verificador analisa
+
Os assistentes de IA leem os sites com seus próprios robôs, e o arquivo robots.txt de um site pode permitir ou bloquear cada um deles. Muitos sites os bloqueiam sem saber, por causa do padrão de um construtor de sites ou de um plugin de segurança. Esta ferramenta lê o seu robots.txt e mostra a situação de cada robô.
Robôs de treinamento e robôs de resposta são diferentes
Alguns robôs coletam texto para treinar modelos. Outros abrem uma página no momento em que alguém faz uma pergunta, e a citam. Você pode bloquear os primeiros e continuar sendo recomendado pelos assistentes, que é a política escolhida por muitos veículos.
Bloqueado pelo nome ou por uma regra geral
Um robô pode ser bloqueado por uma regra escrita para ele, ou ser pego por uma regra para todos os robôs. O verificador diz qual é o caso, porque a correção é diferente.
O que conta como bloqueado
Um robô conta como bloqueado quando é proibido de acessar o site inteiro. Regras que cobrem só uma seção, como uma área de login, não são contadas.
Google-Extended não é a Busca do Google
Bloquear o Google-Extended mantém suas páginas fora do treinamento e das respostas do Gemini. Não tem efeito sobre como você aparece nos resultados comuns do Google.
robots.txt é um pedido
Robôs sérios o respeitam. Ele não impede um robô que ignora as regras; para isso é preciso um firewall.
Bloquear é comum?
Sim. Nosso estudo ao vivo dos sites mais populares do mundo conta quantos bloqueiam pelo menos um robô de IA; o número atual está na página do estudo.
A lista cobre os robôs publicados por OpenAI, Anthropic, Perplexity, Google, Apple, Meta, Amazon, Common Crawl e ByteDance. Novos aparecem com frequência, e ninguém de fora dessas empresas pode garantir que um site seja citado nas respostas de IA.
Mais ferramentas gratuitas
Esta página em outros idiomas: English · Español · Français · Deutsch