Comprobador gratuito de acceso de rastreadores de IA
Mira a qué asistentes de IA deja entrar tu sitio web y obtén las reglas de robots.txt para la política que quieras
Obtén las reglas de robots.txt para la política que quieras
User-agent: GPTBot Disallow: / User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: ClaudeBot Disallow: / User-agent: Claude-SearchBot Allow: / User-agent: Claude-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / User-agent: Google-Extended Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: Meta-ExternalAgent Disallow: / User-agent: Amazonbot Allow: / User-agent: CCBot Disallow: / User-agent: Bytespider Disallow: /
Añádelas al archivo robots.txt en la raíz de tu sitio. Los rastreadores serios siguen estas reglas; son una petición, no un candado.
Qué examina este comprobador
+
Los asistentes de IA leen los sitios web con sus propios rastreadores, y el archivo robots.txt de un sitio puede permitir o bloquear a cada uno. Muchos sitios los bloquean sin saberlo, por la configuración por defecto de un creador de sitios o de un plugin de seguridad. Esta herramienta lee tu robots.txt y muestra la situación de cada rastreador.
Los rastreadores de entrenamiento y los de respuestas son distintos
Algunos rastreadores recopilan texto para entrenar modelos. Otros abren una página en el momento en que alguien hace una pregunta, y la citan. Puedes bloquear los primeros y seguir siendo recomendado por los asistentes, que es la política que eligen muchos medios.
Bloqueado por nombre o por una regla general
Un rastreador puede estar bloqueado por una regla escrita para él, o quedar atrapado por una regla para todos los rastreadores. El comprobador indica cuál, porque la solución es distinta.
Qué cuenta como bloqueado
Un rastreador cuenta como bloqueado cuando tiene prohibido todo el sitio. Las reglas que solo cubren una sección, como un área de acceso, no se cuentan.
Google-Extended no es la Búsqueda de Google
Bloquear Google-Extended mantiene tus páginas fuera del entrenamiento y de las respuestas de Gemini. No afecta a cómo apareces en los resultados normales de Google.
robots.txt es una petición
Los rastreadores serios lo respetan. No detiene a un rastreador que ignora las reglas; para eso hace falta un cortafuegos.
¿Es habitual bloquear?
Sí. Nuestro estudio en vivo de los sitios web más populares del mundo cuenta cuántos bloquean al menos un rastreador de IA; la cifra actual está en la página del estudio.
La lista cubre los rastreadores que han publicado OpenAI, Anthropic, Perplexity, Google, Apple, Meta, Amazon, Common Crawl y ByteDance. Aparecen nuevos con frecuencia, y nadie fuera de esas empresas puede garantizar que un sitio sea citado en las respuestas de IA.
Más herramientas gratuitas
Esta página en otros idiomas: English · Português · Français · Deutsch