Guía técnica

robots.txt para bots de IA: qué bloquear, qué permitir y un ejemplo listo para copiar

Los bots de IA son de tres tipos: rastreadores de entrenamiento (GPTBot, ClaudeBot), rastreadores de búsqueda que permiten que la IA te cite (OAI-SearchBot, Claude-SearchBot, PerplexityBot) y agentes que visitan una página porque un usuario lo pide. Para GEO, permite siempre los de búsqueda; bloquear el entrenamiento es opcional. GeoRush revisa tu robots.txt y genera uno.

Actualizado el

Por qué importa distinguir entre bots

Muchas webs bloquearon «los bots de IA» en bloque para evitar que su contenido se usara para entrenar modelos. El problema es que, al hacerlo, a menudo bloquearon también los rastreadores que alimentan las respuestas con búsqueda de ChatGPT, Claude o Perplexity, y desaparecieron de ellas.

Hoy las principales empresas separan sus agentes por función, así que puedes decidir con precisión. La regla práctica para GEO: permite los rastreadores de búsqueda y los agentes de usuario; decide por separado sobre el entrenamiento.

Los tres tipos de bots de IA

Más un cuarto caso especial: los tokens de control, que no rastrean.

Rastreadores de entrenamiento

Recogen contenido que puede usarse para entrenar modelos. Bloquearlos no te saca de las respuestas con búsqueda. Ejemplos: GPTBot, ClaudeBot, CCBot, MistralAI-Training.

Rastreadores de búsqueda

Indexan páginas para que el asistente las encuentre y las cite. Si los bloqueas, no puedes ser fuente. Ejemplos: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot.

Agentes iniciados por el usuario

Visitan una página porque alguien lo pidió en ese momento. Algunos pueden no seguir robots.txt. Ejemplos: ChatGPT-User, Claude-User, Perplexity-User.

Tokens de control

No rastrean: solo indican cómo se puede usar lo ya rastreado. Ejemplos: Google-Extended, Applebot-Extended.

Lista de agentes de IA y qué hace cada uno

Datos tomados de la documentación oficial de cada empresa, a noviembre de 2026. Los nombres y funciones cambian: revisa las fuentes del final antes de aplicar cambios.

Agente (user-agent)EmpresaTipoQué hace
GPTBotOpenAIEntrenamientoRastrea contenido que puede usarse para entrenar los modelos de OpenAI.
OAI-SearchBotOpenAIBúsquedaIndexa sitios para mostrarlos en la búsqueda de ChatGPT. Si lo bloqueas, no sales en esas respuestas.
ChatGPT-UserOpenAIUsuarioVisita páginas por acciones de usuarios en ChatGPT y GPTs. OpenAI indica que robots.txt puede no aplicarse.
ClaudeBotAnthropicEntrenamientoRecoge contenido que puede contribuir al entrenamiento de los modelos de Anthropic. Admite Crawl-delay.
Claude-SearchBotAnthropicBúsquedaNavega la web para mejorar la calidad de los resultados de búsqueda de Claude.
Claude-UserAnthropicUsuarioAccede a webs cuando un usuario de Claude hace una pregunta. Bloquearlo puede reducir tu visibilidad en búsquedas dirigidas por usuarios.
PerplexityBotPerplexityBúsquedaMuestra y enlaza webs en los resultados de Perplexity. Perplexity dice que no lo usa para entrenar modelos fundacionales.
Perplexity-UserPerplexityUsuarioVisita una página para responder a la pregunta de un usuario. Perplexity indica que, en general, ignora robots.txt.
GooglebotGoogleBúsquedaRastreador de Google Search. De él dependen también AI Overviews y AI Mode.
Google-ExtendedGoogleToken de controlNo rastrea. Decide si Google usa tu contenido para entrenar Gemini y para grounding en Gemini Apps y Vertex AI. No afecta a Google Search.
BingbotMicrosoftBúsquedaRastreador de Bing. OpenAI cita a Bing entre los proveedores de búsqueda de ChatGPT.
ApplebotAppleBúsquedaAlimenta funciones de búsqueda de Spotlight, Siri y Safari; Apple indica que estos datos también pueden usarse para entrenar sus modelos.
Applebot-ExtendedAppleToken de controlNo rastrea. Permite excluir tu contenido del entrenamiento de los modelos de Apple sin salir de su búsqueda.
meta-externalagentMetaEntrenamientoRastrea para entrenar modelos de IA o mejorar productos indexando contenido.
meta-webindexerMetaBúsquedaMejora los resultados de búsqueda de Meta AI; permitirlo ayuda a que te citen y enlacen.
meta-externalfetcherMetaUsuarioObtiene enlaces concretos a petición de un usuario; Meta indica que puede saltarse robots.txt.
MistralAI-TrainingMistral AIEntrenamientoCrea conjuntos de datos para entrenar los modelos de Mistral.
MistralAI-IndexMistral AIBúsquedaIndexa contenido para la búsqueda de los asistentes de Mistral.
MistralAI-UserMistral AIUsuarioObtiene páginas cuando un usuario pregunta y enlaza la fuente en la respuesta.
CCBotCommon CrawlEntrenamientoCrea un archivo abierto de la web que muchas organizaciones usan para entrenar modelos.

Ejemplo de robots.txt listo para copiar

Esta versión permite todos los rastreadores de búsqueda y agentes de usuario, y bloquea los de entrenamiento. Cópialo, cambia el dominio del sitemap y adapta las rutas privadas. Si quieres permitir también el entrenamiento, elimina el segundo grupo. Hemos dejado fuera Google-Extended a propósito por lo explicado arriba.

Importante: según el estándar (RFC 9309), un bot que encuentra un grupo con su nombre solo sigue ese grupo e ignora el de User-agent: *. Por eso las rutas privadas se repiten en el primer grupo.

robots.txt
# Rastreadores de búsqueda y agentes de usuario: permitidos
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
User-agent: MistralAI-Index
User-agent: MistralAI-User
User-agent: Googlebot
User-agent: Bingbot
User-agent: Applebot
Allow: /
Disallow: /admin/

# Entrenamiento de modelos: bloqueado (opcional)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: MistralAI-Training
User-agent: CCBot
Disallow: /

# Resto de bots
User-agent: *
Allow: /
Disallow: /admin/

Sitemap: https://www.tu-dominio.com/sitemap.xml

Cómo aplicarlo sin romper nada

  1. 1

    Revisa tu robots.txt actual

    Ábrelo en tu-dominio.com/robots.txt y busca reglas que afecten a los bots de búsqueda, incluido un Disallow: / general bajo User-agent: *.

  2. 2

    Comprueba el CDN y el cortafuegos

    Algunos CDN y servicios de seguridad ofrecen bloquear bots de IA con un clic, y en ciertos casos lo activan por defecto. Ese bloqueo no aparece en robots.txt; revísalo en su panel.

  3. 3

    Publica el archivo en la raíz

    Debe estar en la raíz de cada host (también en subdominios), servirse como texto plano y responder con código 200.

  4. 4

    Espera y verifica

    El estándar permite a los rastreadores guardar robots.txt en caché hasta 24 horas; OpenAI y Meta mencionan plazos de unas 24 horas. Luego revisa tus registros del servidor para ver qué bots entran.

Cómo te ayuda GeoRush

La parte de técnico IA de la auditoría SEO y técnica comprueba qué rastreadores de IA permite o bloquea tu robots.txt, si tienes llms.txt y datos estructurados, e incluye generadores de robots.txt, llms.txt y JSON-LD listos para pegar. La analítica web registra las visitas de rastreadores de IA y el tráfico que llega desde asistentes, para que veas si los cambios surten efecto.

El chequeo gratuito incluye esta revisión de robots.txt sin crear cuenta.

¿Tu robots.txt te está escondiendo de la IA?

El chequeo gratuito revisa qué bots de IA dejas entrar y te dice qué cambiar.

Fuentes

Documentación oficial y fuentes primarias consultadas el 16 de noviembre de 2026. Estas políticas cambian a menudo: revisa la fuente antes de tomar decisiones importantes.

Preguntas frecuentes

Para aparecer en respuestas de IA, permite al menos OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot y Bingbot, además de los agentes de usuario como ChatGPT-User y Claude-User. Bloquear los rastreadores de entrenamiento es una decisión aparte.

No de la búsqueda de ChatGPT, que usa OAI-SearchBot. GPTBot solo rastrea contenido que puede usarse para entrenar modelos de OpenAI.

ClaudeBot recoge contenido para entrenamiento, Claude-SearchBot indexa para mejorar los resultados de búsqueda de Claude y Claude-User visita páginas cuando un usuario hace una pregunta. Para GEO interesa permitir los dos últimos.

No del todo. Es una norma que los rastreadores serios respetan, pero no es un control de acceso. Además, algunos agentes que actúan a petición de un usuario pueden no seguirlo.

El estándar permite guardarlo en caché hasta 24 horas, y OpenAI y Meta mencionan plazos de unas 24 horas. Después, revisa los registros del servidor para confirmarlo.

Sigue leyendo