Guía técnica
robots.txt para bots de IA: qué bloquear, qué permitir y un ejemplo listo para copiar
Los bots de IA son de tres tipos: rastreadores de entrenamiento (GPTBot, ClaudeBot), rastreadores de búsqueda que permiten que la IA te cite (OAI-SearchBot, Claude-SearchBot, PerplexityBot) y agentes que visitan una página porque un usuario lo pide. Para GEO, permite siempre los de búsqueda; bloquear el entrenamiento es opcional. GeoRush revisa tu robots.txt y genera uno.
Actualizado el
Por qué importa distinguir entre bots
Muchas webs bloquearon «los bots de IA» en bloque para evitar que su contenido se usara para entrenar modelos. El problema es que, al hacerlo, a menudo bloquearon también los rastreadores que alimentan las respuestas con búsqueda de ChatGPT, Claude o Perplexity, y desaparecieron de ellas.
Hoy las principales empresas separan sus agentes por función, así que puedes decidir con precisión. La regla práctica para GEO: permite los rastreadores de búsqueda y los agentes de usuario; decide por separado sobre el entrenamiento.
Los tres tipos de bots de IA
Más un cuarto caso especial: los tokens de control, que no rastrean.
Rastreadores de entrenamiento
Recogen contenido que puede usarse para entrenar modelos. Bloquearlos no te saca de las respuestas con búsqueda. Ejemplos: GPTBot, ClaudeBot, CCBot, MistralAI-Training.
Rastreadores de búsqueda
Indexan páginas para que el asistente las encuentre y las cite. Si los bloqueas, no puedes ser fuente. Ejemplos: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot.
Agentes iniciados por el usuario
Visitan una página porque alguien lo pidió en ese momento. Algunos pueden no seguir robots.txt. Ejemplos: ChatGPT-User, Claude-User, Perplexity-User.
Tokens de control
No rastrean: solo indican cómo se puede usar lo ya rastreado. Ejemplos: Google-Extended, Applebot-Extended.
Lista de agentes de IA y qué hace cada uno
Datos tomados de la documentación oficial de cada empresa, a noviembre de 2026. Los nombres y funciones cambian: revisa las fuentes del final antes de aplicar cambios.
| Agente (user-agent) | Empresa | Tipo | Qué hace |
|---|---|---|---|
GPTBot | OpenAI | Entrenamiento | Rastrea contenido que puede usarse para entrenar los modelos de OpenAI. |
OAI-SearchBot | OpenAI | Búsqueda | Indexa sitios para mostrarlos en la búsqueda de ChatGPT. Si lo bloqueas, no sales en esas respuestas. |
ChatGPT-User | OpenAI | Usuario | Visita páginas por acciones de usuarios en ChatGPT y GPTs. OpenAI indica que robots.txt puede no aplicarse. |
ClaudeBot | Anthropic | Entrenamiento | Recoge contenido que puede contribuir al entrenamiento de los modelos de Anthropic. Admite Crawl-delay. |
Claude-SearchBot | Anthropic | Búsqueda | Navega la web para mejorar la calidad de los resultados de búsqueda de Claude. |
Claude-User | Anthropic | Usuario | Accede a webs cuando un usuario de Claude hace una pregunta. Bloquearlo puede reducir tu visibilidad en búsquedas dirigidas por usuarios. |
PerplexityBot | Perplexity | Búsqueda | Muestra y enlaza webs en los resultados de Perplexity. Perplexity dice que no lo usa para entrenar modelos fundacionales. |
Perplexity-User | Perplexity | Usuario | Visita una página para responder a la pregunta de un usuario. Perplexity indica que, en general, ignora robots.txt. |
Googlebot | Búsqueda | Rastreador de Google Search. De él dependen también AI Overviews y AI Mode. | |
Google-Extended | Token de control | No rastrea. Decide si Google usa tu contenido para entrenar Gemini y para grounding en Gemini Apps y Vertex AI. No afecta a Google Search. | |
Bingbot | Microsoft | Búsqueda | Rastreador de Bing. OpenAI cita a Bing entre los proveedores de búsqueda de ChatGPT. |
Applebot | Apple | Búsqueda | Alimenta funciones de búsqueda de Spotlight, Siri y Safari; Apple indica que estos datos también pueden usarse para entrenar sus modelos. |
Applebot-Extended | Apple | Token de control | No rastrea. Permite excluir tu contenido del entrenamiento de los modelos de Apple sin salir de su búsqueda. |
meta-externalagent | Meta | Entrenamiento | Rastrea para entrenar modelos de IA o mejorar productos indexando contenido. |
meta-webindexer | Meta | Búsqueda | Mejora los resultados de búsqueda de Meta AI; permitirlo ayuda a que te citen y enlacen. |
meta-externalfetcher | Meta | Usuario | Obtiene enlaces concretos a petición de un usuario; Meta indica que puede saltarse robots.txt. |
MistralAI-Training | Mistral AI | Entrenamiento | Crea conjuntos de datos para entrenar los modelos de Mistral. |
MistralAI-Index | Mistral AI | Búsqueda | Indexa contenido para la búsqueda de los asistentes de Mistral. |
MistralAI-User | Mistral AI | Usuario | Obtiene páginas cuando un usuario pregunta y enlaza la fuente en la respuesta. |
CCBot | Common Crawl | Entrenamiento | Crea un archivo abierto de la web que muchas organizaciones usan para entrenar modelos. |
Ejemplo de robots.txt listo para copiar
Esta versión permite todos los rastreadores de búsqueda y agentes de usuario, y bloquea los de entrenamiento. Cópialo, cambia el dominio del sitemap y adapta las rutas privadas. Si quieres permitir también el entrenamiento, elimina el segundo grupo. Hemos dejado fuera Google-Extended a propósito por lo explicado arriba.
Importante: según el estándar (RFC 9309), un bot que encuentra un grupo con su nombre solo sigue ese grupo e ignora el de User-agent: *. Por eso las rutas privadas se repiten en el primer grupo.
# Rastreadores de búsqueda y agentes de usuario: permitidos
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
User-agent: MistralAI-Index
User-agent: MistralAI-User
User-agent: Googlebot
User-agent: Bingbot
User-agent: Applebot
Allow: /
Disallow: /admin/
# Entrenamiento de modelos: bloqueado (opcional)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: MistralAI-Training
User-agent: CCBot
Disallow: /
# Resto de bots
User-agent: *
Allow: /
Disallow: /admin/
Sitemap: https://www.tu-dominio.com/sitemap.xml
Cómo aplicarlo sin romper nada
- 1
Revisa tu robots.txt actual
Ábrelo en
tu-dominio.com/robots.txty busca reglas que afecten a los bots de búsqueda, incluido unDisallow: /general bajoUser-agent: *. - 2
Comprueba el CDN y el cortafuegos
Algunos CDN y servicios de seguridad ofrecen bloquear bots de IA con un clic, y en ciertos casos lo activan por defecto. Ese bloqueo no aparece en robots.txt; revísalo en su panel.
- 3
Publica el archivo en la raíz
Debe estar en la raíz de cada host (también en subdominios), servirse como texto plano y responder con código 200.
- 4
Espera y verifica
El estándar permite a los rastreadores guardar robots.txt en caché hasta 24 horas; OpenAI y Meta mencionan plazos de unas 24 horas. Luego revisa tus registros del servidor para ver qué bots entran.
Cómo te ayuda GeoRush
La parte de técnico IA de la auditoría SEO y técnica comprueba qué rastreadores de IA permite o bloquea tu robots.txt, si tienes llms.txt y datos estructurados, e incluye generadores de robots.txt, llms.txt y JSON-LD listos para pegar. La analítica web registra las visitas de rastreadores de IA y el tráfico que llega desde asistentes, para que veas si los cambios surten efecto.
El chequeo gratuito incluye esta revisión de robots.txt sin crear cuenta.
¿Tu robots.txt te está escondiendo de la IA?
El chequeo gratuito revisa qué bots de IA dejas entrar y te dice qué cambiar.
Fuentes
Documentación oficial y fuentes primarias consultadas el 16 de noviembre de 2026. Estas políticas cambian a menudo: revisa la fuente antes de tomar decisiones importantes.
- RFC 9309: Robots Exclusion Protocol (IETF)
- OpenAI: overview of OpenAI crawlers
- Anthropic: does Anthropic crawl data from the web and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Google: common crawlers and Google-Extended
- Google Search Central: AI features and your website
- Apple: about Applebot
- Meta: web crawlers
- Mistral AI: robots and crawlers
- Common Crawl: CCBot
Preguntas frecuentes
Sigue leyendo
Qué es llms.txt
Qué es llms.txt, cómo se escribe con un ejemplo listo y qué esperar de él, sin exagerar.
Aparecer en ChatGPT
Paso a paso para que ChatGPT mencione tu marca y cite tu web, y cómo comprobarlo.
Glosario de GEO
34 términos de GEO definidos con claridad: conceptos, métricas, rastreadores y datos técnicos.
Auditoría SEO y técnica
Rastrea tu web, detecta errores SEO y comprueba si los bots de IA pueden leerla, con código para arreglarlo.