En robots.txt conviene separar dos grupos de bots de IA. Los de búsqueda, que leen páginas para responder a un usuario (OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot), deberían permitirse si el cliente quiere aparecer en esas respuestas. Los de entrenamiento (GPTBot, ClaudeBot, CCBot y el token Google-Extended) se pueden bloquear por decisión de negocio sin salir de las respuestas de búsqueda.
Los principales y para qué sirven
- OAI-SearchBot: búsqueda de ChatGPT. Según la documentación de OpenAI, permitirlo es lo que hace que un sitio aparezca en sus resultados de búsqueda.
- ChatGPT-User: visitas a una página cuando un usuario lo pide.
- GPTBot: recopilación para entrenar modelos de OpenAI.
- PerplexityBot: índice de búsqueda de Perplexity, según su documentación de bots.
- Google-Extended: token que controla el uso para Gemini y otros modelos; no afecta a la Búsqueda de Google, según la lista de rastreadores de Google.
Una configuración razonable por defecto
Para la mayoría de clientes que quieren visibilidad: permitir todos los bots de búsqueda y decidir con el cliente sobre los de entrenamiento. Si el cliente produce contenido original de valor (investigación, cursos, datos propios), puede preferir bloquear el entrenamiento. Si su objetivo es máxima difusión de marca, puede permitirlo. Documenta la decisión: es del negocio, no técnica.
No olvides la CDN
Un robots.txt perfecto no sirve si la CDN o el firewall rechazan al bot. Los modos de protección contra bots pueden bloquear a rastreadores legítimos; revisa los registros del firewall y prueba con las herramientas de cada plataforma. Cómo hacerlo en Cloudflare lo vemos en configurar Cloudflare para un WordPress de cliente.
Errores frecuentes
- Bloquear «todos los bots de IA» con una regla genérica y perder visibilidad en búsquedas con IA.
- Bloquear Googlebot creyendo que se bloquea la IA de Google.
- Copiar listas de internet sin revisar qué hace cada bot.
- No revisar el robots.txt después de cambiar de plugin SEO.
La revisión general del archivo está en cómo revisar el robots.txt de un cliente.
¿Cómo puede ayudarte RankPro con esto?
RankPro revisa robots.txt y reglas de CDN de los sitios de tus clientes, separa bots de búsqueda y de entrenamiento según la decisión de cada cliente y lo deja documentado.
Preguntas frecuentes
¿Bloquear GPTBot me saca de ChatGPT?
No de su búsqueda, si OAI-SearchBot está permitido; afecta al entrenamiento.
¿Google-Extended afecta al SEO?
No; Google indica que no afecta a la Búsqueda.
¿Los bots respetan robots.txt?
Los de las empresas principales dicen hacerlo; algunos rastreadores menores no.