El robots.txt de un cliente cambia más seguido de lo que parece: un plugin lo reescribe, un desarrollador cierra el sitio en pruebas y se olvida de abrirlo, o un proveedor activa una protección. Detectarlo a tiempo evita semanas de tráfico perdido.
Qué puede cambiar sin avisar
- Un plugin de SEO que regenera el archivo al actualizarse.
- Una migración que trae el robots.txt del entorno de pruebas.
- Una herramienta de seguridad o CDN con reglas gestionadas.
- Un cambio de tema o de hosting.
Tres métodos, de simple a más completo
| Método | Cómo funciona | Esfuerzo |
|---|---|---|
| Revisión manual mensual | Abres el archivo de cada cliente y comparas con tu copia | Bajo |
| Script con alertas | Una tarea programada descarga el archivo y avisa si cambia | Medio |
| Herramienta de monitoreo | Servicios que alertan por cambios en archivos clave | Medio, con costo |
Un script mínimo
Si tu equipo programa, basta con una tarea diaria que descargue el robots.txt, compare su huella con la anterior y envíe un aviso cuando difiera. Guarda las versiones con fecha para poder revertir. Para una revisión rápida de bots de IA en cualquier momento, usa el comprobador de bots de IA.
Qué hacer cuando detectas un cambio
- Compara con tu copia y confirma si fue intencional.
- Si bloquea buscadores o bots de búsqueda con IA, avisa al cliente y corrige.
- Revisa en Search Console si aparecen páginas bloqueadas.
- Registra el incidente y la causa para prevenir repeticiones.
Si necesitas una rutina completa de revisión, la guía de cómo revisar el robots.txt de un cliente es el complemento.
En resumen
- Qué puede cambiar sin avisar: Un plugin de SEO que regenera el archivo al actualizarse.; Una migración que trae el robots.txt del entorno de pruebas.
- Un script mínimo: Si tu equipo programa, basta con una tarea diaria que descargue el robots.txt, compare su huella con la anterior y envíe un aviso cuando difiera.
- Qué hacer cuando detectas un cambio: Si necesitas una rutina completa de revisión, la guía de cómo revisar el robots.txt de un cliente es el complemento.
Preguntas frecuentes
¿Con qué frecuencia debo comprobarlo?
Para clientes activos, semanal si puedes automatizarlo; mensual si es manual.
¿Qué hago si el cliente no me da acceso al servidor?
Puedes leer el archivo público desde fuera; para corregirlo necesitarás que alguien con acceso lo cambie.