El robots.txt es el punto donde más migraciones tropiezan: el entorno de pruebas se cierra para que Google no lo vea y, al publicar, ese bloqueo viaja con el sitio. Esta lista evita el error clásico y añade lo nuevo: los bots de IA.
Antes del lanzamiento
- Guarda una copia del robots.txt actual y del sitemap.
- Define la política de bots de IA con el cliente (matriz por tipo de cliente).
- Prepara el robots.txt de producción en un archivo aparte.
- Verifica que las redirecciones 301 están listas.
El día del lanzamiento
| Acción | Por qué |
|---|---|
| Reemplazar el robots.txt de pruebas por el de producción | Evita heredar el bloqueo total |
| Quitar el noindex del entorno nuevo | Si queda, no aparece en buscadores |
| Publicar el sitemap y declararlo | Ayuda a descubrir las URLs nuevas |
| Comprobar bots con el comprobador de IA | Confirma que buscadores y bots de búsqueda entran |
Después del lanzamiento
- Revisa Search Console a las 24 y 72 horas.
- Comprueba que las URLs antiguas redirigen a las nuevas.
- Vuelve a pasar el comprobador de preparación para IA.
- Monitorea el robots.txt durante el primer mes.
Google describe el proceso general en su guía de migración de sitios con cambio de URL.
Errores típicos
El más frecuente es dejar el Disallow total. Le siguen: sitemap con las URLs viejas, plugin que regenera el archivo al activarse y cortafuegos nuevo que bloquea rastreadores. Si te encuentras con uno, aplica el protocolo de bloqueo accidental.
En resumen
- Antes del lanzamiento: Guarda una copia del robots.txt actual y del sitemap.; Define la política de bots de IA con el cliente (matriz por tipo de cliente).
- Después del lanzamiento: Google describe el proceso general en su guía de migración de sitios con cambio de URL .
- Errores típicos: El más frecuente es dejar el Disallow total.
Preguntas frecuentes
¿Debo bloquear el entorno de pruebas?
Sí, pero con contraseña o noindex y con un recordatorio explícito de quitarlo al publicar.
¿El robots.txt cambia si migro de dominio?
Cada dominio tiene su archivo; crea el del nuevo y revisa el del viejo según tu plan de redirecciones.