El archivo robots.txt es pequeño y poderoso: una línea mal escrita puede ocultar un sitio entero. Antes de tocarlo, conviene entender qué dice y qué no dice.
¿Qué es y dónde está?
Es un archivo de texto en la raíz del dominio (por ejemplo, tusitio.com/robots.txt) que indica a los rastreadores qué áreas no visitar. No es una medida de seguridad: es una petición, no un bloqueo.
¿Cómo se lee una regla?
«User-agent» indica a quién aplica, «Disallow» qué ruta no rastrear y «Allow» qué se permite dentro de una ruta bloqueada. La línea «Disallow: /» bajo «User-agent: *» bloquea todo el sitio.
¿Cuáles son los errores comunes en WordPress?
Dejar el bloqueo del entorno de pruebas al pasar a producción, bloquear carpetas de recursos como CSS y JS, o confundir robots.txt con noindex. Bloquear una página no la saca del índice si otros enlaces la apuntan.
¿Cómo lo compruebas antes de cambiarlo?
Con la herramienta de pruebas de Search Console o simulando la URL en un validador. Guarda una copia del original y documenta el cambio. Relaciónalo con el diagnóstico de indexación.
Un ejemplo de robots.txt razonable
Un archivo sano para un WordPress típico bloquea el área de administración, permite el archivo que necesitan algunos plugins para funcionar e indica la ubicación del sitemap. No necesita decenas de reglas.
Si encuentras muchas reglas heredadas que nadie recuerda por qué se pusieron, documenta cada una antes de eliminarla y pruébala en un entorno seguro.
Resumen
En resumen: lee cada regla, verifica que no bloquee lo importante, incluye el sitemap y guarda una copia antes de cambiar nada. Es un archivo pequeño con consecuencias grandes.
¿Cómo puede ayudarte RankPro con esto?
Para sitios donde un robots.txt mal escrito puede costar tráfico, RankPro revisa y documenta cada regla antes de cambiarla, con copia previa y prueba posterior. Es una revisión corta que puede evitar problemas grandes.
Preguntas frecuentes
¿Debe apuntar al sitemap?
Sí, incluir la línea «Sitemap:» ayuda a que los rastreadores lo encuentren.
¿Sirve para ocultar páginas privadas?
No. Para eso usa contraseña o noindex.
¿Cada cuánto revisarlo?
Después de migraciones, rediseños o cambios de plugin.
¿Puedo bloquear bots de IA con robots.txt?
Puedes indicarlo, pero cada bot decide si lo respeta; valora antes el efecto en tu visibilidad.
¿Se puede tener un robots.txt vacío?
Sí; equivale a permitir todo, aunque conviene al menos indicar el sitemap.