Los logs son el único dato que muestra qué solicita realmente cada rastreador a un sitio: qué URLs, con qué frecuencia y con qué código de respuesta. Sirven para detectar páginas que Googlebot ignora, errores que solo ve el bot, redirecciones innecesarias y, ahora, qué asistentes de IA leen el contenido y cuáles reciben bloqueos del firewall. Es una auditoría más avanzada que el rastreo habitual.
Dónde obtenerlos
- Servidor web (Apache o Nginx) en hosting con acceso a los registros.
- CDN o proveedor de seguridad: muchos ofrecen analítica de solicitudes y de bots en su panel o por exportación (según plan).
- Plataformas de hosting administrado: suelen ofrecer descargas o paneles de registros.
Pide los accesos con el cliente y respeta la privacidad: los logs pueden contener direcciones IP.
Qué buscar
- URLs más rastreadas y su relación con las más importantes del negocio.
- Páginas importantes que casi no se rastrean.
- Códigos 404, 5xx y redirecciones que reciben los bots.
- Parámetros y facetas que consumen rastreo.
- Frecuencia de rastreo por tipo de página.
Verifica que el bot sea real
Los agentes de usuario se pueden falsificar. Para Googlebot, Google explica cómo verificarlo con búsqueda inversa de DNS y con rangos de IP publicados en su guía de verificación de Googlebot. Los fabricantes de asistentes de IA publican información de sus rastreadores, como la documentación de OpenAI sobre sus bots.
Bots de IA: qué decidir
Identifica qué rastreadores de IA visitan el sitio y qué respuestas reciben. Si quieres aparecer en sus respuestas, asegúrate de que no reciban 403 por reglas del firewall; si no quieres, bloquéalos con robots.txt y, si hace falta, con reglas del CDN. Documenta la decisión por cliente. Mira bots de IA en robots.txt.
Cómo convertirlo en acciones
Cruza los logs con el sitemap y con Search Console: si una página importante no se rastrea, mejora su enlazado; si se rastrean muchas URLs inútiles, controla parámetros; si hay errores, corrígelos. Presenta al cliente una lista de acciones con impacto esperado y mide el cambio en el siguiente periodo. Complementa con presupuesto de rastreo.
Un ejemplo práctico (ilustrativo)
Al revisar los registros de un cliente, la agencia ve que Googlebot rastrea miles de URLs de filtros y casi no visita las páginas de servicio, y que dos rastreadores de IA reciben 403 del firewall. Es un escenario hipotético para ilustrar el método, no un caso real ni una promesa de resultados.
Auditoría de logs
- URLs más rastreadas.
- Páginas importantes poco rastreadas.
- Códigos 404, 5xx y redirecciones.
- Verificación de bots reales.
- Bots de IA y sus respuestas.
- Acciones y responsables.
- Privacidad de las IP.
¿Cómo puede ayudarte RankPro con esto?
RankPro puede analizar logs y bots de tus clientes y convertir los hallazgos en acciones concretas, con informes bajo tu marca.
Preguntas frecuentes
¿Necesito logs para un sitio pequeño?
Rara vez; son más útiles en sitios grandes o con problemas de rastreo.
¿Cómo distingo un bot falso?
Verificando IP y DNS según las instrucciones del fabricante.
¿Los logs incluyen datos personales?
Pueden incluir IP; trátalos con cuidado y según la política de privacidad.
¿Qué herramienta usar para analizarlos?
Hojas de cálculo para volúmenes pequeños o herramientas específicas de análisis de logs.