Seguimientos de agente

Acerca de los seguimientos

Los seguimientos son registros detallados de todo lo que un agente hace durante una ejecución, incluidos los pasos tomados, los datos procesados, las decisiones tomadas y los resultados generados. Cada seguimiento captura una línea de tiempo completa del comportamiento del agente, incluidas las marcas de tiempo, los errores, las entradas/salidas y los metadatos contextuales. Usa seguimientos para:

• Depuración y resolución de problemas: identifica exactamente dónde falló o se comportó de forma inesperada un agente.
• Análisis de rendimiento: evalúa la latencia, los errores y el rendimiento en las ejecuciones de agentes para optimizar el comportamiento.
• Cumplimiento y auditoría: mantiene un registro verificable de lo que hizo el agente, cuándo y cómo. Es esencial para las auditorías o los flujos de trabajo regulados.
• Mejora continua: utiliza información de seguimiento para ajustar la lógica del agente, adaptar el comportamiento o entrenar nuevos modelos.

En la siguiente tabla se describen los casos de uso comunes en los que la visualización del seguimiento puede mejorar tu capacidad para depurar, analizar y optimizar el comportamiento del agente. Cada ejemplo resalta cómo los datos de seguimiento ayudan a descubrir información y a impulsar una mejor toma de decisiones durante el desarrollo y la supervisión del runtime.

Use case	Qué te ayudan a hacer los seguimientos
Fallos de agente durante la llamada a la herramienta	Busca e inspecciona el paso exacto, las entradas, las salidas y el error
Rendimiento bajo	Usa marcas de tiempo para localizar cuellos de botella
Investigar un pico de errores	Filtra ejecuciones por estado y sigue el patrón
Verificar una corrección de producción	Reproduce la ejecución original y confirma que la incidencia ya no se produce
Preparar un informe de auditoría	Exporta o revisa seguimientos que muestren las rutas de decisión y los datos gestionados

Tipos de seguimiento

Los seguimientos son de dos tipos diferentes, cada uno con un propósito específico para comprender y analizar el comportamiento del agente:

• Seguimientos de ejecución de agente: estos seguimientos capturan la ejecución paso a paso de un agente durante una ejecución en vivo o programada. Muestran cómo el agente procesa datos, invoca herramientas, gestiona condiciones y responde a diferentes estados en tiempo real.
• Seguimientos de ejecución de evaluación: los seguimientos de evaluación se generan cuando un agente se prueba con entradas predefinidas, normalmente durante evaluaciones de modelos, validaciones de escenarios o casos de prueba. Estos ayudan a evaluar la precisión del agente, la calidad de la decisión y el comportamiento en condiciones controladas.

Acceder a los seguimientos

Puedes acceder a ambos tipos de seguimientos desde dos ubicaciones clave:

• Agent Builder: mientras diseñas o pruebas tu agente, los seguimientos están disponibles directamente en el creador:
  • El panel inferior se abre automáticamente en la pestaña Seguimiento de ejecución cuando ejecutas tu agente, mostrando seguimientos en vivo para la ejecución actual. También puedes cambiar a la pestaña Historial para ver las ejecuciones anteriores y añadirlas directamente a los conjuntos de evaluación.
  • Las pestañas Evaluaciones y Salida proporcionan otra vista de las ejecuciones recientes, donde puedes inspeccionar el comportamiento y los resultados junto con la definición de tu agente.
• Página Instancias de agente: ve a la sección Agentes > Instancias.Desde aquí, selecciona un agente específico y selecciona cualquier ejecución para abrir su vista de seguimiento, que incluye el seguimiento visual completo y el panel de registro.

Al ver los seguimientos para las ejecuciones de agente o las ejecuciones de evaluación, obtienes visibilidad de la ejecución del agente. Puedes:

• Consulta los resultados de la ejecución, como se indica con los nodos codificados por colores: correcto, error o reintentar.
• Pasa el cursor sobre cualquier nodo para obtener una vista previa: marcas de tiempo de inicio y fin, estado de ejecución, fragmentos de entrada y salida.
• Selecciona un nodo para ver los detalles, incluyendo: cargas útiles JSON completas, registros y errores, métricas de runtime (uso de tokens, latencia).

Gestión del acceso a datos de seguimiento

Esta sección describe cómo los administradores pueden configurar el acceso a los datos de seguimiento utilizando el modelo de control de acceso basado en roles.

Para ver los registros de seguimiento necesitas los siguientes permisos:

• Logs.View
• Jobs.View

Para obtener más información sobre los permisos de los roles predeterminados, consulta Roles predeterminados.

La siguiente matriz explica los resultados de visibilidad en función de las combinaciones de permisos. Estas combinaciones definen qué detalles de seguimiento puedes ver dependiendo de tus permisos basados en rol.

Logs.View	Jobs.View	Acceder al resultado
Habilitar	Habilitar	Todos los atributos
Habilitar	Deshabilitar	Todos los atributos
Deshabilitar	Habilitar	Atributos parciales (por ejemplo, nombre, tipo)
Deshabilitar	Deshabilitar	Sin acceso

Cuando no tienes los permisos necesarios para ver los datos de seguimiento, verás un mensaje que explica si el acceso está total o parcialmente limitado y ofrece orientación para solicitar el permiso necesario.

Nota:

Los datos de seguimiento, incluidos los datos de entrada y salida, se pueden cifrar utilizando claves gestionadas por el cliente (CMK). El cifrado CMK para los seguimientos de agente es una característica que debes habilitar de forma activa: no se habilita automáticamente cuando se configura CMK para tu organización. Para habilitarla, envía un ticket de soporte. Para obtener más información, consulta Cifrado por servicio en la guía de administración.

Feedback on agent runs

Nota:

Esta característica está disponible en vista previa.

Los comentarios son un mecanismo crítico para interpretar y mejorar los runtimes de los agentes. Te permite revisar el comportamiento, diagnosticar incidencias y patrones significativos de documento en la forma en que un agente toma decisiones.

Más allá de la depuración, los comentarios actúan como la entrada principal de la memoria episódica basada en los comentarios, lo que permite al agente refinar su política de decisión gradualmente, sin requerir reescrituras completas de la solicitud para cada ajuste.

La relación entre comentarios y memoria

Aunque los comentarios actúan como una herramienta de anotación, su aplicación más potente es la que influye en la memoria episódica.

Proporcionar comentarios sobre un seguimiento resalta los comportamientos que el agente debe replicar o evitar en ejecuciones futuras.

• Evolución sobre la repetición: a diferencia de las resoluciones estáticas, la memoria basada en comentarios permite que el comportamiento del agente mejore con el tiempo. El agente aprende a reconocer patrones marcados como correctos o incorrectos.
• Mejora dirigida: este enfoque es más valioso en flujos en los que el agente realiza con frecuencia "casi lo correcto" o en los que la política de decisión aún se está desarrollando.
• Memoria selectiva: no todos los comentarios se convierten automáticamente en memoria. Debes determinar activamente qué anotaciones representan oportunidades de aprendizaje de alto valor, para evitar que comentarios de baja calidad o inconsistentes degraden el rendimiento.

Dónde aplicar los comentarios

Puedes proporcionar comentarios sobre cualquier periodo dentro de un seguimiento de un agente. Esta flexibilidad te permite anotar llamadas de herramientas, comprobaciones de barrera de seguridad o salidas del LLM específicas al revisar o diagnosticar el comportamiento.

Solo los comentarios aplicados al período de ejecución del agente son elegibles para la memoria episódica. Aunque puedes anotar cualquier parte del seguimiento para su análisis, solo los comentarios adjuntos directamente al intervalo de ejecución del agente se almacenarán y recuperarán como memoria en ejecuciones futuras.

Cuándo aplicar comentarios

Aunque proporcionar comentarios sobre todos los seguimientos maximizaría el aprendizaje iterativo, en la práctica debes concentrarte en los seguimientos que ofrecen el mayor valor para la optimización.

Céntrate en los siguientes escenarios:

• Escenarios críticos: seguimientos que implican decisiones de alto riesgo o errores de alto impacto.
• Patrones recurrentes: áreas en las que el agente tiene dificultades constantemente o exhibe fallos repetitivos.
• Decisiones difíciles: instancias en las que el agente se enfrentó a una elección compleja.
• Sentimiento negativo: ejecuciones que daban como resultado una experiencia de usuario deficiente.
• Comportamiento del modelo: ejemplos que ilustran claramente un comportamiento específico que quieres que el agente copie estrictamente o evite estrictamente.

Aplicar los comentarios es crucial para la mejora continua. Te permite codificar mejores comportamientos de forma incremental, lo que hace que las ejecuciones del agente sean más fiables y coherentes.

• Priorizar seguimientos: céntrate en seguimientos de escenarios críticos, errores de alto impacto o patrones recurrentes en los que el agente tiene dificultades.
• Escenarios de alto valor: prioriza ejecuciones que representan decisiones difíciles para el agente, muestran un sentimiento negativo del usuario o ilustran claramente un comportamiento que quieres que el agente copie o evite.
• Áreas de enfoque: identifica claramente aquello en lo que estás proporcionando comentarios:
  • Salida: ¿el resultado final cumplió las expectativas?
  • Ejecución del plan (trayectoria): ¿el agente realizó los pasos de la tarea en el orden esperado?
  • Comentarios: utiliza comentarios para enriquecer la retroalimentación e informar la recuperación de memoria.

Configuración de tiempo de vida para seguimientos

Puedes utilizar la política de AI Trust Layer en Automation Ops para configurar cuánto tiempo se conservan los intervalos de seguimiento configurando el tiempo de vida (TTL).

Time-to-Live de Seguimientos define la ventana de retención para los seguimientos de ejecución en AI Trust Layer. Cada seguimiento consta de intervalos que registran los pasos de una automatización o interacción de IA. La configuración TTL determina cuánto tiempo permanecen disponibles estos intervalos y elimina automáticamente cualquier dato anterior a la duración seleccionada.

La aplicación de TTL ofrece tres opciones fijas: desactivada, activada con una ventana de retención de 1 día o activada con una ventana de retención de 7 días. No hay opción para especificar un número arbitrario de días. Elija la opción que mejor se adapte a sus requisitos de privacidad, cumplimiento y operativos.

La política se aplica en el nivel de tenant, lo que significa que el TTL configurado se aplica a todos los spans y afecta a lo que todos los usuarios del tenant pueden ver.

Dentro de la configuración de la política de Automation Ops en los conmutadores de la característica de AI Trust Layer, puedes habilitar o deshabilitar la aplicación de TTL:

• Cuando está habilitado: los intervalos se conservan durante la duración seleccionada en el campo Días TTL (1 día o 7 días) y se eliminan automáticamente una vez que caducan.
• Cuando está deshabilitada: los seguimientos no están sujetos a una política de TTL estricta.

Para habilitar y configurar TTL para seguimientos, sigue estos pasos:

1. Ve a Automation Ops.
2. Si aún no tienes una política de AI Trust Layer, selecciona Añadir política de producto: AI Trust Layer. De lo contrario, abre y edita tu política existente.
3. Selecciona Interruptores de funciones.
4. Configure los siguientes campos:
   • Aplicación de Time-to-Live para datos de seguimiento: cuando está habilitada, esta configuración controla cuánto tiempo permanecen visibles los intervalos antes de eliminarse.Después de que caduca el TTL, todos los intervalos afectados se eliminan de forma permanente de la IU.
     • Días TTL : especifica cuánto tiempo se almacenan los intervalos de seguimiento antes de ser purgados. Seleccione 1 día o 7 días.
   • Datos de seguimiento de Insights restringidos: si se habilita, todos los metadatos que no sean de UiPath se eliminan de los datos de seguimiento antes de enviarlos a Insights. Esto limita los detalles disponibles en Insights y afecta a la capacidad de ver métricas detalladas o agregadas en la página Agentes.

Nota:

Si se añaden comentarios o memoria a cualquier intervalo dentro de un seguimiento, se conserva el seguimiento completo, que ya no está sujeto al TTL configurado. Para permitir que se limpie el seguimiento, primero debes eliminar los comentarios o la memoria asociados.

Implicaciones de gobernanza de seguimiento

Configurar TTL personalizadas para datos de seguimiento tiene varios efectos importantes:

• Analíticos: tu configuración de TTL determina cuántos datos de seguimiento históricos están disponibles para el análisis. Una retención más corta admite requisitos de minimización de datos más estrictos, mientras que una retención más larga conserva más contexto de ejecución para la investigación y la solución de problemas.
• Eliminación de datos: los intervalos se eliminan automáticamente una vez que superan el TTL configurado. Cambiar tu TTL no restaura ningún dato que ya haya caducado o haya sido restringido.
• Visibilidad: las ejecuciones que caen fuera de la ventana TTL ya no aparecen en la IU de seguimiento o en los componentes que dependen de los datos de seguimiento de la capa de velocidad.
• Ámbito: el TTL configurado se aplica a todos los intervalos dentro del tenant y afecta a la visibilidad de todos los usuarios.
• Excepciones: algunas características pueden omitir el TTL por completo, como la memoria de agente y los comentarios de seguimiento.Los datos para estas características se conservan indefinidamente hasta que se define una política de fin de vida dedicada.