Observabilidad para agentes conversacionales

La observabilidad proporciona insights sobre el rendimiento de tu agente conversacional, la satisfacción del usuario y las áreas de mejora. Usa estas herramientas para supervisar el comportamiento de producción e iterar en el diseño de tu agente.

Panel

La gestión de instancias proporciona una vista de panel para supervisar las métricas clave y los indicadores de rendimiento de tu agente conversacional.

Acceder al panel

1. Ve al portal de UiPath Automation Cloud.
2. Ve a Agents > Deployed Agents.
3. Selecciona tu agente conversacional.
4. Selecciona la pestaña Panel.

Métricas disponibles

El panel proporciona visibilidad en:

• Métricas de uso: volumen de conversación y participación del usuario.
• Indicadores de rendimiento: uso de la herramienta y usuarios activos.
• Comentarios de los usuarios: resumen de las calificaciones de los pulgares hacia arriba/abajo.

Nota:

Las métricas de consumo se están actualizando y estarán disponibles en una próxima versión.

Comentarios de usuario

Los comentarios de los usuarios ayudan a identificar las áreas en las que tu agente funciona bien y donde necesita mejoras.

Cómo funcionan los comentarios

1. Los usuarios dan aprobación o desaprobación después de las respuestas del agente.
2. Los usuarios pueden añadir de forma opcional comentarios explicando su opinión.
3. Los comentarios se adjuntan al seguimiento y se pueden revisar en Gestión de instancias.

Revisar comentarios

Accede a los comentarios de los usuarios a través de Gestión de instancias:

1. Ve a Agents > Deployed Agents.
2. Selecciona tu agente conversacional.
3. Ve al Menú Comentarios.
4. Revisa las entradas de comentarios con las calificaciones y los comentarios de los usuarios.

Usa estos comentarios para identificar áreas de mejora y comprender la satisfacción del usuario con las respuestas del agente.

Registros de seguimiento

Los registros de seguimiento proporcionan registros detallados de la ejecución del agente, lo que te permite depurar incidencias y comprender el comportamiento del agente.

Acceder a los seguimientos

1. En Gestión de instancias, selecciona tu agente.
2. Ve a la sección Runtime.
3. Selecciona una conversación para ver su seguimiento.

Qué muestran los seguimientos

Cada seguimiento incluye:

• Llamadas de LLM: solicitudes enviadas al modelo y respuestas recibidas.
• Invocaciones de herramientas: qué herramientas se llamaron, con entradas y salidas.
• Información de tiempo: duración de cada paso.
• Uso de token: token consumidos por llamada.

Usar seguimientos para la depuración

Al investigar incidencias:

1. Busca la conversación en los trabajos de Gestión de instancias o de Orchestrator.
2. Abre el seguimiento para ver la ruta de ejecución completa.
3. Identifica en qué se desvió el agente del comportamiento esperado.
4. Usa Insights para refinar tu solicitud del sistema o la configuración de la herramienta.

Iterar en tu agente

La observabilidad completa el bucle de comentarios en el ciclo de vida del agente. Usa los insights de producción para mejorar el diseño de tu agente.

El proceso de iteración

1. Identificar incidencias: revisa los paneles, los comentarios y los seguimientos de problemas.
2. Diagnosticar causas raíz: utiliza los seguimientos para comprender por qué se producen las incidencias.
3. Actualizar diseño: modifica las solicitudes del sistema, las herramientas o las configuraciones.
4. Probar cambios: crea pruebas de evaluación que cubran las incidencias identificadas.
5. Implementación de actualizaciones: publica el agente mejorado.
6. Supervisar Resultados: verifica las mejoras a través de la observabilidad.

Mejoras comunes basadas en la observabilidad

Observación	Mejora potencial
Comentarios negativos sobre temas específicos	Añade o mejora los índices de contextualización
Fallos de herramienta	Revisa la configuración de la herramienta y la gestión de errores
Tiempos de respuesta largos	Optimiza la selección de herramientas o cambia de modelo
Usuarios que piden características no disponibles	Actualiza la solicitud del sistema para establecer expectativas

Auditoría y cumplimiento

Auditoría de AI Trust Layer

AI Trust Layer proporciona un seguimiento de auditoría completo de las llamadas de LLM y el comportamiento del agente con fines de cumplimiento y gobernanza.

Accede a los registros de auditoría de AITL a través del portal de administración para:

• Historial completo de interacciones con el modelo
• Entradas y salidas
• Verificación de la residencia de datos y el cumplimiento

Para obtener opciones de implementación detalladas, consulta ver registros de auditoría

Próximos pasos

• Diseño: actualiza tu agente en función de los insights
• Evaluación: crea pruebas a partir de escenarios de producción
• Seguimientos de agente: documentación de seguimiento detallada
• Puntuación del agente: comprender las puntuaciones de salud del agente