Observabilidad

Supervisa el rendimiento de tu agente de chat implementado, la satisfacción del usuario y el comportamiento de producción utilizando el panel de Gestión de instancias.

Esta página describe la observabilidad de tus experiencias de chat implementadas, creadas en Agent Builder o en Maestro Flow. Para agentes conversacionales de voz, consulta Observabilidad de voz.

Usa estas herramientas para supervisar el comportamiento de producción e iterar en el diseño de tu agente.

Panel

La gestión de instancias proporciona una vista de panel para supervisar las métricas clave, los indicadores de rendimiento y los comentarios proporcionados por el usuario de tu experiencia conversacional implementada.

Acceder al panel

1. Ve al portal de UiPath Automation Cloud.
2. Ve a Agentes > Conversacional.
3. Selecciona tu Agente conversacional (integrado en Agent Builder) o Flujo conversacional (integrado en Maestro Flow)
4. Selecciona la pestaña Panel.

Importante:

Solo la gestión de instancias, destinada a la supervisión de administradores y usuarios avanzados, distingue entre rutas de compilación etiquetando agentes de Agent Builder como agentes conversacionales y agentes creados por flujo como flujos conversacionales. Cualquier otro canal de implementación muestra ambos tipos como un agente conversacional para los usuarios finales.

Métricas disponibles

El panel proporciona visibilidad en:

• Métricas de uso: volumen de conversación y participación del usuario.
• Indicadores de rendimiento: uso de la herramienta y usuarios activos.
• Comentarios de los usuarios: resumen de las calificaciones de los pulgares hacia arriba/abajo.

Comentarios de usuario

Los comentarios de los usuarios ayudan a identificar las áreas en las que tu agente funciona bien y donde necesita mejoras.

Cómo funcionan los comentarios

1. Los usuarios dan aprobación o desaprobación después de las respuestas del agente.
2. Los usuarios pueden añadir de forma opcional comentarios explicando su opinión.
3. Los comentarios se adjuntan al seguimiento y se pueden revisar en Gestión de instancias.

Revisar comentarios

Accede a los comentarios de los usuarios a través de Gestión de instancias:

1. Ve a Agentes > Conversacional.
2. Selecciona tu Agente conversacional (integrado en Agent Builder) o Flujo conversacional (integrado en Maestro Flow).
3. Ve al Menú Comentarios.
4. Revisa las entradas de comentarios con las calificaciones y los comentarios de los usuarios.

Usa estos comentarios para identificar áreas de mejora y comprender la satisfacción del usuario con las respuestas del agente.

Registros de seguimiento

Los registros de seguimiento proporcionan registros detallados de la ejecución del agente, lo que te permite depurar incidencias y comprender el comportamiento del agente.

Acceder a seguimientos para agentes de Agent Builder

1. Selecciona tu agente conversacional (integrado en Agent Builder).
2. Ve a la sección Ejecuciones de revisión .
3. Selecciona un trabajo para ver su seguimiento. Cualquier trabajo correlacionado con una conversación mostrará el seguimiento de toda la conversación.

Acceder a seguimientos para flujos conversacionales

1. Selecciona tu Flujo conversacional (integrado en Maestro Flow).
2. Selecciona Abrir en Maestro.
3. Selecciona cualquier ejecución para ver su seguimiento, estado y ejecuciones de nodo.

Qué muestran los seguimientos

Cada seguimiento incluye:

• Intercambios de conversaciones: todas las idas y venidas de la conversación.
• Ejecuciones del agente: la ejecución del agente en cada intercambio, con entradas y salidas.
• Llamadas de LLM: solicitudes enviadas al modelo y respuestas recibidas.
• Invocaciones de herramientas: qué herramientas se llamaron, con entradas y salidas.
• Información de tiempo: duración de cada paso.
• Uso de tokens: tokens consumidos por cada intercambio.

Usar seguimientos para la depuración

Al investigar incidencias:

1. Busca la conversación en los trabajos de Gestión de instancias o de Orchestrator.
2. Abre el seguimiento para ver la ruta de ejecución completa.
3. Identifica en qué se desvió el agente del comportamiento esperado.
4. Usa Insights para refinar tu solicitud del sistema o la configuración de la herramienta.

Iterar en tu agente

La observabilidad completa el bucle de comentarios en el ciclo de vida del agente. Usa los insights de producción para mejorar el diseño de tu agente.

El proceso de iteración

1. Identificar incidencias: revisa los paneles, los comentarios y los seguimientos de problemas.
2. Diagnosticar causas raíz: utiliza los seguimientos para comprender por qué se producen las incidencias.
3. Actualizar diseño: modifica las solicitudes del sistema, las herramientas o las configuraciones.
4. Probar cambios: crea pruebas de evaluación que cubran las incidencias identificadas.
5. Implementación de actualizaciones: publica el agente mejorado.
6. Supervisar Resultados: verifica las mejoras a través de la observabilidad.

Mejoras comunes basadas en la observabilidad

Observación	Mejora potencial
Comentarios negativos sobre temas específicos	Añade o mejora los índices de contextualización
Fallos de herramienta	Revisa la configuración de la herramienta y la gestión de errores
Tiempos de respuesta largos	Optimiza la selección de herramientas o cambia de modelo
Usuarios que piden características no disponibles	Actualiza la solicitud del sistema para establecer expectativas

Auditoría y cumplimiento

Auditoría de AI Trust Layer

AI Trust Layer proporciona un seguimiento de auditoría completo de las llamadas de LLM y el comportamiento del agente con fines de cumplimiento y gobernanza.

Accede a los registros de auditoría de AITL a través del portal de administración para:

• Historial completo de interacciones con el modelo
• Entradas y salidas
• Verificación de la residencia de datos y el cumplimiento

Para obtener opciones de implementación detalladas, consulta ver registros de auditoría

Próximos pasos

• Crear en Maestro Flow: actualiza tu flujo conversacional en función de los insights
• Crear en Agent Builder: actualiza tu agente en Agent Builder en función de la información
• Seguimientos de agente: documentación de seguimiento detallada