Observabilidad para agentes conversacionales

La observabilidad proporciona información sobre el rendimiento de tu agente conversacional, la satisfacción del usuario y las áreas de mejora. Utiliza estas herramientas para supervisar el comportamiento de producción e iterar en el diseño de tu agente.

Panel

La gestión de instancias proporciona una vista de panel para supervisar las métricas clave y los indicadores de rendimiento de tu agente conversacional.

Acceder al panel

1. Ve al portal de UiPath Automation Cloud.
2. Ve a Agentes > Agentes implementados.
3. Selecciona tu agente conversacional.
4. Selecciona la pestaña Panel .

Métricas disponibles

El panel proporciona visibilidad de:

• Métricas de uso: volumen de conversación e interacción del usuario.
• Indicadores de rendimiento: uso de herramientas y usuarios activos.
• Comentarios de los usuarios: resumen de las valoraciones positivas/negativas.

Nota:

Las métricas de consumo se están actualizando y estarán disponibles en una próxima versión.

Comentarios de usuario

Los comentarios de los usuarios ayudan a identificar las áreas en las que tu agente se desempeña bien y las que necesitan mejoras.

Cómo funcionan los comentarios

1. Los usuarios dan el visto bueno o el malo después de las respuestas del agente.
2. Los usuarios pueden añadir opcionalmente comentarios que expliquen sus comentarios.
3. Los comentarios se adjuntan al seguimiento y se pueden revisar en Gestión de instancias.

Revisar comentarios

Accede a los comentarios de los usuarios a través de la gestión de instancias:

1. Ve a Agentes > Agentes implementados.
2. Selecciona tu agente conversacional.
3. Ve al menú Comentarios .
4. Revise las entradas de comentarios con calificaciones y comentarios de los usuarios.

Utilice estos comentarios para identificar áreas de mejora y comprender la satisfacción del usuario con las respuestas del agente.

Registros de seguimiento

Los registros de seguimiento proporcionan registros detallados de la ejecución del agente, lo que te permite depurar problemas y comprender el comportamiento del agente.

Acceder a los seguimientos

1. En Gestión de instancias, selecciona tu agente.
2. Ve a la sección Tiempo de ejecución .
3. Seleccione una conversación para ver su seguimiento.

Qué muestran los seguimientos

Cada seguimiento incluye:

• Llamadas de LLM: solicitudes enviadas al modelo y respuestas recibidas.
• Invocaciones de herramientas: qué herramientas se llamaron, con entradas y salidas.
• Información de tiempo: duración de cada paso.
• Uso de tokens: tokens consumidos por llamada.

Uso de seguimientos para la depuración

Al investigar incidencias:

1. Encuentra la conversación en trabajos de gestión de instancias u Orchestrator.
2. Abre el seguimiento para ver la ruta de ejecución completa.
3. Identifique dónde se desvió el agente del comportamiento esperado.
4. Utilice la información para refinar la configuración de la solicitud del sistema o la herramienta.

Iterando en tu agente

La observabilidad completa el bucle de retroalimentación en el ciclo de vida del agente. Utiliza la información de producción para mejorar el diseño de tu agente.

El proceso de iteración

1. Identificar problemas: revisa los paneles, los comentarios y los seguimientos en busca de problemas.
2. Diagnosticar las causas raíz: utiliza los seguimientos para comprender por qué se producen los problemas.
3. Actualizar diseño: modifica las solicitudes, herramientas o configuraciones del sistema.
4. Probar cambios: crea pruebas de evaluación que cubran los problemas identificados.
5. Implementar actualizaciones: publica el agente mejorado.
6. Supervisar resultados: verifica las mejoras a través de la observabilidad.

Mejoras comunes basadas en la observabilidad

Observación	Mejora potencial
Comentarios negativos sobre temas específicos	Añadir o mejorar los índices de Contextualización
Fallos de herramienta	Revisar la configuración de la herramienta y la gestión de errores
Tiempos de respuesta largos	Optimizar la selección de herramientas o cambiar de modelo
Usuarios que solicitan características no disponibles	Actualizar la solicitud del sistema para establecer expectativas

Auditoría y cumplimiento

Auditoría de AI Trust Layer

La capa de confianza de IA proporciona un seguimiento de auditoría completo de las llamadas de LLM y el comportamiento de los agentes con fines de cumplimiento y gobernanza.

Accede a los registros de auditoría de AITL a través del portal de administración para:

• Historial completo de interacciones del modelo
• Entradas y salidas
• Residencia de datos y verificación de cumplimiento

Para ver las opciones de implementación detalladas, consulta ver registros de auditoría

Próximos pasos

• Diseño: actualiza tu agente en función de la información
• Evaluación: crear pruebas a partir de escenarios de producción
• Seguimientos del agente: documentación de seguimiento detallada
• Puntuación del agente: comprensión de las puntuaciones de salud del agente