Observabilité pour les Agents conversationnels

Observabilité fournit des informations sur les performances de votre agent conversationnel, la satisfaction des utilisateurs et les domaines d'amélioration. Utilisez ces outils pour surveiller le comportement de production et modifier la conception de votre agent.

Tableau de bord

La gestion des instances fournit une vue du tableau de bord permettant de surveiller les mesures clés et les indicateurs de performance de votre agent conversationnel.

Accéder au tableau de bord

1. Accédez au portail UiPath Automation Cloud.
2. Accédez à Agents > Agents déployés.
3. Sélectionnez votre agent conversationnel.
4. Sélectionnez l'onglet Tableau de bord .

Métriques disponibles

Le tableau de bord offre une visibilité sur les éléments suivants :

• Métriques d’utilisation: volume de conversation et engagement des utilisateurs.
• Indicateurs de performance: utilisation des outils et utilisateurs actifs.
• Commentaire de l'utilisateur: résumé des notes de pouce vers le haut et vers le bas.

Remarque :

Les mesures de consommation sont en cours de mise à jour et seront disponibles dans une prochaine version.

Commentaires de l'utilisateur

Les commentaires des utilisateurs permettent d'identifier les domaines où votre agent est performant et ceux où il doit être amélioré.

Comment fonctionne les commentaires

1. Les utilisateurs lancent des pouce vers le haut ou vers le bas après les réponses de l’agent.
2. Les utilisateurs peuvent éventuellement ajouter des commentaires expliquant leurs commentaires.
3. Les commentaires sont joints au traçage et peuvent être examinés dans la gestion des instances.

Examiner les commentaires

Accédez aux commentaires des utilisateurs via la gestion des instances :

1. Accédez à Agents > Agents déployés.
2. Sélectionnez votre agent conversationnel.
3. Accédez au menu Commentaires .
4. Examinez les entrées de commentaires avec des notes et des commentaires des utilisateurs.

Utilisez ces commentaires pour identifier les domaines à améliorer et comprendre la satisfaction des utilisateurs concernant les réponses des agents.

Journaux de traçage

Les journaux de traçage fournissent des enregistrements détaillés de l'exécution de l'agent, vous permettant de déboguer les problèmes et de comprendre le comportement de l'agent.

Accéder aux traçages

1. Dans Gestion des instances, sélectionnez votre agent.
2. Accédez à la section Runtime .
3. Sélectionnez une conversation pour afficher son traçage.

Que les traçages affichent

Chaque traçage comprend :

• Appels LLM: invites envoyées au modèle et réponses reçues.
• Invocations d’outils: quels outils ont été appelés, avec des entrées et des sorties.
• Informations de synchronisation: durée de chaque étape.
• Utilisation de jetons: jetons consommés par appel.

Utilisation de traçages pour le débogage

Lors de l’enquête sur les problèmes :

1. Recherchez la conversation dans les tâches de gestion des instances ou d'Orchestrator.
2. Ouvrez le traçage pour voir le chemin d’exécution complet.
3. Identifiez l’endroit où l’agent a échoué par rapport au comportement attendu.
4. Utilisez Insights pour affiner votre requête système ou la configuration de votre outil.

Itérer votre agent

Observabilité complète la boucle de rétroaction du cycle de vie de l'agent. Utilisez les informations de la production pour améliorer la conception de votre agent.

Processus d'itération

1. Identifier les problèmes: examinez les tableaux de bord, les commentaires et les traçages pour identifier les problèmes.
2. Diagnostiquer les causes profondes: utilisez le traçage pour comprendre pourquoi les problèmes surviennent.
3. Mettre à jour la conception: modifiez les requêtes système, les outils ou les configurations.
4. Modifications de tests: créez des tests d'évaluation couvrant les problèmes identifiés.
5. Déployer des mises à jour: publiez l'agent amélioré.
6. Surveiller les résultats: vérifiez les améliorations grâce à l’observabilité.

Améliorations courantes basées sur l’observabilité

Observeation	Amélioration potentielle
Commentaires négatifs sur des sujets spécifiques	Ajouter ou améliorer les index d’ancrage dans le contexte
Échecs d’outils	Examinez la configuration de l’outil et la gestion des erreurs
Délais de réponse longs	Optimiser la sélection d’outils ou le changement de modèle
Utilisateurs demandant des fonctionnalités non disponibles	Mettre à jour l’invite système pour définir les attentes

Audit et conformité

Audit d’AI Trust Layer

La politique AI Trust Layer fournit une piste d'audit complète des appels LLM et du comportement des agents, à des fins de conformité et de gouvernance.

Accédez aux journaux d'audit AITL via le portail d'administration pour :

• Historique complet des interactions de modèle
• Entrées et sorties
• Résidence des données et vérification de la conformité

Pour obtenir des options de déploiement détaillées, consultez la section Afficher les journaux d’audit

Prochaines étapes

• Concevoir: mettez à jour votre agent en fonction d'Insights
• Évaluation: créer des tests à partir de scénarios de production
• Traçages d'agent: documentation détaillée du traçage
• Score de l'agent: comprendre les scores de santé de l'agent