Observabilité pour les Agents conversationnels

L’observabilité fournit des Insights sur les performances de votre agent conversationnel, la satisfaction de l’utilisateur et les domaines à améliorer.Utilisez ces outils pour surveiller le comportement de la production et itérer sur la conception de votre agent.

Tableau de bord

La gestion des instances fournit une vue de tableau de bord pour surveiller les métriques clés et les indicateurs de performances de votre agent conversationnel.

Accéder au tableau de bord

1. Accédez à UiPath Automation Cloud Portal.
2. Naviguez vers Agents > Agents déployés.
3. Sélectionnez votre agent conversationnel.
4. Sélectionnez l’onglet Tableau de bord.

Métriques disponibles

Le tableau de bord fournit une visibilité dans :

• Métriques d’utilisation : volume de conversation et engagement de l’utilisateur.
• Indicateurs de performances : utilisation de l’outil et utilisateurs actifs.
• Commentaires de l’utilisateur : résumé des notes Pouce vers le haut/bas.

Remarque :

Les métriques de consommations sont en cours de mise à jour et seront disponibles dans une publication à venir.

Commentaires de l'utilisateur

Les commentaires des utilisateurs aident à identifier les domaines où votre agent fonctionne bien et où il a besoin d’être amélioré.

Fonctionnement des commentaires

1. Les utilisateurs fournissent des pouces vers le haut ou des pouces vers le bas après les réponses de l’agent.
2. Les utilisateurs peuvent facultativement ajouter des commentaires expliquant leurs commentaires.
3. Les commentaires sont joints à la Trace et peuvent être examinés dans la gestion des instances.

Examen des commentaires

Accédez aux commentaires des utilisateurs via la gestion des instances :

1. Naviguez vers Agents > Agents déployés.
2. Sélectionnez votre agent conversationnel.
3. Accédez au menu Commentaires.
4. Examinez les entrées de commentaires avec des notes et des commentaires des utilisateurs.

Utilisez ces commentaires pour identifier les domaines à améliorer et comprendre la satisfaction des utilisateurs à l’égard des réponses de l’agent.

Journaux de Trace

Les journaux de Trace fournissent des enregistrements détaillés de l’exécution de l’agent, ce qui vous permet de Debug des problèmes et de comprendre le comportement de l’agent.

Accéder aux traçages

1. Dans la gestion des instances, sélectionnez votre agent.
2. Naviguez vers la section Runtime.
3. Sélectionnez une conversation pour afficher sa Trace.

Ce que les traces montrent

Chaque Trace inclut :

• Appels LLM : invites envoyées au modèle et réponses reçues.
• Invocations d’outils : quels outils ont été appelés, avec des entrées et des sorties.
• Informations sur le minutage : durée de chaque étape.
• Utilisation de jetons : jetons consommés par appel.

Utilisation des traçages pour le débogage

Lors de l’investigation de problèmes :

1. Trouvez la conversation dans les tâches de gestion des instances ou d'Orchestrator.
2. Ouvrez la Trace pour voir le chemin d’exécution complet.
3. Identifiez où l’agent s’est écarté du comportement attendu.
4. Utilisez Insights pour affiner votre invite système ou la configuration de votre outil.

Itération sur votre agent

L’observabilité complète la boucle de commentaires dans le cycle de vie de l’agent.Utilisez Insights depuis la production pour améliorer la conception de votre agent.

Le processus d’itération

1. Identifier les problèmes : examinez les tableaux de bord, les commentaires et les traçages des problèmes.
2. Diagnostiquer les causes profondes : utilisez des traçages pour comprendre pourquoi des problèmes se produisent.
3. Mettre à jour la conception : modifiez les invites système, les outils ou les configurations.
4. Tester les modifications : créez des tests d’évaluation couvrant les problèmes identifiés.
5. Déployer des mises à jour : publiez l’agent amélioré.
6. Surveiller les résultats : vérifiez les améliorations via l’observabilité.

Améliorations courantes basées sur l’observabilité

Observation	Amélioration potentielle
Commentaires négatifs sur des sujets spécifiques	Ajouter ou améliorer les index d’ancrage dans le contexte
Échecs d’outils	Examiner la configuration de l’outil et la gestion des Errors
Temps de réponse longs	Optimiser la sélection des outils ou changer de modèle
Utilisateurs demandant des fonctionnalités indisponibles	Mettre à jour l’invite système pour définir des attentes

Audit et conformité

Audit AI Trust Layer

AI Trust Layer fournit une piste d’audit complète des appels LLM et du comportement de l’agent à des fins de conformité et de gouvernance.

Accédez aux journaux d’audit AITL via le portail Administrateur pour :

• Historique complet des interactions du modèle
• Entrées et sorties
• Résidence des données et vérification de la conformité

Pour des options de déploiement détaillées, reportez-vous à Affichage des journaux d’audit

Prochaines étapes

• Conception : mettez à jour votre agent en fonction des Insights
• Évaluation : créez des tests à partir de scénarios de production
• Traçages de l’agent : documentation détaillée de la Trace
• Score de l’agent : compréhension des scores de santé de l’agent