Observabilité

Surveillez les performances de votre agent de chat déployé, la satisfaction des utilisateurs et le comportement de production à l’aide du tableau de bord de gestion des instances.

Cette page décrit l'observabilité de vos expériences de chat déployées - intégrées dans Agent Builder ou dans Maestro Flow. Pour les Agents conversationnels vocaux, consultez Observabilité vocale.

Utilisez ces outils pour surveiller le comportement de la production et itérer sur la conception de votre agent.

Tableau de bord

La gestion des instances fournit une vue de tableau de bord pour surveiller les métriques clés de votre expérience conversationnelle déployée, les indicateurs de performances et les commentaires fournis par l’utilisateur.

Accéder au tableau de bord

1. Accédez à UiPath Automation Cloud Portal.
2. Accédez à Agents > Conversationnel.
3. Sélectionnez votre agent conversationnel (créé dans Agent Builder) ou le flux conversationnel (créé dans Maestro Flow)
4. Sélectionnez l’onglet Tableau de bord.

Important :

Seule la gestion des instances, destinée à la surveillance des administrateurs et aux utilisateurs expérimentés, fait la distinction entre les chemins de création d' agents en labellisant Agent Builder en tant qu'Agents conversationnels et les Agents créés dans des flux en tant que Flux conversationnels. Tous les autres canaux de déploiement font apparaître les deux types sous forme d' agent conversationnel pour les utilisateurs finaux.

Métriques disponibles

Le tableau de bord fournit une visibilité dans :

• Métriques d’utilisation : volume de conversation et engagement de l’utilisateur.
• Indicateurs de performances : utilisation de l’outil et utilisateurs actifs.
• Commentaires de l’utilisateur : résumé des notes Pouce vers le haut/bas.

Commentaires de l'utilisateur

Les commentaires des utilisateurs aident à identifier les domaines où votre agent fonctionne bien et où il a besoin d’être amélioré.

Fonctionnement des commentaires

1. Les utilisateurs fournissent des pouces vers le haut ou des pouces vers le bas après les réponses de l’agent.
2. Les utilisateurs peuvent facultativement ajouter des commentaires expliquant leurs commentaires.
3. Les commentaires sont joints à la Trace et peuvent être examinés dans la gestion des instances.

Examen des commentaires

Accédez aux commentaires des utilisateurs via la gestion des instances :

1. Accédez à Agents > Conversationnel.
2. Sélectionnez votre Agent conversationnel (créé dans Agent Builder) ou Flux conversationnel (créé dans Maestro Flow).
3. Accédez au menu Commentaires.
4. Examinez les entrées de commentaires avec des notes et des commentaires des utilisateurs.

Utilisez ces commentaires pour identifier les domaines à améliorer et comprendre la satisfaction des utilisateurs à l’égard des réponses de l’agent.

Journaux de Trace

Les journaux de Trace fournissent des enregistrements détaillés de l’exécution de l’agent, ce qui vous permet de Debug des problèmes et de comprendre le comportement de l’agent.

Accès aux traçages pour les agents Agent Builder

1. Sélectionnez votre agent conversationnel (créé dans Agent Builder).
2. Accédez à la section Examiner l'exécution .
3. Sélectionnez une tâche pour afficher sa trace. Toute tâche corrélée à une conversation affichera la trace entière de la conversation.

Accès aux traçages pour les flux conversationnels

1. Sélectionnez votre flux conversationnel (créé dans Maestro Flow).
2. Sélectionnez Ouvrir dans Maestro.
3. Sélectionnez une exécution pour afficher son traçage, son statut et ses exécutions de nœud.

Ce que les traces montrent

Chaque Trace inclut :

• Échanges de conversation : tous les va-et-vient dans la conversation.
• Exécution de l'agent : l'exécution de l'agent sous chaque échange, avec les entrées et les sorties.
• Appels LLM : invites envoyées au modèle et réponses reçues.
• Invocations d’outils : quels outils ont été appelés, avec des entrées et des sorties.
• Informations sur le minutage : durée de chaque étape.
• Utilisation de jetons : jetons consommés par échange.

Utilisation des traçages pour le débogage

Lors de l’investigation de problèmes :

1. Trouvez la conversation dans les tâches de gestion des instances ou d'Orchestrator.
2. Ouvrez la Trace pour voir le chemin d’exécution complet.
3. Identifiez où l’agent s’est écarté du comportement attendu.
4. Utilisez Insights pour affiner votre invite système ou la configuration de votre outil.

Itération sur votre agent

L’observabilité complète la boucle de commentaires dans le cycle de vie de l’agent.Utilisez Insights depuis la production pour améliorer la conception de votre agent.

Le processus d’itération

1. Identifier les problèmes : examinez les tableaux de bord, les commentaires et les traçages des problèmes.
2. Diagnostiquer les causes profondes : utilisez des traçages pour comprendre pourquoi des problèmes se produisent.
3. Mettre à jour la conception : modifiez les invites système, les outils ou les configurations.
4. Tester les modifications : créez des tests d’évaluation couvrant les problèmes identifiés.
5. Déployer des mises à jour : publiez l’agent amélioré.
6. Surveiller les résultats : vérifiez les améliorations via l’observabilité.

Améliorations courantes basées sur l’observabilité

Observation	Amélioration potentielle
Commentaires négatifs sur des sujets spécifiques	Ajouter ou améliorer les index d’ancrage dans le contexte
Échecs d’outils	Examiner la configuration de l’outil et la gestion des Errors
Temps de réponse longs	Optimiser la sélection des outils ou changer de modèle
Utilisateurs demandant des fonctionnalités indisponibles	Mettre à jour l’invite système pour définir des attentes

Audit et conformité

Audit AI Trust Layer

AI Trust Layer fournit une piste d’audit complète des appels LLM et du comportement de l’agent à des fins de conformité et de gouvernance.

Accédez aux journaux d’audit AITL via le portail Administrateur pour :

• Historique complet des interactions du modèle
• Entrées et sorties
• Résidence des données et vérification de la conformité

Pour des options de déploiement détaillées, reportez-vous à Affichage des journaux d’audit

Prochaines étapes

• Créer dans Maestro Flow: mettez à jour votre flux conversationnel en fonction des Insights
• Créer dans Agent Builder: mettez à jour votre agent dans Agent Builder en fonction des Insights
• Traçages de l’agent: documentation détaillée de la Trace