Traçages d’agent

À propos des traçages

Les traçages enregistrent en détail toutes les actions qu'effectue un agent lors d'une exécution, y compris les étapes parcourues, les données traitées, les décisions prises et les résultats générés. Chaque traçage capture la chronologie complète du comportement de l'agent, y compris les horodatages, les erreurs, les entrées/sorties et les métadonnées contextuelles. Utilisez des traçages dans les opérations suivantes :

• Débogage et dépannage : identifier exactement où un agent a échoué ou s'est comporté de manière inattendue.
• Analyse des performances : évaluer la latence, les erreurs et le flux des exécutions d'agents pour optimiser le comportement.
• Conformité et audit : maintenir un enregistrement vérifiable de ce que l'agent a fait, quand et comment, essentiel dans le cadre des audits ou des workflows réglementés.
• Amélioration continue : utiliser les éclairages qu'apportent les traçages pour affiner la logique de l'agent, adapter le comportement ou former de nouveaux modèles.

Le tableau suivant décrit les cas d'utilisation courants dans lesquels la visualisation du traçage peut améliorer votre capacité à déboguer, analyser et optimiser le comportement des agents. Chaque exemple met en évidence comment les données de traçage contribuent à obtenir des éclairages et à prendre de meilleures décisions lors du développement et de la surveillance de l'exécution.

Use case	Ce que les traçages vous aident à faire
L'agent échoue lors d'un appel d'outil	Trouver et inspecter l'étape exacte, les entrées, les sorties et les erreurs
Les performances sont médiocres	Utiliser des horodatages pour localiser les goulots d'étranglement
Enquêter sur un pic d'erreurs	Filtrer les exécutions par statut et tracer la tendance
Vérifier un correctif de production	Rejouer l'exécution initiale et confirmer que le problème ne se produit plus
Préparer un rapport d'audit	Exporter ou examiner les traçages qui montrent les chemins de décision et les données traitées

Types de traçages

Les traçages se présentent sous deux types distincts, chacun servant à comprendre et analyser le comportement de l'agent :

• Traçages de fonctionnement de l'agent : ces traçages capturent l'exécution étape par étape d'un agent pendant une exécution active ou programmée. Ils montrent comment l'agent a traité les données, invoqué les outils, géré les conditions et répondu à différents états en temps réel.
• Traçages de test d'évaluation : des traçages d'évaluation sont générés lorsqu'un agent est testé avec des entrées prédéfinies, généralement pendant l'évaluation de modèles, la validation de scénarios ou les scénarios de test. Ces derniers permettent d'évaluer la précision de l'agent, la qualité des décisions et le comportement dans des conditions contrôlées.

Accéder aux traçages

Vous pouvez accéder aux deux types de traçages à partir de deux emplacements clés :

• Agent Builder – Lors de la conception ou du test de votre agent, les traçages sont disponibles directement dans le générateur :
  • Le panneau inférieur s'ouvre automatiquement sur l'onglet Chemin d'exécution lorsque vous exécutez votre agent, affichant les traçages en temps réel de l'exécution actuelle. Vous pouvez également basculer vers l'onglet Historique pour afficher les exécutions passées et les ajouter directement aux ensembles d'évaluation.
  • Les onglets Évaluations et Sortie offrent une autre vue sur les exécutions récentes, où vous pouvez examiner le comportement et les résultats en parallèle de la définition de votre agent.
• Page Instances d'agent - Accédez à la section Agents > Instances. À partir de là, sélectionnez un agent spécifique et toute exécution pour ouvrir l’affichage de son traçage, qui inclut le panneau de traçage visuel et le panneau de journalisation.

Lorsque vous consultez les traçages des exécutions d'agents ou des exécutions d'évaluation, vous obtenez une meilleure visibilité sur l'exécution de l'agent. Vous pouvez :

• Voir les résultats de l'exécution, comme indiqué avec des nœuds codés par couleur : réussite, échec ou réessai.
• Placez la souris sur n'importe quel nœud pour afficher un aperçu : horodatages de début et de fin, statut d'exécution, extraits d'entrée et de sortie.
• Sélectionnez un nœud pour afficher les détails, notamment : les charges utiles JSON complètes, les journaux et les erreurs, les mesures de runtime (consommation de jetons, latence).

Gestion de l’accès aux données de traçage

Cette section explique comment les administrateurs peuvent configurer l’accès aux données de traçage à l’aide du modèle de contrôle d’accès basé sur les rôles.

Pour afficher les journaux de traçage, vous avez besoin des autorisations suivantes :

• Logs.View
• Jobs.View

Pour plus d’informations sur les autorisations des rôles par défaut, consultez la section Rôles par défaut.

La matrice suivante explique les résultats de visibilité en fonction des combinaisons d’autorisations. Ces combinaisons définissent les informations de traçage que vous pouvez afficher en fonction de vos autorisations basées sur vos rôles.

Logs.View	Jobs.View	Accès aux résultats
Activer (Enable)	Activer (Enable)	Tous les attributs
Activer (Enable)	Désactiver (Disable)	Tous les attributs
Désactiver (Disable)	Activer (Enable)	Attributs partiels (par exemple, nom, type)
Désactiver (Disable)	Désactiver (Disable)	Aucun accès

Lorsque vous ne disposez pas des autorisations nécessaires pour afficher les données de traçage, un message s’affiche pour indiquer si l’accès est totalement ou partiellement limité et comment demander l’autorisation requise.

Remarque :

Les données de Trace, y compris les données d’entrée et de sortie, peuvent être chiffrées à l’aide de clés gérées par le client (CMK). Le chiffrement CMK pour les traçages de l’agent est une fonctionnalité d’inscription - il n’est pas automatiquement activé lorsque CMK est configuré pour votre Organization.Pour l’activer, soumettez un ticket d’assistance. Pour des détails, reportez-vous à Chiffrement par service dans le guide de l’administrateur.

Feedback on agent runs

Remarque :

Cette fonctionnalité est disponible en version d'évaluation.

Les commentaires sont un mécanisme critique pour interpréter et améliorer les runtimes de l'agent. Ils vous permettent d'examiner le comportement, de diagnostiquer les problèmes et de documenter des modèles significatifs dans la façon dont un agent prend des décisions.

Au-delà du débogage, les commentaires tiennent lieu d’entrée principale vers la mémoire épisodique basée sur des commentaires, permettant à l’agent d’affiner progressivement sa politique de décision sans nécessiter de réécritures d’invite complètes pour chaque ajustement.

La relation entre les commentaires et la mémoire

Bien que les commentaires agissent comme un outil d'annotation, leur application la plus puissante influence la mémoire épisodique.

La fourniture de commentaires sur une trace met en évidence les comportements que l'agent doit répliquer ou éviter dans les exécutions futures.

• Évolution par rapport à la répétition : contrairement aux résolutions statiques, la mémoire basée sur les commentaires permet au comportement de l'agent de s'améliorer au fil du temps.L'agent apprend à reconnaître les modèles marqués comme corrects ou incorrects.
• Amélioration ciblée : cette approche est la plus utile dans les flux où l'agent est fréquemment « presque correct » ou bien où la politique de décision est toujours en cours de développement.
• Mémoire sélective : tous les commentaires ne deviennent pas automatiquement une mémoire.Vous devez déterminer activement quelles annotations représentent des opportunités d'apprentissage de haute valeur pour empêcher des commentaires de faible qualité ou incohérents de dégrader les performances.

Où appliquer les commentaires

Vous pouvez fournir des commentaires sur n'importe quelle plage au sein d'une trace d'agent. Cette flexibilité vous permet d’Annoter des appels d’outils spécifiques, des vérifications de garde-fous ou des sorties LLM lors de l’examen ou du diagnostic du comportement.

Seuls les commentaires appliqués à la plage d'exécution de l'agent sont éligibles à la mémoire épisodique. Bien que vous puissiez annoter n'importe quelle partie de la trace pour analyse, seuls les commentaires joints directement à la plage d'exécution de l'agent seront stockés et récupérés en tant que mémoire dans les exécutions futures.

Quand appliquer les commentaires

Bien que la fourniture de commentaires sur toutes les traces maximiserait l'apprentissage itératif, en pratique, vous devez vous concentrer sur les traces qui offrent la plus grande valeur d'optimisation.

Concentrez-vous sur les scénarios suivants :

• Scénarios critiques : traces impliquant des décisions à enjeux élevés ou des erreurs à impact élevé.
• Modèles récurrents : zones dans lesquelles l'agent lutte constamment ou présente des pannes répétitives.
• Décisions difficiles : instances où l'agent était confronté à un choix complexe.
• Sentiment négatif : exécutions qui ont entraîné une mauvaise expérience utilisateur.
• Comportement du modèle : exemples qui illustrent clairement un comportement spécifique que vous souhaitez que l'agent copie strictement ou évite strictement.

L'application des commentaires est cruciale pour l'amélioration continue.Elle vous permet de coder de meilleurs comportements de manière incrémentielle, ce qui rend les exécutions de l’agent plus fiables et cohérentes.

• Prioriser les traces : concentrez-vous sur les traces de scénarios critiques, d'erreurs à fort impact ou de modèles récurrents où l'agent lutte.
• Scénarios à haute valeur : priorisez les exécutions qui représentent des décisions difficiles pour l'agent, affichent un sentiment négatif de l'utilisateur ou illustrent clairement un comportement que vous souhaitez que l'agent copie ou évite.
• Domaines de concentration : identifiez clairement ce sur quoi vous fournissez des commentaires :
  • Sortie : le résultat final a-t-il répondu aux attentes ?
  • Exécution du plan (trajectoire) : l'agent a-t-il effectué les étapes de la tâche dans l'ordre attendu ?
  • Commentaires : utilisez des commentaires pour enrichir les commentaires et éclairer la récupération de la mémoire.

Paramètres personnalisés de mise en production pour les traçages

Vous pouvez utiliser la politique AI Trust Layer dans Automation Ops pour configurer la durée de conservation des périodes de traçage en définissant un Délai de mise en production (TTL) personnalisé.

Le délai de durée de vie du traçage définit la fenêtre de rétention des traçages d’exécution dans la couche de confiance AI Trust Layer. Chaque traçage se compose de durées qui enregistrent les étapes d’une interaction d’automatisation ou d’IA. Le paramètre TTL détermine la durée pendant laquelle ces périodes restent disponibles et supprime automatiquement toutes les données antérieures à la durée sélectionnée.

Cette fonctionnalité vous offre un contrôle précis sur la visibilité des traçages, vous permettant d’aligner votre rétention sur vos tâches de confidentialité, de conformité et sur vos exigences opérationnelles.

La stratégie est appliquée au niveau du locataire, ce qui signifie que le TTL configuré s'applique à toutes les étendues et affecte ce que chaque utilisateur du locataire peut afficher.

Dans les paramètres de politique Automation Ops sous la fonctionnalité AI Trust Layer, vous pouvez activer ou désactiver l'application de la TTL :

• Lorsqu'elle est activée : les étendues sont conservées pendant le nombre de jours spécifié dans le champ Jours TTL et automatiquement supprimées une fois qu'elles ont expiré.
• Lorsqu'il est désactivé : les traçages ne sont pas soumis à une politique TTL stricte.

Pour activer et configurer des TTL personnalisés pour les traçages, suivez ces étapes :

1. Accédez à Automation Ops.
2. Si vous n'avez pas encore de politique AI Trust Layer, sélectionnez Ajouter une politique produit – AI Trust Layer. Sinon, ouvrez et modifiez votre politique existante.
3. Sélectionnez Basculement des fonctionnalités.
4. Configurez les champs suivants :
   • Application de la durée de vie pour les données de traçage : lorsqu'il est activé, ce paramètre contrôle la façon dont les périodes restent visibles avant d'être supprimées. Après l'expiration du TTL, toutes les étendues affectées sont définitivement supprimées de l'interface utilisateur.
     • TTL jours : spécifie le nombre de jours pendant lesquels les périodes de traçage sont stockées avant d'être purgées.
   • Données de traçage Insights restreintes : si cette option est activée, toutes les métadonnées non UiPath seront supprimées des données de traçage avant d'être envoyées à Insights. Cela limite les détails disponibles dans Insights et affecte la possibilité d’afficher des métriques détaillées ou agrégées sur la page Agents.

Remarque :

Si des commentaires ou de la mémoire sont ajoutés à une étendue d’un traçage, l’ensemble du traçage est conservé et n’est plus soumis au TTL configuré. Pour permettre au traçage d’être nettoyé, vous devez d’abord supprimer les commentaires ou la mémoire associés.

Implications de gouvernance du traçage

La configuration de TTL personnalisés pour les données de traçage a plusieurs effets importants :

• Données d'analyse : votre configuration TTL détermine la quantité de données de traçage historiques disponibles pour analyse. Une rétention plus courte prend en charge des exigences plus strictes en matière de minimisation des données, tandis qu’une rétention plus longue permet de conserver davantage de contexte d’exécution pour les enquêtes et le dépannage.
• Suppression des données : les étendues sont automatiquement supprimées une fois qu’elles dépassent le TTL configuré. La modification de votre TTL ne restaure pas les données déjà expirées ou restreintes.
• Visibilité : les exécutions d'exécution qui tombent en dehors de la fenêtre TTL n'apparaissent plus dans l'interface utilisateur Traçages ou dans les composants qui reposent sur des données de traçage de couche de vitesse.
• Étendue : le TTL configuré s'applique à toutes les étendues du locataire et affecte la visibilité pour chaque utilisateur.
• Exceptions : certaines fonctionnalités peuvent contourner entièrement le TTL, comme la mémoire de l'agent et les commentaires de traçage. Les données de ces fonctionnalités sont conservées indéfiniment jusqu'à ce qu'une politique de fin de vie dédiée soit définie.