Traçages d’agent

À propos des traçages

Les traçages enregistrent en détail toutes les actions qu'effectue un agent lors d'une exécution, y compris les étapes parcourues, les données traitées, les décisions prises et les résultats générés. Chaque traçage capture la chronologie complète du comportement de l'agent, y compris les horodatages, les erreurs, les entrées/sorties et les métadonnées contextuelles. Utilisez des traçages dans les opérations suivantes :

• Débogage et dépannage : identifier exactement où un agent a échoué ou s'est comporté de manière inattendue.
• Analyse des performances : évaluer la latence, les erreurs et le flux des exécutions d'agents pour optimiser le comportement.
• Conformité et audit : maintenir un enregistrement vérifiable de ce que l'agent a fait, quand et comment, essentiel dans le cadre des audits ou des workflows réglementés.
• Amélioration continue : utiliser les éclairages qu'apportent les traçages pour affiner la logique de l'agent, adapter le comportement ou former de nouveaux modèles.

Le tableau suivant décrit les cas d'utilisation courants dans lesquels la visualisation du traçage peut améliorer votre capacité à déboguer, analyser et optimiser le comportement des agents. Chaque exemple met en évidence comment les données de traçage contribuent à obtenir des éclairages et à prendre de meilleures décisions lors du développement et de la surveillance de l'exécution.

Use case	Ce que les traçages vous aident à faire
L'agent échoue lors d'un appel d'outil	Trouver et inspecter l'étape exacte, les entrées, les sorties et les erreurs
Les performances sont médiocres	Utiliser des horodatages pour localiser les goulots d'étranglement
Enquêter sur un pic d'erreurs	Filtrer les exécutions par statut et tracer la tendance
Vérifier un correctif de production	Rejouer l'exécution initiale et confirmer que le problème ne se produit plus
Préparer un rapport d'audit	Exporter ou examiner les traçages qui montrent les chemins de décision et les données traitées

Types de traçages

Les traçages se présentent sous deux types distincts, chacun servant à comprendre et analyser le comportement de l'agent :

• Traçages de fonctionnement de l'agent : ces traçages capturent l'exécution étape par étape d'un agent pendant une exécution active ou programmée. Ils montrent comment l'agent a traité les données, invoqué les outils, géré les conditions et répondu à différents états en temps réel.
• Traçages de test d'évaluation : des traçages d'évaluation sont générés lorsqu'un agent est testé avec des entrées prédéfinies, généralement pendant l'évaluation de modèles, la validation de scénarios ou les scénarios de test. Ces derniers permettent d'évaluer la précision de l'agent, la qualité des décisions et le comportement dans des conditions contrôlées.

Accéder aux traçages

Vous pouvez accéder aux deux types de traçages à partir de deux emplacements clés :

• Agent Builder – Lors de la conception ou du test de votre agent, les traçages sont disponibles directement dans le générateur :
  • Le panneau inférieur s'ouvre automatiquement sur l'onglet Chemin d'exécution lorsque vous exécutez votre agent, affichant les traçages en temps réel de l'exécution actuelle. Vous pouvez également basculer vers l'onglet Historique pour afficher les exécutions passées et les ajouter directement aux ensembles d'évaluation.
  • Les onglets Évaluations et Sortie offrent une autre vue sur les exécutions récentes, où vous pouvez examiner le comportement et les résultats en parallèle de la définition de votre agent.
• Page Instances d'agent - Accédez à la section Agents > Instances. À partir de là, sélectionnez un agent spécifique et toute exécution pour ouvrir l’affichage de son traçage, qui inclut le panneau de traçage visuel et le panneau de journalisation.

Lorsque vous consultez les traçages des exécutions d'agents ou des exécutions d'évaluation, vous obtenez une meilleure visibilité sur l'exécution de l'agent. Vous pouvez :

• Voir les résultats de l'exécution, comme indiqué avec des nœuds codés par couleur : réussite, échec ou réessai.
• Placez la souris sur n'importe quel nœud pour afficher un aperçu : horodatages de début et de fin, statut d'exécution, extraits d'entrée et de sortie.
• Sélectionnez un nœud pour afficher les détails, notamment : les charges utiles JSON complètes, les journaux et les erreurs, les mesures de runtime (consommation de jetons, latence).

Gestion de l’accès aux données de traçage

Cette section explique comment les administrateurs peuvent configurer l’accès aux données de traçage à l’aide du modèle de contrôle d’accès basé sur les rôles.

Pour afficher les journaux de traçage, vous avez besoin des autorisations suivantes :

• Logs.View
• Jobs.View

Pour plus d’informations sur les autorisations des rôles par défaut, consultez la section Rôles par défaut.

La matrice suivante explique les résultats de visibilité en fonction des combinaisons d’autorisations. Ces combinaisons définissent les informations de traçage que vous pouvez afficher en fonction de vos autorisations basées sur vos rôles.

Logs.View	Jobs.View	Accès aux résultats
Activer (Enable)	Activer (Enable)	Tous les attributs
Activer (Enable)	Désactiver (Disable)	Tous les attributs
Désactiver (Disable)	Activer (Enable)	Attributs partiels (par ex., nom, type)
Désactiver (Disable)	Désactiver (Disable)	Aucun accès

Lorsque vous ne disposez pas des autorisations nécessaires pour afficher les données de traçage, un message s’affiche pour indiquer si l’accès est totalement ou partiellement limité et comment demander l’autorisation requise.

Commentaires sur les exécutions d'agents (Aperçu)

Les commentaires constituent un mécanisme essentiel pour l'interprétation et l'amélioration des runtimes de l'agent. Il vous permet d'examiner le comportement, de diagnostiquer les problèmes et de documenter les schémas significatifs dans la façon dont un agent prend des décisions.

Au-delà du débogage, les commentaires servent d'entrée de base à la mémoire périodique basée sur les commentaires, permettant à l'agent d'affiner sa politique de décision progressivement, sans qu'il soit nécessaire de réécrire l'invite complète à chaque ajustement.

La relation entre les commentaires et la mémoire

Bien que les commentaires agissent comme un outil d’annotation, son application la plus puissante influence la mémoire télégraphique.

Fournir des commentaires sur un traçage met en évidence les comportements que l'agent doit répliquer ou éviter lors des exécutions futures.

• Évolution sur la répétition: contrairement aux résolutions statiques, la mémoire basée sur les commentaires permet au comportement de l'agent de s'améliorer au fil du temps. L’agent apprend à reconnaître les modèles marqués comme corrects ou incorrects.
• Amélioration ciblée: cette approche est particulièrement utile dans les flux où l’agent est souvent « tout » ou où la politique de décision est encore en cours d’élaboration.
• Mémoire sélectionnée: tous les commentaires ne deviennent pas automatiquement en mémoire. Vous devez déterminer activement quelles annotations représentent des opportunités d’apprentissage à haute valeur ajoutée afin d’éviter que des commentaires de faible qualité ou incohérents ne dégradent les performances.

Où appliquer les commentaires

Vous pouvez fournir des commentaires sur n'importe quelle étendue d'un traçage d'agent. Cette flexibilité vous permet d’annoter des appels d’outils spécifiques, des vérifications de garde-fous ou des sorties LLM lors de l’examen ou du diagnostic du comportement.

Seuls les commentaires appliqués à la période d'exécution de l'agent sont éligibles à la mémoire périodique. Bien que vous puissiez annoter n’importe quelle partie du traçage à des fins d’analyse, seuls les commentaires associés directement à la période d’exécution de l’agent seront stockés et récupérés sous forme de mémoire dans les futures exécutions.

Quand appliquer les commentaires

Bien que fournir des commentaires sur tous les traçages maximiserait l'apprentissage itératif, en pratique, vous devez vous concentrer sur les traçages qui offrent la plus grande valeur à des fins d'optimisation.

Concentrez-vous sur les scénarios suivants :

• Scénarios critiques: traçages impliquant des décisions à fort impact ou à des erreurs à fort impact.
• Schémas récurrents: les domaines où l'agent éprouve systématiquement des difficultés ou qui présentent des défaillances répétitives.
• Décisions difficiles: les instances où l'agent a été confronté à un choix complexe.
• Sentiment négatif: exécutions qui ont entraîné une mauvaise expérience utilisateur.
• Comportement du modèle: exemples qui illustrent clairement un comportement spécifique que vous souhaitez que l'agent copier ou éviter strictement de copier.

Il est essentiel d’obtenir des commentaires pour une amélioration continue. Elle vous permet d'encoder progressivement les meilleurs comportements, ce qui rend les exécutions de l'agent plus fiables et cohérentes.

• Prioriser les traçages: concentrez-vous sur les traçages des scénarios critiques, des erreurs à fort impact ou des modèles récurrents où l'agent rencontre des difficultés.
• Scénarios à haute valeur ajoutée : hiérarchisez les exécutions qui représentent des décisions difficiles pour l'agent, affichent un sentiment négatif de l'utilisateur ou illustrent clairement un comportement que vous souhaitez copier ou éviter par l'agent.
• Domaines de ciblage: identifiez clairement les éléments sur lesquels vous fournissez des commentaires :
  • Sortie: le résultat final a-t-il respecté les attentes ?
  • Exécution du plan (trajectoire): l’agent a-t-il effectué les étapes de la tâche dans l’ordre attendu ?
  • Commentaires: utilisez des commentaires pour enrichir les commentaires et informer la récupération de la mémoire.