Traçages d’agent

À propos des traçages

Les traçages enregistrent en détail toutes les actions qu'effectue un agent lors d'une exécution, y compris les étapes parcourues, les données traitées, les décisions prises et les résultats générés. Chaque traçage capture la chronologie complète du comportement de l'agent, y compris les horodatages, les erreurs, les entrées/sorties et les métadonnées contextuelles. Utilisez des traçages dans les opérations suivantes :

• Débogage et dépannage : identifier exactement où un agent a échoué ou s'est comporté de manière inattendue.
• Analyse des performances : évaluer la latence, les erreurs et le flux des exécutions d'agents pour optimiser le comportement.
• Conformité et audit : maintenir un enregistrement vérifiable de ce que l'agent a fait, quand et comment, essentiel dans le cadre des audits ou des workflows réglementés.
• Amélioration continue : utiliser les éclairages qu'apportent les traçages pour affiner la logique de l'agent, adapter le comportement ou former de nouveaux modèles.

Le tableau suivant décrit les cas d'utilisation courants dans lesquels la visualisation du traçage peut améliorer votre capacité à déboguer, analyser et optimiser le comportement des agents. Chaque exemple met en évidence comment les données de traçage contribuent à obtenir des éclairages et à prendre de meilleures décisions lors du développement et de la surveillance de l'exécution.

Use case	Ce que les traçages vous aident à faire
L'agent échoue lors d'un appel d'outil	Trouver et inspecter l'étape exacte, les entrées, les sorties et les erreurs
Les performances sont médiocres	Utiliser des horodatages pour localiser les goulots d'étranglement
Enquêter sur un pic d'erreurs	Filtrer les exécutions par statut et tracer la tendance
Vérifier un correctif de production	Rejouer l'exécution initiale et confirmer que le problème ne se produit plus
Préparer un rapport d'audit	Exporter ou examiner les traçages qui montrent les chemins de décision et les données traitées

Types de traçages

Les traçages se présentent sous deux types distincts, chacun servant à comprendre et analyser le comportement de l'agent :

• Traçages de fonctionnement de l'agent : ces traçages capturent l'exécution étape par étape d'un agent pendant une exécution active ou programmée. Ils montrent comment l'agent a traité les données, invoqué les outils, géré les conditions et répondu à différents états en temps réel.
• Traçages de test d'évaluation : des traçages d'évaluation sont générés lorsqu'un agent est testé avec des entrées prédéfinies, généralement pendant l'évaluation de modèles, la validation de scénarios ou les scénarios de test. Ces derniers permettent d'évaluer la précision de l'agent, la qualité des décisions et le comportement dans des conditions contrôlées.

Accéder aux traçages

Vous pouvez accéder aux deux types de traçages à partir de deux emplacements clés :

• Agent Builder – Lors de la conception ou du test de votre agent, les traçages sont disponibles directement dans le générateur :
  • Le panneau inférieur s'ouvre automatiquement sur l'onglet Chemin d'exécution lorsque vous exécutez votre agent, affichant les traçages en temps réel de l'exécution actuelle. Vous pouvez également basculer vers l'onglet Historique pour afficher les exécutions passées et les ajouter directement aux ensembles d'évaluation.
  • Les onglets Évaluations et Sortie offrent une autre vue sur les exécutions récentes, où vous pouvez examiner le comportement et les résultats en parallèle de la définition de votre agent.
• Page Instances d'agent - Accédez à la section Agents > Instances. À partir de là, sélectionnez un agent spécifique et toute exécution pour ouvrir l’affichage de son traçage, qui inclut le panneau de traçage visuel et le panneau de journalisation.

Lorsque vous consultez les traçages des exécutions d'agents ou des exécutions d'évaluation, vous obtenez une meilleure visibilité sur l'exécution de l'agent. Vous pouvez :

• Voir les résultats de l'exécution, comme indiqué avec des nœuds codés par couleur : réussite, échec ou réessai.
• Placez la souris sur n'importe quel nœud pour afficher un aperçu : horodatages de début et de fin, statut d'exécution, extraits d'entrée et de sortie.
• Sélectionnez un nœud pour afficher les détails, notamment : les charges utiles JSON complètes, les journaux et les erreurs, les mesures de runtime (consommation de jetons, latence).

Gestion de l’accès aux données de traçage

Cette section explique comment les administrateurs peuvent configurer l’accès aux données de traçage à l’aide du modèle de contrôle d’accès basé sur les rôles.

Pour afficher les journaux de traçage, vous avez besoin des autorisations suivantes :

• Logs.View
• Jobs.View

Pour plus d’informations sur les autorisations des rôles par défaut, consultez la section Rôles par défaut.

La matrice suivante explique les résultats de visibilité en fonction des combinaisons d’autorisations. Ces combinaisons définissent les informations de traçage que vous pouvez afficher en fonction de vos autorisations basées sur vos rôles.

Logs.View	Jobs.View	Accès aux résultats
Activer (Enable)	Activer (Enable)	Tous les attributs
Activer (Enable)	Désactiver (Disable)	Tous les attributs
Désactiver (Disable)	Activer (Enable)	Attributs partiels (par ex., nom, type)
Désactiver (Disable)	Désactiver (Disable)	Aucun accès

Lorsque vous ne disposez pas des autorisations nécessaires pour afficher les données de traçage, un message s’affiche pour indiquer si l’accès est totalement ou partiellement limité et comment demander l’autorisation requise.

Commentaires sur les exécutions d'agent (prévisualisation)

Les commentaires sont un mécanisme critique pour interpréter et améliorer les runtimes de l'agent. Ils vous permettent d'examiner le comportement, de diagnostiquer les problèmes et de documenter des modèles significatifs dans la façon dont un agent prend des décisions.

Au-delà du débogage, les commentaires agissent comme l'entrée de base de la mémoire épisodique basée sur les commentaires, permettant à l'agent d'affiner progressivement sa politique de décision sans nécessiter de réécritures d'invite complètes pour chaque ajustement.

La relation entre les commentaires et la mémoire

Bien que les commentaires agissent comme un outil d'annotation, leur application la plus puissante influence la mémoire épisodique.

La fourniture de commentaires sur une trace met en évidence les comportements que l'agent doit répliquer ou éviter dans les exécutions futures.

• Évolution par rapport à la répétition : contrairement aux résolutions statiques, la mémoire basée sur les commentaires permet au comportement de l'agent de s'améliorer au fil du temps.L'agent apprend à reconnaître les modèles marqués comme corrects ou incorrects.
• Amélioration ciblée : cette approche est la plus utile dans les flux où l'agent est fréquemment « presque correct » ou bien où la politique de décision est toujours en cours de développement.
• Mémoire sélective : tous les commentaires ne deviennent pas automatiquement une mémoire.Vous devez déterminer activement quelles annotations représentent des opportunités d'apprentissage de haute valeur pour empêcher des commentaires de faible qualité ou incohérents de dégrader les performances.

Où appliquer les commentaires

Vous pouvez fournir des commentaires sur n'importe quelle plage au sein d'une trace d'agent. Cette flexibilité vous permet d'annoter des appels d'outils spécifiques, des vérifications de garde-fous ou des sorties LLM lors de l'examen ou du diagnostic du comportement.

Seuls les commentaires appliqués à la plage d'exécution de l'agent sont éligibles à la mémoire épisodique. Bien que vous puissiez annoter n'importe quelle partie de la trace pour analyse, seuls les commentaires joints directement à la plage d'exécution de l'agent seront stockés et récupérés en tant que mémoire dans les exécutions futures.

Quand appliquer les commentaires

Bien que la fourniture de commentaires sur toutes les traces maximiserait l'apprentissage itératif, en pratique, vous devez vous concentrer sur les traces qui offrent la plus grande valeur d'optimisation.

Concentrez-vous sur les scénarios suivants :

• Scénarios critiques : traces impliquant des décisions à enjeux élevés ou des erreurs à impact élevé.
• Modèles récurrents : zones dans lesquelles l'agent lutte constamment ou présente des pannes répétitives.
• Décisions difficiles : instances où l'agent était confronté à un choix complexe.
• Sentiment négatif : exécutions qui ont entraîné une mauvaise expérience utilisateur.
• Comportement du modèle : exemples qui illustrent clairement un comportement spécifique que vous souhaitez que l'agent copie strictement ou évite strictement.

L'application des commentaires est cruciale pour l'amélioration continue.Elle vous permet d'encoder de meilleurs comportements de manière incrémentielle, ce qui rend les exécutions de l'agent plus fiables et cohérentes.

• Prioriser les traces : concentrez-vous sur les traces de scénarios critiques, d'erreurs à fort impact ou de modèles récurrents où l'agent lutte.
• Scénarios à haute valeur : priorisez les exécutions qui représentent des décisions difficiles pour l'agent, affichent un sentiment négatif de l'utilisateur ou illustrent clairement un comportement que vous souhaitez que l'agent copie ou évite.
• Domaines de concentration : identifiez clairement ce sur quoi vous fournissez des commentaires :
  • Sortie : le résultat final a-t-il répondu aux attentes ?
  • Exécution du plan (trajectoire) : l'agent a-t-il effectué les étapes de la tâche dans l'ordre attendu ?
  • Commentaires : utilisez des commentaires pour enrichir les commentaires et éclairer la récupération de la mémoire.