Gestion des évaluations de runtime (aperçu)

Validez les agents déployés par rapport à des ensembles de données à la demande ou selon un calendrier récurrent.

Un agent qui a réussi ses tests au moment de la conception peut toujours échouer en production. Les modèles sont mis à jour, les entrées dérivent et les outils appelés par votre agent changent sans avertissement. Si vous évaluez uniquement avant l'expédition, vos utilisateurs sont ceux qui trouvent ces échecs.

Les évaluations de runtime s'exécutent par rapport à l'agent déployé lui-même, de sorte que les résultats reflètent ce qui est en production, et non une copie lors de la conception. Exécutez-les après chaque modification et selon un calendrier pour détecter les régressions avant vos utilisateurs.

Pour évaluer un agent pendant que vous le créez toujours, voir Évaluations.

Évaluer ce que l’agent a fait, pas seulement la sortie

Un agent peut renvoyer la bonne réponse par le mauvais chemin: il appelle un outil qu'il ne devait pas avoir, ignore une étape qu'il était censée suivre ou effectue trois boucles avant d'y accéder. Une vérification de la sortie finale ne détectera rien de cela et, en production, ce sont les échecs qui vous coûtent.

Chaque point de données est noté par les évaluateurs liés à son ensemble de données. Vous ajoutez des évaluateurs dans la vue Évaluateurs . Elles se présentent dans trois catégories, et chacune détecte un type d'échec différent, alors combinez-en plus d'une.

Les évaluateurs de validation de sortie effectuent des vérifications déterministes. Elles sont peu chères et donnent le même résultat à chaque fois.

• Contient du texte: transmet lorsque la sortie contient le texte que vous spécifiez.
• Exact match (Correspondance exacte): réussit lorsque la sortie correspond exactement à la sortie attendue.
• Similitude JSON: transmis lorsque la structure JSON de la sortie est similaire à celle attendue.

Les évaluateurs de juge LLM utilisent un LLM pour noter l'exécution, de sorte qu'ils acceptent les réponses qui sont correctes mais formulées différemment.

• Sortie d'évaluation LLM: évalue si la sortie correspond à la sortie attendue au niveau de signification. L' évaluateur de juge LLM par défaut utilise ce type.
• LLM-as-a-judge Strict JSON: évalue si la sortie correspond strictement à la structure JSON attendue.
• LLM Trajectoire du juge: évalue si l'exécution a suivi le comportement attendu. Vous ne pouvez pas encore l’utiliser dans les exécutions planifiées.
• Simulation LLM-as-a-judge: évalue le chemin d'exécution d'une exécution qui utilise des composants simulés.

Les évaluateurs d’appel d’outil vérifient comment l’agent a utilisé ses outils.

• Arguments d’appel d’outil: vérifie que l’agent a appelé les outils avec les arguments corrects.
• Nombre d'appels d'outil: vérifie le nombre de fois que l'agent a appelé chaque outil.
• Ordre des appels d'outils: vérifie que l'agent a appelé les outils dans la séquence attendue.
• Sortie d'appel d'outil: vérifie que les sorties de l'outil correspondent aux valeurs attendues.

Chaque résultat d'évaluateur s'accompagne d'un score et d'une trace d'exécution complète, afin que vous puissiez voir où une exécution a échoué. Les évaluateurs de juge LLM expliquent également leur score avec une justification. Traitez les résultats comme une liste de choses à faire pour améliorer votre agent: exportez vos exécutions et utilisez les compétences CLI pour les analyser. Par exemple, vous pouvez:

• Classez les défaillances qui comptent le plus afin de résoudre les problèmes ayant le plus d’impact.
• Vérifiez si vos ensembles de données couvrent chaque instruction dans l’invite de l’agent et ajoutez des points de données pour ceux qui sont manquants.
• Trouvez des cas d’utilisation que votre agent gère en production que vos ensembles de données ne testent pas encore.

Créer des ensembles de données à partir d'un trafic réel

Un ensemble de données est un ensemble de points de données. Chacune contient les entrées que vous envoyez à l'agent et la sortie que vous attendez en retour. Vous pouvez écrire des points de données manuellement, mais ce n'est pas nécessaire. Il existe trois autres sources, et les exécutions de production sont les plus représentatives, car elles incluent des entrées que vous ne pensez pas tester:

• Exécutions de production. Les exécutions terminées de votre agent déployé peuvent entrer directement dans un ensemble de données. Les échecs et les cas limites impairs méritent d’être ajoutés en premier, car ce sont les cas à éviter. Voir Ajouter une exécution de production à un ensemble de données.
• Exemples générés. Utilisez les compétences CLI pour générer des points de données lorsque vous avez besoin d’une couverture que l’agent n’a pas encore vu. Voir Agents dans le guide Agents de codage.
• Vos équipes métier. Utilisez les compétences CLI afin d’importer des cas de test (JSON ou CSV) à partir de personnes qui connaissent une réponse correcte. Pour les tâches comportant beaucoup de jugement, elles doivent définir la sortie, la trajectoire ou les chemins d’escalade attendus.

Avant de vous fier à un point de données, examinez sa sortie attendue. Le formulaire de point de données correspond aux schémas d'entrée et de sortie attendus de votre agent et vous avertit lorsque la sortie attendue ne correspond pas aux clés de la sortie de l'agent.

Simuler des outils avec des effets secondaires

Une exécution d'évaluation envoie chaque point de données à votre agent déployé. Si les outils de l'agent sont actifs, l'exécution les déclenche: elle envoie l'e-mail, écrit l'enregistrement et crée l'escalade qu'un humain doit gérer. Si vous ne souhaitez pas ces effets en aval dans la production, simulez chaque outil et escalade qui modifie quelque chose en dehors de l’agent. Cela inclut les étapes d'intervention humaine, de sorte qu'une évaluation ne met pas le travail dans la file d'attente d'une personne.

Chaque composant simulé commence par son schéma de sortie rempli. Vous pouvez la simuler de deux manières:

• Simulation statique. Le composant renvoie la même réponse à chaque exécution, par exemple une étape HITL qui approuve toujours ou un outil qui renvoie toujours la même sortie. Les simulations sont précises et bon marché, utilisez-les chaque fois qu'une réponse fixe suffit.
• Réponse générée. Vous décrivez la réponse que vous souhaitez que l'agent puisse voir et une nouvelle est générée à chaque exécution de l'évaluation. Utilisez cette option lorsque l’agent doit gérer des réponses variées.

S’exécuter à chaque modification et selon une planification

Vous pouvez démarrer une exécution d'évaluation à la demande ou à partir d'une planification.

• À la demande: exécutez vos ensembles de données après chaque modification apportée à un élément dont dépend l'agent, comme le modèle, l'invite, un outil ou un système connecté, pour détecter une régression avant qu'elle ne se propage. Utilisez les mêmes ensembles de données au moment de la conception et au moment de l’exécution, et exécutez-les d’abord au moment de la conception.
• Selon un calendrier: une exécution récurrente détecte la dérive. La fréquence appropriée dépend de la vitesse de modification de vos entrées et de vos dépendances. Un agent à volume élevé qui touche à la modification des systèmes a besoin d'une cadence plus étroit que celui qui ne le fait pas.

Planifier une évaluation

Une planification exécute un ensemble de données complet. Pour en créer un:

1. Sous Gestion des instances d'agent, sélectionnez Agents.
2. Sélectionnez l'agent déployé.
3. Sélectionnez l'onglet Évaluations .
4. Dans la vue Planifications , sélectionnez Nouvelle planification.
5. Définissez la date de début et la date de fin. Les heures sont affichées dans votre fuseau horaire local.
6. Définissez la récurrence, c'est-à-dire la fréquence d'exécution de l'ensemble de données.
7. Choisissez l'ensemble de données à exécuter. Le premier ensemble de données de l'agent est sélectionné par défaut.
8. Enregistrez la planification.

Chaque exécution planifiée utilise l'ensemble de données tel qu'il se trouve au début de l'exécution. Si vous ajoutez, modifiez ou supprimez des points de données, l'exécution suivante récupère automatiquement les modifications, vous n'avez donc pas besoin de replanifier.

Après avoir créé une planification, vous pouvez la suspendre et la reprendre, modifier sa fréquence d'exécution ou la supprimer. La vue Planifications répertorie uniquement les planifications dans le dossier de l'agent déployé.

Lire les résultats

Ouvrez une exécution dans la vue Exécutions d'évaluation pour voir:

• Le statut de l’exécution et le score global
• Combien de points de données transmis
• Le statut et le score de chaque point de données

Un score global vous indique si quelque chose a changé. Il ne vous indique pas quoi. La sélection d'un point de données affiche:

• Justification: pourquoi l'évaluateur a attribué ce score.
• Entrée, Sortie attendue et Sortie attendue et réelle: les valeurs du point de données, à côté de ce que l'agent a réellement produit.
• Traçage: ce que l'agent a fait pendant l'exécution. Le traçage commence à la période d'exécution de l'ensemble d'évaluation et inclut l'exécution de l'agent, la sortie de l'agent et une période d'évaluation pour chaque évaluateur.

Lorsque le score d’un point de données diminue, l’agent est incorrect, ou bien la sortie attendue l’est. Si l’agent se trompe, il s’agit d’une régression. Si la sortie attendue est incorrecte, le point de données doit être corrigé afin que l’ensemble de données reste fiable.

Où se trouvent les évaluations de runtime

Ouvrez le registre des agents > Agents et sélectionnez un agent déployé. Son onglet Évaluations a quatre vues:

Consultation (View)	À quoi elle sert
Jeux de données	Créez et gérez les points de données, et consultez les évaluateurs liés à chaque ensemble de données et la dernière mise à jour.
Évaluateurs	Choisissez le mode de notation de chaque point de données. Si votre agent n’en a aucun, des évaluateurs par défaut sont créés et l’ensemble de données par défaut est lié uniquement à l’ évaluateur de LLM-as-a-judge.
Exécutions d’évaluation	Examinez les exécutions passées, y compris les scores et les traçages.
Planifications (Schedules)	Exécutez les ensembles de données de manière récurrente.

Ce que vous pouvez faire dans l'onglet Évaluations dépend de vos autorisations dans le dossier de l'agent déployé. Sans eux, les actions de modification et d'exécution sont masquées ou indisponibles, et l'onglet est en lecture seule.

Les évaluations de runtime sont stockées séparément du package d'agent. Vous pouvez modifier les ensembles de données, les points de données et les évaluateurs sans republier l’agent. Les fichiers associés aux points de données se trouvent dans les compartiments de stockage Orchestrator et vous les gérez à partir de l'onglet Évaluations , et non de la page Compartiments d'Orchestrator.

Ajouter une exécution de production à un ensemble de données

Vous pouvez transformer une exécution terminée de votre agent déployé en point de données. La sortie de l'exécution devient la sortie attendue du point de données; vérifiez donc qu'elle est correcte avant de l'ajouter. Une mauvaise réponse enregistrée ici devient la réponse par rapport à laquelle les exécutions futures seront notées.

Avant de commencer

• Créez au moins un ensemble de données dans la vue Ensembles de données de l'onglet Évaluations .
• Assurez-vous que l’agent a au moins une exécution terminée.

Étapes

1. Sous Gestion des instances d'agent, sélectionnez Agents.
2. Sélectionnez l'agent déployé.
3. Sélectionnez l'onglet Examiner l'exécution .
4. Dans la ligne de l'exécution, sélectionnez l'icône dans la colonne Ajouter à l'ensemble de données . Si la boîte de dialogue de commentaires de l'exécution est ouverte, sélectionnez Ajouter à l'ensemble de données à la place.
5. Dans Jeu de données, choisissez un jeu de données. Le premier est sélectionné par défaut.
6. Vous pouvez éventuellement indiquer un nom de point de données. Si vous laissez ce champ vide, le point de données sera nommé après la trace, par exemple Trace 083869d6.
7. Vérifiez les valeurs d'entrée et de sortie attendue .
8. Sélectionnez Ajouter un point de données.

Un message de confirmation nomme l'ensemble de données et le point de données y apparaît sous l'onglet Évaluations .

Limitations

• Les exécutions planifiées ne prennent pas encore en charge l’évaluateur de trajectoire de LLM-as-a-judge .
• Les évaluations en ligne ne sont pas disponibles.
• Les évaluations du runtime Maestro ne sont pas disponibles.