Évaluations

Set up evaluations for a workflow: datasets, evaluation targets, and evaluators, then run them and use the results during development.

Les évaluations sont des contrôles qualité automatisés effectués sur la sortie d'un workflow. Les résultats attendus sont regroupés dans un ensemble de données, et chaque exécution est notée par les évaluateurs qui lui sont associés. Les onglets Ensembles de données, Évaluateurs et Exécutions d'évaluation du panneau d'exécution contiennent les trois parties.

Concepts

• Ensemble de données: une collection nommée de points de données qui partagent une cible d'évaluation et un ensemble d'évaluateurs. Un ensemble de données répertorie sa cible d'évaluation, ses évaluateurs et son nombre d'éléments.
• Point de données: un cas unique, constitué des valeurs d'entrée et de la sortie attendue pour ces entrées. Un point de données peut être écrit manuellement ou capturé à partir d'une exécution réelle, comme décrit dans la section Capturer un point de données à partir d'une exécution .
• Évaluateur: une vérification qui compare la sortie réelle à la sortie attendue et produit un score. Un évaluateur booléen signale la réussite ou l’échec.
• Exécution de l'évaluation: une exécution d'un ensemble de données, qui évalue chaque point de données avec les évaluateurs sélectionnés.
• Score: le résultat qu’un évaluateur rapporte pour un point de données.

Cibles d’évaluation

Un ensemble de données a une cible d'évaluation, qui est soit l'ensemble du workflow, soit un nœud unique:

• Ensemble du processus: teste le chemin du début à la fin. C'est la cible recommandée. L'ensemble de données nomme un point d'entrée, un déclencheur tel que Déclencheur manuel, et chaque point de données fournit les entrées du déclencheur et la sortie attendue du workflow.
• Nœud d'agent: teste un nœud d'agent de manière isolée.
• Traitement des documents: évalue un nœud de traitement de documents.

Les cibles de nœud ne sont pas disponibles dans un workflow qui n’a pas de nœuds d’agent ou de nœuds de traitement de document. Un même ensemble de données ne peut pas combiner de cibles.

Évaluateurs

Le bouton Nouvel évaluateur de l'onglet Évaluateurs répertorie les types d'évaluateurs en trois groupes. Chaque type est balisé Flux pour une cible de l'ensemble du workflow, ou Agent pour une cible de nœud d'agent, ou les deux.

Validation de la sortie

Ces évaluateurs comparent exactement la sortie avec la sortie attendue sans modèle d’IA impliqué. Ils prennent en charge l'ensemble du workflow et les cibles de nœud d'agent.

• Contient du texte: transmis lorsque la sortie contient le texte donné.
• Correspondance exacte: transmise lorsque la sortie correspond exactement.
• Similitude JSON: transmis lorsque les structures JSON sont similaires.

Juge LLM

Ces évaluateurs utilisent un grand modèle de langage pour évaluer la sortie par rapport à la sortie attendue. Ils prennent en charge l'ensemble du workflow et les cibles de nœud d'agent.

• LLM-as-a-judge: un modèle d'IA évalue si la sortie correspond sémantiquement à la sortie attendue.
• LLM-as-a-judge Strict JSON: un modèle d’IA évalue une correspondance de structure JSON stricte.
• LLM Trajectoire: un modèle d'IA évalue si l'exécution a suivi le comportement attendu, c'est-à-dire les étapes suivies lors de l'exécution.
• LLM-as-a-judge: un modèle d'IA évalue le chemin de l'exécution simulée.

Appel d’outils

Ces évaluateurs vérifient la façon dont un agent a appelé ses outils. Ils prennent en charge uniquement les cibles de nœud d’agent.

• Arguments d’appel d’outil: vérifie que les outils ont été appelés avec les arguments corrects.
• Nombre d’appels d’outil: vérifie le nombre de fois que chaque outil a été appelé.
• Ordre des appels d’outils: vérifie que les outils ont été appelés dans la bonne séquence.
• Sortie d’appel d’outil: vérifie que les sorties d’outil correspondent aux valeurs attendues.

Création d'un ensemble de données

Le menu Ajouter dans l'onglet Ensembles de données comporte trois entrées: Ajouter un ensemble de données, Importer un ensemble de données et Ajouter un point de données via l'assistant.

Le panneau Ajouter un ensemble de données demande un nom et une description facultative, une cible d'évaluation et, pour une cible de processus entier, le point d'entrée. Il répertorie également les évaluateurs, chacun avec une bascule: Trajectoire du juge LLM, Correspondance exacte et Évaluateur du juge LLM. Une section Simulations par défaut définit les valeurs par défaut que chaque point de données hérite, et un point de données individuel peut les remplacer.

L'assistant Ajouter un point de données pour l'évaluation comporte quatre étapes: Ce qu'il faut évaluer, Entrée du scénario, Simulations et Critères d'évaluation. Les quatre étapes sont les suivantes:

1. Éléments à évaluer: la cible, un nom de point de données facultatif, qui est généré lorsqu'il est laissé vide, et l'ensemble de données auquel ajouter le point de données.
2. Entrée du scénario: l'entrée que le déclencheur envoie dans le workflow, avec un champ pour chaque entrée du déclencheur, dans une vue JSON ou Visual . L'icône en forme d'étoile, Générer avec AI, ouvre une case Instructions , et Générer crée l'entrée à partir des instructions.
3. Simulations: remplacements des sorties des nœuds sélectionnés pendant l'exécution de l'évaluation. Chaque nœud comporte une case à cocher et un type de simulation, tel que Simulation statique, la même option que la simulation de sortie offre sur un nœud, avec les valeurs de sortie qui remplacent la sortie réelle du nœud. L’étape indique que les remplacements utilisent des instructions LLM ou des simulations basées sur des règles.
4. Critères d’évaluation: les évaluateurs activés et la façon dont chacun marque ce point de données. Pour un juge LLM tel que LLM-as-a-judge, un champ de texte décrit le comportement attendu. Une case à cocher Démarrer l'évaluation exécute l'évaluation lorsque le point de données est ajouté.

Configurer un évaluateur

L'onglet Evaluators (Évaluateurs) répertorie les évaluateurs et dispose d'un bouton Nouvel évaluateur . Chaque évaluateur dispose d’un nom, d’une description et d’une clé de sortie cible, qui est * pour toutes les sorties de workflow ou la sortie d’un nœud, par exemple httpRequest1.

• La correspondance exacte dispose d’une bascule Sensible à la casse et d’une bascule Nulé . Lorsqu'elle est invalidée, l'évaluation est validée si les sorties ne correspondent pas. Ses critères d'évaluation par défaut contiennent la sortie attendue, qui est saisie dans une vue JSON ou Visual . Si une clé de sortie cible est définie, la valeur attendue est imbriquée sous cette clé.
• LLM-as-a-judge a un modèle, tel que anthropic.claude-sonnet-5, et une invite qui demande au modèle de noter la similarité de la sortie et d’expliquer la note. Ses paramètres incluent également une section Paramètres avancés .

Exécution d'une évaluation

Le bouton Exécuter l'évaluation ouvre le panneau Configurer l'exécution de l'évaluation . Le panneau demande l'ensemble de données, un filtre facultatif par balises et les évaluateurs à utiliser. Les paramètres d'exécution contiennent un nom d'exécution facultatif, une taille de lot (10 par défaut) et un délai d'expiration (20 minutes par défaut). Enregistrer et exécuter démarre l'exécution.

Cycle de vie du jeu de données

Un ensemble de données est créé autour d'une cible d'évaluation, de points de données et d'évaluateurs. La cible est soit un nœud unique, soit l'ensemble du workflow, saisi via un déclencheur. Chaque point de données fournit des valeurs d'entrée et la sortie attendue, et chaque évaluateur définit la façon dont le résultat de l'exécution est noté.

Lorsqu'un ensemble de données s'exécute, la cible est exécutée pour chaque point de données et les scores par évaluateur apparaissent dans l'onglet Exécutions de l'évaluation .

Capture d'un point de données à partir d'une exécution

Un point de données n'a pas besoin d'être écrit manuellement. La flèche en regard de l'icône Exécuter l'évaluation dans la barre d'outils inférieure ouvre Ajouter un point de données, ce qui démarre le même assistant. Le bouton Ajouter aux évaluations dans les détails d'une exécution de Debug, et l'icône plate sur chaque ligne de la liste Exécutions de Debug , capturent cette exécution et ses entrées et sorties deviennent l'entrée et la sortie attendue du point de données. La capture d'une exécution génère un ensemble de données à partir d'un comportement réel qui a déjà été observé.

Utilisation des évaluations dans le développement

Les évaluations sont particulièrement utiles dans les situations suivantes:

• Un workflow invoque des agents d'IA et la sortie de l'agent doit répondre aux attentes de qualité avant de procéder au déploiement.
• La couverture de la régression est nécessaire: l'exécution d'évaluations après chaque modification confirme que le comportement existant n'a pas été interrompu.
• Deux implémentations alternatives sont comparées en exécutant des évaluations sur deux versions du même workflow.

Résultats de l’évaluation

Les résultats sont stockés dans l'onglet Exécutions d'évaluation , qui affiche « Aucune exécution d'évaluation pour le moment» jusqu'à ce qu'un ensemble de données soit exécuté, et ils peuvent être examinés à tout moment. Chaque exécution est une ligne avec son numéro d'exécution, l'ensemble de données, le statut (par exemple Terminé ou un nombre de progression tel que 0/1 pendant que l'exécution est en cours), le nombre de points de données, le score de chaque évaluateur en tant que pourcentage, l'heure de début et la durée. Un champ de recherche, un filtre et un sélecteur de colonne se trouvent au-dessus de la table, et l'évaluation de l'exécution démarre une nouvelle exécution. La colonne Actions d'une exécution comporte un bouton de lecture, Démarrer une nouvelle exécution à partir de celle-ci et un menu à trois points. Chaque exécution affiche les scores par évaluateur, les résultats des points de données individuels et les valeurs réelles et attendues pour chaque point de données.

Exemple pratique

Un workflow utilise un agent d’IA pour classer les e-mails de l’assistance. Avant le déploiement, un jeu de données avec 10 points de données est configuré:

• 5 e-mails qui doivent être classés comme "billing"
• 3 e-mails qui doivent être classés comme "technical"
• 2 cas limites (e-mails ambigus)

Chaque point de données définit la valeur de sortie classification attendue. Un évaluateur de correspondance exacte sur la classification note chaque résultat et l'exécution d'évaluation affiche les cas dans lesquels l'agent s'est trompé avant que le workflow ne passe en production.

Erreurs courantes

• Exécution d’un ensemble de données une seule fois: les ensembles de données sont plus utiles après chaque modification significative d’un workflow qui invoque un agent d’IA. Le comportement de l'agent peut changer à mesure que les modèles sont mis à jour même si le workflow n'a pas changé.
• Écriture de points de données uniquement pour le cas attendu: les évaluations sont plus utiles pour les cas limites et les modes de défaillance. Les points de données solides incluent les entrées ambiguës, malformées ou à la limite de la plage attendue.
• Traitement d’un score de réussite comme une raison d’arrêter le test: trois points de données de réussite ne sont pas fiables. Des ensembles plus grands, en particulier ceux qui reflètent les entrées de production réelles, offrent une couverture plus forte.

Prochaines étapes

• Simulation de sortie: sorties de nœuds fixes pour les exécutions de débogage.
• Surveiller les exécutions: historique des exécutions et traçage de chaque exécution.
• Nœud de l'agent autonome: le nœud qui exécute un agent d'IA.
• Ajouter un agent d'IA à un workflow: un guide de création qui exécute un agent dans un workflow.
• Community (Communauté): posez des questions et partagez des workflows avec d'autres développeurs sur le forum UiPath.