- Introduction
- Commencer avec les agents UiPath
- Premiers pas avec les agents UiPath utilisant LangGraph
- Créer un agent low-code dans Studio Web
- Ajouter des outils à votre agent UiPath
- Premiers pas avec UiPath Maestro Flow
Évaluer l'agent
Exécutez les traçages d'évaluation localement et examinez les résultats entrant dans Studio Web.
Étape 8 - Créer des tests d’évaluation
Les évaluations testent les performances de votre agent sur une gamme d'entrées, y compris s'il appelle votre nouvel outil au moment approprié. La compétence uipath-agents inclut la référence complète du cadre d’évaluation: types d’évaluateurs, schéma d’ensemble d’évaluation, conventions de structure d’annuaire et meilleures pratiques telles que l’utilisation de gpt-4.1 (non mini) pour les évaluateurs de juge LLM. Votre agent de codage l'utilise pour produire des configurations d'évaluateur et des ensembles de test corrects à partir d'une courte invite.
Demandez à votre agent de codage:
Create an evaluation set for the intake classifier agent with 5 test cases:
1. A clearly trivial request (e.g., deliver a letter) - no creature named, get_challenge_rating should not be called
2. A standard request (e.g., escort a caravan) - no creature named, get_challenge_rating should not be called
3. A heroic request naming a goblin (e.g., clear a goblin stronghold) - get_challenge_rating should be called exactly once, querying for a goblin, and no other creature
4. A legendary request naming a dragon (e.g., slay a dragon) - get_challenge_rating should be called exactly once, querying for a dragon, and no other creature
5. An edge case that's ambiguous on difficulty but also names no specific creature - get_challenge_rating should not be called; this tests that the agent doesn't over-call the tool just because a case is hard to classify
Use both a semantic similarity evaluator (to check the output) and a trajectory evaluator (to check whether get_challenge_rating was called, and with what search term, matching the expectations above).
Include evaluator config files in evaluations/evaluators/ and the eval set, named smoke-test.json, in evaluations/eval-sets/. Use gpt-4.1-2025-04-14 as the model in the evaluator configs. Each evaluator config must include a populated defaultEvaluationCriteria - use {"expectedOutput": {}} for the semantic evaluator and {"expectedAgentBehavior": ""} for the trajectory evaluator. Empty {} fails schema validation.
Create an evaluation set for the intake classifier agent with 5 test cases:
1. A clearly trivial request (e.g., deliver a letter) - no creature named, get_challenge_rating should not be called
2. A standard request (e.g., escort a caravan) - no creature named, get_challenge_rating should not be called
3. A heroic request naming a goblin (e.g., clear a goblin stronghold) - get_challenge_rating should be called exactly once, querying for a goblin, and no other creature
4. A legendary request naming a dragon (e.g., slay a dragon) - get_challenge_rating should be called exactly once, querying for a dragon, and no other creature
5. An edge case that's ambiguous on difficulty but also names no specific creature - get_challenge_rating should not be called; this tests that the agent doesn't over-call the tool just because a case is hard to classify
Use both a semantic similarity evaluator (to check the output) and a trajectory evaluator (to check whether get_challenge_rating was called, and with what search term, matching the expectations above).
Include evaluator config files in evaluations/evaluators/ and the eval set, named smoke-test.json, in evaluations/eval-sets/. Use gpt-4.1-2025-04-14 as the model in the evaluator configs. Each evaluator config must include a populated defaultEvaluationCriteria - use {"expectedOutput": {}} for the semantic evaluator and {"expectedAgentBehavior": ""} for the trajectory evaluator. Empty {} fails schema validation.
Étape 9 - Exécuter les évaluations
Exécutez l'ensemble d'évaluation localement:
uip codedagent eval agent evaluations/eval-sets/smoke-test.json --workers 3 --output-file eval-results.json
uip codedagent eval agent evaluations/eval-sets/smoke-test.json --workers 3 --output-file eval-results.json
Le cadre d'évaluation exécute chaque cas de test via votre agent et donne un score aux résultats.
| Score | Ce qu'il mesure |
|---|---|
| Similitude sémantique | La proximité de la sortie de l’agent avec la sortie attendue |
| Trajectoire de l'agent | Indique si l’agent a appelé get_challenge_rating quand (et uniquement quand) il doit avoir |
La trajectoire signifie désormais quelque chose ici. Avec l’outil en place, attendez-vous à des scores de trajectoire proches de 1,0 dans les cinq cas: aucun appel d’outil dans les cas trivias, standard et ambigus, et exactement un appel d’outil correctement ciblé dans les cas Gobin et robot. Un score faible vous indique que l'agent a appelé l'outil alors qu'il n'aurait pas dû le faire, a ignoré un appel qu'il aurait dû effectuer ou a recherché la mauvaise création, et pas seulement si le niveau final est correct.
Pour la similarité sémantique, les scores supérieurs à 0,8 sont généralement solides; attendez-vous à la même chose pour la trajectoire maintenant qu’elle suit quelque chose de spécifique. Examinez eval-results.json pour voir comment votre agent a fonctionné.
Après vous être connecté à Studio Web lors de l'étape suivante, l'exécution de uip codedagent eval run depuis la CLI charge automatiquement les résultats dans Studio Web; elles apparaissent dans l'onglet Ensembles d'évaluation sous Exécutions.
Le bouton Exécuter les évaluations de Studio Web n’est pas identique. Ce bouton déclenche une exécution de robot cloud nécessitant une prise en charge du runtime Python — une configuration plus impliquée en dehors du champ d'application de ce laboratoire. Utilisez uip codedagent eval run à partir de la CLI à la place; les résultats apparaissent dans Studio Web dans l'une ou l'autre des cas.
Les résultats de l'évaluation locale ayant été confirmés, vous êtes prêt à connecter le projet à Studio Web dans la section suivante.