Évaluation de vos workflows

Les pratiques d'évaluation qui vérifient un workflow et ses agents font ce que vous attendez, avant votre déploiement et après chaque modification.

Un agent d’IA peut répondre différemment à chaque exécution, même avec la même entrée. Les évaluations sont la façon dont vous prouver qu'un workflow fait toujours ce qu'il doit: vous l'exécutez par rapport à des exemples d'entrées avec les résultats que vous attendez, et les évaluateurs notent chacun. Ces pratiques rendent les évaluations valent la peine de leur temps. Les évaluations décrivent comment les configurer.

Commencer par des exécutions réelles

Le moyen le plus rapide de créer un ensemble de données consiste à partir d'exécutions qui se sont déjà produites. Dans le Trace d'exécution d'une exécution de débogage, sélectionnez Ajouter aux évaluations pour transformer l'entrée et la sortie de l'exécution en point de données. Lorsque la sortie était correcte, conservez-la comme résultat attendu. Lorsqu’il est erroné, corrigez-le d’abord.

Testez d’abord l’ensemble du workflow

Un ensemble de données teste soit l'ensemble du workflow, soit un nœud d'agent unique:

• L'ensemble du workflow vérifie ce qu'un utilisateur obtient, du déclencheur à la fin. Démarrer ici.
• Un seul nœud d'agent aide lorsque vous modifiez les instructions ou le modèle de cet agent et souhaitez voir l'effet isolément.

Un ensemble de données de workflow complet commence à partir d'un déclencheur et son point d'entrée est l'ID du nœud du déclencheur, par exemple manualTrigger1 dans Studio Web ou start dans Studio Desktop. Vérifiez l'ID dans l'onglet Avancé du déclencheur.

Choisissez l’évaluateur pour ce que vous vérifiez

Ce que vous souhaitez vérifier	Type d'évaluateur
Une valeur fixe, telle qu’un statut de commande ou une catégorie	Validation de la sortie, telle que Correspondance exacte ou Contient du texte
Indique que la réponse signifie la bonne chose, même lorsque la formulation diffère	juge de modèle LLM (Large Language Model), telle que sortie du juge LLM
Comment l’agent est-il arrivé à ce point, par exemple les outils qu’il a appelés et dans quel ordre	Trajectoire du juge LLM ou des évaluateurs d’appel d’outil

Les vérifications fixes sont moins chères et donnent toujours le même score, alors utilisez-les lorsque le résultat attendu est exact. Utilisez un juge LLM où plusieurs réponses peuvent être correctes.

Couvrir plus que l'incident attendu

• Ajoutez des cas limites et des échecs. Incluez les entrées qui doivent être rejetées, celles incomplètes et inhabituelles. C'est là que les agents se trompent.
• Utilisez des données réelles et non des espaces réservés. Une vérification qui transmet le texte de l’espace réservé ne possède rien, car l’agent n’a jamais reçu d’entrée réelle.
• Testez à la plus grande taille que vous autorisez. Incluez l’entrée la plus importante que le workflow doit accepter, et pas uniquement l’entrée standard.

Exécutez-les au bon moment

• Avant de procéder au déploiement. Maintenez la version jusqu'à ce que les évaluations soient terminées.
• Après chaque modification apportée aux instructions d'un agent, à son modèle ou à ses outils. Une modification qui améliore un cas peut en altérer un autre.

Prochaines étapes

• Évaluations: ensemble de données, évaluateurs et exécutions d'évaluation.
• Simulation de sortie: remplacez la sortie d'un nœud par des exemples de données dans une exécution de débogage.
• Bases du débogage: lisez une exécution et trouvez ce qui ne va pas.
• Community (Communauté): posez des questions et partagez des workflows avec d'autres développeurs sur le forum UiPath.