Évaluation du flux uip Maestro

Syntaxe et options pour `uip maestro flow eval`, qui gère les évaluateurs, les ensembles d'évaluation et les points de données localement et les exécute dans Studio Web.

uip maestro flow eval gère les ressources d'évaluation d'un projet Flow - évaluateurs (logique de notation), ensembles d'évaluation (groupes nommés de cas de test) et points de données (cas de test individuels dans un ensemble) - et les exécute à distance dans Studio Web. Tout cela modifie les fichiers JSON locaux dans le projet de flux, à l'exception de eval run, qui traite de Studio Web.

Concepts

• Évaluateur — Logique de notation (correspondance exacte, similarité JSON, contient ou un juge LLM) appliquée à la sortie réelle d'un point de données.
• Ensemble d'évaluation — une collection nommée de points de données plus les évaluateurs qui les notent. Peut être étendu à l'ensemble du flux ou à un nœud d'agent (--entry-point avec un ID de nœud d'agent).
• Point de données — un cas de test dans un ensemble: entrées, sortie attendue facultative, critères par évaluateur facultatifs.
• Simulation — une réponse simulée ou simulée par LLM pour un composant (un nœud ou un outil enfant sur un nœud d'agent), associée à un point de données spécifique — vous permet de tester un flux sans appeler la dépendance réelle.
• Chaque sous-commande locale (evaluator, set, les verbes du point de données barré, simulation) prend --path <path> — un répertoire de projet Flow ou un répertoire de solution avec exactement un projet Flow. La valeur par défaut est ..

Synthèse

uip maestro flow eval evaluator add    <name> --type <type> [--description <text>] [--target-key <key>] [--model <model>] [--prompt <text>] [--path <path>]
uip maestro flow eval evaluator list   [--path <path>]
uip maestro flow eval evaluator remove <id> [--path <path>]

uip maestro flow eval set add    <name> [--evaluators <refs>] [--entry-point <id>] [--path <path>]
uip maestro flow eval set list   [--path <path>]
uip maestro flow eval set remove <id> [--path <path>]

uip maestro flow eval add    <name> --set <name> [--inputs <json>] [--input-file <key=path>]... [--expected <json>] [--criteria <json>] [--search-text <text>] [--path <path>]
uip maestro flow eval list   --set <name> [--path <path>]
uip maestro flow eval remove <id> --set <name> [--path <path>]

uip maestro flow eval simulation add    <component-id> --set <name> --data-point <id> --strategy <Static|Llm> [options...] [--path <path>]
uip maestro flow eval simulation list   --set <name> --data-point <id> [--parent <component-id>] [--path <path>]
uip maestro flow eval simulation remove <component-id> --set <name> --data-point <id> [--parent <component-id>] [--path <path>]

uip maestro flow eval run start    --set <name> [--solution-id <id> | --project-id <id>] [--entry-point <entry>] [--folder-key <key>] [--debug-mode <mode>] [--wait [--timeout <seconds>]]
uip maestro flow eval run status   <evalSetRunId> --set <name> [--solution-id <id> | --project-id <id>]
uip maestro flow eval run results  <evalSetRunId> --set <name> [--only-failed] [--verbose] [--export-format <json|csv>]
uip maestro flow eval run list     --set <name> [--solution-id <id> | --project-id <id>]
uip maestro flow eval run compare  <evalSetRunId> --compare-to <id> --set <name>

Notez l'affectation de noms: les points de données sont gérés avec la barre de eval add/list/remove (non eval evaluation add — il n'y a pas de mot "evaluation" dans le chemin de commande réel, même si la source appelle en interne ce concept " :évaluation).

Les options globales sont respectées. Les codes de sortie suivent le contrat standard. eval run sous-commandes nécessitent uip login.

Évaluateur d’évaluation de flux uip maestro

Gérer les évaluateurs — la logique de notation appliquée aux points de données.

Ajouter un évaluateur d’évaluation de flux UiP Maestro

Option	Requis	Description
<name> (argument)	oui	Nom de l’évaluateur.
--type <type>	oui	L’un des suivants: exact-match, json-similarity, contains, llm-judge-output, llm-judge-strict-json, llm-judge-trajectory, llm-judge-trajectory-simulation.
--description <text>	non	Description de l’évaluateur.
--target-key <key>	non	Clé de sortie cible à noter. Par défaut * (sortie entière).
--model <model>	non	Modèle LLM — significatif uniquement pour les types llm-judge-*.
--prompt <text>	non	Invite de juge LLM personnalisée — significative uniquement pour les types llm-judge-*.
--path <path>	non	Répertoire du projet de flux. Par défaut ..

Format des données: Code: "FlowEvalEvaluatorAdd", Data: { Name, Id, Type, File }

Liste des évaluateurs d’évaluation de flux UIP Maestro

Format des données: Code: "FlowEvalEvaluatorList", Data est un tableau de { Name, Id, Type, TargetKey, File }.

Suppression de l’évaluateur d’évaluation de flux UIP Maestro

Argument: <id> — ID de l'évaluateur, nom ou nom de base du fichier. Format des données: Code: "FlowEvalEvaluatorRemove".

Ensemble d’évaluation de flux UIP Maestro

Gérez les ensembles d'évaluation.

Ajouter un ensemble d'évaluation de flux uip maestro

Option	Requis	Description
<name> (argument)	oui	Nom de l’ensemble d’évaluation.
--evaluators <refs>	non	ID d’évaluateur ou noms de base de fichiers séparés par des virgules. Par défaut: tous les évaluateurs du projet.
--entry-point <id>	non	ID du nœud du point d'entrée, stocké sous la forme du selectedEntrypoint de l'ensemble. La transmission de l'ID d'un nœud d'agent crée un ensemble à l'échelle du nœud qui évalue uniquement cet agent de manière isolée.
--path <path>	non	Répertoire du projet de flux.

Format des données: Code: "FlowEvalSetAdd", Data: { Name, Id, Evaluators, File, Scope, TargetNode? } — TargetNode est présent uniquement pour un ensemble au niveau du nœud.

Liste des ensembles d’évaluation de flux UIP Maestro

Format des données: Code: "FlowEvalSetList", Data est un tableau de { Name, Id, DataPoints, Evaluators, File, Scope, TargetNode? }.

Suppression de l’ensemble d’évaluation des flux UIP Maestro

Argument: <id> — définissez l'ID, le nom ou le nom de base du fichier. Format des données: Code: "FlowEvalSetRemove".

Évaluation des flux uip Maestro (points de données)

Gérez des cas de test individuels au sein d’un ensemble d’évaluation. Enregistré directement sur eval, et non sous un sous-groupe data-point ou evaluation.

Ajouter une évaluation de flux UIP Maestro

Option	Requis	Description
<name> (argument)	oui	Nom du point de données.
--set <name>	oui	Nom ou ID de l’ensemble d’évaluation.
--inputs <json>	non*	Les valeurs d'entrée sous la forme d'un objet JSON.
--input-file <key=path>	non*	Joindre un fichier en tant qu’entrée <key>. Répétable.
--expected <json>	non	Sortie attendue en tant qu'objet JSON.
--criteria <json>	non	Critères d'évaluateur, un objet JSON clés par ID d'évaluateur.
--search-text <text>	non	Rechercher un texte pour les évaluateurs de type contains.
--path <path>	non	Répertoire du projet de flux.

* Au moins un de --inputs/--input-file est requis.

Format des données: Code: "FlowEvalAdd", Data: { Status, Name, Id, Set }

Liste d’évaluation des flux UIP Maestro

Nécessite --set <name>. Format des données: Code: "FlowEvalList", Data est un tableau de { Name, Id, Inputs, Expected, Evaluators } (Inputs/Expected sont des chaînes de caractères JSON; Expected est "-" lorsqu'il est absent).

Suppression de l’évaluation du flux uip Maestro

Arguments: <id> (ID ou nom du point de données). Nécessite --set <name>. Format des données: Code: "FlowEvalRemove".

Simulation d’évaluation de flux uip Maestro

Simulation ou LLM-simule la réponse d'un composant pour un point de données - permet à un point de données d'entraîner un flux sans atteindre la dépendance réelle (une API externe, un outil d'agent imbriqué, etc.).

Ajouter une simulation d’évaluation de flux uip Maestro

Option	Requis	Description
<component-id> (argument)	oui	ID de composant à simuler.
--set <name>	oui	Nom ou ID de l’ensemble d’évaluation.
--data-point <id>	oui	Nom ou ID du point de données.
--strategy <Static|Llm>	oui	Stratégie de simulation.
--component-type <type>	Conditionnel	La valeur par défaut est Node lorsque --parent est défini; dans le cas contraire.
--component-description <text>	non	Description du composant.
--simulation-instructions <text>	requis avec Llm	Instructions de simulation LLM.
--mock-value <json>	requis avec Static	Simulation de la valeur de sortie au format JSON.
--parent <component-id>	non	ID du composant de l'agent parent. Lorsque cette option est définie, elle est ajoutée en tant que simulation d’outil enfant sur ce nœud d’agent au lieu d’une simulation de composant de niveau supérieur.
--path <path>	non	Répertoire du projet de flux.

Format des données: Code: "FlowEvalSimulationAdd" (ou "FlowEvalChildSimulationAdd" lorsque --parent est défini), Data: { ComponentId, ComponentType, Strategy, DataPoint, Set, Parent? }.

Liste des simulations d’évaluation des flux uip Maestro

Nécessite --set/--data-point. --parent <component-id> répertorie les simulations d’outils enfants sur ce nœud d’agent au lieu de ceux de niveau supérieur. Format des données: Code: "FlowEvalSimulationList" (ou "FlowEvalChildSimulationList" avec --parent).

Suppression de la simulation d’évaluation du flux uip Maestro

Argument: <component-id>. Nécessite --set/--data-point; --parent pour cibler une simulation enfant. Format des données: Code: "FlowEvalSimulationRemove".

Exécution de l’évaluation des flux UIP Maestro

Exécutez un ensemble d'évaluation à distance dans Studio Web et inspectez les résultats. Chaque sous-commande prend --set <name> (obligatoire), plus --solution-id <id> ou --project-id <id> pour épingler le projet Studio Web cible (par défaut, lu à partir du parent .uipx ou SolutionStorage.json) et --path <path>.

Début de l’exécution de l’évaluation du flux uip Maestro

Options supplémentaires: --entry-point <entry> (un chemin du point d'entrée du flux comme /Main.bpmn#start, ou un ID de nœud de démarrage), --folder-key <key> (dossier Orchestrator — utilise l'espace de travail personnel s'il est omis), --debug-mode <mode> (remplacer le mode de débogage de Studio Web), --wait (bloquer jusqu'à l'achèvement et imprimer les résultats), --timeout <seconds> (avec --wait).

uip maestro flow eval run start --set "Regression Suite" --wait

Format des données: Code: "FlowEvalRunStarted", Data: { EvalSetRunId, EvalSetName, DataPoints, Evaluators, Status }. Sans --wait, Instructions vous indique la commande eval run status exacte avec laquelle interroger.

Statut d’exécution de l’évaluation du flux UiP Maestro

Argument: <evalSetRunId>. Format des données: Code: "FlowEvalRunStatus", Data: { EvalSetRunId, Status, Score, Duration, EvaluatorScores } (Score est "-" s’il n’est pas encore enregistré).

résultats de l'exécution de l'évaluation des flux uip maestro

Argument: <evalSetRunId>. Options supplémentaires: --only-failed (filtrer sur les points de données ayant échoué/erré), --verbose (inclure les justifications de l’évaluateur), --export-format <json|csv> (écrire dans un fichier au lieu de l’impression). Format des données: Code: "FlowEvalRunResults", Data est un tableau de lignes de résultats par point de données.

Liste d’exécution d’évaluation de flux UIP Maestro

Aucun argument au-delà des options de cible partagées. Format des données: Code: "FlowEvalRunList", Data est un tableau de résumés d’exécutions passées pour l’ensemble.

Comparaison des exécutions d’évaluation de flux uip Maestro

Arguments: <evalSetRunId> plus --compare-to <id> (obligatoire) — la deuxième exécution à comparer. Format des données: Code: "FlowEvalRunComparison", Data est une différence structurée entre les scores des deux exécutions et les résultats par point de données.

Voir également

• uip maestro flow debug — testez un flux de manière interactive, plutôt que d’exécuter un ensemble d’évaluations score
• uip maestro flow init, uip maestro flow node
• Vue d’ensemble du flux
• Options globales, codes de sortie