UIP Maestro Flow-Auswertung

Syntax und Optionen für „uip Maestro Flow eval“, das Auswerter, Auswertungssätze und Datenpunkte lokal verwaltet und in Studio Web ausführt.

uip maestro flow eval verwaltet die Auswertungsassets eines Flow-Projekts – Auswerter (Bewertungslogik), Auswertungssätze (benannte Gruppen von Testfällen) und Datenpunkte (einzelne Testfälle innerhalb eines Satzes) – und führt sie remote in Studio Web aus. All dies bearbeitet lokale JSON-Dateien im Flow-Projekt mit Ausnahme von eval run, das mit Studio Web kommuniziert.

Konzepte

• Evaluator – Bewertungslogik (exakte Übereinstimmung, JSON-Ähnlichkeit, Enthält oder ein LLM-Judge), die auf die tatsächliche Ausgabe eines Datenpunkts angewendet wird.
• Auswertungssatz (Evaluation set) – eine benannte Sammlung von Datenpunkten sowie die Evaluierer, die sie bewerten. Kann auf den gesamten Ablauf oder auf einen Agent-Knoten (--entry-point mit einer Agent-Knoten-ID) beschränkt werden.
• Datenpunkt – Ein Testfall in einem Satz: Eingaben, optionale erwartete Ausgabe, optionale Kriterien pro Auswerter.
• Mit der Simulation – eine nachgebildete oder LLM-simulierte Antwort für eine Komponente (einen Knoten oder ein untergeordnetes Tool auf einem Agentenknoten), die an einen bestimmten Datenpunkt angehängt ist – können Sie einen Fluss testen, ohne die echte Abhängigkeit aufzurufen.
• Jeder lokale Unterbefehl (evaluator, set, die Verben ohne Datenpunkt, simulation) benötigt --path <path> – ein Flow-Projektverzeichnis oder ein Lösungsverzeichnis mit genau einem Flow-Projekt. Standardmäßig auf ..

Zusammenfassung

uip maestro flow eval evaluator add    <name> --type <type> [--description <text>] [--target-key <key>] [--model <model>] [--prompt <text>] [--path <path>]
uip maestro flow eval evaluator list   [--path <path>]
uip maestro flow eval evaluator remove <id> [--path <path>]

uip maestro flow eval set add    <name> [--evaluators <refs>] [--entry-point <id>] [--path <path>]
uip maestro flow eval set list   [--path <path>]
uip maestro flow eval set remove <id> [--path <path>]

uip maestro flow eval add    <name> --set <name> [--inputs <json>] [--input-file <key=path>]... [--expected <json>] [--criteria <json>] [--search-text <text>] [--path <path>]
uip maestro flow eval list   --set <name> [--path <path>]
uip maestro flow eval remove <id> --set <name> [--path <path>]

uip maestro flow eval simulation add    <component-id> --set <name> --data-point <id> --strategy <Static|Llm> [options...] [--path <path>]
uip maestro flow eval simulation list   --set <name> --data-point <id> [--parent <component-id>] [--path <path>]
uip maestro flow eval simulation remove <component-id> --set <name> --data-point <id> [--parent <component-id>] [--path <path>]

uip maestro flow eval run start    --set <name> [--solution-id <id> | --project-id <id>] [--entry-point <entry>] [--folder-key <key>] [--debug-mode <mode>] [--wait [--timeout <seconds>]]
uip maestro flow eval run status   <evalSetRunId> --set <name> [--solution-id <id> | --project-id <id>]
uip maestro flow eval run results  <evalSetRunId> --set <name> [--only-failed] [--verbose] [--export-format <json|csv>]
uip maestro flow eval run list     --set <name> [--solution-id <id> | --project-id <id>]
uip maestro flow eval run compare  <evalSetRunId> --compare-to <id> --set <name>

Beachten Sie die Benennung: Datenpunkte werden mit leeren eval add/list/remove (nicht eval evaluation add) verwaltet – es gibt kein „Auswertung“-Wort im tatsächlichen Befehlspfad, obwohl die Quelle dieses Konzept intern aufruft ;Auswertung").

Beachten Sie globale Optionen. Austrittscodes folgen dem Standardvertrag. eval run Unterbefehle erfordern uip login.

UIP Maestro Flow Evaluierer

Auswerter verwalten – die auf Datenpunkte angewendete Bewertungslogik.

UIP Maestro Flow Evaluierer hinzufügen

Option	Erforderlich	Beschreibung
<name> (Argument)	ja	Name des Auswerters.
--type <type>	ja	Einer von: exact-match, json-similarity, contains, llm-judge-output, llm-judge-strict-json, llm-judge-trajectory, llm-judge-trajectory-simulation.
--description <text>	nein	Auswerterbeschreibung.
--target-key <key>	nein	Zu bewertender Zielausgabeschlüssel. Standard: * (gesamte Ausgabe).
--model <model>	nein	LLM-Modell – nur für llm-judge-* -Typen aussagekräftig.
--prompt <text>	nein	Benutzerdefinierter LLM-Judge-Prompt – nur für llm-judge-* -Typen aussagekräftig.
--path <path>	nein	Flow-Projektverzeichnis. Der Standardwert ist ..

Datenform: Code: "FlowEvalEvaluatorAdd", Data: { Name, Id, Type, File }.

UIP Maestro Flow Evaluiererliste

Datenform: Code: "FlowEvalEvaluatorList", Data ist ein Array von { Name, Id, Type, TargetKey, File }.

Entfernen des UIP Maestro Flow Evaluierers

Argument: <id> – Auswerter-ID, Name oder Dateibasisname. Datenform: Code: "FlowEvalEvaluatorRemove".

UIP Maestro Flow-Auswertungssatz

Verwalten Sie Auswertungssätze.

Hinzufügen des UIP Maestro Flow Evaluierungssatzes

Option	Erforderlich	Beschreibung
<name> (Argument)	ja	Name des Auswertungssatzes.
--evaluators <refs>	nein	Durch Kommas getrennte Auswerter-IDs oder Dateibasisnamen. Standard: alle Auswerter im Projekt.
--entry-point <id>	nein	Einstiegspunktknoten-ID, gespeichert als selectedEntrypoint des Satzes. Durch das Übergeben der ID eines Agentknotens wird ein knotenbezogener Satz erstellt, der nur diesen Agent isoliert auswertet.
--path <path>	nein	Flow-Projektverzeichnis.

Datenform: Code: "FlowEvalSetAdd", Data: { Name, Id, Evaluators, File, Scope, TargetNode? } – TargetNode ist nur für einen Satz mit Knoten-Scope vorhanden.

UIP Maestro Flow-Auswertungssatzliste

Datenform: Code: "FlowEvalSetList", Data ist ein Array von { Name, Id, DataPoints, Evaluators, File, Scope, TargetNode? }.

Entfernen des UIP Maestro Flow Evaluierungssatzes

Argument: <id> – ID, Name oder Dateibasisname festlegen. Datenform: Code: "FlowEvalSetRemove".

UIP Maestro Flow-Auswertung (Datenpunkte)

Verwalten Sie einzelne Testfälle innerhalb eines Auswertungssatzes. Direkt in eval registriert, nicht unter einer data-point - oder evaluation -Untergruppe.

UIP Maestro Flow Evaluierung hinzufügen

Option	Erforderlich	Beschreibung
<name> (Argument)	ja	Datenpunktname.
--set <name>	ja	Name oder ID des Auswertungssatzes.
--inputs <json>	Nein*	Geben Sie Werte als JSON-Objekt ein.
--input-file <key=path>	Nein*	Hängen Sie eine Datei als Eingabe <key> an. Wiederholbar.
--expected <json>	nein	Erwartete Ausgabe als JSON-Objekt.
--criteria <json>	nein	Pro-Auswerter-Kriterien ein JSON-Objekt, das durch die Auswerter-ID verschlüsselt wird.
--search-text <text>	nein	Text durchsuchen für Auswerter vom Typ contains.
--path <path>	nein	Flow-Projektverzeichnis.

* Mindestens eines von --inputs/--input-file ist erforderlich.

Datenform: Code: "FlowEvalAdd", Data: { Status, Name, Id, Set }.

UIP Maestro Flow-Auswertungsliste

Erfordert --set <name>. Datenform: Code: "FlowEvalList", Data ist ein Array von { Name, Id, Inputs, Expected, Evaluators } (Inputs/Expected sind stringifizierte JSON; Expected ist "-", wenn es fehlt).

Entfernen der UIP Maestro Flow Evaluierung

Argumente: <id> (Datenpunkt-ID oder -Name). Erfordert --set <name>. Datenform: Code: "FlowEvalRemove".

UIP Maestro Flow Evaluierungssimulation

Mock oder LLM-Simulation der Antwort einer Komponente für einen Datenpunkt – damit kann ein Datenpunkt einen Fluss ausführen, ohne die echte Abhängigkeit (eine externe API, ein geschachteltes Agententool usw.) zu erreichen.

Hinzufügen der UIP Maestro Flow Evaluierungssimulation

Option	Erforderlich	Beschreibung
<component-id> (Argument)	ja	Zu simulierende Komponenten-ID.
--set <name>	ja	Name oder ID des Auswertungssatzes.
--data-point <id>	ja	Datenpunktname oder -ID.
--strategy <Static|Llm>	ja	Simulationsstrategie.
--component-type <type>	bedingt	Standardmäßig auf Node, wenn --parent übergeben wird; andernfalls erforderlich.
--component-description <text>	nein	Komponentenbeschreibung.
--simulation-instructions <text>	erforderlich mit Llm	Anweisungen für die LLM-Simulation.
--mock-value <json>	erforderlich mit Static	Pseudo-Ausgabewert als JSON.
--parent <component-id>	nein	ID der übergeordneten Agentenkomponente. Wenn diese Option festgelegt ist, wird dies als untergeordnete Toolsimulation auf diesem Agentknoten anstelle einer Komponentensimulation auf oberster Ebene hinzugefügt.
--path <path>	nein	Flow-Projektverzeichnis.

Datenform: Code: "FlowEvalSimulationAdd" (oder "FlowEvalChildSimulationAdd", wenn --parent festgelegt ist), Data: { ComponentId, ComponentType, Strategy, DataPoint, Set, Parent? }.

UIP Maestro Flow Evaluierungssimulationsliste

Erfordert --set/--data-point. --parent <component-id> listet untergeordnete Toolsimulationen auf diesem Agent-Knoten anstelle von denen der obersten Ebene auf. Datenform: Code: "FlowEvalSimulationList" (oder "FlowEvalChildSimulationList" mit --parent).

Entfernen der UIP Maestro Flow Evaluierungssimulation

Argument: <component-id>. Erfordert --set/--data-point; --parent, um eine untergeordnete Simulation anzuvisieren. Datenform: Code: "FlowEvalSimulationRemove".

UIP Maestro Flow-Auswertung

Führen Sie einen Auswertungssatz remote in Studio Web aus und überprüfen Sie die Ergebnisse. Jeder Unterbefehl verwendet --set <name> (erforderlich), plus --solution-id <id> oder --project-id <id> zum Anheften des Studio Web-Zielprojekts (standardmäßig aus übergeordnetem .uipx oder SolutionStorage.json lesen) und --path <path>.

UIP Maestro Flow Evaluierungsausführung starten

Zusätzliche Optionen: --entry-point <entry> (ein Flow-Einstiegspunktpfad wie /Main.bpmn#start oder eine Startknoten-ID), --folder-key <key> (Orchestrator-Ordner – verwendet den persönlichen Arbeitsbereich, wenn er weggelassen wird), --debug-mode <mode> (Studio Web-Debug-Modus überschreiben), --wait (Block bis zum Abschluss und Ausgabe der Ergebnisse), --timeout <seconds> (mit --wait).

uip maestro flow eval run start --set "Regression Suite" --wait

Datenform: Code: "FlowEvalRunStarted", Data: { EvalSetRunId, EvalSetName, DataPoints, Evaluators, Status }. Ohne --wait teilt Instructions Ihnen den genauen eval run status -Befehl mit, mit dem abgefragt werden soll.

Ausführungsstatus der UIP Maestro Flow Evaluierung

Argument: <evalSetRunId>. Datenform: Code: "FlowEvalRunStatus", Data: { EvalSetRunId, Status, Score, Duration, EvaluatorScores } (Score ist "-", wenn noch nicht bewertet).

Ergebnisse der UIP Maestro Flow-Auswertungsausführung

Argument: <evalSetRunId>. Zusätzliche Optionen: --only-failed (Filtern nach fehlgeschlagenen/fehlerhaften Datenpunkten), --verbose (Auswerter-Rechtfertigungen einschließen), --export-format <json|csv> (In Datei schreiben anstatt zu ausgeben). Datenform: Code: "FlowEvalRunResults", Data ist ein Array von Ergebniszeilen pro Datenpunkt.

Ausführungsliste der UIP Maestro Flow-Auswertung

Keine Argumente über die freigegebenen Zieloptionen hinaus. Datenform: Code: "FlowEvalRunList", Data ist ein Array von Zusammenfassungen früherer Ausführungen für den Satz.

Vergleichen Sie UIP Maestro Flow Evaluierungsausführungen

Argumente: <evalSetRunId> plus --compare-to <id> (erforderlich) – die zweite Ausführung zur Differenzierung. Datenform: Code: "FlowEvalRunComparison", Data ist eine strukturierte Differenz zwischen den Punktzahlen der beiden Ausführungen und den Ergebnissen pro Datenpunkt.

Siehe auch

• uip maestro flow debug – Testen Sie einen Fluss interaktiv, im Gegensatz zum Ausführen eines bewerteten Evaluierungssatzes
• uip maestro flow init, uip maestro flow node
• Flow-Übersicht
• Globale Optionen, Beendigungscodes