- Überblick
- Erste Schritte
- Konzepte
- Verwenden der UiPath CLI
- Anleitungen
- CI/CD-Rezepte
- Befehlsreferenz
- Überblick
- Exitcodes
- Globale Optionen
- UIP-codierter Agent
- UIP-Coded
- UIP-Kontextgrundlage
- UIP-Dokumentation
- UIP-Funktion
- UIP-Leitplanken
- uip llm-configuration
- uip llm-gateway
- UIP Maestro-Erstellung
- UIP Maestro-Registrierung
- UIP-Modellhub
- Aktivitäten finden
- get-standard-xaml
- Analysieren
- Analyseregeln-Liste
- Erstellen
- Bereinigung
- data-fabric-entities installieren
- data-fabric-entities-Liste
- Dateien differenzieren
- Get-Library-Object-Repository
- Get-Object-Repository
- Init
- Instanzenliste
- Packen
- Pakete überprüfen
- Pakete installieren
- Paketversionen
- Veröffentlichen
- Remote
- restore
- Ausführen, Debuggen & Ausführung enthält
- Einstellungen
- Studio-Start
- Vorlagensuche
- Testdaten-Add-Entität
- Testdaten-Warteschlange hinzufügen
- Testdaten-Hinzufügevariante
- TM
- UIA
- Überprüfen
- Workflow-Beispiele abrufen
- Workflow-Beispiele
- UIP-Aufgaben
- Anhang
- benutzerdefiniertes Feld
- Defects
- Ausführungen
- Exportaufträge
- Migration
- Objektbeschriftung
- Packen
- perf-szenario
- Perf-Szenario-Lastgruppen
- Ausführungsdaten für perf-szenario
- Perf-Szenario-Bericht
- Projekt
- Projektberechtigungen
- Aufforderungen
- Melden
- Anforderungen
- Ergebnis
- Ausführen
- Zeitpläne
- scopes
- Testfallprotokoll
- Testfälle
- Testsätze
- Testschrittprotokoll
- Benutzer
- Warten
- UIP-Ablaufverfolgungen
- Feedback zu UIP-Ablaufverfolgungen
- Migration
- Referenz und Support
UIP Maestro Flow-Auswertung
Syntax und Optionen für „uip Maestro Flow eval“, das Auswerter, Auswertungssätze und Datenpunkte lokal verwaltet und in Studio Web ausführt.
uip maestro flow eval verwaltet die Auswertungsassets eines Flow-Projekts – Auswerter (Bewertungslogik), Auswertungssätze (benannte Gruppen von Testfällen) und Datenpunkte (einzelne Testfälle innerhalb eines Satzes) – und führt sie remote in Studio Web aus. All dies bearbeitet lokale JSON-Dateien im Flow-Projekt mit Ausnahme von eval runs, das mit Studio Web kommuniziert.
Konzepte
- Evaluator – Bewertungslogik (exakte Übereinstimmung, JSON-Ähnlichkeit, Enthält oder ein LLM-Judge), die auf die tatsächliche Ausgabe eines Datenpunkts angewendet wird.
- Auswertungssatz (Evaluation set) – eine benannte Sammlung von Datenpunkten sowie die Evaluierer, die sie bewerten. Kann auf den gesamten Ablauf oder auf einen Agent-Knoten (
--entry-pointmit einer Agent-Knoten-ID) beschränkt werden. - Datenpunkt – Ein Testfall in einem Satz: Eingaben, optionale erwartete Ausgabe, optionale Kriterien pro Auswerter.
- Mit der Simulation – eine nachgebildete oder LLM-simulierte Antwort für eine Komponente (einen Knoten oder ein untergeordnetes Tool auf einem Agentenknoten), die an einen bestimmten Datenpunkt angehängt ist – können Sie einen Fluss testen, ohne die echte Abhängigkeit aufzurufen.
- Jeder lokale Unterbefehl (
evaluators,sets, die Verben ohne Datenpunkt,simulations) benötigt--path <path>– ein Flow-Projektverzeichnis oder ein Lösungsverzeichnis mit genau einem Flow-Projekt. Standardmäßig auf..
Zusammenfassung
uip maestro flow eval evaluators create <name> --type <type> [--description <text>] [--target-key <key>] [--model <model>] [--prompt <text>] [--path <path>]
uip maestro flow eval evaluators list [--path <path>] [--limit <n>] [--offset <n>]
uip maestro flow eval evaluators delete <id> [--path <path>]
uip maestro flow eval sets create <name> [--evaluators <refs>] [--entry-point <id>] [--path <path>]
uip maestro flow eval sets list [--path <path>] [--limit <n>] [--offset <n>]
uip maestro flow eval sets delete <id> [--path <path>]
uip maestro flow eval create <name> --set <name> [--inputs <json>] [--input-file <key=path>]... [--expected <json>] [--criteria <json>] [--search-text <text>] [--path <path>]
uip maestro flow eval list --set <name> [--path <path>] [--limit <n>] [--offset <n>]
uip maestro flow eval delete <id> --set <name> [--path <path>]
uip maestro flow eval simulations create <component-id> --set <name> --data-point <id> --strategy <Static|Llm> [options...] [--path <path>]
uip maestro flow eval simulations list --set <name> --data-point <id> [--parent <component-id>] [--path <path>] [--limit <n>] [--offset <n>]
uip maestro flow eval simulations delete <component-id> --set <name> --data-point <id> [--parent <component-id>] [--path <path>]
uip maestro flow eval runs start --set <name> [--solution-id <id> | --project-id <id>] [--entry-point <entry>] [--folder-key <key>] [--debug-mode <mode>] [--wait [--timeout <seconds>]]
uip maestro flow eval runs status <evalSetRunId> --set <name> [--solution-id <id> | --project-id <id>]
uip maestro flow eval runs results <evalSetRunId> --set <name> [--solution-id <id> | --project-id <id>] [--only-failed] [--verbose] [--export-format <json|csv>]
uip maestro flow eval runs list --set <name> [--solution-id <id> | --project-id <id>] [--limit <n>] [--offset <n>]
uip maestro flow eval runs compare <evalSetRunId> --compare-to <id> --set <name> [--solution-id <id> | --project-id <id>]
uip maestro flow eval evaluators create <name> --type <type> [--description <text>] [--target-key <key>] [--model <model>] [--prompt <text>] [--path <path>]
uip maestro flow eval evaluators list [--path <path>] [--limit <n>] [--offset <n>]
uip maestro flow eval evaluators delete <id> [--path <path>]
uip maestro flow eval sets create <name> [--evaluators <refs>] [--entry-point <id>] [--path <path>]
uip maestro flow eval sets list [--path <path>] [--limit <n>] [--offset <n>]
uip maestro flow eval sets delete <id> [--path <path>]
uip maestro flow eval create <name> --set <name> [--inputs <json>] [--input-file <key=path>]... [--expected <json>] [--criteria <json>] [--search-text <text>] [--path <path>]
uip maestro flow eval list --set <name> [--path <path>] [--limit <n>] [--offset <n>]
uip maestro flow eval delete <id> --set <name> [--path <path>]
uip maestro flow eval simulations create <component-id> --set <name> --data-point <id> --strategy <Static|Llm> [options...] [--path <path>]
uip maestro flow eval simulations list --set <name> --data-point <id> [--parent <component-id>] [--path <path>] [--limit <n>] [--offset <n>]
uip maestro flow eval simulations delete <component-id> --set <name> --data-point <id> [--parent <component-id>] [--path <path>]
uip maestro flow eval runs start --set <name> [--solution-id <id> | --project-id <id>] [--entry-point <entry>] [--folder-key <key>] [--debug-mode <mode>] [--wait [--timeout <seconds>]]
uip maestro flow eval runs status <evalSetRunId> --set <name> [--solution-id <id> | --project-id <id>]
uip maestro flow eval runs results <evalSetRunId> --set <name> [--solution-id <id> | --project-id <id>] [--only-failed] [--verbose] [--export-format <json|csv>]
uip maestro flow eval runs list --set <name> [--solution-id <id> | --project-id <id>] [--limit <n>] [--offset <n>]
uip maestro flow eval runs compare <evalSetRunId> --compare-to <id> --set <name> [--solution-id <id> | --project-id <id>]
Datenpunkte werden mit den leeren Befehlen eval create, eval list und eval delete verwaltet. Es gibt keine eval evaluation oder eval data-point -Gruppe.
The singular group names evaluator, set, simulation, and run are aliases of evaluators, sets, simulations, and runs. add is an alias of create, and remove is an alias of delete.
Beachten Sie globale Optionen. Austrittscodes folgen dem Standardvertrag. eval runs Unterbefehle erfordern uip login.
Jeder list -Befehl auf dieser Seite verwendet -l, --limit <number> (zurückzugebende Zeilen, 1–10.000) und --offset <number> (zu überspringende Zeilen, 0–1000.000, Standard: 0). Ohne eine der beiden kommt jede Zeile zurück. Bei beiden Optionen enthält die Antwort ein Pagination -Objekt mit:
ReturnedLimitOffsetTotalHasMore
uip maestro flow eval evaluators
Auswerter verwalten – die auf Datenpunkte angewendete Bewertungslogik.
uip maestro flow eval evaluators create
| Option | Erforderlich | Beschreibung |
|---|---|---|
<name> (Argument) | ja | Name des Auswerters. |
--type <type> | ja | Einer von: exact-match, json-similarity, contains, llm-judge-output, llm-judge-strict-json, llm-judge-trajectory, llm-judge-trajectory-simulation. |
--description <text> | nein | Auswerterbeschreibung. |
--target-key <key> | nein | Zu bewertender Zielausgabeschlüssel. Standard: * (gesamte Ausgabe). |
--model <model> | nein | LLM-Modell – nur für llm-judge-* -Typen aussagekräftig. |
--prompt <text> | nein | Benutzerdefinierter LLM-Judge-Prompt – nur für llm-judge-* -Typen aussagekräftig. |
--path <path> | nein | Flow-Projektverzeichnis. Der Standardwert ist .. |
Datenform: Code: "FlowEvalEvaluatorAdd", Data: { Name, Id, Type, File }.
uip maestro flow eval evaluators list
Datenform: Code: "FlowEvalEvaluatorList", Data ist ein Array von { Name, Id, Type, TargetKey, File }.
uip maestro flow eval evaluators delete
Argument: <id> – Auswerter-ID, Name oder Dateibasisname. Datenform: Code: "FlowEvalEvaluatorRemove".
uip maestro flow eval sets
Verwalten Sie Auswertungssätze.
uip maestro flow eval sets create
| Option | Erforderlich | Beschreibung |
|---|---|---|
<name> (Argument) | ja | Name des Auswertungssatzes. |
--evaluators <refs> | nein | Durch Kommas getrennte Auswerter-IDs oder Dateibasisnamen. Standard: alle Auswerter im Projekt. |
--entry-point <id> | nein | Knoten-ID aus der .flow -Datei, gespeichert als selectedEntrypoint des Satzes. Übergeben Sie eine Triggerknoten-ID, um den gesamten Fluss von diesem Trigger auszuwerten. Übergeben Sie eine Agent-Knoten-ID, um einen knotenbezogenen Satz zu erstellen, der diesen Agent-Knoten isoliert auswertet. Standard: der Trigger des Flows. |
--path <path> | nein | Flow-Projektverzeichnis. |
Datenform: Code: "FlowEvalSetAdd", Data: { Name, Id, Evaluators, File, Scope, TargetNode? } – TargetNode ist nur für einen Satz mit Knoten-Scope vorhanden.
uip maestro flow eval sets list
Datenform: Code: "FlowEvalSetList", Data ist ein Array von { Name, Id, DataPoints, Evaluators, File, Scope, TargetNode? }.
uip maestro flow eval sets delete
Argument: <id> – ID, Name oder Dateibasisname festlegen. Datenform: Code: "FlowEvalSetRemove".
UIP Maestro Flow-Auswertung (Datenpunkte)
Verwalten Sie einzelne Testfälle innerhalb eines Auswertungssatzes. Direkt in eval registriert, nicht unter einer data-point - oder evaluation -Untergruppe.
uip maestro flow eval create
| Option | Erforderlich | Beschreibung |
|---|---|---|
<name> (Argument) | ja | Datenpunktname. |
--set <name> | ja | Name oder ID des Auswertungssatzes. |
--inputs <json> | nein | Geben Sie Werte als JSON-Objekt ein. Standard: {}. |
--input-file <key=path> | nein | Fügen Sie eine Datei als Eingabe <key> an. Wiederholbar. Ein Schlüssel kann nicht sowohl in --inputs als auch in --input-file angezeigt werden. Nicht für knotenbezogene Sätze unterstützt. |
--expected <json> | nein | Erwartete Ausgabe als JSON-Objekt. |
--criteria <json> | nein | Pro-Auswerter-Kriterien ein JSON-Objekt, das durch die Auswerter-ID verschlüsselt wird. |
--search-text <text> | nein | Text durchsuchen für Auswerter vom Typ contains. |
--path <path> | nein | Flow-Projektverzeichnis. |
Datenform: Code: "FlowEvalAdd", Data: { Status, Name, Id, Set }.
UIP Maestro Flow-Auswertungsliste
Erfordert --set <name>. Datenform: Code: "FlowEvalList", Data ist ein Array von { Name, Id, Inputs, Expected, Evaluators } (Inputs/Expected sind stringifizierte JSON; Expected ist "-", wenn es fehlt).
uip maestro flow eval delete
Argumente: <id> (Datenpunkt-ID oder -Name). Erfordert --set <name>. Datenform: Code: "FlowEvalRemove".
uip maestro flow eval simulations
Mock oder LLM-Simulation der Antwort einer Komponente für einen Datenpunkt – damit kann ein Datenpunkt einen Fluss ausführen, ohne die echte Abhängigkeit (eine externe API, ein geschachteltes Agententool usw.) zu erreichen.
uip maestro flow eval simulations create
| Option | Erforderlich | Beschreibung |
|---|---|---|
<component-id> (Argument) | ja | Zu simulierende Komponenten-ID. |
--set <name> | ja | Name oder ID des Auswertungssatzes. |
--data-point <id> | ja | Datenpunktname oder -ID. |
--strategy <Static|Llm> | ja | Simulationsstrategie. |
--component-type <type> | bedingt | Standardmäßig auf Node, wenn --parent übergeben wird; andernfalls erforderlich. |
--component-description <text> | nein | Komponentenbeschreibung. |
--simulation-instructions <text> | erforderlich mit Llm | Anweisungen für die LLM-Simulation. |
--mock-value <json> | erforderlich mit Static | Pseudo-Ausgabewert als JSON. |
--parent <component-id> | nein | ID der übergeordneten Agentenkomponente. Wenn diese Option festgelegt ist, wird dies als untergeordnete Toolsimulation auf diesem Agentknoten anstelle einer Komponentensimulation auf oberster Ebene hinzugefügt. |
--path <path> | nein | Flow-Projektverzeichnis. |
<component-id> must be a node ID from the .flow file or one of its subflows, not a node label. An ID that matches no node fails, and the error suggests the closest matching node IDs when there are any.
Datenform: Code: "FlowEvalSimulationAdd" (oder "FlowEvalChildSimulationAdd", wenn --parent festgelegt ist), Data: { ComponentId, ComponentType, Strategy, DataPoint, Set, Parent? }.
uip maestro flow eval simulations list
Erfordert --set/--data-point. --parent <component-id> listet untergeordnete Toolsimulationen auf diesem Agent-Knoten anstelle von denen der obersten Ebene auf. Datenform: Code: "FlowEvalSimulationList" (oder "FlowEvalChildSimulationList" mit --parent).
uip maestro flow eval simulations delete
Argument: <component-id>. Erfordert --set/--data-point; --parent, um eine untergeordnete Simulation anzuvisieren. Datenform: Code: "FlowEvalSimulationRemove".
uip maestro flow eval runs
Führen Sie einen Auswertungssatz remote in Studio Web aus und überprüfen Sie die Ergebnisse. Jeder Unterbefehl verwendet --set <name> (erforderlich), plus --solution-id <id> oder --project-id <id> zum Anheften des Studio Web-Zielprojekts (standardmäßig aus übergeordnetem .uipx oder SolutionStorage.json lesen) und --path <path>.
uip maestro flow eval runs start
Zusätzliche Optionen: --entry-point <entry> (eine Triggerknoten-ID aus der .flow -Datei; standardmäßig wird die selectedEntrypoint des Satzes verwendet), --folder-key <key> (Orchestrator-Ordner – verwendet den persönlichen Arbeitsbereich, wenn er weggelassen wird), --debug-mode <mode> (Studio Web-Debugmodus). überschreiben), --wait (Block bis zum Abschluss und Ausgabe der Ergebnisse), --timeout <seconds> (mit --wait).
Ohne --solution-id oder --project-id kompiliert der Befehl das lokale Flow-Projekt und lädt es in Studio Web hoch, bevor er die Ausführung startet, sodass die Ausführung die aktuellen lokalen Dateien verwendet. Mit beiden Optionen wird der Befehl für das Projekt bereits in Studio Web ausgeführt.
uip maestro flow eval runs start --set "Regression Suite" --wait
uip maestro flow eval runs start --set "Regression Suite" --wait
Datenform: Code: "FlowEvalRunStarted", Data: { EvalSetRunId, EvalSetName, DataPoints, Evaluators, Status }. Ohne --wait teilt Instructions Ihnen den genauen eval runs status -Befehl mit, mit dem abgefragt werden soll.
uip maestro flow eval runs status
Argument: <evalSetRunId>. Datenform: Code: "FlowEvalRunStatus", Data: { EvalSetRunId, Status, Score, Duration, EvaluatorScores } (Score ist "-", wenn noch nicht bewertet).
uip maestro flow eval runs results
Argument: <evalSetRunId>. Zusätzliche Optionen: --only-failed (Filtern nach fehlgeschlagenen/fehlerhaften Datenpunkten), --verbose (Auswerter-Rechtfertigungen einschließen), --export-format <json|csv> (In Datei schreiben anstatt zu ausgeben). Datenform: Code: "FlowEvalRunResults", Data ist ein Array von Ergebniszeilen pro Datenpunkt.
uip maestro flow eval runs list
Keine Argumente über die freigegebenen Zieloptionen hinaus. Datenform: Code: "FlowEvalRunList", Data ist ein Array von Zusammenfassungen früherer Ausführungen für den Satz.
uip maestro flow eval runs compare
Argumente: <evalSetRunId> plus --compare-to <id> (erforderlich) – die zweite Ausführung zur Differenzierung. Datenform: Code: "FlowEvalRunComparison", Data ist eine strukturierte Differenz zwischen den Punktzahlen der beiden Ausführungen und den Ergebnissen pro Datenpunkt.
Siehe auch
uip maestro flow debug– Testen Sie einen Fluss interaktiv, im Gegensatz zum Ausführen eines bewerteten Evaluierungssatzesuip maestro flow init,uip maestro flow nodes- Flow-Übersicht
- Globale Optionen, Beendigungscodes
- Konzepte
- Zusammenfassung
- uip maestro flow eval evaluators
- uip maestro flow eval evaluators create
- uip maestro flow eval evaluators list
- uip maestro flow eval evaluators delete
- uip maestro flow eval sets
- uip maestro flow eval sets create
- uip maestro flow eval sets list
- uip maestro flow eval sets delete
- UIP Maestro Flow-Auswertung (Datenpunkte)
- uip maestro flow eval create
- UIP Maestro Flow-Auswertungsliste
- uip maestro flow eval delete
- uip maestro flow eval simulations
- uip maestro flow eval simulations create
- uip maestro flow eval simulations list
- uip maestro flow eval simulations delete
- uip maestro flow eval runs
- uip maestro flow eval runs start
- uip maestro flow eval runs status
- uip maestro flow eval runs results
- uip maestro flow eval runs list
- uip maestro flow eval runs compare
- Siehe auch