UiPath Documentation
uipath-cli
latest
false
UiPath-CLI-Benutzerhandbuch
Wichtig :
Dieser Inhalt wurde maschinell übersetzt. Es kann 1–2 Wochen dauern, bis die Lokalisierung neu veröffentlichter Inhalte verfügbar ist.

UIP Maestro Flow-Auswertung

Syntax und Optionen für „uip Maestro Flow eval“, das Auswerter, Auswertungssätze und Datenpunkte lokal verwaltet und in Studio Web ausführt.

uip maestro flow eval verwaltet die Auswertungsassets eines Flow-Projekts – Auswerter (Bewertungslogik), Auswertungssätze (benannte Gruppen von Testfällen) und Datenpunkte (einzelne Testfälle innerhalb eines Satzes) – und führt sie remote in Studio Web aus. All dies bearbeitet lokale JSON-Dateien im Flow-Projekt mit Ausnahme von eval runs, das mit Studio Web kommuniziert.

Konzepte​

  • Evaluator – Bewertungslogik (exakte Übereinstimmung, JSON-Ähnlichkeit, Enthält oder ein LLM-Judge), die auf die tatsächliche Ausgabe eines Datenpunkts angewendet wird.
  • Auswertungssatz (Evaluation set) – eine benannte Sammlung von Datenpunkten sowie die Evaluierer, die sie bewerten. Kann auf den gesamten Ablauf oder auf einen Agent-Knoten (--entry-point mit einer Agent-Knoten-ID) beschränkt werden.
  • Datenpunkt – Ein Testfall in einem Satz: Eingaben, optionale erwartete Ausgabe, optionale Kriterien pro Auswerter.
  • Mit der Simulation – eine nachgebildete oder LLM-simulierte Antwort für eine Komponente (einen Knoten oder ein untergeordnetes Tool auf einem Agentenknoten), die an einen bestimmten Datenpunkt angehängt ist – können Sie einen Fluss testen, ohne die echte Abhängigkeit aufzurufen.
  • Jeder lokale Unterbefehl (evaluators, sets, die Verben ohne Datenpunkt, simulations) benötigt --path <path> – ein Flow-Projektverzeichnis oder ein Lösungsverzeichnis mit genau einem Flow-Projekt. Standardmäßig auf ..

Zusammenfassung​

uip maestro flow eval evaluators create <name> --type <type> [--description <text>] [--target-key <key>] [--model <model>] [--prompt <text>] [--path <path>]
uip maestro flow eval evaluators list   [--path <path>] [--limit <n>] [--offset <n>]
uip maestro flow eval evaluators delete <id> [--path <path>]

uip maestro flow eval sets create <name> [--evaluators <refs>] [--entry-point <id>] [--path <path>]
uip maestro flow eval sets list   [--path <path>] [--limit <n>] [--offset <n>]
uip maestro flow eval sets delete <id> [--path <path>]

uip maestro flow eval create <name> --set <name> [--inputs <json>] [--input-file <key=path>]... [--expected <json>] [--criteria <json>] [--search-text <text>] [--path <path>]
uip maestro flow eval list   --set <name> [--path <path>] [--limit <n>] [--offset <n>]
uip maestro flow eval delete <id> --set <name> [--path <path>]

uip maestro flow eval simulations create <component-id> --set <name> --data-point <id> --strategy <Static|Llm> [options...] [--path <path>]
uip maestro flow eval simulations list   --set <name> --data-point <id> [--parent <component-id>] [--path <path>] [--limit <n>] [--offset <n>]
uip maestro flow eval simulations delete <component-id> --set <name> --data-point <id> [--parent <component-id>] [--path <path>]

uip maestro flow eval runs start    --set <name> [--solution-id <id> | --project-id <id>] [--entry-point <entry>] [--folder-key <key>] [--debug-mode <mode>] [--wait [--timeout <seconds>]]
uip maestro flow eval runs status   <evalSetRunId> --set <name> [--solution-id <id> | --project-id <id>]
uip maestro flow eval runs results  <evalSetRunId> --set <name> [--solution-id <id> | --project-id <id>] [--only-failed] [--verbose] [--export-format <json|csv>]
uip maestro flow eval runs list     --set <name> [--solution-id <id> | --project-id <id>] [--limit <n>] [--offset <n>]
uip maestro flow eval runs compare  <evalSetRunId> --compare-to <id> --set <name> [--solution-id <id> | --project-id <id>]
uip maestro flow eval evaluators create <name> --type <type> [--description <text>] [--target-key <key>] [--model <model>] [--prompt <text>] [--path <path>]
uip maestro flow eval evaluators list   [--path <path>] [--limit <n>] [--offset <n>]
uip maestro flow eval evaluators delete <id> [--path <path>]

uip maestro flow eval sets create <name> [--evaluators <refs>] [--entry-point <id>] [--path <path>]
uip maestro flow eval sets list   [--path <path>] [--limit <n>] [--offset <n>]
uip maestro flow eval sets delete <id> [--path <path>]

uip maestro flow eval create <name> --set <name> [--inputs <json>] [--input-file <key=path>]... [--expected <json>] [--criteria <json>] [--search-text <text>] [--path <path>]
uip maestro flow eval list   --set <name> [--path <path>] [--limit <n>] [--offset <n>]
uip maestro flow eval delete <id> --set <name> [--path <path>]

uip maestro flow eval simulations create <component-id> --set <name> --data-point <id> --strategy <Static|Llm> [options...] [--path <path>]
uip maestro flow eval simulations list   --set <name> --data-point <id> [--parent <component-id>] [--path <path>] [--limit <n>] [--offset <n>]
uip maestro flow eval simulations delete <component-id> --set <name> --data-point <id> [--parent <component-id>] [--path <path>]

uip maestro flow eval runs start    --set <name> [--solution-id <id> | --project-id <id>] [--entry-point <entry>] [--folder-key <key>] [--debug-mode <mode>] [--wait [--timeout <seconds>]]
uip maestro flow eval runs status   <evalSetRunId> --set <name> [--solution-id <id> | --project-id <id>]
uip maestro flow eval runs results  <evalSetRunId> --set <name> [--solution-id <id> | --project-id <id>] [--only-failed] [--verbose] [--export-format <json|csv>]
uip maestro flow eval runs list     --set <name> [--solution-id <id> | --project-id <id>] [--limit <n>] [--offset <n>]
uip maestro flow eval runs compare  <evalSetRunId> --compare-to <id> --set <name> [--solution-id <id> | --project-id <id>]

Datenpunkte werden mit den leeren Befehlen eval create, eval list und eval delete verwaltet. Es gibt keine eval evaluation oder eval data-point -Gruppe.

The singular group names evaluator, set, simulation, and run are aliases of evaluators, sets, simulations, and runs. add is an alias of create, and remove is an alias of delete.

Beachten Sie globale Optionen. Austrittscodes folgen dem Standardvertrag. eval runs Unterbefehle erfordern uip login.

Jeder list -Befehl auf dieser Seite verwendet -l, --limit <number> (zurückzugebende Zeilen, 1–10.000) und --offset <number> (zu überspringende Zeilen, 0–1000.000, Standard: 0). Ohne eine der beiden kommt jede Zeile zurück. Bei beiden Optionen enthält die Antwort ein Pagination -Objekt mit:

  • Returned
  • Limit
  • Offset
  • Total
  • HasMore

uip maestro flow eval evaluators​

Auswerter verwalten – die auf Datenpunkte angewendete Bewertungslogik.

uip maestro flow eval evaluators create​

OptionErforderlichBeschreibung
<name> (Argument)jaName des Auswerters.
--type <type>jaEiner von: exact-match, json-similarity, contains, llm-judge-output, llm-judge-strict-json, llm-judge-trajectory, llm-judge-trajectory-simulation.
--description <text>neinAuswerterbeschreibung.
--target-key <key>neinZu bewertender Zielausgabeschlüssel. Standard: * (gesamte Ausgabe).
--model <model>neinLLM-Modell – nur für llm-judge-* -Typen aussagekräftig.
--prompt <text>neinBenutzerdefinierter LLM-Judge-Prompt – nur für llm-judge-* -Typen aussagekräftig.
--path <path>neinFlow-Projektverzeichnis. Der Standardwert ist ..

Datenform: Code: "FlowEvalEvaluatorAdd", Data: { Name, Id, Type, File }.

uip maestro flow eval evaluators list​

Datenform: Code: "FlowEvalEvaluatorList", Data ist ein Array von { Name, Id, Type, TargetKey, File }.

uip maestro flow eval evaluators delete​

Argument: <id> – Auswerter-ID, Name oder Dateibasisname. Datenform: Code: "FlowEvalEvaluatorRemove".

uip maestro flow eval sets​

Verwalten Sie Auswertungssätze.

uip maestro flow eval sets create​

OptionErforderlichBeschreibung
<name> (Argument)jaName des Auswertungssatzes.
--evaluators <refs>neinDurch Kommas getrennte Auswerter-IDs oder Dateibasisnamen. Standard: alle Auswerter im Projekt.
--entry-point <id>neinKnoten-ID aus der .flow -Datei, gespeichert als selectedEntrypoint des Satzes. Übergeben Sie eine Triggerknoten-ID, um den gesamten Fluss von diesem Trigger auszuwerten. Übergeben Sie eine Agent-Knoten-ID, um einen knotenbezogenen Satz zu erstellen, der diesen Agent-Knoten isoliert auswertet. Standard: der Trigger des Flows.
--path <path>neinFlow-Projektverzeichnis.

Datenform: Code: "FlowEvalSetAdd", Data: { Name, Id, Evaluators, File, Scope, TargetNode? } – TargetNode ist nur für einen Satz mit Knoten-Scope vorhanden.

uip maestro flow eval sets list​

Datenform: Code: "FlowEvalSetList", Data ist ein Array von { Name, Id, DataPoints, Evaluators, File, Scope, TargetNode? }.

uip maestro flow eval sets delete​

Argument: <id> – ID, Name oder Dateibasisname festlegen. Datenform: Code: "FlowEvalSetRemove".

UIP Maestro Flow-Auswertung (Datenpunkte)​

Verwalten Sie einzelne Testfälle innerhalb eines Auswertungssatzes. Direkt in eval registriert, nicht unter einer data-point - oder evaluation -Untergruppe.

uip maestro flow eval create​

OptionErforderlichBeschreibung
<name> (Argument)jaDatenpunktname.
--set <name>jaName oder ID des Auswertungssatzes.
--inputs <json>neinGeben Sie Werte als JSON-Objekt ein. Standard: {}.
--input-file <key=path>neinFügen Sie eine Datei als Eingabe <key> an. Wiederholbar. Ein Schlüssel kann nicht sowohl in --inputs als auch in --input-file angezeigt werden. Nicht für knotenbezogene Sätze unterstützt.
--expected <json>neinErwartete Ausgabe als JSON-Objekt.
--criteria <json>neinPro-Auswerter-Kriterien ein JSON-Objekt, das durch die Auswerter-ID verschlüsselt wird.
--search-text <text>neinText durchsuchen für Auswerter vom Typ contains.
--path <path>neinFlow-Projektverzeichnis.

Datenform: Code: "FlowEvalAdd", Data: { Status, Name, Id, Set }.

UIP Maestro Flow-Auswertungsliste​

Erfordert --set <name>. Datenform: Code: "FlowEvalList", Data ist ein Array von { Name, Id, Inputs, Expected, Evaluators } (Inputs/Expected sind stringifizierte JSON; Expected ist "-", wenn es fehlt).

uip maestro flow eval delete​

Argumente: <id> (Datenpunkt-ID oder -Name). Erfordert --set <name>. Datenform: Code: "FlowEvalRemove".

uip maestro flow eval simulations​

Mock oder LLM-Simulation der Antwort einer Komponente für einen Datenpunkt – damit kann ein Datenpunkt einen Fluss ausführen, ohne die echte Abhängigkeit (eine externe API, ein geschachteltes Agententool usw.) zu erreichen.

uip maestro flow eval simulations create​

OptionErforderlichBeschreibung
<component-id> (Argument)jaZu simulierende Komponenten-ID.
--set <name>jaName oder ID des Auswertungssatzes.
--data-point <id>jaDatenpunktname oder -ID.
--strategy <Static|Llm>jaSimulationsstrategie.
--component-type <type>bedingtStandardmäßig auf Node, wenn --parent übergeben wird; andernfalls erforderlich.
--component-description <text>neinKomponentenbeschreibung.
--simulation-instructions <text>erforderlich mit LlmAnweisungen für die LLM-Simulation.
--mock-value <json>erforderlich mit StaticPseudo-Ausgabewert als JSON.
--parent <component-id>neinID der übergeordneten Agentenkomponente. Wenn diese Option festgelegt ist, wird dies als untergeordnete Toolsimulation auf diesem Agentknoten anstelle einer Komponentensimulation auf oberster Ebene hinzugefügt.
--path <path>neinFlow-Projektverzeichnis.

<component-id> must be a node ID from the .flow file or one of its subflows, not a node label. An ID that matches no node fails, and the error suggests the closest matching node IDs when there are any.

Datenform: Code: "FlowEvalSimulationAdd" (oder "FlowEvalChildSimulationAdd", wenn --parent festgelegt ist), Data: { ComponentId, ComponentType, Strategy, DataPoint, Set, Parent? }.

uip maestro flow eval simulations list​

Erfordert --set/--data-point. --parent <component-id> listet untergeordnete Toolsimulationen auf diesem Agent-Knoten anstelle von denen der obersten Ebene auf. Datenform: Code: "FlowEvalSimulationList" (oder "FlowEvalChildSimulationList" mit --parent).

uip maestro flow eval simulations delete​

Argument: <component-id>. Erfordert --set/--data-point; --parent, um eine untergeordnete Simulation anzuvisieren. Datenform: Code: "FlowEvalSimulationRemove".

uip maestro flow eval runs​

Führen Sie einen Auswertungssatz remote in Studio Web aus und überprüfen Sie die Ergebnisse. Jeder Unterbefehl verwendet --set <name> (erforderlich), plus --solution-id <id> oder --project-id <id> zum Anheften des Studio Web-Zielprojekts (standardmäßig aus übergeordnetem .uipx oder SolutionStorage.json lesen) und --path <path>.

uip maestro flow eval runs start​

Zusätzliche Optionen: --entry-point <entry> (eine Triggerknoten-ID aus der .flow -Datei; standardmäßig wird die selectedEntrypoint des Satzes verwendet), --folder-key <key> (Orchestrator-Ordner – verwendet den persönlichen Arbeitsbereich, wenn er weggelassen wird), --debug-mode <mode> (Studio Web-Debugmodus). überschreiben), --wait (Block bis zum Abschluss und Ausgabe der Ergebnisse), --timeout <seconds> (mit --wait).

Ohne --solution-id oder --project-id kompiliert der Befehl das lokale Flow-Projekt und lädt es in Studio Web hoch, bevor er die Ausführung startet, sodass die Ausführung die aktuellen lokalen Dateien verwendet. Mit beiden Optionen wird der Befehl für das Projekt bereits in Studio Web ausgeführt.

uip maestro flow eval runs start --set "Regression Suite" --wait
uip maestro flow eval runs start --set "Regression Suite" --wait

Datenform: Code: "FlowEvalRunStarted", Data: { EvalSetRunId, EvalSetName, DataPoints, Evaluators, Status }. Ohne --wait teilt Instructions Ihnen den genauen eval runs status -Befehl mit, mit dem abgefragt werden soll.

uip maestro flow eval runs status​

Argument: <evalSetRunId>. Datenform: Code: "FlowEvalRunStatus", Data: { EvalSetRunId, Status, Score, Duration, EvaluatorScores } (Score ist "-", wenn noch nicht bewertet).

uip maestro flow eval runs results​

Argument: <evalSetRunId>. Zusätzliche Optionen: --only-failed (Filtern nach fehlgeschlagenen/fehlerhaften Datenpunkten), --verbose (Auswerter-Rechtfertigungen einschließen), --export-format <json|csv> (In Datei schreiben anstatt zu ausgeben). Datenform: Code: "FlowEvalRunResults", Data ist ein Array von Ergebniszeilen pro Datenpunkt.

uip maestro flow eval runs list​

Keine Argumente über die freigegebenen Zieloptionen hinaus. Datenform: Code: "FlowEvalRunList", Data ist ein Array von Zusammenfassungen früherer Ausführungen für den Satz.

uip maestro flow eval runs compare​

Argumente: <evalSetRunId> plus --compare-to <id> (erforderlich) – die zweite Ausführung zur Differenzierung. Datenform: Code: "FlowEvalRunComparison", Data ist eine strukturierte Differenz zwischen den Punktzahlen der beiden Ausführungen und den Ergebnissen pro Datenpunkt.

Siehe auch​

War diese Seite hilfreich?

Verbinden

Benötigen Sie Hilfe? Support(opens in new window)

Möchten Sie lernen? UiPath Academy(opens in new window)

Haben Sie Fragen? UiPath-Forum(opens in new window)

Auf dem neuesten Stand bleiben