UiPath Documentation
uipath-cli
latest
false
UiPath-CLI-Benutzerhandbuch
Wichtig :
Dieser Inhalt wurde maschinell übersetzt. Es kann 1–2 Wochen dauern, bis die Lokalisierung neu veröffentlichter Inhalte verfügbar ist.

UIP Maestro Flow-Auswertung

Syntax und Optionen für „uip Maestro Flow eval“, das Auswerter, Auswertungssätze und Datenpunkte lokal verwaltet und in Studio Web ausführt.

uip maestro flow eval verwaltet die Auswertungsassets eines Flow-Projekts – Auswerter (Bewertungslogik), Auswertungssätze (benannte Gruppen von Testfällen) und Datenpunkte (einzelne Testfälle innerhalb eines Satzes) – und führt sie remote in Studio Web aus. All dies bearbeitet lokale JSON-Dateien im Flow-Projekt mit Ausnahme von eval run, das mit Studio Web kommuniziert.

Konzepte​

  • Evaluator – Bewertungslogik (exakte Übereinstimmung, JSON-Ähnlichkeit, Enthält oder ein LLM-Judge), die auf die tatsächliche Ausgabe eines Datenpunkts angewendet wird.
  • Auswertungssatz (Evaluation set) – eine benannte Sammlung von Datenpunkten sowie die Evaluierer, die sie bewerten. Kann auf den gesamten Ablauf oder auf einen Agent-Knoten (--entry-point mit einer Agent-Knoten-ID) beschränkt werden.
  • Datenpunkt – Ein Testfall in einem Satz: Eingaben, optionale erwartete Ausgabe, optionale Kriterien pro Auswerter.
  • Mit der Simulation – eine nachgebildete oder LLM-simulierte Antwort für eine Komponente (einen Knoten oder ein untergeordnetes Tool auf einem Agentenknoten), die an einen bestimmten Datenpunkt angehängt ist – können Sie einen Fluss testen, ohne die echte Abhängigkeit aufzurufen.
  • Jeder lokale Unterbefehl (evaluator, set, die Verben ohne Datenpunkt, simulation) benötigt --path <path> – ein Flow-Projektverzeichnis oder ein Lösungsverzeichnis mit genau einem Flow-Projekt. Standardmäßig auf ..

Zusammenfassung​

uip maestro flow eval evaluator add    <name> --type <type> [--description <text>] [--target-key <key>] [--model <model>] [--prompt <text>] [--path <path>]
uip maestro flow eval evaluator list   [--path <path>] [--limit <n>] [--offset <n>]
uip maestro flow eval evaluator remove <id> [--path <path>]

uip maestro flow eval set add    <name> [--evaluators <refs>] [--entry-point <id>] [--path <path>]
uip maestro flow eval set list   [--path <path>] [--limit <n>] [--offset <n>]
uip maestro flow eval set remove <id> [--path <path>]

uip maestro flow eval add    <name> --set <name> [--inputs <json>] [--input-file <key=path>]... [--expected <json>] [--criteria <json>] [--search-text <text>] [--path <path>]
uip maestro flow eval list   --set <name> [--path <path>] [--limit <n>] [--offset <n>]
uip maestro flow eval remove <id> --set <name> [--path <path>]

uip maestro flow eval simulation add    <component-id> --set <name> --data-point <id> --strategy <Static|Llm> [options...] [--path <path>]
uip maestro flow eval simulation list   --set <name> --data-point <id> [--parent <component-id>] [--path <path>] [--limit <n>] [--offset <n>]
uip maestro flow eval simulation remove <component-id> --set <name> --data-point <id> [--parent <component-id>] [--path <path>]

uip maestro flow eval run start    --set <name> [--solution-id <id> | --project-id <id>] [--entry-point <entry>] [--folder-key <key>] [--debug-mode <mode>] [--wait [--timeout <seconds>]]
uip maestro flow eval run status   <evalSetRunId> --set <name> [--solution-id <id> | --project-id <id>]
uip maestro flow eval run results  <evalSetRunId> --set <name> [--solution-id <id> | --project-id <id>] [--only-failed] [--verbose] [--export-format <json|csv>]
uip maestro flow eval run list     --set <name> [--solution-id <id> | --project-id <id>] [--limit <n>] [--offset <n>]
uip maestro flow eval run compare  <evalSetRunId> --compare-to <id> --set <name> [--solution-id <id> | --project-id <id>]
uip maestro flow eval evaluator add    <name> --type <type> [--description <text>] [--target-key <key>] [--model <model>] [--prompt <text>] [--path <path>]
uip maestro flow eval evaluator list   [--path <path>] [--limit <n>] [--offset <n>]
uip maestro flow eval evaluator remove <id> [--path <path>]

uip maestro flow eval set add    <name> [--evaluators <refs>] [--entry-point <id>] [--path <path>]
uip maestro flow eval set list   [--path <path>] [--limit <n>] [--offset <n>]
uip maestro flow eval set remove <id> [--path <path>]

uip maestro flow eval add    <name> --set <name> [--inputs <json>] [--input-file <key=path>]... [--expected <json>] [--criteria <json>] [--search-text <text>] [--path <path>]
uip maestro flow eval list   --set <name> [--path <path>] [--limit <n>] [--offset <n>]
uip maestro flow eval remove <id> --set <name> [--path <path>]

uip maestro flow eval simulation add    <component-id> --set <name> --data-point <id> --strategy <Static|Llm> [options...] [--path <path>]
uip maestro flow eval simulation list   --set <name> --data-point <id> [--parent <component-id>] [--path <path>] [--limit <n>] [--offset <n>]
uip maestro flow eval simulation remove <component-id> --set <name> --data-point <id> [--parent <component-id>] [--path <path>]

uip maestro flow eval run start    --set <name> [--solution-id <id> | --project-id <id>] [--entry-point <entry>] [--folder-key <key>] [--debug-mode <mode>] [--wait [--timeout <seconds>]]
uip maestro flow eval run status   <evalSetRunId> --set <name> [--solution-id <id> | --project-id <id>]
uip maestro flow eval run results  <evalSetRunId> --set <name> [--solution-id <id> | --project-id <id>] [--only-failed] [--verbose] [--export-format <json|csv>]
uip maestro flow eval run list     --set <name> [--solution-id <id> | --project-id <id>] [--limit <n>] [--offset <n>]
uip maestro flow eval run compare  <evalSetRunId> --compare-to <id> --set <name> [--solution-id <id> | --project-id <id>]

Datenpunkte werden mit den leeren Befehlen eval add, eval list und eval remove verwaltet. Es gibt keine eval evaluation oder eval data-point -Gruppe.

Beachten Sie globale Optionen. Austrittscodes folgen dem Standardvertrag. eval run Unterbefehle erfordern uip login.

Jeder list -Befehl auf dieser Seite verwendet -l, --limit <number> (zurückzugebende Zeilen, 1–10.000) und --offset <number> (zu überspringende Zeilen, 0–1000.000, Standard: 0). Ohne eine der beiden kommt jede Zeile zurück. Bei beiden Optionen enthält die Antwort ein Pagination -Objekt mit:

  • Returned
  • Limit
  • Offset
  • Total
  • HasMore

UIP Maestro Flow Evaluierer​

Auswerter verwalten – die auf Datenpunkte angewendete Bewertungslogik.

UIP Maestro Flow Evaluierer hinzufügen​

OptionErforderlichBeschreibung
<name> (Argument)jaName des Auswerters.
--type <type>jaEiner von: exact-match, json-similarity, contains, llm-judge-output, llm-judge-strict-json, llm-judge-trajectory, llm-judge-trajectory-simulation.
--description <text>neinAuswerterbeschreibung.
--target-key <key>neinZu bewertender Zielausgabeschlüssel. Standard: * (gesamte Ausgabe).
--model <model>neinLLM-Modell – nur für llm-judge-* -Typen aussagekräftig.
--prompt <text>neinBenutzerdefinierter LLM-Judge-Prompt – nur für llm-judge-* -Typen aussagekräftig.
--path <path>neinFlow-Projektverzeichnis. Der Standardwert ist ..

Datenform: Code: "FlowEvalEvaluatorAdd", Data: { Name, Id, Type, File }.

UIP Maestro Flow Evaluiererliste​

Datenform: Code: "FlowEvalEvaluatorList", Data ist ein Array von { Name, Id, Type, TargetKey, File }.

Entfernen des UIP Maestro Flow Evaluierers​

Argument: <id> – Auswerter-ID, Name oder Dateibasisname. Datenform: Code: "FlowEvalEvaluatorRemove".

UIP Maestro Flow-Auswertungssatz​

Verwalten Sie Auswertungssätze.

Hinzufügen des UIP Maestro Flow Evaluierungssatzes​

OptionErforderlichBeschreibung
<name> (Argument)jaName des Auswertungssatzes.
--evaluators <refs>neinDurch Kommas getrennte Auswerter-IDs oder Dateibasisnamen. Standard: alle Auswerter im Projekt.
--entry-point <id>neinKnoten-ID aus der .flow -Datei, gespeichert als selectedEntrypoint des Satzes. Übergeben Sie eine Triggerknoten-ID, um den gesamten Fluss von diesem Trigger auszuwerten. Übergeben Sie eine Agent-Knoten-ID, um einen knotenbezogenen Satz zu erstellen, der diesen Agent-Knoten isoliert auswertet. Standard: der Trigger des Flows.
--path <path>neinFlow-Projektverzeichnis.

Datenform: Code: "FlowEvalSetAdd", Data: { Name, Id, Evaluators, File, Scope, TargetNode? } – TargetNode ist nur für einen Satz mit Knoten-Scope vorhanden.

UIP Maestro Flow-Auswertungssatzliste​

Datenform: Code: "FlowEvalSetList", Data ist ein Array von { Name, Id, DataPoints, Evaluators, File, Scope, TargetNode? }.

Entfernen des UIP Maestro Flow Evaluierungssatzes​

Argument: <id> – ID, Name oder Dateibasisname festlegen. Datenform: Code: "FlowEvalSetRemove".

UIP Maestro Flow-Auswertung (Datenpunkte)​

Verwalten Sie einzelne Testfälle innerhalb eines Auswertungssatzes. Direkt in eval registriert, nicht unter einer data-point - oder evaluation -Untergruppe.

UIP Maestro Flow Evaluierung hinzufügen​

OptionErforderlichBeschreibung
<name> (Argument)jaDatenpunktname.
--set <name>jaName oder ID des Auswertungssatzes.
--inputs <json>neinGeben Sie Werte als JSON-Objekt ein. Standard: {}.
--input-file <key=path>neinFügen Sie eine Datei als Eingabe <key> an. Wiederholbar. Ein Schlüssel kann nicht sowohl in --inputs als auch in --input-file angezeigt werden. Nicht für knotenbezogene Sätze unterstützt.
--expected <json>neinErwartete Ausgabe als JSON-Objekt.
--criteria <json>neinPro-Auswerter-Kriterien ein JSON-Objekt, das durch die Auswerter-ID verschlüsselt wird.
--search-text <text>neinText durchsuchen für Auswerter vom Typ contains.
--path <path>neinFlow-Projektverzeichnis.

Datenform: Code: "FlowEvalAdd", Data: { Status, Name, Id, Set }.

UIP Maestro Flow-Auswertungsliste​

Erfordert --set <name>. Datenform: Code: "FlowEvalList", Data ist ein Array von { Name, Id, Inputs, Expected, Evaluators } (Inputs/Expected sind stringifizierte JSON; Expected ist "-", wenn es fehlt).

Entfernen der UIP Maestro Flow Evaluierung​

Argumente: <id> (Datenpunkt-ID oder -Name). Erfordert --set <name>. Datenform: Code: "FlowEvalRemove".

UIP Maestro Flow Evaluierungssimulation​

Mock oder LLM-Simulation der Antwort einer Komponente für einen Datenpunkt – damit kann ein Datenpunkt einen Fluss ausführen, ohne die echte Abhängigkeit (eine externe API, ein geschachteltes Agententool usw.) zu erreichen.

Hinzufügen der UIP Maestro Flow Evaluierungssimulation​

OptionErforderlichBeschreibung
<component-id> (Argument)jaZu simulierende Komponenten-ID.
--set <name>jaName oder ID des Auswertungssatzes.
--data-point <id>jaDatenpunktname oder -ID.
--strategy <Static|Llm>jaSimulationsstrategie.
--component-type <type>bedingtStandardmäßig auf Node, wenn --parent übergeben wird; andernfalls erforderlich.
--component-description <text>neinKomponentenbeschreibung.
--simulation-instructions <text>erforderlich mit LlmAnweisungen für die LLM-Simulation.
--mock-value <json>erforderlich mit StaticPseudo-Ausgabewert als JSON.
--parent <component-id>neinID der übergeordneten Agentenkomponente. Wenn diese Option festgelegt ist, wird dies als untergeordnete Toolsimulation auf diesem Agentknoten anstelle einer Komponentensimulation auf oberster Ebene hinzugefügt.
--path <path>neinFlow-Projektverzeichnis.

Datenform: Code: "FlowEvalSimulationAdd" (oder "FlowEvalChildSimulationAdd", wenn --parent festgelegt ist), Data: { ComponentId, ComponentType, Strategy, DataPoint, Set, Parent? }.

UIP Maestro Flow Evaluierungssimulationsliste​

Erfordert --set/--data-point. --parent <component-id> listet untergeordnete Toolsimulationen auf diesem Agent-Knoten anstelle von denen der obersten Ebene auf. Datenform: Code: "FlowEvalSimulationList" (oder "FlowEvalChildSimulationList" mit --parent).

Entfernen der UIP Maestro Flow Evaluierungssimulation​

Argument: <component-id>. Erfordert --set/--data-point; --parent, um eine untergeordnete Simulation anzuvisieren. Datenform: Code: "FlowEvalSimulationRemove".

UIP Maestro Flow-Auswertung​

Führen Sie einen Auswertungssatz remote in Studio Web aus und überprüfen Sie die Ergebnisse. Jeder Unterbefehl verwendet --set <name> (erforderlich), plus --solution-id <id> oder --project-id <id> zum Anheften des Studio Web-Zielprojekts (standardmäßig aus übergeordnetem .uipx oder SolutionStorage.json lesen) und --path <path>.

UIP Maestro Flow Evaluierungsausführung starten​

Zusätzliche Optionen: --entry-point <entry> (eine Triggerknoten-ID aus der .flow -Datei; standardmäßig wird die selectedEntrypoint des Satzes verwendet), --folder-key <key> (Orchestrator-Ordner – verwendet den persönlichen Arbeitsbereich, wenn er weggelassen wird), --debug-mode <mode> (Studio Web-Debugmodus). überschreiben), --wait (Block bis zum Abschluss und Ausgabe der Ergebnisse), --timeout <seconds> (mit --wait).

Ohne --solution-id oder --project-id kompiliert der Befehl das lokale Flow-Projekt und lädt es in Studio Web hoch, bevor er die Ausführung startet, sodass die Ausführung die aktuellen lokalen Dateien verwendet. Mit beiden Optionen wird der Befehl für das Projekt bereits in Studio Web ausgeführt.

uip maestro flow eval run start --set "Regression Suite" --wait
uip maestro flow eval run start --set "Regression Suite" --wait

Datenform: Code: "FlowEvalRunStarted", Data: { EvalSetRunId, EvalSetName, DataPoints, Evaluators, Status }. Ohne --wait teilt Instructions Ihnen den genauen eval run status -Befehl mit, mit dem abgefragt werden soll.

Ausführungsstatus der UIP Maestro Flow Evaluierung​

Argument: <evalSetRunId>. Datenform: Code: "FlowEvalRunStatus", Data: { EvalSetRunId, Status, Score, Duration, EvaluatorScores } (Score ist "-", wenn noch nicht bewertet).

Ergebnisse der UIP Maestro Flow-Auswertungsausführung​

Argument: <evalSetRunId>. Zusätzliche Optionen: --only-failed (Filtern nach fehlgeschlagenen/fehlerhaften Datenpunkten), --verbose (Auswerter-Rechtfertigungen einschließen), --export-format <json|csv> (In Datei schreiben anstatt zu ausgeben). Datenform: Code: "FlowEvalRunResults", Data ist ein Array von Ergebniszeilen pro Datenpunkt.

Ausführungsliste der UIP Maestro Flow-Auswertung​

Keine Argumente über die freigegebenen Zieloptionen hinaus. Datenform: Code: "FlowEvalRunList", Data ist ein Array von Zusammenfassungen früherer Ausführungen für den Satz.

Vergleichen Sie UIP Maestro Flow Evaluierungsausführungen​

Argumente: <evalSetRunId> plus --compare-to <id> (erforderlich) – die zweite Ausführung zur Differenzierung. Datenform: Code: "FlowEvalRunComparison", Data ist eine strukturierte Differenz zwischen den Punktzahlen der beiden Ausführungen und den Ergebnissen pro Datenpunkt.

Siehe auch​

War diese Seite hilfreich?

Verbinden

Benötigen Sie Hilfe? Support(opens in new window)

Möchten Sie lernen? UiPath Academy(opens in new window)

Haben Sie Fragen? UiPath-Forum(opens in new window)

Auf dem neuesten Stand bleiben