UIP-Auswertung

Syntax und Optionen für „uip eval“, das Runtime-Auswertungen für Orchestrator-Pakete ausführt und Auswerter, Auswertungssätze, Evaluierungen und Zeitpläne verwaltet.

uip eval führt Runtime-Auswertungen für ein bereitgestelltes Orchestrator-Paket durch: Reichen Sie echte Eingaben über einen Prozess ein, bewerten Sie die Ausgaben mit einem oder mehreren Auswertern und überprüfen Sie die Ergebnisse. Sie verwaltet auch die wiederverwendbaren Bausteine hinter diesem Workflow – Auswerter (Bewertungslogik), Auswertungssätze (benannte Sammlungen, die Auswertungen gruppieren), Evaluierungen (einzelne gespeicherte Testfalldefinitionen – Name, Eingaben, erwartete Ausgabe/Verhalten) und wiederkehrende Zeitpläne Trigger automatisch ausgeführt.

Diese Ressource umfasst vier Seiten, die nach Unterdomänen unterteilt sind:

• Diese Seite – Konzepte und execute-and-evaluate / run (Eine Ausführung einreichen und dann die Ergebnisse auflisten/überprüfen).
• schedule – wiederkehrende Bewertungsausführungen erstellen/listen/abrufen/aktualisieren/pausieren/fortsetzen/löschen.
• evaluator – Verwalten Sie die Bewertungslogik (z. B LLM-Judge-Auswerter) gilt eine Ausführung für ihre Ausgaben.
• eval-set und evaluation – verwalten Sie kuratierte Elementsammlungen und einzelne Auswertungsdefinitionen.

uip eval wird als eigenes eigenständiges Paket ausgeliefert (@uipath/eval-tool, Befehlspräfix eval) – es ist kein Unterbefehl von uip or, obwohl jedes Verb hier für einen Orchestrator-Prozess/Ordner arbeitet. Die gemeinsamen Orchestrator-Konventionen (Authentifizierung, Ordner-Scoping, Schlüsseltypen, Ausgabeumschlag), denen die Optionen --process-key/--folder-key/--tenant dieses Tools folgen, finden Sie in der uip or -Übersicht.

Konzepte

• Eval-Element – Ein Testfall, der inline an execute-and-evaluate übergeben wurde: ein id, ein name - und ein inputs -Objekt, das dem erwarteten Eingabeschema des Prozesses entspricht. Bei einer Ausführung wird ein Array davon direkt an die Befehlszeile übermittelt, unabhängig davon, ob sie auch auf einen gespeicherten Auswertungssatz verweisen oder nicht.
• Auswertung – Das gespeicherte Gegenstück zu einem Auswertungselement: eine beibehaltene Testfalldefinition (Name, Eingaben und optional eine erwartete Ausgabe/Verhalten), die zu einem Auswertungssatz gehört. Verwalten Sie diese mit eval evaluation.
• Evaluierer – Bewertungslogik, die auf die Ausgabe jedes Elements angewendet wird, identifiziert durch ein evaluatorTypeId -Objekt (z. B. uipath-llm-judge-output-semantic-similarity) sowie ein evaluatorConfig -Objekt. Gespeicherte Auswerter mit eval evaluator verwalten; Eine Ausführung kann Auswerterkonfigurationen auch inline über --evaluators übergeben.
• Auswertungssatz (Evaluation set) – eine benannte, wiederverwendbare Sammlung von Auswertungen, die mit eval eval-set verwaltet wird. execute-and-evaluate kann zu Nachverfolgungs-/Gruppierungszwecken auf eines von --eval-set-id verweisen oder es für die Ad-hoc-Ausführung weglassen (standardmäßig ist die Null-GUID 00000000-0000-0000-0000-000000000000) – so oder so sind die tatsächlichen Elemente, die in einer bestimmten Ausführung bewertet wurden, gleich --items enthält diesen Aufruf.
• Evaluierungssatzausführung vs. Evaluierungsausführung – Durch das Einreichen von execute-and-evaluate wird eine Evaluierungssatzausführung erstellt (der Gesamtbatch, identifiziert durch EvalSetRunId), die sich in einer Evaluierungsausführung pro Element auffächert (run results listet diese einzeln auf, jede mit ihrer eigenen Status/Result).
• Ordner-Scoping – execute-and-evaluate und run lösen einen Ordner von --folder-key auf oder verwenden standardmäßig Ihren persönlichen Arbeitsbereich , wenn sie weggelassen werden (die CLI sucht ihn automatisch). Dies unterscheidet sich von den meisten uip or -Verben, die einen expliziten Ordnerselektor erfordern – siehe Übersicht für die allgemeine Konvention.

Zusammenfassung

uip eval execute-and-evaluate --process-key <guid> --workload-id <guid> --items <json> --evaluators <json> [--eval-set-id <guid>] [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval run list    --process-key <guid> [--limit <n>] [--offset <n>] [--tenant <name>]
uip eval run get     <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval run results <evalSetRunId> --process-key <guid> [--tenant <name>]

execute-and-evaluate hat einen Alias: run-offline-evals.

Ausführung und Auswertung der UIP-Auswertung

Reichen Sie eine Laufzeit-Auswertungsausführung für ein Orchestrator-Paket ein: Senden Sie einen Batch von Elementen durch den Prozess, der durch --process-key identifiziert wird, bewerten Sie jede Ausgabe mit den angegebenen Auswertern und geben Sie den EvalSetRunId zur Abfrage mit run get/run results zurück.

Optionen

Short	Long	Wert	Standard	Beschreibung
–	--process-key	GUID	–	Erforderlich. Prozessschlüssel. Verwenden Sie uip or processes list, um verfügbare Schlüssel zu finden.
–	--workload-id	GUID	–	Erforderlich. Workload-ID.
–	--items	JSON-Array	–	Erforderlich. Auswertungselemente, jeweils mit id (Zeichenfolge), name (Zeichenfolge) und inputs (Objekt). Client-Seite vor dem Aufruf validiert – ein fehlendes/false formatiertes Feld für ein beliebiges Element schlägt schnell fehl und benennt den Elementindex.
–	--evaluators	JSON-Array	–	Erforderlich. Auswerterkonfigurationen, jeweils mit id, evaluatorTypeId und evaluatorConfig.
–	--eval-set-id	GUID	Null-GUID	Verweisen Sie auf einen gespeicherten Auswertungssatz. Für eine Ad-hoc-Ausführung auslassen.
–	--batch-size	Nummer	5	Max. gleichzeitige Auswertungspipelines.
–	--folder-key	GUID	Persönlicher Arbeitsbereich	Ordner, in dem ausgeführt werden soll. Verwenden Sie uip or folders list, um verfügbare Schlüssel zu finden.
–	--tenant	name	Sitzungsstandard	Name des UiPath-Mandanten. Einfache Option – siehe Konzepte.

Beispiele

# Submit a run with an ad hoc item and an inline evaluator
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --workload-id a1b2c3d4-0000-0000-0000-000000000001 \
  --items '[{"id":"1","name":"greeting","inputs":{"input":"hello"}}]' \
  --evaluators '[{"id":"ev-1","evaluatorTypeId":"uipath-llm-judge-output-semantic-similarity","evaluatorConfig":{}}]'

# Reference a saved eval set and a specific folder
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --workload-id a1b2c3d4-0000-0000-0000-000000000001 \
  --items '[{"id":"1","name":"greeting","inputs":{"input":"hello"}}]' \
  --evaluators '[{"id":"ev-1","evaluatorTypeId":"uipath-llm-judge-output-semantic-similarity","evaluatorConfig":{}}]' \
  --eval-set-id a1b2c3d4-0000-0000-0000-000000000001 \
  --folder-key a9f3b2c1-7d4e-4a8b-9c2f-5e1d3b6a8f7e

Datenform (--output json)

{
  "Code": "EvalRunSubmitted",
  "Data": {
    "ProcessKey": "9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09",
    "Folder": "[e-mail]'s workspace",
    "EvalSetId": "00000000-0000-0000-0000-000000000000",
    "EvalSetRunId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04"
  }
}

Folder gibt den aufgelösten Namen des persönlichen Arbeitsbereichs zurück, wenn --folder-key weggelassen wurde, oder den unformatierten Schlüssel, den Sie andernfalls übergeben haben.

Ausführung der UIP-Auswertung

Überprüfen Sie die von execute-and-evaluate erstellten Evaluierungssatzausführungen im Scope von --process-key.

Ausführungsliste der UIP-Auswertung

Listen Sie Auswertungssatzausführungen für einen Prozess auf.

Optionen

Short	Long	Wert	Standard	Beschreibung
–	--process-key	GUID	–	Erforderlich. Prozessschlüssel (Bereitstellungs-GUID).
–	--limit	Nummer	50	Max. Ausführungen, um zurückzukehren.
–	--offset	Nummer	0	Anzahl der zu überspringenden Ausführungen.
–	--tenant	name	Sitzungsstandard	Name des UiPath-Mandanten.

Beispiel

uip eval run list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

Datenform (--output json)

{
  "Code": "EvalSetRunList",
  "Data": [
    {
      "EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
      "EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
      "Status": "completed",
      "Score": 0.86,
      "EvalsExecuted": 5,
      "Duration": "42.5s",
      "CreatedAt": "2026-08-01T10:00:00Z"
    }
  ],
  "Pagination": { "returned": 1, "limit": 50, "offset": 0 }
}

Score und Duration sind "-", wenn sie noch nicht verfügbar sind (Ausführung läuft noch). Duration ist als Nms unter einer Sekunde formatiert, andernfalls N.Ns.

UIP eval run get

Details einer Auswertungssatzausführung abrufen.

Argumente

Name	Erforderlich	Zweck
<evalSetRunId>	ja	Ausführungs-ID des Auswertungssatzes (GUID), aus der Ausgabe von run list oder execute-and-evaluate.

Optionen

Short	Long	Wert	Standard	Beschreibung
–	--process-key	GUID	–	Erforderlich. Prozessschlüssel (Bereitstellungs-GUID).
–	--tenant	name	Sitzungsstandard	Name des UiPath-Mandanten.

Beispiel

uip eval run get a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

Datenform (--output json)

{
  "Code": "EvalSetRunDetails",
  "Data": {
    "EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
    "Status": "completed",
    "Score": 0.86,
    "EvalsExecuted": 5,
    "Duration": "42.5s"
  }
}

Die gleiche Form wie ein run list -Eintrag (minus EvalSetId/CreatedAt), abgerufen nach ID, anstatt aufgelistet.

Ergebnisse der UIP-Auswertungsausführung

Anzeigen der Ergebnisse einer Evaluierungsausführung pro Element für eine Evaluierungssatzausführung – ein Eintrag pro Element, das im ursprünglichen execute-and-evaluate -Aufruf eingereicht wurde.

Argumente

Name	Erforderlich	Zweck
<evalSetRunId>	ja	Ausführungs-ID des Auswertungssatzes (GUID).

Optionen

Short	Long	Wert	Standard	Beschreibung
–	--process-key	GUID	–	Erforderlich. Prozessschlüssel (Bereitstellungs-GUID).
–	--tenant	name	Sitzungsstandard	Name des UiPath-Mandanten.

Beispiel

uip eval run results a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

Datenform (--output json)

{
  "Code": "EvalRunResults",
  "Data": [
    {
      "EvalRunId": "e1e2e3e4-0000-0000-0000-000000000001",
      "DataPoint": "Test Case 1",
      "Status": "completed",
      "Result": {}
    }
  ]
}

DataPoint ist die name des Ursprungselements (greift auf die eigene ID der Auswertungsausführung zurück, wenn der Snapshot keine hat). Result ist die unformatierte Bewertungsnutzlast des Auswerters – die Form hängt davon ab, welcher Auswerter ausgeführt wurde.

Zugehörig

• schedule – Automatisieren Sie execute-and-evaluate nach einem wiederkehrenden Zeitplan.
• evaluator – Verwalten Sie die gespeicherte Bewertungslogik.
• eval-set und evaluation – verwalten gespeicherte Elementsammlungen und Auswertungsdefinitionen.

Siehe auch

• uip or Übersicht – das Tool, für dessen Prozesse und Ordner diese Funktion ausgeführt wird; Gemeinsame Konventionen für --process-key/--folder-key/--tenant.
• Globale Optionen
• Exitcodes