- Überblick
- Erste Schritte
- Konzepte
- Verwenden der UiPath CLI
- Anleitungen
- CI/CD-Rezepte
- Befehlsreferenz
- Überblick
- Exitcodes
- Globale Optionen
- UIP-codierter Agent
- UIP-Coded
- UIP-Kontextgrundlage
- UIP-Dokumentation
- UIP-Funktion
- UIP-Leitplanken
- uip llm-configuration
- uip llm-gateway
- UIP Maestro-Erstellung
- UIP Maestro-Registrierung
- UIP-Modellhub
- Aktivitäten finden
- get-standard-xaml
- Analysieren
- Analyseregeln-Liste
- Erstellen
- Bereinigung
- data-fabric-entities installieren
- data-fabric-entities-Liste
- Dateien differenzieren
- Get-Library-Object-Repository
- Get-Object-Repository
- Init
- Instanzenliste
- Packen
- Pakete überprüfen
- Pakete installieren
- Paketversionen
- Veröffentlichen
- Remote
- restore
- Ausführen, Debuggen & Ausführung enthält
- Einstellungen
- Studio-Start
- Vorlagensuche
- Testdaten-Add-Entität
- Testdaten-Warteschlange hinzufügen
- Testdaten-Hinzufügevariante
- TM
- UIA
- Überprüfen
- Workflow-Beispiele abrufen
- Workflow-Beispiele
- UIP-Aufgaben
- Anhang
- benutzerdefiniertes Feld
- Defects
- Ausführungen
- Exportaufträge
- Migration
- Objektbeschriftung
- Packen
- perf-szenario
- Perf-Szenario-Lastgruppen
- Ausführungsdaten für perf-szenario
- Perf-Szenario-Bericht
- Projekt
- Projektberechtigungen
- Aufforderungen
- Melden
- Anforderungen
- Ergebnis
- Ausführen
- Zeitpläne
- Testfallprotokoll
- Testfälle
- Testsätze
- Testschrittprotokoll
- Benutzer
- Warten
- UIP-Ablaufverfolgungen
- Feedback zu UIP-Ablaufverfolgungen
- Migration
- Referenz und Support
UIP-Auswertung
Syntax und Optionen für „uip eval“, das Runtime-Auswertungen für Orchestrator-Pakete ausführt und Auswerter, Auswertungssätze, Evaluierungen und Zeitpläne verwaltet.
uip eval führt Runtime-Auswertungen für ein bereitgestelltes Orchestrator-Paket durch: Reichen Sie echte Eingaben über einen Prozess ein, bewerten Sie die Ausgaben mit einem oder mehreren Auswertern und überprüfen Sie die Ergebnisse. Sie verwaltet auch die wiederverwendbaren Bausteine hinter diesem Workflow – Auswerter (Bewertungslogik), Auswertungssätze (benannte Sammlungen, die Auswertungen gruppieren), Evaluierungen (einzelne gespeicherte Testfalldefinitionen – Name, Eingaben, erwartete Ausgabe/Verhalten) und wiederkehrende Zeitpläne Trigger automatisch ausgeführt.
Diese Ressource umfasst vier Seiten, die nach Unterdomänen unterteilt sind:
- Diese Seite – Konzepte,
execute-and-evaluate/run(Eine Ausführung einreichen, dann die Ergebnisse auflisten/überprüfen) undsimulatable-components(die Komponenten auflisten, die eine Auswertung simulieren kann). schedule– wiederkehrende Bewertungsausführungen erstellen/listen/abrufen/aktualisieren/pausieren/fortsetzen/löschen.evaluator– Verwalten Sie die Bewertungslogik (z. B LLM-Judge-Auswerter) gilt eine Ausführung für ihre Ausgaben.eval-setundevaluation– verwalten Sie kuratierte Elementsammlungen und einzelne Auswertungsdefinitionen.
uip eval wird als eigenes eigenständiges Paket ausgeliefert (@uipath/eval-tool, Befehlspräfix eval) – es ist kein Unterbefehl von uip or, obwohl jedes Verb hier für einen Orchestrator-Prozess/Ordner arbeitet. Die gemeinsamen Orchestrator-Konventionen (Authentifizierung, Ordner-Scoping, Schlüsseltypen, Ausgabeumschlag), denen die Optionen --process-key/--folder-key/--tenant dieses Tools folgen, finden Sie in der uip or -Übersicht.
Konzepte
- Eval-Element – Ein Testfall, der inline an
execute-and-evaluateübergeben wurde: einid, einname- und eininputs-Objekt, das dem erwarteten Eingabeschema des Prozesses entspricht. Im Inline-Modus übermittelt eine Ausführung ein Array davon direkt an der Befehlszeile mit--items. - Auswertung – Das gespeicherte Gegenstück zu einem Auswertungselement: eine beibehaltene Testfalldefinition (Name, Eingaben und optional eine erwartete Ausgabe/Verhalten), die zu einem Auswertungssatz gehört. Verwalten Sie diese mit
eval evaluation. - Evaluierer – Bewertungslogik, die auf die Ausgabe jedes Elements angewendet wird, identifiziert durch ein
evaluatorTypeId-Objekt (z. B.uipath-llm-judge-output-semantic-similarity) sowie einevaluatorConfig-Objekt. Gespeicherte Auswerter miteval evaluatorverwalten; Eine Ausführung kann Auswerterkonfigurationen auch inline über--evaluatorsübergeben. - Auswertungssatz (Evaluation set) – eine benannte, wiederverwendbare Sammlung von Auswertungen, die mit
eval eval-setverwaltet wird.execute-and-evaluatewird in einem von zwei Modi ausgeführt: Im Auswertungssatzmodus ruft--eval-set-idnur die Elemente und Auswerter aus dem gespeicherten Auswertungssatz ab; Im Inline-Modus stellen--itemsund--evaluatorssie in der Befehlszeile bereit. - Evaluierungssatzausführung vs. Evaluierungsausführung – Durch das Einreichen von
execute-and-evaluatewird eine Evaluierungssatzausführung erstellt (der Gesamtbatch, identifiziert durchEvalSetRunId), die sich in einer Evaluierungsausführung pro Element auffächert (run resultslistet diese einzeln auf, jede mit ihrer eigenenStatus/Result). - Simulation – simuliert eine Komponente, die der Prozess aufruft (ein Tool oder eine Eskalation), wenn eine Auswertung ausgeführt wird. Simulationen mit
--simulationsan eine gespeicherte Auswertung anhängen. Listen Sie die Komponenten auf, die ein bereitgestellter Prozess mitsimulatable-components listverfügbar macht. - Ordner-Scoping –
execute-and-evaluatelöst einen Ordner von--folder-keyauf. Wenn--folder-keyweggelassen wird, wird Ihr persönlicher Arbeitsbereich im Inline-Modus (die CLI sucht ihn automatisch nach) und der Ordner des Auswertungssatzes im eval-set-Modus verwendet. Dies unterscheidet sich von den meistenuip or-Verben, die einen expliziten Ordnerselektor erfordern. Die allgemeine Konvention finden Sie in der Übersicht .
Zusammenfassung
uip eval execute-and-evaluate --process-key <guid> --eval-set-id <id> [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval execute-and-evaluate --process-key <guid> --workload-id <guid> --items <json> --evaluators <json> [--eval-set-id <id>] [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval run list --process-key <guid> [--limit <n>] [--offset <n>] [--tenant <name>]
uip eval run get <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval run results <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval simulatable-components list --process-key <guid> [--process-version <version>] [--tenant <name>]
uip eval execute-and-evaluate --process-key <guid> --eval-set-id <id> [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval execute-and-evaluate --process-key <guid> --workload-id <guid> --items <json> --evaluators <json> [--eval-set-id <id>] [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval run list --process-key <guid> [--limit <n>] [--offset <n>] [--tenant <name>]
uip eval run get <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval run results <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval simulatable-components list --process-key <guid> [--process-version <version>] [--tenant <name>]
execute-and-evaluate hat einen Alias: run-offline-evals.
Ausführung und Auswertung der UIP-Auswertung
Reichen Sie eine Runtime-Auswertungsausführung für einen Prozess ein: Senden Sie einen Batch von Elementen durch den durch --process-key identifizierten Prozess, bewerten Sie jede Ausgabe mit den Auswertern und geben Sie die EvalSetRunId zur Abfrage mit run get/run results zurück.
Der Befehl wird in einem von zwei Modi ausgeführt:
| Mode | Pass | Elemente und Auswerter stammen aus |
|---|---|---|
| Auswertungssatzmodus | --eval-set-id ohne --items und --evaluators | Der gespeicherte Auswertungssatz: seine Bewertungen werden zu den Elementen und seine Auswerter-Referenzen wählen die gespeicherten Auswerter aus. Die Workload-ID, der Ordner und die Batchgröße werden standardmäßig auf die Werte des Auswertungssatzes festgelegt. |
| Inline-Modus | --items, --evaluators und --workload-id | Die Befehlszeile. --eval-set-id ist optional; Wenn keine Angabe erfolgt, verwendet die Ausführung die Null-GUID als Auswertungssatz-ID. |
Der Befehl schlägt fehl, wenn Sie weder --eval-set-id noch --items/--evaluators oder nur eines von --items und --evaluators übergeben. Im Evaluierungssatzmodus schlägt es auch fehl, wenn der Evaluierungssatz keine Evaluierungen oder keine Auswerter-Referenzen enthält oder wenn eine Auswerter-Referenz nicht mit einem gespeicherten Auswerter des Prozesses übereinstimmt.
Optionen
| Short | Long | Wert | Standard | Beschreibung |
|---|---|---|---|---|
| – | --process-key | GUID | – | Erforderlich. Prozessschlüssel. Verwenden Sie uip or processes list, um verfügbare Schlüssel zu finden. |
| – | --eval-set-id | ID | – | Evaluierungssatz-ID. Ohne --items/--evaluators ruft die Ausführung ihre Elemente und Auswerter aus diesem Auswertungssatz ab. |
| – | --workload-id | GUID | – | Workload-ID. Erforderlich im Inline-Modus. |
| – | --items | JSON-Array | – | Inline-Modus. Auswertungselemente, jeweils mit id (Zeichenfolge), name (Zeichenfolge) und inputs (Objekt). Client-Seite vor dem Aufruf validiert – ein fehlendes/false formatiertes Feld für ein beliebiges Element schlägt schnell fehl und benennt den Elementindex. |
| – | --evaluators | JSON-Array | – | Inline-Modus. Auswerterkonfigurationen, jede mit einem id, evaluatorTypeId und evaluatorConfig. |
| – | --batch-size | Nummer | 5 Im Inline-Modus; Der Wert des Auswertungssatzes im eval-set-Modus | Max. gleichzeitige Auswertungspipelines. |
| – | --folder-key | GUID | Persönlicher Arbeitsbereich im Inline-Modus; Der Ordner des Auswertungssatzes im eval-set-Modus | Ordner, in dem ausgeführt werden soll. Verwenden Sie uip or folders list, um verfügbare Schlüssel zu finden. |
| – | --tenant | name | Sitzungsstandard | Name des UiPath-Mandanten. Einfache Option – siehe Konzepte. |
Beispiele
# Run from a saved eval set (fetches items and evaluators automatically)
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04
# Run from a saved eval set (fetches items and evaluators automatically)
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04
# Submit a run with an ad hoc item and an inline evaluator
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--workload-id a1b2c3d4-0000-0000-0000-000000000001 \
--items '[{"id":"1","name":"greeting","inputs":{"input":"hello"}}]' \
--evaluators '[{"id":"ev-1","evaluatorTypeId":"uipath-llm-judge-output-semantic-similarity","evaluatorConfig":{}}]'
# Submit a run with an ad hoc item and an inline evaluator
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--workload-id a1b2c3d4-0000-0000-0000-000000000001 \
--items '[{"id":"1","name":"greeting","inputs":{"input":"hello"}}]' \
--evaluators '[{"id":"ev-1","evaluatorTypeId":"uipath-llm-judge-output-semantic-similarity","evaluatorConfig":{}}]'
# Run from a saved eval set in a specific folder, with a larger batch
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 \
--folder-key a9f3b2c1-7d4e-4a8b-9c2f-5e1d3b6a8f7e \
--batch-size 10
# Run from a saved eval set in a specific folder, with a larger batch
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 \
--folder-key a9f3b2c1-7d4e-4a8b-9c2f-5e1d3b6a8f7e \
--batch-size 10
Datenform (--output json)
Inline-Modus, mit --folder-key weggelassen:
{
"Code": "EvalRunSubmitted",
"Data": {
"ProcessKey": "9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09",
"Folder": "user@uipath.com's workspace",
"EvalSetId": "00000000-0000-0000-0000-000000000000",
"EvalSetRunId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04"
}
}
{
"Code": "EvalRunSubmitted",
"Data": {
"ProcessKey": "9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09",
"Folder": "user@uipath.com's workspace",
"EvalSetId": "00000000-0000-0000-0000-000000000000",
"EvalSetRunId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04"
}
}
Folder ist der Ordnerschlüssel, den die Ausführung verwendet: der Schlüssel, den Sie mit --folder-key übergeben haben, oder der Ordnerschlüssel des Auswertungssatzes im Auswertungssatzmodus. Im Inline-Modus mit weggelassenem --folder-key ist dies der aufgelöste Name des persönlichen Arbeitsbereichs.
Ausführung der UIP-Auswertung
Überprüfen Sie die von execute-and-evaluate erstellten Evaluierungssatzausführungen im Scope von --process-key.
Ausführungsliste der UIP-Auswertung
Listen Sie Auswertungssatzausführungen für einen Prozess auf.
Optionen
| Short | Long | Wert | Standard | Beschreibung |
|---|---|---|---|---|
| – | --process-key | GUID | – | Erforderlich. Prozessschlüssel (Bereitstellungs-GUID). |
| – | --limit | Nummer | 50 | Max. Ausführungen, um zurückzukehren. |
| – | --offset | Nummer | 0 | Anzahl der zu überspringenden Ausführungen. |
| – | --tenant | name | Sitzungsstandard | Name des UiPath-Mandanten. |
Beispiel
uip eval run list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval run list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Datenform (--output json)
{
"Code": "EvalSetRunList",
"Data": [
{
"EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
"EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
"Status": "completed",
"Score": 0.86,
"EvalsExecuted": 5,
"Duration": "42.5s",
"CreatedAt": "2026-08-01T10:00:00Z"
}
],
"Pagination": { "Returned": 1, "Limit": 50, "Offset": 0, "HasMore": false }
}
{
"Code": "EvalSetRunList",
"Data": [
{
"EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
"EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
"Status": "completed",
"Score": 0.86,
"EvalsExecuted": 5,
"Duration": "42.5s",
"CreatedAt": "2026-08-01T10:00:00Z"
}
],
"Pagination": { "Returned": 1, "Limit": 50, "Offset": 0, "HasMore": false }
}
Score und Duration sind "-", wenn sie noch nicht verfügbar sind (Ausführung läuft noch). Duration ist als Nms unter einer Sekunde formatiert, andernfalls N.Ns.
UIP eval run get
Details einer Auswertungssatzausführung abrufen.
Argumente
| Name | Erforderlich | Zweck |
|---|---|---|
<evalSetRunId> | ja | Ausführungs-ID des Auswertungssatzes (GUID), aus der Ausgabe von run list oder execute-and-evaluate. |
Optionen
| Short | Long | Wert | Standard | Beschreibung |
|---|---|---|---|---|
| – | --process-key | GUID | – | Erforderlich. Prozessschlüssel (Bereitstellungs-GUID). |
| – | --tenant | name | Sitzungsstandard | Name des UiPath-Mandanten. |
Beispiel
uip eval run get a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval run get a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Datenform (--output json)
{
"Code": "EvalSetRunDetails",
"Data": {
"EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
"Status": "completed",
"Score": 0.86,
"EvalsExecuted": 5,
"Duration": "42.5s"
}
}
{
"Code": "EvalSetRunDetails",
"Data": {
"EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
"Status": "completed",
"Score": 0.86,
"EvalsExecuted": 5,
"Duration": "42.5s"
}
}
Die gleiche Form wie ein run list -Eintrag (minus EvalSetId/CreatedAt), abgerufen nach ID, anstatt aufgelistet.
Ergebnisse der UIP-Auswertungsausführung
Anzeigen der Ergebnisse einer Evaluierungsausführung pro Element für eine Evaluierungssatzausführung – ein Eintrag pro Element, das im ursprünglichen execute-and-evaluate -Aufruf eingereicht wurde.
Argumente
| Name | Erforderlich | Zweck |
|---|---|---|
<evalSetRunId> | ja | Ausführungs-ID des Auswertungssatzes (GUID). |
Optionen
| Short | Long | Wert | Standard | Beschreibung |
|---|---|---|---|---|
| – | --process-key | GUID | – | Erforderlich. Prozessschlüssel (Bereitstellungs-GUID). |
| – | --tenant | name | Sitzungsstandard | Name des UiPath-Mandanten. |
Beispiel
uip eval run results a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval run results a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Datenform (--output json)
{
"Code": "EvalRunResults",
"Data": [
{
"EvalRunId": "e1e2e3e4-0000-0000-0000-000000000001",
"DataPoint": "Test Case 1",
"Status": "completed",
"Result": {}
}
]
}
{
"Code": "EvalRunResults",
"Data": [
{
"EvalRunId": "e1e2e3e4-0000-0000-0000-000000000001",
"DataPoint": "Test Case 1",
"Status": "completed",
"Result": {}
}
]
}
DataPoint ist die name des Ursprungselements (greift auf die eigene ID der Auswertungsausführung zurück, wenn der Snapshot keine hat). Result ist die unformatierte Bewertungsnutzlast des Auswerters – die Form hängt davon ab, welcher Auswerter ausgeführt wurde.
UIP-Auswertung Simulationsfähiger-Komponenten
Listen Sie die Komponenten (Tools, Eskalationen) eines bereitgestellten Prozesses auf, die eine Auswertung simulieren kann. Verwenden Sie die Werte Id und ComponentType , um den --simulations -Wert von eval evaluation create und eval evaluation update zu erstellen.
UIP-Auswertung UiPath Simulate-Components Liste
Listen Sie simulierbare Komponenten für einen bereitgestellten Prozess auf.
Optionen
| Short | Long | Wert | Standard | Beschreibung |
|---|---|---|---|---|
| – | --process-key | GUID | – | Erforderlich. Prozessschlüssel. Verwenden Sie uip or processes list um Schlüssel zu finden. |
| – | --process-version | semantische Version | neueste bereitgestellte Version | Prozessversion, aus der die Komponenten gelesen werden sollen. |
| – | --tenant | name | Sitzungsstandard | Name des UiPath-Mandanten. |
Beispiel
uip eval simulatable-components list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval simulatable-components list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Datenform (--output json)
{
"Code": "SimulatableComponentList",
"Data": [
{
"Id": "web-search",
"Name": "Web Search",
"Description": "Searches the web",
"ComponentType": "tool",
"SubType": "Api",
"IsEnabled": true
}
]
}
{
"Code": "SimulatableComponentList",
"Data": [
{
"Id": "web-search",
"Name": "Web Search",
"Description": "Searches the web",
"ComponentType": "tool",
"SubType": "Api",
"IsEnabled": true
}
]
}
OutputSchema ist nur dann in einer Komponente enthalten, wenn der Prozess eine dafür definiert.
Zugehörig
schedule– Automatisieren Sieexecute-and-evaluatenach einem wiederkehrenden Zeitplan.evaluator– Verwalten Sie die gespeicherte Bewertungslogik.eval-setundevaluation– verwalten gespeicherte Elementsammlungen und Auswertungsdefinitionen.
Siehe auch
uip orÜbersicht – das Tool, für dessen Prozesse und Ordner diese Funktion ausgeführt wird; Gemeinsame Konventionen für--process-key/--folder-key/--tenant.- Globale Optionen
- Exitcodes
- Konzepte
- Zusammenfassung
- Ausführung und Auswertung der UIP-Auswertung
- Optionen
- Beispiele
- Datenform (--output json)
- Ausführung der UIP-Auswertung
- Ausführungsliste der UIP-Auswertung
- UIP eval run get
- Ergebnisse der UIP-Auswertungsausführung
- UIP-Auswertung Simulationsfähiger-Komponenten
- UIP-Auswertung UiPath Simulate-Components Liste
- Zugehörig
- Siehe auch