UIP-Auswertungsauswerter

Syntax und Optionen für „uip eval evaluator“, der die Bewertungsauswerter verwaltet, die zur Bewertung von Orchestrator-Prozessausführungen verwendet werden.

Ein Evaluierer ist ein Bewertungsmechanismus, der an einen Prozess angehängt ist (durch --process-key), der die Ausgabe einer Ausführung bewertet – z. B. ein LLM-Richter-Vergleich mit einer erwarteten Antwort oder eine exakte Übereinstimmungsprüfung. Auswerter werden durch ID aus eval-set -Einträgen und execute-and-evaluate -Aufrufen referenziert (siehe Bewertungsübersicht), die tatsächlich ausgeführt wird. Diese Seite behandelt nur das Erstellen/Verwalten von Auswerterdefinitionen selbst.

Jedes Verb erfordert --process-key <guid> – Auswerter sind auf einen Prozess beschränkt. Suchen Sie Prozessschlüssel mit uip or processes list.

Zusammenfassung

uip eval evaluator list --process-key <guid> [--limit <number>] [--offset <number>] [--tenant <tenant>]
uip eval evaluator get <evaluatorId> --process-key <guid> [--tenant <tenant>]
uip eval evaluator create --process-key <guid> --workload-id <guid> --folder-key <guid> --name <name> --description <text> --evaluator-type-id <id> --evaluator-config <json> [--version <version>] [--tenant <tenant>]
uip eval evaluator update <evaluatorId> --process-key <guid> [--name <name>] [--description <text>] [--evaluator-type-id <id>] [--evaluator-config <json>] [--version <version>] [--tenant <tenant>]
uip eval evaluator delete <evaluatorId> --process-key <guid> [--tenant <tenant>]

UIP-Auswerterliste

Listen Sie Auswerter auf, die für einen Prozess definiert sind.

Optionen

Long	Wert	Erforderlich	Beschreibung
--process-key <guid>	GUID	ja	Prozessschlüssel. Verwenden Sie uip or processes list, um Schlüssel zu finden.
--limit <number>	Integer	nein	Maximale Anzahl der zurückzugebenden Elemente. Der Standardwert ist 100.
--offset <number>	Integer	nein	Anzahl der zu überspringenden Elemente. Der Standardwert ist 0.
--tenant <tenant>	name	nein	Name des UiPath-Mandanten.

Beispiel

uip eval evaluator list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

Datenform (--output json)

{
  "Code": "EvaluatorList",
  "Data": [
    {
      "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001",
      "Name": "Semantic Similarity",
      "Description": "LLM-based output comparison",
      "EvaluatorTypeId": "uipath-llm-judge-output-semantic-similarity",
      "Version": "1.0",
      "CreatedAt": "2026-08-01T10:00:00Z"
    }
  ],
  "Pagination": { "Returned": 1, "Limit": 100, "Offset": 0 }
}

UpdatedAt ist nur dann pro Element enthalten, wenn der Auswerter seit der Erstellung geändert wurde.

UIP-Auswerter abrufen

Vollständige Details eines Auswerters nach ID abrufen.

Argumente

Name	Erforderlich	Zweck
<evaluatorId>	ja	Auswerter-ID (GUID).

Optionen

Long	Wert	Erforderlich	Beschreibung
--process-key <guid>	GUID	ja	Prozessschlüssel.
--tenant <tenant>	name	nein	Name des UiPath-Mandanten.

Beispiel

uip eval evaluator get a1b2c3d4-0000-0000-0000-000000000001 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

Datenform (--output json)

{
  "Code": "EvaluatorDetails",
  "Data": {
    "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001",
    "Name": "Semantic Similarity",
    "Description": "LLM-based output comparison",
    "EvaluatorTypeId": "uipath-llm-judge-output-semantic-similarity",
    "Version": "1.0",
    "CreatedAt": "2026-08-01T10:00:00Z"
  }
}

UIP-Auswerter erstellen

Erstellen Sie einen Auswerter für einen Prozess.

Optionen

Long	Wert	Erforderlich	Beschreibung
--process-key <guid>	GUID	ja	Prozessschlüssel.
--workload-id <guid>	GUID	ja	Workload-ID.
--folder-key <guid>	GUID	ja	Ordnerschlüssel.
--name <name>	string	ja	Name des Auswerters.
--description <text>	string	ja	Auswerterbeschreibung.
--evaluator-type-id <id>	string	ja	Auswertertyp. Die eigenen Beispiele der Quelle zeigen uipath-exact-match, uipath-llm-judge-output-semantic-similarity, uipath-llm-judge-trajectory-similarity – dies ist keine Client-validierte Aufzählung, sodass andere Typ-IDs auf der Serverseite vorhanden sein können; Bei den drei angezeigten Hilfetexten handelt es sich einfach um die eigenen Hilfetextnamen der CLI.
--evaluator-config <json>	JSON-Objekt	ja	Typspezifische Konfiguration. Die Form hängt von --evaluator-type-id ab – das folgende Beispiel für die semantische Ähnlichkeit zeigt name/prompt/model/targetOutputKey; andere Typen verwenden wahrscheinlich andere Schlüssel, die auf Clientseite nicht aufgezählt werden.
--version <version>	string	nein	Auswerterversion. Der Standardwert ist 1.0.
--tenant <tenant>	name	nein	Name des UiPath-Mandanten.

Bei jeder Erstellung wird automatisch eine externalId (UUID) generiert – es ist kein Flag und wird nicht in der Ausgabe von list/get angezeigt.

Beispiel

uip eval evaluator create --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --workload-id a1b2c3d4-0000-0000-0000-000000000001 \
  --folder-key f1f2f3f4-0000-0000-0000-000000000001 \
  --name "Semantic Similarity" --description "LLM-based output comparison" \
  --evaluator-type-id uipath-llm-judge-output-semantic-similarity \
  --evaluator-config '{"name":"Semantic","prompt":"Score 0-100...","model":"gpt-4.1-2025-04-14","targetOutputKey":"*"}' \
  --version 1.0

Datenform (--output json)

{
  "Code": "EvaluatorCreated",
  "Data": {
    "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001",
    "Name": "Semantic Similarity",
    "EvaluatorTypeId": "uipath-llm-judge-output-semantic-similarity"
  }
}

Aktualisierung des UIP-Auswerters

Aktualisieren Sie ein oder mehrere Felder in einem vorhandenen Auswerter. Nicht angegebene Felder werden vom aktuellen Auswerter gelesen und unverändert erneut gesendet (ein PUT mit vollständigem Objekt unter der Kulisse, kein teilweiser Patch) – --evaluator-config selbst wird nicht zusammengeführt: Übergeben Sie es, ersetzt das gesamte Konfigurationsobjekt, nicht nur die Schlüssel Namen.

Argumente

Name	Erforderlich	Zweck
<evaluatorId>	ja	Auswerter-ID (GUID).

Optionen

Long	Wert	Erforderlich	Beschreibung
--process-key <guid>	GUID	ja	Prozessschlüssel.
--name <name>	string	Nein*	Neuer Name.
--description <text>	string	Nein*	Neue Beschreibung.
--evaluator-type-id <id>	string	Nein*	Neuer Auswertertyp.
--evaluator-config <json>	JSON-Objekt	Nein*	Neue Konfiguration – ersetzt das gesamte Objekt.
--version <version>	string	Nein*	Neue Version.
--tenant <tenant>	name	nein	Name des UiPath-Mandanten.

* Mindestens eines von --name/--description/--evaluator-type-id/--evaluator-config/--version ist erforderlich – das Auslassen aller fünf schlägt mit einem expliziten Fehler vor einem Netzwerkaufruf fehl.

Beispiel

uip eval evaluator update a1b2c3d4-0000-0000-0000-000000000001 \
  --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --name "Updated Evaluator" \
  --evaluator-config '{"name":"Updated","prompt":"New prompt"}'

Datenform (--output json)

{
  "Code": "EvaluatorUpdated",
  "Data": {
    "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001",
    "Name": "Updated Evaluator",
    "EvaluatorTypeId": "uipath-llm-judge-output-semantic-similarity"
  }
}

Löschen des UIP-Auswerters

Einen Auswerter löschen.

Hinweis:

Das Löschen eines Auswerters überprüft nicht, ob noch von einem eval-set -Eintrag oder einem schedule darauf verwiesen wird – die API führt auf Clientseite keine Referenzprüfung durch. Bestätigen Sie zunächst, dass nichts davon abhängt.

Argumente

Name	Erforderlich	Zweck
<evaluatorId>	ja	Auswerter-ID (GUID).

Optionen

Long	Wert	Erforderlich	Beschreibung
--process-key <guid>	GUID	ja	Prozessschlüssel.
--tenant <tenant>	name	nein	Name des UiPath-Mandanten.

Beispiel

uip eval evaluator delete a1b2c3d4-0000-0000-0000-000000000001 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

Datenform (--output json)

{
  "Code": "EvaluatorDeleted",
  "Data": { "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001" }
}

Zugehörig

• uip eval – Overview, execute-and-evaluate und run.
• uip eval-Zeitplan – wiederkehrende Bewertungsausführungen.
• uip eval-set / evaluation – Gruppierung von Auswertern in einer wiederverwendbaren Auswertungskonfiguration.
• uip oder processs – Prozessschlüssel finden.

Siehe auch

• Übersicht über das Orchestrator-Tool
• Globale Optionen
• Exitcodes