Évaluateur d’évaluation UIP

Syntaxe et options de `uip eval evaluator`, qui gère les évaluateurs de notation utilisés pour évaluer les exécutions de processus Orchestrator.

Un évaluateur est un mécanisme de notation associé à un processus (par --process-key) qui évalue la sortie d’une exécution, par exemple une comparaison entre un juge LLM et une réponse attendue, ou une vérification de la correspondance exacte. Les évaluateurs sont référencés par ID à partir des entrées eval-set et des appels execute-and-evaluate (voir la vue d’ensemble de l’évaluation), ce qui exécute concrètement une évaluation notée. Cette page couvre uniquement la création/la gestion des définitions d’évaluateur.

Chaque verbe requiert --process-key <guid> — les évaluateurs sont limités à un seul processus. Recherchez les clés de processus avec uip or processes list.

Synthèse

uip eval evaluator list --process-key <guid> [--limit <number>] [--offset <number>] [--tenant <tenant>]
uip eval evaluator get <evaluatorId> --process-key <guid> [--tenant <tenant>]
uip eval evaluator create --process-key <guid> --workload-id <guid> --folder-key <guid> --name <name> --description <text> --evaluator-type-id <id> --evaluator-config <json> [--version <version>] [--tenant <tenant>]
uip eval evaluator update <evaluatorId> --process-key <guid> [--name <name>] [--description <text>] [--evaluator-type-id <id>] [--evaluator-config <json>] [--version <version>] [--tenant <tenant>]
uip eval evaluator delete <evaluatorId> --process-key <guid> [--tenant <tenant>]

liste des évaluateurs d’évaluation UIP

Répertoriez les évaluateurs définis pour un processus.

Options

Long	Valeur (Value)	Requis	Description
--process-key <guid>	GUID	oui	Clé du processus. Utilisez uip or processes list pour trouver des clés.
--limit <number>	Integer	non	Le nombre maximal d'éléments à renvoyer. Par défaut 100.
--offset <number>	Integer	non	Nombre d'éléments à ignorer. Par défaut 0.
--tenant <tenant>	name	non	Nom du locataire UiPath.

Exemple

uip eval evaluator list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

Format des données (--sortie json)

{
  "Code": "EvaluatorList",
  "Data": [
    {
      "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001",
      "Name": "Semantic Similarity",
      "Description": "LLM-based output comparison",
      "EvaluatorTypeId": "uipath-llm-judge-output-semantic-similarity",
      "Version": "1.0",
      "CreatedAt": "2026-08-01T10:00:00Z"
    }
  ],
  "Pagination": { "Returned": 1, "Limit": 100, "Offset": 0 }
}

UpdatedAt est inclus par élément uniquement lorsque l’évaluateur a été modifié depuis sa création.

Obtenir l’évaluateur d’évaluation UIP

Obtenez les détails complets d’un évaluateur par ID.

Arguments

Nom	Requis	Objectif
<evaluatorId>	oui	ID de l’évaluateur.

Options

Long	Valeur (Value)	Requis	Description
--process-key <guid>	GUID	oui	Clé du processus.
--tenant <tenant>	name	non	Nom du locataire UiPath.

Exemple

uip eval evaluator get a1b2c3d4-0000-0000-0000-000000000001 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

Format des données (--sortie json)

{
  "Code": "EvaluatorDetails",
  "Data": {
    "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001",
    "Name": "Semantic Similarity",
    "Description": "LLM-based output comparison",
    "EvaluatorTypeId": "uipath-llm-judge-output-semantic-similarity",
    "Version": "1.0",
    "CreatedAt": "2026-08-01T10:00:00Z"
  }
}

création d’évaluateur d’évaluation uip

Créez un évaluateur sur un processus.

Options

Long	Valeur (Value)	Requis	Description
--process-key <guid>	GUID	oui	Clé du processus.
--workload-id <guid>	GUID	oui	ID de charge de travail.
--folder-key <guid>	GUID	oui	Clé de dossier.
--name <name>	string	oui	Nom de l’évaluateur.
--description <text>	string	oui	Description de l’évaluateur.
--evaluator-type-id <id>	string	oui	Type d'évaluateur. Les exemples propres à Source affichent uipath-exact-match, uipath-llm-judge-output-semantic-similarity, uipath-llm-judge-trajectory-similarity — il ne s'agit pas d'une énumération validée par le client, de sorte que d'autres ID de type peuvent exister côté serveur; les trois éléments indiqués sont simplement les noms des textes d'aide propres à la CLI.
--evaluator-config <json>	Object JSON	oui	Configuration spécifique au type. La forme dépend de --evaluator-type-id — l'exemple de similitude sémantique ci-dessous montre name/prompt/model/targetOutputKey; d'autres types prennent probablement des clés différentes, mais non énumérés côté client.
--version <version>	string	non	Version de l’évaluateur. Par défaut 1.0.
--tenant <tenant>	name	non	Nom du locataire UiPath.

Un externalId est généré automatiquement à chaque création — ce n'est pas un indicateur et il n'est pas affiché dans la sortie list/get.

Exemple

uip eval evaluator create --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --workload-id a1b2c3d4-0000-0000-0000-000000000001 \
  --folder-key f1f2f3f4-0000-0000-0000-000000000001 \
  --name "Semantic Similarity" --description "LLM-based output comparison" \
  --evaluator-type-id uipath-llm-judge-output-semantic-similarity \
  --evaluator-config '{"name":"Semantic","prompt":"Score 0-100...","model":"gpt-4.1-2025-04-14","targetOutputKey":"*"}' \
  --version 1.0

Format des données (--sortie json)

{
  "Code": "EvaluatorCreated",
  "Data": {
    "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001",
    "Name": "Semantic Similarity",
    "EvaluatorTypeId": "uipath-llm-judge-output-semantic-similarity"
  }
}

mise à jour de l’évaluateur d’évaluation uip

Mettez à jour un ou plusieurs champs sur un évaluateur existant. Les champs non spécifiés sont lus à partir de l'évaluateur actuel et sont renvoyés inchangés (un PUT d'objet complet sous le garde-fou, pas un correctif partiel) — --evaluator-config lui-même n'est pas fusionné: sa transmission remplace l'ensemble de l'objet de configuration, et pas uniquement les clés que vous nom.

Arguments

Nom	Requis	Objectif
<evaluatorId>	oui	ID de l’évaluateur.

Options

Long	Valeur (Value)	Requis	Description
--process-key <guid>	GUID	oui	Clé du processus.
--name <name>	string	non*	Nouveau nom.
--description <text>	string	non*	Nouvelle description.
--evaluator-type-id <id>	string	non*	Nouveau type d’évaluateur.
--evaluator-config <json>	Object JSON	non*	Nouvelle configuration — remplace l'objet entier.
--version <version>	string	non*	Nouvelle version.
--tenant <tenant>	name	non	Nom du locataire UiPath.

* Au moins un de --name/--description/--evaluator-type-id/--evaluator-config/--version est requis - en omettant les cinq échecs avec une Error explicite avant tout appel réseau.

Exemple

uip eval evaluator update a1b2c3d4-0000-0000-0000-000000000001 \
  --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --name "Updated Evaluator" \
  --evaluator-config '{"name":"Updated","prompt":"New prompt"}'

Format des données (--sortie json)

{
  "Code": "EvaluatorUpdated",
  "Data": {
    "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001",
    "Name": "Updated Evaluator",
    "EvaluatorTypeId": "uipath-llm-judge-output-semantic-similarity"
  }
}

suppression de l’évaluateur d’évaluation uip

Supprimer un évaluateur.

Remarque :

La suppression d'un évaluateur ne vérifie pas s'il est toujours référencé par une entrée eval-set ou schedule — l'API n'effectue aucune vérification des références côté client. Confirmez d’abord que rien n’en dépend.

Arguments

Nom	Requis	Objectif
<evaluatorId>	oui	ID de l’évaluateur.

Options

Long	Valeur (Value)	Requis	Description
--process-key <guid>	GUID	oui	Clé du processus.
--tenant <tenant>	name	non	Nom du locataire UiPath.

Exemple

uip eval evaluator delete a1b2c3d4-0000-0000-0000-000000000001 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

Format des données (--sortie json)

{
  "Code": "EvaluatorDeleted",
  "Data": { "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001" }
}

Associé

• uip eval — vue d'ensemble, execute-and-evaluate et run
• Calendrier d'évaluation uip — exécutions d'évaluation récurrentes.
• uip eval-set / evaluation — regroupant les évaluateurs dans une configuration d'évaluation réutilisable.
• uip ou processes - recherchez des clés de processus.

Voir également

• Présentation de l’outil Orchestrator
• Options globales
• Codes de sortie