Évaluation UIP

Syntaxe et options pour `uip eval`, qui exécute des évaluations de runtime par rapport aux packages Orchestrator et gère les évaluateurs, les ensembles d'évaluation, les évaluations et les planifications.

uip eval exécute des évaluations de runtime par rapport à un package Orchestrator déployé: soumettez des entrées réelles via un processus, notez les sorties avec un ou plusieurs évaluateurs et inspectez les résultats. Il gère également les éléments constitutifs réutilisables derrière ce workflow: les évaluateurs (logique de notation), les ensembles d'évaluation (Collections nommées qui regroupent les évaluations), les évaluations (définitions de cas de test enregistrées individuelles — nom, entrées, sortie/comportement attendu) et les planifications récurrentes qui s'exécute automatiquement.

Cette ressource s’étend sur quatre pages, divisées par sous-domaine:

• Cette page — concepts, et execute-and-evaluate / run (soumettre une exécution, puis lister/inspecter ses résultats).
• schedule — créer/liste/get/update/pause/reprendre/supprimer des exécutions d'évaluation récurrentes.
• evaluator — gérez la logique de notation (par exemple Évaluateurs LLM-judge) d'une exécution s'applique à ses sorties.
• eval-set et evaluation — gérez les collections d'éléments sélectionnées et les définitions d'évaluation individuelles.

uip eval est fourni dans son propre package autonome (@uipath/eval-tool, préfixe de commande eval) — il ne s'agit pas d'une sous-commande de uip or même si chaque verbe fonctionne ici en fonction d'un processus/dossier Orchestrator. Pour les conventions Orchestrator partagées (authentification, étendue des dossiers, types de clés, enveloppe de sortie) suivies par les options --process-key/--folder-key/--tenant de cet outil, consultez la vue d’ensembleuip or .

Concepts

• Élément d'évaluation — un cas de test transmis en ligne à execute-and-evaluate: un id, un name et un objet inputs correspondant au schéma d'entrée attendu du processus. Une exécution soumet un tableau de ceux-ci directement sur la ligne de commande, qu'il s'agisse ou non d'un ensemble d'évaluations enregistré.
• Évaluation — l'équivalent enregistré d'un élément d'évaluation: une définition de cas de test persistante (nom, entrées et éventuellement sortie/comportement attendu) qui appartient à un ensemble d'évaluation. Gérez-les avec eval evaluation.
• Évaluateur — logique de notation appliquée à la sortie de chaque élément, identifiée par un evaluatorTypeId (par exemple uipath-llm-judge-output-semantic-similarity) plus un objet evaluatorConfig . Gérez les évaluateurs enregistrés avec eval evaluator; une exécution peut également transmettre les configurations de l’évaluateur en ligne via --evaluators.
• Ensemble d'évaluation — une collection nommée et réutilisable d'évaluations, gérée avec eval eval-set. execute-and-evaluate peut en référencer un par --eval-set-id à des fins de suivi/regroupement, ou l'omettre pour exécuter ad hoc (la valeur par défaut est le GUID zéro 00000000-0000-0000-0000-000000000000) — de toute façon, les éléments réels marqués dans une exécution donnée sont quels qu'ils soient --items contient cet appel.
• Exécution d’ensemble d’évaluation vs exécution d’évaluation : la soumission de execute-and-evaluate crée une exécution d’ensemble d’évaluation (le lot global, identifié par EvalSetRunId), qui se développe en une exécution d’évaluation par élément (run results les répertorie individuellement, chacun avec sa propre Status/Result).
• Étendue du dossier - execute-and-evaluate et run résolvent un dossier à partir de --folder-key, ou par défaut vers votre espace de travail personnel lorsqu'il est omis (la CLI le recherche automatiquement). Cela diffère de la plupart uip or verbes, qui nécessitent un sélecteur de dossier explicite. Consultez la vue d’ensemble de la convention générale.

Synthèse

uip eval execute-and-evaluate --process-key <guid> --workload-id <guid> --items <json> --evaluators <json> [--eval-set-id <guid>] [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval run list    --process-key <guid> [--limit <n>] [--offset <n>] [--tenant <name>]
uip eval run get     <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval run results <evalSetRunId> --process-key <guid> [--tenant <name>]

execute-and-evaluate a un alias: run-offline-evals.

Exécuter et évaluer l’exécution-exécution de l’évaluation UIP

Soumettez une évaluation d’exécution pour un package Orchestrator: envoyez un lot d’éléments via le processus identifié par --process-key, notez chaque sortie avec les évaluateurs donnés et renvoyez le EvalSetRunId pour interroger avec run get/run results.

Options

Short	Long	Valeur (Value)	Default	Description
—	--process-key	GUID	—	Requis. Clé du processus. Utilisez uip or processes list pour trouver les clés disponibles.
—	--workload-id	GUID	—	Requis. ID de charge de travail.
—	--items	Tableau JSON	—	Requis. Éléments d'évaluation, chacun avec id, name et inputs (objet). Validé côté client avant l'appel — un champ manquant ou mal formé sur un élément échoue rapidement, attribuant un nom à l'index de l'élément.
—	--evaluators	Tableau JSON	—	Requis. Configurations de l'évaluateur, chacune avec id, evaluatorTypeId et evaluatorConfig.
—	--eval-set-id	GUID	zéro GUID	Référencez un ensemble d'évaluation enregistré. Omettez pour une exécution ad hoc.
—	--batch-size	Numérique	5	Nombre maximal de pipelines d'évaluation simultanés.
—	--folder-key	GUID	Espace de travail personnel	Dossier dans lequel s'exécuter. Utilisez uip or folders list pour trouver les clés disponibles.
—	--tenant	name	session par défaut	Nom du locataire UiPath. Option simple — voir Concepts.

Exemples

# Submit a run with an ad hoc item and an inline evaluator
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --workload-id a1b2c3d4-0000-0000-0000-000000000001 \
  --items '[{"id":"1","name":"greeting","inputs":{"input":"hello"}}]' \
  --evaluators '[{"id":"ev-1","evaluatorTypeId":"uipath-llm-judge-output-semantic-similarity","evaluatorConfig":{}}]'

# Reference a saved eval set and a specific folder
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --workload-id a1b2c3d4-0000-0000-0000-000000000001 \
  --items '[{"id":"1","name":"greeting","inputs":{"input":"hello"}}]' \
  --evaluators '[{"id":"ev-1","evaluatorTypeId":"uipath-llm-judge-output-semantic-similarity","evaluatorConfig":{}}]' \
  --eval-set-id a1b2c3d4-0000-0000-0000-000000000001 \
  --folder-key a9f3b2c1-7d4e-4a8b-9c2f-5e1d3b6a8f7e

Format des données (--sortie json)

{
  "Code": "EvalRunSubmitted",
  "Data": {
    "ProcessKey": "9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09",
    "Folder": "[e-mail]'s workspace",
    "EvalSetId": "00000000-0000-0000-0000-000000000000",
    "EvalSetRunId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04"
  }
}

Folder reflète le nom de l'espace de travail personnel résolu lorsque --folder-key a été omis, ou la clé brute que vous avez transmise dans le cas contraire.

Exécution de l’évaluation UIP

Inspectez les exécutions d’ensembles d’évaluation créées par execute-and-evaluate, avec l’étendue --process-key.

liste d’exécution d’évaluation uip

Répertorie les exécutions d'ensembles d'évaluation pour un processus.

Options

Short	Long	Valeur (Value)	Default	Description
—	--process-key	GUID	—	Requis. Clé de processus (GUID de déploiement).
—	--limit	Numérique	50	Nombre maximal d’exécutions à renvoyer.
—	--offset	Numérique	0	Nombre d'exécutions à ignorer.
—	--tenant	name	session par défaut	Nom du locataire UiPath.

Exemple

uip eval run list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

Format des données (--sortie json)

{
  "Code": "EvalSetRunList",
  "Data": [
    {
      "EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
      "EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
      "Status": "completed",
      "Score": 0.86,
      "EvalsExecuted": 5,
      "Duration": "42.5s",
      "CreatedAt": "2026-08-01T10:00:00Z"
    }
  ],
  "Pagination": { "returned": 1, "limit": 50, "offset": 0 }
}

Score et Duration sont "-" lorsqu'ils ne sont pas encore disponibles (exécution toujours en cours). Duration se présente sous la forme Nms moins une seconde, N.Ns dans le cas contraire.

exécution d’évaluation uip

Obtenir les détails d'une exécution d'ensemble d'évaluation.

Arguments

Nom	Requis	Objectif
<evalSetRunId>	oui	ID d’exécution de l’ensemble d’évaluation (GUID), à partir de la sortie de run list ou de execute-and-evaluate.

Options

Short	Long	Valeur (Value)	Default	Description
—	--process-key	GUID	—	Requis. Clé de processus (GUID de déploiement).
—	--tenant	name	session par défaut	Nom du locataire UiPath.

Exemple

uip eval run get a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

Format des données (--sortie json)

{
  "Code": "EvalSetRunDetails",
  "Data": {
    "EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
    "Status": "completed",
    "Score": 0.86,
    "EvalsExecuted": 5,
    "Duration": "42.5s"
  }
}

Même forme qu'une entrée run list (moins EvalSetId/CreatedAt), récupérée par ID au lieu de la liste.

résultats de l’exécution d’évaluation uip

Afficher les résultats d’exécution d’évaluation par élément pour une exécution d’ensemble d’évaluation — une entrée par élément soumis dans l’appel execute-and-evaluate d’origine.

Arguments

Nom	Requis	Objectif
<evalSetRunId>	oui	ID d’exécution de l’ensemble d’évaluation.

Options

Short	Long	Valeur (Value)	Default	Description
—	--process-key	GUID	—	Requis. Clé de processus (GUID de déploiement).
—	--tenant	name	session par défaut	Nom du locataire UiPath.

Exemple

uip eval run results a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

Format des données (--sortie json)

{
  "Code": "EvalRunResults",
  "Data": [
    {
      "EvalRunId": "e1e2e3e4-0000-0000-0000-000000000001",
      "DataPoint": "Test Case 1",
      "Status": "completed",
      "Result": {}
    }
  ]
}

DataPoint est le name de l'élément d'origine (revient à l'ID propre de l'exécution d'évaluation si l'instantané n'en contient aucun). Result est la charge utile de notation brute de l'évaluateur - la forme dépend de l'évaluateur exécuté.

Associé

• schedule — automatiser execute-and-evaluate selon un calendrier récurrent.
• evaluator — gérez la logique de notation enregistrée.
• eval-set et evaluation — gérez les collections d'éléments enregistrées et les définitions d'évaluation.

Voir également

• Vue d’ensemble deuip or — l’outil avec lequel celle-ci fonctionne; conventions partagées pour --process-key/--folder-key/--tenant
• Options globales
• Codes de sortie