UiPath Documentation
uipath-cli
latest
false
Guide de l'utilisateur de UiPath CLI
Important :
Ce contenu a été traduit à l'aide d'une traduction automatique. La localisation du contenu nouvellement publié peut prendre 1 à 2 semaines avant d’être disponible.

Évaluation UIP

Syntaxe et options pour `uip eval`, qui exécute des évaluations de runtime par rapport aux packages Orchestrator et gère les évaluateurs, les ensembles d'évaluation, les évaluations et les planifications.

uip eval exécute des évaluations de runtime par rapport à un package Orchestrator déployé: soumettez des entrées réelles via un processus, notez les sorties avec un ou plusieurs évaluateurs et inspectez les résultats. Il gère également les éléments constitutifs réutilisables derrière ce workflow: les évaluateurs (logique de notation), les ensembles d'évaluation (Collections nommées qui regroupent les évaluations), les évaluations (définitions de cas de test enregistrées individuelles — nom, entrées, sortie/comportement attendu) et les planifications récurrentes qui s'exécute automatiquement.

Cette ressource s’étend sur quatre pages, divisées par sous-domaine:

  • This page — concepts, execute-and-evaluate / run (submit a run, then list/inspect its results), and simulatable-components (list the components an evaluation can simulate).
  • schedule — créer/liste/get/update/pause/reprendre/supprimer des exécutions d'évaluation récurrentes.
  • evaluator — gérez la logique de notation (par exemple Évaluateurs LLM-judge) d'une exécution s'applique à ses sorties.
  • eval-set et evaluation — gérez les collections d'éléments sélectionnées et les définitions d'évaluation individuelles.

uip eval est fourni dans son propre package autonome (@uipath/eval-tool, préfixe de commande eval) — il ne s'agit pas d'une sous-commande de uip or même si chaque verbe fonctionne ici en fonction d'un processus/dossier Orchestrator. Pour les conventions Orchestrator partagées (authentification, étendue des dossiers, types de clés, enveloppe de sortie) suivies par les options --process-key/--folder-key/--tenant de cet outil, consultez la vue d’ensembleuip or .

Concepts​

  • Eval item — one test case passed inline to execute-and-evaluate: an id, a name, and an inputs object matching the process's expected input schema. In inline mode, a run submits an array of these directly on the command line with --items.
  • Évaluation — l'équivalent enregistré d'un élément d'évaluation: une définition de cas de test persistante (nom, entrées et éventuellement sortie/comportement attendu) qui appartient à un ensemble d'évaluation. Gérez-les avec eval evaluation.
  • Évaluateur — logique de notation appliquée à la sortie de chaque élément, identifiée par un evaluatorTypeId (par exemple uipath-llm-judge-output-semantic-similarity) plus un objet evaluatorConfig . Gérez les évaluateurs enregistrés avec eval evaluator; une exécution peut également transmettre les configurations de l’évaluateur en ligne via --evaluators.
  • Eval set — a named, reusable collection of evaluations, managed with eval eval-set. execute-and-evaluate runs in one of two modes: in eval-set mode, --eval-set-id alone fetches the items and evaluators from the saved eval set; in inline mode, --items and --evaluators supply them on the command line.
  • Exécution d’ensemble d’évaluation vs exécution d’évaluation : la soumission de execute-and-evaluate crée une exécution d’ensemble d’évaluation (le lot global, identifié par EvalSetRunId), qui se développe en une exécution d’évaluation par élément (run results les répertorie individuellement, chacun avec sa propre Status/Result).
  • Simulation — simulates a component the process calls (a tool or an escalation) when an evaluation runs. Attach simulations to a saved evaluation with --simulations. List the components a deployed process exposes with simulatable-components list.
  • Folder scoping — execute-and-evaluate resolves a folder from --folder-key. When --folder-key is omitted, it uses your personal workspace in inline mode (the CLI looks it up automatically) and the eval set's folder in eval-set mode. This differs from most uip or verbs, which require an explicit folder selector. Refer to the overview for the general convention.

Synthèse​

uip eval execute-and-evaluate --process-key <guid> --eval-set-id <id> [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval execute-and-evaluate --process-key <guid> --workload-id <guid> --items <json> --evaluators <json> [--eval-set-id <id>] [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval run list    --process-key <guid> [--limit <n>] [--offset <n>] [--tenant <name>]
uip eval run get     <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval run results <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval simulatable-components list --process-key <guid> [--process-version <version>] [--tenant <name>]
uip eval execute-and-evaluate --process-key <guid> --eval-set-id <id> [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval execute-and-evaluate --process-key <guid> --workload-id <guid> --items <json> --evaluators <json> [--eval-set-id <id>] [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval run list    --process-key <guid> [--limit <n>] [--offset <n>] [--tenant <name>]
uip eval run get     <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval run results <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval simulatable-components list --process-key <guid> [--process-version <version>] [--tenant <name>]

execute-and-evaluate a un alias: run-offline-evals.

Exécuter et évaluer l’exécution-exécution de l’évaluation UIP​

Submit a runtime eval run for a process: send a batch of items through the process identified by --process-key, score each output with the evaluators, and return the EvalSetRunId to poll with run get/run results.

The command runs in one of two modes:

ModePassItems and evaluators come from
Eval-set mode--eval-set-id without --items and --evaluatorsThe saved eval set: its evaluations become the items, and its evaluator refs select the saved evaluators. The workload ID, folder, and batch size default to the eval set's values.
Inline mode--items, --evaluators, and --workload-idThe command line. --eval-set-id is optional; when omitted, the run uses the zero GUID as its eval set ID.

The command fails when you pass neither --eval-set-id nor --items/--evaluators, or only one of --items and --evaluators. In eval-set mode, it also fails when the eval set has no evaluations or no evaluator refs, or when an evaluator ref doesn't match a saved evaluator of the process.

Options​

ShortLongValeur (Value)DefaultDescription
—--process-keyGUID—Requis. Clé du processus. Utilisez uip or processes list pour trouver les clés disponibles.
—--eval-set-idID—Eval set ID. Without --items/--evaluators, the run fetches its items and evaluators from this eval set.
—--workload-idGUID—Workload ID. Required in inline mode.
—--itemsTableau JSON—Inline mode. Eval items, each with id (string), name (string), and inputs (object). Validated client-side before the call — a missing/malformed field on any item fails fast, naming the item index.
—--evaluatorsTableau JSON—Inline mode. Evaluator configs, each with an id, evaluatorTypeId, and evaluatorConfig.
—--batch-sizeNumérique5 in inline mode; the eval set's value in eval-set modeNombre maximal de pipelines d'évaluation simultanés.
—--folder-keyGUIDpersonal workspace in inline mode; the eval set's folder in eval-set modeDossier dans lequel s'exécuter. Utilisez uip or folders list pour trouver les clés disponibles.
—--tenantnamesession par défautNom du locataire UiPath. Option simple — voir Concepts.

Exemples​

# Run from a saved eval set (fetches items and evaluators automatically)
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04
# Run from a saved eval set (fetches items and evaluators automatically)
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04
# Submit a run with an ad hoc item and an inline evaluator
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --workload-id a1b2c3d4-0000-0000-0000-000000000001 \
  --items '[{"id":"1","name":"greeting","inputs":{"input":"hello"}}]' \
  --evaluators '[{"id":"ev-1","evaluatorTypeId":"uipath-llm-judge-output-semantic-similarity","evaluatorConfig":{}}]'
# Submit a run with an ad hoc item and an inline evaluator
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --workload-id a1b2c3d4-0000-0000-0000-000000000001 \
  --items '[{"id":"1","name":"greeting","inputs":{"input":"hello"}}]' \
  --evaluators '[{"id":"ev-1","evaluatorTypeId":"uipath-llm-judge-output-semantic-similarity","evaluatorConfig":{}}]'
# Run from a saved eval set in a specific folder, with a larger batch
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 \
  --folder-key a9f3b2c1-7d4e-4a8b-9c2f-5e1d3b6a8f7e \
  --batch-size 10
# Run from a saved eval set in a specific folder, with a larger batch
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 \
  --folder-key a9f3b2c1-7d4e-4a8b-9c2f-5e1d3b6a8f7e \
  --batch-size 10

Format des données (--sortie json)​

Inline mode, with --folder-key omitted:

{
  "Code": "EvalRunSubmitted",
  "Data": {
    "ProcessKey": "9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09",
    "Folder": "user@uipath.com's workspace",
    "EvalSetId": "00000000-0000-0000-0000-000000000000",
    "EvalSetRunId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04"
  }
}
{
  "Code": "EvalRunSubmitted",
  "Data": {
    "ProcessKey": "9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09",
    "Folder": "user@uipath.com's workspace",
    "EvalSetId": "00000000-0000-0000-0000-000000000000",
    "EvalSetRunId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04"
  }
}

Folder is the folder key the run uses: the key you passed with --folder-key, or the eval set's folder key in eval-set mode. In inline mode with --folder-key omitted, it is the resolved personal-workspace name.

Exécution de l’évaluation UIP​

Inspectez les exécutions d’ensembles d’évaluation créées par execute-and-evaluate, avec l’étendue --process-key.

liste d’exécution d’évaluation uip​

Répertorie les exécutions d'ensembles d'évaluation pour un processus.

Options​
ShortLongValeur (Value)DefaultDescription
—--process-keyGUID—Requis. Clé de processus (GUID de déploiement).
—--limitNumérique50Nombre maximal d’exécutions à renvoyer.
—--offsetNumérique0Nombre d'exécutions à ignorer.
—--tenantnamesession par défautNom du locataire UiPath.
Exemple​
uip eval run list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval run list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Format des données (--sortie json)​
{
  "Code": "EvalSetRunList",
  "Data": [
    {
      "EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
      "EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
      "Status": "completed",
      "Score": 0.86,
      "EvalsExecuted": 5,
      "Duration": "42.5s",
      "CreatedAt": "2026-08-01T10:00:00Z"
    }
  ],
  "Pagination": { "Returned": 1, "Limit": 50, "Offset": 0, "HasMore": false }
}
{
  "Code": "EvalSetRunList",
  "Data": [
    {
      "EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
      "EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
      "Status": "completed",
      "Score": 0.86,
      "EvalsExecuted": 5,
      "Duration": "42.5s",
      "CreatedAt": "2026-08-01T10:00:00Z"
    }
  ],
  "Pagination": { "Returned": 1, "Limit": 50, "Offset": 0, "HasMore": false }
}

Score et Duration sont "-" lorsqu'ils ne sont pas encore disponibles (exécution toujours en cours). Duration se présente sous la forme Nms moins une seconde, N.Ns dans le cas contraire.

exécution d’évaluation uip​

Obtenir les détails d'une exécution d'ensemble d'évaluation.

Arguments​
NomRequisObjectif
<evalSetRunId>ouiID d’exécution de l’ensemble d’évaluation (GUID), à partir de la sortie de run list ou de execute-and-evaluate.
Options​
ShortLongValeur (Value)DefaultDescription
—--process-keyGUID—Requis. Clé de processus (GUID de déploiement).
—--tenantnamesession par défautNom du locataire UiPath.
Exemple​
uip eval run get a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval run get a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Format des données (--sortie json)​
{
  "Code": "EvalSetRunDetails",
  "Data": {
    "EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
    "Status": "completed",
    "Score": 0.86,
    "EvalsExecuted": 5,
    "Duration": "42.5s"
  }
}
{
  "Code": "EvalSetRunDetails",
  "Data": {
    "EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
    "Status": "completed",
    "Score": 0.86,
    "EvalsExecuted": 5,
    "Duration": "42.5s"
  }
}

Même forme qu'une entrée run list (moins EvalSetId/CreatedAt), récupérée par ID au lieu de la liste.

résultats de l’exécution d’évaluation uip​

Afficher les résultats d’exécution d’évaluation par élément pour une exécution d’ensemble d’évaluation — une entrée par élément soumis dans l’appel execute-and-evaluate d’origine.

Arguments​
NomRequisObjectif
<evalSetRunId>ouiID d’exécution de l’ensemble d’évaluation.
Options​
ShortLongValeur (Value)DefaultDescription
—--process-keyGUID—Requis. Clé de processus (GUID de déploiement).
—--tenantnamesession par défautNom du locataire UiPath.
Exemple​
uip eval run results a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval run results a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Format des données (--sortie json)​
{
  "Code": "EvalRunResults",
  "Data": [
    {
      "EvalRunId": "e1e2e3e4-0000-0000-0000-000000000001",
      "DataPoint": "Test Case 1",
      "Status": "completed",
      "Result": {}
    }
  ]
}
{
  "Code": "EvalRunResults",
  "Data": [
    {
      "EvalRunId": "e1e2e3e4-0000-0000-0000-000000000001",
      "DataPoint": "Test Case 1",
      "Status": "completed",
      "Result": {}
    }
  ]
}

DataPoint est le name de l'élément d'origine (revient à l'ID propre de l'exécution d'évaluation si l'instantané n'en contient aucun). Result est la charge utile de notation brute de l'évaluateur - la forme dépend de l'évaluateur exécuté.

uip eval simulatable-components​

List the components (tools, escalations) of a deployed process that an evaluation can simulate. Use the Id and ComponentType values to build the --simulations value of eval evaluation create and eval evaluation update.

uip eval simulatable-components list​

List simulatable components for a deployed process.

Options​
ShortLongValeur (Value)DefaultDescription
—--process-keyGUID—Required. Process key. Use uip or processes list to find keys.
—--process-versionsemantic versionlatest deployed versionProcess version to read the components from.
—--tenantnamesession par défautNom du locataire UiPath.
Exemple​
uip eval simulatable-components list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval simulatable-components list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Format des données (--sortie json)​
{
  "Code": "SimulatableComponentList",
  "Data": [
    {
      "Id": "web-search",
      "Name": "Web Search",
      "Description": "Searches the web",
      "ComponentType": "tool",
      "SubType": "Api",
      "IsEnabled": true
    }
  ]
}
{
  "Code": "SimulatableComponentList",
  "Data": [
    {
      "Id": "web-search",
      "Name": "Web Search",
      "Description": "Searches the web",
      "ComponentType": "tool",
      "SubType": "Api",
      "IsEnabled": true
    }
  ]
}

OutputSchema is included on a component only when the process defines one for it.

  • schedule — automatiser execute-and-evaluate selon un calendrier récurrent.
  • evaluator — gérez la logique de notation enregistrée.
  • eval-set et evaluation — gérez les collections d'éléments enregistrées et les définitions d'évaluation.

Voir également​

Cette page vous a-t-elle été utile ?

Connecter

Besoin d'aide ? Assistance(opens in new window)

Vous souhaitez apprendre ? UiPath Academy(opens in new window)

Vous avez des questions ? UiPath Forum(opens in new window)

Rester à jour