- Vue d'ensemble (Overview)
- Démarrer
- Concepts
- Utilisation de la UiPath CLI
- Guides pratiques
- Revenus CI/CD
- Référence de commande
- Vue d'ensemble (Overview)
- Codes de sortie
- Options globales
- agent codé uip
- encodeur UIP
- uip ancrage dans le contexte
- UiPath Docsai
- Fonction UiP
- garde-fous UiP
- configuration llm uip
- uip llm-passerelle
- Création uip maestro
- Registre Maestro uip
- uip model-hub
- Tâches (Jobs)
- Dossiers
- Processus
- ROI du processus
- Paquets
- Machines
- Utilisateurs
- Rôles
- Licences
- Flux
- Pièces jointes (Attachments)
- Sessions
- Calendriers
- magasins d'informations d’identification
- journaux-audit
- paramètres
- Actifs
- Compartiments
- Compartiment-fichiers
- Bibliothèques
- Files d'attente (Queues)
- ROI de la file d'attente
- éléments de la file d'attente
- Déclencheurs (Triggers)
- Webhooks
- Activités - Rechercher
- activités get-Default-xaml
- Analyser
- liste règles-analyseurs
- Construire
- Nettoyage
- Installation de entités data-fabrics
- liste des entités data-fabrics
- Diff de fichiers
- Get-Library-Object-Repository
- Récupérer le référentiel d'objets
- Init
- liste des instances
- Créer un package
- Vérification des paquets
- Installation des paquets
- Versions de paquets
- Publier
- Distant
- restore
- exécuter, déboguer et amp; Exécution
- paramètres
- Début de Studio
- Recherche de modèles
- entité ajoutée aux données de test
- Ajouter une file d'attente de données de test
- variation d'ajout de données de test
- TM
- UIA
- Valider
- exemples de workflow - Obtenir
- liste d'exemples de workflow
- tâches UIP
- pièce jointe
- Champ personnalisé
- Défauts (Defects)
- Exécutions
- exporter-tâches
- Migration
- Libellé Objet
- Créer un package
- scénarios-perf
- groupes-de-charge-scénarios-perf
- données d’exécution de perf-scenario
- rapport de scénarios de performances
- Projet
- autorisations-projet
- Invites
- Rapport
- Prérequis
- Résultat
- Exécuter
- Planifications (Schedules)
- Journaux de cas de test
- Cas de test
- Ensembles de tests
- Journal des étapes de test
- Utilisateur (User)
- Attendre
- Traçages UIP
- Commentaires sur les traces UIP
- Migration
- Référence et assistance
Évaluation UIP
Syntaxe et options pour `uip eval`, qui exécute des évaluations de runtime par rapport aux packages Orchestrator et gère les évaluateurs, les ensembles d'évaluation, les évaluations et les planifications.
uip eval exécute des évaluations de runtime par rapport à un package Orchestrator déployé: soumettez des entrées réelles via un processus, notez les sorties avec un ou plusieurs évaluateurs et inspectez les résultats. Il gère également les éléments constitutifs réutilisables derrière ce workflow: les évaluateurs (logique de notation), les ensembles d'évaluation (Collections nommées qui regroupent les évaluations), les évaluations (définitions de cas de test enregistrées individuelles — nom, entrées, sortie/comportement attendu) et les planifications récurrentes qui s'exécute automatiquement.
Cette ressource s’étend sur quatre pages, divisées par sous-domaine:
- This page — concepts,
execute-and-evaluate/run(submit a run, then list/inspect its results), andsimulatable-components(list the components an evaluation can simulate). schedule— créer/liste/get/update/pause/reprendre/supprimer des exécutions d'évaluation récurrentes.evaluator— gérez la logique de notation (par exemple Évaluateurs LLM-judge) d'une exécution s'applique à ses sorties.eval-setetevaluation— gérez les collections d'éléments sélectionnées et les définitions d'évaluation individuelles.
uip eval est fourni dans son propre package autonome (@uipath/eval-tool, préfixe de commande eval) — il ne s'agit pas d'une sous-commande de uip or même si chaque verbe fonctionne ici en fonction d'un processus/dossier Orchestrator. Pour les conventions Orchestrator partagées (authentification, étendue des dossiers, types de clés, enveloppe de sortie) suivies par les options --process-key/--folder-key/--tenant de cet outil, consultez la vue d’ensembleuip or .
Concepts
- Eval item — one test case passed inline to
execute-and-evaluate: anid, aname, and aninputsobject matching the process's expected input schema. In inline mode, a run submits an array of these directly on the command line with--items. - Évaluation — l'équivalent enregistré d'un élément d'évaluation: une définition de cas de test persistante (nom, entrées et éventuellement sortie/comportement attendu) qui appartient à un ensemble d'évaluation. Gérez-les avec
eval evaluation. - Évaluateur — logique de notation appliquée à la sortie de chaque élément, identifiée par un
evaluatorTypeId(par exempleuipath-llm-judge-output-semantic-similarity) plus un objetevaluatorConfig. Gérez les évaluateurs enregistrés aveceval evaluator; une exécution peut également transmettre les configurations de l’évaluateur en ligne via--evaluators. - Eval set — a named, reusable collection of evaluations, managed with
eval eval-set.execute-and-evaluateruns in one of two modes: in eval-set mode,--eval-set-idalone fetches the items and evaluators from the saved eval set; in inline mode,--itemsand--evaluatorssupply them on the command line. - Exécution d’ensemble d’évaluation vs exécution d’évaluation : la soumission de
execute-and-evaluatecrée une exécution d’ensemble d’évaluation (le lot global, identifié parEvalSetRunId), qui se développe en une exécution d’évaluation par élément (run resultsles répertorie individuellement, chacun avec sa propreStatus/Result). - Simulation — simulates a component the process calls (a tool or an escalation) when an evaluation runs. Attach simulations to a saved evaluation with
--simulations. List the components a deployed process exposes withsimulatable-components list. - Folder scoping —
execute-and-evaluateresolves a folder from--folder-key. When--folder-keyis omitted, it uses your personal workspace in inline mode (the CLI looks it up automatically) and the eval set's folder in eval-set mode. This differs from mostuip orverbs, which require an explicit folder selector. Refer to the overview for the general convention.
Synthèse
uip eval execute-and-evaluate --process-key <guid> --eval-set-id <id> [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval execute-and-evaluate --process-key <guid> --workload-id <guid> --items <json> --evaluators <json> [--eval-set-id <id>] [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval run list --process-key <guid> [--limit <n>] [--offset <n>] [--tenant <name>]
uip eval run get <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval run results <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval simulatable-components list --process-key <guid> [--process-version <version>] [--tenant <name>]
uip eval execute-and-evaluate --process-key <guid> --eval-set-id <id> [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval execute-and-evaluate --process-key <guid> --workload-id <guid> --items <json> --evaluators <json> [--eval-set-id <id>] [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval run list --process-key <guid> [--limit <n>] [--offset <n>] [--tenant <name>]
uip eval run get <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval run results <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval simulatable-components list --process-key <guid> [--process-version <version>] [--tenant <name>]
execute-and-evaluate a un alias: run-offline-evals.
Exécuter et évaluer l’exécution-exécution de l’évaluation UIP
Submit a runtime eval run for a process: send a batch of items through the process identified by --process-key, score each output with the evaluators, and return the EvalSetRunId to poll with run get/run results.
The command runs in one of two modes:
| Mode | Pass | Items and evaluators come from |
|---|---|---|
| Eval-set mode | --eval-set-id without --items and --evaluators | The saved eval set: its evaluations become the items, and its evaluator refs select the saved evaluators. The workload ID, folder, and batch size default to the eval set's values. |
| Inline mode | --items, --evaluators, and --workload-id | The command line. --eval-set-id is optional; when omitted, the run uses the zero GUID as its eval set ID. |
The command fails when you pass neither --eval-set-id nor --items/--evaluators, or only one of --items and --evaluators. In eval-set mode, it also fails when the eval set has no evaluations or no evaluator refs, or when an evaluator ref doesn't match a saved evaluator of the process.
Options
| Short | Long | Valeur (Value) | Default | Description |
|---|---|---|---|---|
| — | --process-key | GUID | — | Requis. Clé du processus. Utilisez uip or processes list pour trouver les clés disponibles. |
| — | --eval-set-id | ID | — | Eval set ID. Without --items/--evaluators, the run fetches its items and evaluators from this eval set. |
| — | --workload-id | GUID | — | Workload ID. Required in inline mode. |
| — | --items | Tableau JSON | — | Inline mode. Eval items, each with id (string), name (string), and inputs (object). Validated client-side before the call — a missing/malformed field on any item fails fast, naming the item index. |
| — | --evaluators | Tableau JSON | — | Inline mode. Evaluator configs, each with an id, evaluatorTypeId, and evaluatorConfig. |
| — | --batch-size | Numérique | 5 in inline mode; the eval set's value in eval-set mode | Nombre maximal de pipelines d'évaluation simultanés. |
| — | --folder-key | GUID | personal workspace in inline mode; the eval set's folder in eval-set mode | Dossier dans lequel s'exécuter. Utilisez uip or folders list pour trouver les clés disponibles. |
| — | --tenant | name | session par défaut | Nom du locataire UiPath. Option simple — voir Concepts. |
Exemples
# Run from a saved eval set (fetches items and evaluators automatically)
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04
# Run from a saved eval set (fetches items and evaluators automatically)
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04
# Submit a run with an ad hoc item and an inline evaluator
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--workload-id a1b2c3d4-0000-0000-0000-000000000001 \
--items '[{"id":"1","name":"greeting","inputs":{"input":"hello"}}]' \
--evaluators '[{"id":"ev-1","evaluatorTypeId":"uipath-llm-judge-output-semantic-similarity","evaluatorConfig":{}}]'
# Submit a run with an ad hoc item and an inline evaluator
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--workload-id a1b2c3d4-0000-0000-0000-000000000001 \
--items '[{"id":"1","name":"greeting","inputs":{"input":"hello"}}]' \
--evaluators '[{"id":"ev-1","evaluatorTypeId":"uipath-llm-judge-output-semantic-similarity","evaluatorConfig":{}}]'
# Run from a saved eval set in a specific folder, with a larger batch
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 \
--folder-key a9f3b2c1-7d4e-4a8b-9c2f-5e1d3b6a8f7e \
--batch-size 10
# Run from a saved eval set in a specific folder, with a larger batch
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 \
--folder-key a9f3b2c1-7d4e-4a8b-9c2f-5e1d3b6a8f7e \
--batch-size 10
Format des données (--sortie json)
Inline mode, with --folder-key omitted:
{
"Code": "EvalRunSubmitted",
"Data": {
"ProcessKey": "9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09",
"Folder": "user@uipath.com's workspace",
"EvalSetId": "00000000-0000-0000-0000-000000000000",
"EvalSetRunId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04"
}
}
{
"Code": "EvalRunSubmitted",
"Data": {
"ProcessKey": "9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09",
"Folder": "user@uipath.com's workspace",
"EvalSetId": "00000000-0000-0000-0000-000000000000",
"EvalSetRunId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04"
}
}
Folder is the folder key the run uses: the key you passed with --folder-key, or the eval set's folder key in eval-set mode. In inline mode with --folder-key omitted, it is the resolved personal-workspace name.
Exécution de l’évaluation UIP
Inspectez les exécutions d’ensembles d’évaluation créées par execute-and-evaluate, avec l’étendue --process-key.
liste d’exécution d’évaluation uip
Répertorie les exécutions d'ensembles d'évaluation pour un processus.
Options
| Short | Long | Valeur (Value) | Default | Description |
|---|---|---|---|---|
| — | --process-key | GUID | — | Requis. Clé de processus (GUID de déploiement). |
| — | --limit | Numérique | 50 | Nombre maximal d’exécutions à renvoyer. |
| — | --offset | Numérique | 0 | Nombre d'exécutions à ignorer. |
| — | --tenant | name | session par défaut | Nom du locataire UiPath. |
Exemple
uip eval run list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval run list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Format des données (--sortie json)
{
"Code": "EvalSetRunList",
"Data": [
{
"EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
"EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
"Status": "completed",
"Score": 0.86,
"EvalsExecuted": 5,
"Duration": "42.5s",
"CreatedAt": "2026-08-01T10:00:00Z"
}
],
"Pagination": { "Returned": 1, "Limit": 50, "Offset": 0, "HasMore": false }
}
{
"Code": "EvalSetRunList",
"Data": [
{
"EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
"EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
"Status": "completed",
"Score": 0.86,
"EvalsExecuted": 5,
"Duration": "42.5s",
"CreatedAt": "2026-08-01T10:00:00Z"
}
],
"Pagination": { "Returned": 1, "Limit": 50, "Offset": 0, "HasMore": false }
}
Score et Duration sont "-" lorsqu'ils ne sont pas encore disponibles (exécution toujours en cours). Duration se présente sous la forme Nms moins une seconde, N.Ns dans le cas contraire.
exécution d’évaluation uip
Obtenir les détails d'une exécution d'ensemble d'évaluation.
Arguments
| Nom | Requis | Objectif |
|---|---|---|
<evalSetRunId> | oui | ID d’exécution de l’ensemble d’évaluation (GUID), à partir de la sortie de run list ou de execute-and-evaluate. |
Options
| Short | Long | Valeur (Value) | Default | Description |
|---|---|---|---|---|
| — | --process-key | GUID | — | Requis. Clé de processus (GUID de déploiement). |
| — | --tenant | name | session par défaut | Nom du locataire UiPath. |
Exemple
uip eval run get a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval run get a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Format des données (--sortie json)
{
"Code": "EvalSetRunDetails",
"Data": {
"EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
"Status": "completed",
"Score": 0.86,
"EvalsExecuted": 5,
"Duration": "42.5s"
}
}
{
"Code": "EvalSetRunDetails",
"Data": {
"EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
"Status": "completed",
"Score": 0.86,
"EvalsExecuted": 5,
"Duration": "42.5s"
}
}
Même forme qu'une entrée run list (moins EvalSetId/CreatedAt), récupérée par ID au lieu de la liste.
résultats de l’exécution d’évaluation uip
Afficher les résultats d’exécution d’évaluation par élément pour une exécution d’ensemble d’évaluation — une entrée par élément soumis dans l’appel execute-and-evaluate d’origine.
Arguments
| Nom | Requis | Objectif |
|---|---|---|
<evalSetRunId> | oui | ID d’exécution de l’ensemble d’évaluation. |
Options
| Short | Long | Valeur (Value) | Default | Description |
|---|---|---|---|---|
| — | --process-key | GUID | — | Requis. Clé de processus (GUID de déploiement). |
| — | --tenant | name | session par défaut | Nom du locataire UiPath. |
Exemple
uip eval run results a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval run results a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Format des données (--sortie json)
{
"Code": "EvalRunResults",
"Data": [
{
"EvalRunId": "e1e2e3e4-0000-0000-0000-000000000001",
"DataPoint": "Test Case 1",
"Status": "completed",
"Result": {}
}
]
}
{
"Code": "EvalRunResults",
"Data": [
{
"EvalRunId": "e1e2e3e4-0000-0000-0000-000000000001",
"DataPoint": "Test Case 1",
"Status": "completed",
"Result": {}
}
]
}
DataPoint est le name de l'élément d'origine (revient à l'ID propre de l'exécution d'évaluation si l'instantané n'en contient aucun). Result est la charge utile de notation brute de l'évaluateur - la forme dépend de l'évaluateur exécuté.
uip eval simulatable-components
List the components (tools, escalations) of a deployed process that an evaluation can simulate. Use the Id and ComponentType values to build the --simulations value of eval evaluation create and eval evaluation update.
uip eval simulatable-components list
List simulatable components for a deployed process.
Options
| Short | Long | Valeur (Value) | Default | Description |
|---|---|---|---|---|
| — | --process-key | GUID | — | Required. Process key. Use uip or processes list to find keys. |
| — | --process-version | semantic version | latest deployed version | Process version to read the components from. |
| — | --tenant | name | session par défaut | Nom du locataire UiPath. |
Exemple
uip eval simulatable-components list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval simulatable-components list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Format des données (--sortie json)
{
"Code": "SimulatableComponentList",
"Data": [
{
"Id": "web-search",
"Name": "Web Search",
"Description": "Searches the web",
"ComponentType": "tool",
"SubType": "Api",
"IsEnabled": true
}
]
}
{
"Code": "SimulatableComponentList",
"Data": [
{
"Id": "web-search",
"Name": "Web Search",
"Description": "Searches the web",
"ComponentType": "tool",
"SubType": "Api",
"IsEnabled": true
}
]
}
OutputSchema is included on a component only when the process defines one for it.
Associé
schedule— automatiserexecute-and-evaluateselon un calendrier récurrent.evaluator— gérez la logique de notation enregistrée.eval-setetevaluation— gérez les collections d'éléments enregistrées et les définitions d'évaluation.
Voir également
- Vue d’ensemble de
uip or— l’outil avec lequel celle-ci fonctionne; conventions partagées pour--process-key/--folder-key/--tenant - Options globales
- Codes de sortie
- Concepts
- Synthèse
- Exécuter et évaluer l’exécution-exécution de l’évaluation UIP
- Options
- Exemples
- Format des données (--sortie json)
- Exécution de l’évaluation UIP
- liste d’exécution d’évaluation uip
- exécution d’évaluation uip
- résultats de l’exécution d’évaluation uip
- uip eval simulatable-components
- uip eval simulatable-components list
- Associé
- Voir également