- Información general
- Comience ya
- Conceptos
- Uso de UiPath CLI
- Guías prácticas
- Recetas de CI/CD
- Referencia de los comandos
- Información general
- Códigos de salida
- Opciones globales
- agente de código UIP
- codificador UIP
- Contextualización de UIP
- UIP Docsai
- Función uip
- barreras de seguridad de UIP
- Configuración de UIP llm
- puerta de enlace llm de uip
- Creación de UIP Maestro
- Registro maestro de UIP
- UIP model-hub
- Actividades Buscar
- actividades get-default-xaml
- Analizar
- lista de reglas del analizador
- Crear
- Limpieza
- instalación de data-fabric-entities
- lista de entidades de data-fabric
- diferencia de archivos
- obtener-repositorio-de-objetos-de-biblioteca
- obtener-objeto-repositorio
- Init
- lista de instancias
- Paquete
- inspeccionar paquetes
- instalación de paquetes
- versiones de paquetes
- Publicar
- Remoto
- restore
- ejecutar, depurar & Ejecución
- Configuración
- Inicio de Studio
- Búsqueda de plantillas
- entidad de adición de datos de prueba
- añadir-cola de datos de prueba
- añadir-variación de los datos de prueba
- TM
- UIA
- Validar
- ejemplos-de-flujo-de-flujo-obtener
- lista de ejemplos de flujo de trabajo
- Tareas de UIP
- Archivo adjunto
- Campo personalizado
- Defects
- Ejecuciones
- exportar-trabajos
- Migración
- EtiquetaDeObjeto
- Paquete
- escenario de rendimiento
- grupos de carga de escenarios de rendimiento
- datos de ejecución de perf-scenario
- informe de escenario de rendimiento
- Proyecto
- permisos del proyecto
- Solicitudes
- Informar
- Requisitos
- Resultado
- Iniciar
- Programaciones
- Registro de casos de prueba
- Casos de prueba
- Conjuntos de prueba
- registro de pasos de prueba
- Usuario
- Esperar
- Seguimientos de UIP
- Comentarios de seguimientos de UIP
- Migración
- Referencia y soporte
Evaluación de UIP
Sintaxis y opciones para `uip eval`, que ejecuta evaluaciones de runtime en paquetes de Orchestrator y gestiona evaluadores, conjuntos de evaluación, evaluaciones y programaciones.
uip eval ejecuta evaluaciones de runtime en un paquete de Orchestrator implementado: envía entradas reales a través de un proceso, puntúa las salidas con uno o más evaluadores e inspecciona los resultados. También gestiona los bloques de construcción reutilizables detrás de ese flujo de trabajo: evaluadores (lógica de puntuación), conjuntos de evaluación (colecciones con nombre que agrupan evaluaciones), evaluaciones (definiciones de casos de prueba guardadas individualmente: nombre, entradas, salida/comportamiento esperado) y programaciones recurrentes que el desencadenador se ejecuta automáticamente.
Este recurso abarca cuatro páginas, divididas por subdominio:
- Esta página : conceptos,
execute-and-evaluate/run(enviar una ejecución y luego enumerar/inspeccionar sus resultados) ysimulatable-components(enumerar los componentes que una evaluación puede simular). schedule: crear/enumerar/obtener/actualizar/pausar/reanudar/eliminar ejecuciones de evaluación recurrentes.evaluator: gestionar la lógica de puntuación (p. ej. evaluadores LLM-juez) que una ejecución aplica a sus salidas.eval-setyevaluation: gestionar colecciones de elementos seleccionados y definiciones de evaluación individuales.
uip eval se envía como su propio paquete independiente (@uipath/eval-tool, prefijo de comando eval): no es un subcomando de uip or, aunque cada verbo aquí opera contra un proceso/carpeta de Orchestrator. Para conocer las convenciones compartidas de Orchestrator (autenticación, ámbito de carpeta, tipos de clave, sobre de salida) que siguen las opciones --process-key/--folder-key/--tenant de esta herramienta, consulta la uip or descripción general.
Conceptos
- Elemento de evaluación : un caso de prueba pasado en línea a
execute-and-evaluate: unid, unnamey un objetoinputsque coincide con el esquema de entrada esperado del proceso. En el modo en línea, una ejecución envía una matriz de estos directamente en la línea de comandos con--items. - Evaluación : la contrapartida guardada de un elemento de evaluación: una definición de caso de prueba persistente (nombre, entradas y, opcionalmente, una salida/comportamiento esperado) que pertenece a un conjunto de evaluación. Adminístrelos con
eval evaluation. - Evaluador : lógica de puntuación aplicada a la salida de cada elemento, identificada por un
evaluatorTypeId(por ejemplo,uipath-llm-judge-output-semantic-similarity) más un objetoevaluatorConfig. Gestionar evaluadores guardados coneval evaluator; una ejecución también puede pasar configuraciones del evaluador en línea a través de--evaluators. - Conjunto de evaluación : una colección de evaluaciones nombrada y reutilizable, gestionada con
eval eval-set.execute-and-evaluatese ejecuta en uno de dos modos: en el modo de conjunto de evaluación, solo--eval-set-idobtiene los elementos y evaluadores del conjunto de evaluación guardado; en modo en línea,--itemsy--evaluatorslos proporcionan en la línea de comandos. - Ejecución de conjunto de evaluación frente a ejecución de evaluación : enviar
execute-and-evaluatecrea una ejecución de conjunto de evaluación (el lote general, identificado porEvalSetRunId), que se despliega en una ejecución de evaluación por elemento (run resultslos enumera individualmente, cada uno con su propioStatus/Result). - Simulación : simula un componente que el proceso llama (una herramienta o una escalada) cuando se ejecuta una evaluación. Adjunta simulaciones a una evaluación guardada con
--simulations. Enumera los componentes que expone un proceso implementado consimulatable-components list. - Ámbito de carpeta :
execute-and-evaluateresuelve una carpeta de--folder-key. Cuando se omite--folder-key, utiliza tu espacio de trabajo personal en modo en línea (la CLI lo busca automáticamente) y la carpeta del conjunto de evaluación en modo conjunto de evaluación. Esto difiere de la mayoría de los verbosuip or, que requieren un selector de carpeta explícito. Consulta la información general para ver la convención general.
Sinopsis
uip eval execute-and-evaluate --process-key <guid> --eval-set-id <id> [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval execute-and-evaluate --process-key <guid> --workload-id <guid> --items <json> --evaluators <json> [--eval-set-id <id>] [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval run list --process-key <guid> [--limit <n>] [--offset <n>] [--tenant <name>]
uip eval run get <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval run results <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval simulatable-components list --process-key <guid> [--process-version <version>] [--tenant <name>]
uip eval execute-and-evaluate --process-key <guid> --eval-set-id <id> [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval execute-and-evaluate --process-key <guid> --workload-id <guid> --items <json> --evaluators <json> [--eval-set-id <id>] [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval run list --process-key <guid> [--limit <n>] [--offset <n>] [--tenant <name>]
uip eval run get <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval run results <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval simulatable-components list --process-key <guid> [--process-version <version>] [--tenant <name>]
execute-and-evaluate tiene un alias: run-offline-evals.
uip eval ejecutar y evaluar
Enviar una ejecución de evaluación de runtime para un proceso: envía un lote de elementos a través del proceso identificado por --process-key, puntúa cada salida con los evaluadores y devuelve EvalSetRunId a la encuesta con run get/run results.
El comando se ejecuta en uno de dos modos:
| Mode | Pass | Los elementos y evaluadores provienen de |
|---|---|---|
| Modo de conjunto de evaluación | --eval-set-id sin --items y --evaluators | El conjunto de evaluación guardado: sus evaluaciones se convierten en los elementos, y sus referencias de evaluador seleccionan los evaluadores guardados. El ID de carga de trabajo, la carpeta y el tamaño del lote son los valores predeterminados del conjunto de evaluación. |
| Modo en línea | --items, --evaluators y --workload-id | La línea de comandos. --eval-set-id es opcional; cuando se omite, la ejecución utiliza el GUID cero como su ID del conjunto de evaluación. |
El comando falla cuando no pasas ni --eval-set-id ni --items/--evaluators, o solo uno de --items y --evaluators. En el modo conjunto de evaluación, también falla cuando el conjunto de evaluación no tiene evaluaciones o referencias de evaluador, o cuando una referencia de evaluador no coincide con un evaluador guardado del proceso.
Opciones
| Corto | Largo | Valor | Predeterminado | Descripción |
|---|---|---|---|---|
| — | --process-key | GUID | — | Obligatorio. Clave de proceso. Usa uip or processes list para encontrar las claves disponibles. |
| — | --eval-set-id | ID | — | ID del conjunto de evaluación. Sin --items/--evaluators, la ejecución obtiene sus elementos y evaluadores de este conjunto de evaluación. |
| — | --workload-id | GUID | — | ID de carga de trabajo. Obligatorio en modo en línea. |
| — | --items | MatrizJson | — | Modo en línea. Elementos de evaluación, cada uno con id (cadena), name (cadena) y inputs (objeto). Validado en el lado del cliente antes de la llamada: un campo faltante/malformado en cualquier elemento falla rápidamente, nombrando el índice del elemento. |
| — | --evaluators | MatrizJson | — | Modo en línea. Configuraciones del evaluador, cada una con un id, evaluatorTypeId y evaluatorConfig. |
| — | --batch-size | Número | 5 en modo en línea; el valor del conjunto de evaluación en el modo conjunto de evaluación | Máximo de procesos de evaluación concurrentes. |
| — | --folder-key | GUID | espacio de trabajo personal en modo en línea; la carpeta del conjunto de evaluación en modo conjunto de evaluación | Carpeta en la que se ejecutará. Usa uip or folders list para encontrar las claves disponibles. |
| — | --tenant | name | sesión predeterminada | Nombre del tenant de UiPath. Opción simple: consulta Conceptos. |
Ejemplos
# Run from a saved eval set (fetches items and evaluators automatically)
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04
# Run from a saved eval set (fetches items and evaluators automatically)
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04
# Submit a run with an ad hoc item and an inline evaluator
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--workload-id a1b2c3d4-0000-0000-0000-000000000001 \
--items '[{"id":"1","name":"greeting","inputs":{"input":"hello"}}]' \
--evaluators '[{"id":"ev-1","evaluatorTypeId":"uipath-llm-judge-output-semantic-similarity","evaluatorConfig":{}}]'
# Submit a run with an ad hoc item and an inline evaluator
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--workload-id a1b2c3d4-0000-0000-0000-000000000001 \
--items '[{"id":"1","name":"greeting","inputs":{"input":"hello"}}]' \
--evaluators '[{"id":"ev-1","evaluatorTypeId":"uipath-llm-judge-output-semantic-similarity","evaluatorConfig":{}}]'
# Run from a saved eval set in a specific folder, with a larger batch
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 \
--folder-key a9f3b2c1-7d4e-4a8b-9c2f-5e1d3b6a8f7e \
--batch-size 10
# Run from a saved eval set in a specific folder, with a larger batch
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 \
--folder-key a9f3b2c1-7d4e-4a8b-9c2f-5e1d3b6a8f7e \
--batch-size 10
Forma de datos (--json de salida)
Modo en línea, con --folder-key omitido:
{
"Code": "EvalRunSubmitted",
"Data": {
"ProcessKey": "9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09",
"Folder": "user@uipath.com's workspace",
"EvalSetId": "00000000-0000-0000-0000-000000000000",
"EvalSetRunId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04"
}
}
{
"Code": "EvalRunSubmitted",
"Data": {
"ProcessKey": "9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09",
"Folder": "user@uipath.com's workspace",
"EvalSetId": "00000000-0000-0000-0000-000000000000",
"EvalSetRunId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04"
}
}
Folder es la clave de carpeta que utiliza la ejecución: la clave que pasaste con --folder-key, o la clave de carpeta del conjunto de evaluación en el modo de conjunto de evaluación. En el modo en línea con --folder-key omitido, es el nombre del espacio de trabajo personal resuelto.
ejecución de evaluación de uip
Inspeccionar las ejecuciones del conjunto de evaluación creadas por execute-and-evaluate, con ámbito de --process-key.
lista de ejecución de evaluación de uip
Enumerar las ejecuciones del conjunto de evaluación para un proceso.
Opciones
| Corto | Largo | Valor | Predeterminado | Descripción |
|---|---|---|---|---|
| — | --process-key | GUID | — | Obligatorio. Clave de proceso (GUID de implementación). |
| — | --limit | Número | 50 | Máximo de ejecuciones para volver. |
| — | --offset | Número | 0 | Número de ejecuciones que se omitirán. |
| — | --tenant | name | sesión predeterminada | Nombre del tenant de UiPath. |
Ejemplo
uip eval run list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval run list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Forma de datos (--json de salida)
{
"Code": "EvalSetRunList",
"Data": [
{
"EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
"EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
"Status": "completed",
"Score": 0.86,
"EvalsExecuted": 5,
"Duration": "42.5s",
"CreatedAt": "2026-08-01T10:00:00Z"
}
],
"Pagination": { "Returned": 1, "Limit": 50, "Offset": 0, "HasMore": false }
}
{
"Code": "EvalSetRunList",
"Data": [
{
"EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
"EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
"Status": "completed",
"Score": 0.86,
"EvalsExecuted": 5,
"Duration": "42.5s",
"CreatedAt": "2026-08-01T10:00:00Z"
}
],
"Pagination": { "Returned": 1, "Limit": 50, "Offset": 0, "HasMore": false }
}
Score y Duration son "-" cuando aún no están disponibles (la ejecución aún está en curso). Duration tiene el formato Nms menos de un segundo, N.Ns de lo contrario.
uip eval run get
Obtenga detalles de una ejecución de conjunto de evaluación.
Argumentos
| Nombre | Obligatorio | Propósito |
|---|---|---|
<evalSetRunId> | Sí | ID de ejecución del conjunto de evaluación (GUID), desde run list o la salida de execute-and-evaluate. |
Opciones
| Corto | Largo | Valor | Predeterminado | Descripción |
|---|---|---|---|---|
| — | --process-key | GUID | — | Obligatorio. Clave de proceso (GUID de implementación). |
| — | --tenant | name | sesión predeterminada | Nombre del tenant de UiPath. |
Ejemplo
uip eval run get a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval run get a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Forma de datos (--json de salida)
{
"Code": "EvalSetRunDetails",
"Data": {
"EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
"Status": "completed",
"Score": 0.86,
"EvalsExecuted": 5,
"Duration": "42.5s"
}
}
{
"Code": "EvalSetRunDetails",
"Data": {
"EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
"Status": "completed",
"Score": 0.86,
"EvalsExecuted": 5,
"Duration": "42.5s"
}
}
La misma forma que una entrada run list (menos EvalSetId/CreatedAt), obtenida por ID en lugar de enumerada.
Resultados de la ejecución de la evaluación de UIP
Ver los resultados de la ejecución de evaluación por elemento para una ejecución de conjunto de evaluación: una entrada por elemento enviado en la llamada execute-and-evaluate original.
Argumentos
| Nombre | Obligatorio | Propósito |
|---|---|---|
<evalSetRunId> | Sí | ID de ejecución del conjunto de evaluación (GUID). |
Opciones
| Corto | Largo | Valor | Predeterminado | Descripción |
|---|---|---|---|---|
| — | --process-key | GUID | — | Obligatorio. Clave de proceso (GUID de implementación). |
| — | --tenant | name | sesión predeterminada | Nombre del tenant de UiPath. |
Ejemplo
uip eval run results a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval run results a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Forma de datos (--json de salida)
{
"Code": "EvalRunResults",
"Data": [
{
"EvalRunId": "e1e2e3e4-0000-0000-0000-000000000001",
"DataPoint": "Test Case 1",
"Status": "completed",
"Result": {}
}
]
}
{
"Code": "EvalRunResults",
"Data": [
{
"EvalRunId": "e1e2e3e4-0000-0000-0000-000000000001",
"DataPoint": "Test Case 1",
"Status": "completed",
"Result": {}
}
]
}
DataPoint es el name del elemento de origen (recurre al propio ID de la ejecución de evaluación si la instantánea no tiene ninguno). Result es la carga útil de puntuación sin procesar del evaluador; la forma depende del evaluador que se ejecutó.
UIP eval componentes-simulables
Enumera los componentes (herramientas, escaladas) de un proceso implementado que una evaluación puede simular. Utiliza los valores Id y ComponentType para crear el valor --simulations de eval evaluation create y eval evaluation update.
Lista de componentes simulables de la evaluación de UIP
Enumera los componentes simulables para un proceso implementado.
Opciones
| Corto | Largo | Valor | Predeterminado | Descripción |
|---|---|---|---|---|
| — | --process-key | GUID | — | Obligatorio. Clave de proceso. uip or processes list para buscar claves. |
| — | --process-version | versión semántica | última versión implementada | Versión del proceso desde el que leer los componentes. |
| — | --tenant | name | sesión predeterminada | Nombre del tenant de UiPath. |
Ejemplo
uip eval simulatable-components list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval simulatable-components list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Forma de datos (--json de salida)
{
"Code": "SimulatableComponentList",
"Data": [
{
"Id": "web-search",
"Name": "Web Search",
"Description": "Searches the web",
"ComponentType": "tool",
"SubType": "Api",
"IsEnabled": true
}
]
}
{
"Code": "SimulatableComponentList",
"Data": [
{
"Id": "web-search",
"Name": "Web Search",
"Description": "Searches the web",
"ComponentType": "tool",
"SubType": "Api",
"IsEnabled": true
}
]
}
OutputSchema se incluye en un componente solo cuando el proceso define uno para él.
Relacionado
schedule: automatizaexecute-and-evaluateen una programación recurrente.evaluator: gestiona la lógica de puntuación guardada.eval-setyevaluation: gestiona las colecciones de elementos guardados y las definiciones de evaluación.
Ver también
- descripción general de
uip or: la herramienta en cuyos procesos y carpetas opera; convenciones compartidas para--process-key/--folder-key/--tenant. - Opciones globales
- Códigos de salida
- Conceptos
- Sinopsis
- uip eval ejecutar y evaluar
- Opciones
- Ejemplos
- Forma de datos (--json de salida)
- ejecución de evaluación de uip
- lista de ejecución de evaluación de uip
- uip eval run get
- Resultados de la ejecución de la evaluación de UIP
- UIP eval componentes-simulables
- Lista de componentes simulables de la evaluación de UIP
- Relacionado
- Ver también