UiPath Documentation
uipath-cli
latest
false
Guía del usuario de UiPath CLI
Importante :
Este contenido se ha traducido mediante traducción automática. La localización de contenidos recién publicados puede tardar entre una y dos semanas en estar disponible.

Evaluación de UIP

Sintaxis y opciones para `uip eval`, que ejecuta evaluaciones de runtime en paquetes de Orchestrator y gestiona evaluadores, conjuntos de evaluación, evaluaciones y programaciones.

uip eval ejecuta evaluaciones de runtime en un paquete de Orchestrator implementado: envía entradas reales a través de un proceso, puntúa las salidas con uno o más evaluadores e inspecciona los resultados. También gestiona los bloques de construcción reutilizables detrás de ese flujo de trabajo: evaluadores (lógica de puntuación), conjuntos de evaluación (colecciones con nombre que agrupan evaluaciones), evaluaciones (definiciones de casos de prueba guardadas individualmente: nombre, entradas, salida/comportamiento esperado) y programaciones recurrentes que el desencadenador se ejecuta automáticamente.

Este recurso abarca cuatro páginas, divididas por subdominio:

  • Esta página : conceptos, execute-and-evaluate / run (enviar una ejecución y luego enumerar/inspeccionar sus resultados) y simulatable-components (enumerar los componentes que una evaluación puede simular).
  • schedule : crear/enumerar/obtener/actualizar/pausar/reanudar/eliminar ejecuciones de evaluación recurrentes.
  • evaluator : gestionar la lógica de puntuación (p. ej. evaluadores LLM-juez) que una ejecución aplica a sus salidas.
  • eval-set y evaluation : gestionar colecciones de elementos seleccionados y definiciones de evaluación individuales.

uip eval se envía como su propio paquete independiente (@uipath/eval-tool, prefijo de comando eval): no es un subcomando de uip or, aunque cada verbo aquí opera contra un proceso/carpeta de Orchestrator. Para conocer las convenciones compartidas de Orchestrator (autenticación, ámbito de carpeta, tipos de clave, sobre de salida) que siguen las opciones --process-key/--folder-key/--tenant de esta herramienta, consulta la uip or descripción general.

Conceptos​

  • Elemento de evaluación : un caso de prueba pasado en línea a execute-and-evaluate: un id, un name y un objeto inputs que coincide con el esquema de entrada esperado del proceso. En el modo en línea, una ejecución envía una matriz de estos directamente en la línea de comandos con --items.
  • Evaluación : la contrapartida guardada de un elemento de evaluación: una definición de caso de prueba persistente (nombre, entradas y, opcionalmente, una salida/comportamiento esperado) que pertenece a un conjunto de evaluación. Adminístrelos con eval evaluation.
  • Evaluador : lógica de puntuación aplicada a la salida de cada elemento, identificada por un evaluatorTypeId (por ejemplo, uipath-llm-judge-output-semantic-similarity) más un objeto evaluatorConfig . Gestionar evaluadores guardados con eval evaluator; una ejecución también puede pasar configuraciones del evaluador en línea a través de --evaluators.
  • Conjunto de evaluación : una colección de evaluaciones nombrada y reutilizable, gestionada con eval eval-set. execute-and-evaluate se ejecuta en uno de dos modos: en el modo de conjunto de evaluación, solo --eval-set-id obtiene los elementos y evaluadores del conjunto de evaluación guardado; en modo en línea, --items y --evaluators los proporcionan en la línea de comandos.
  • Ejecución de conjunto de evaluación frente a ejecución de evaluación : enviar execute-and-evaluate crea una ejecución de conjunto de evaluación (el lote general, identificado por EvalSetRunId), que se despliega en una ejecución de evaluación por elemento (run results los enumera individualmente, cada uno con su propio Status/Result).
  • Simulación : simula un componente que el proceso llama (una herramienta o una escalada) cuando se ejecuta una evaluación. Adjunta simulaciones a una evaluación guardada con --simulations. Enumera los componentes que expone un proceso implementado con simulatable-components list.
  • Ámbito de carpeta : execute-and-evaluate resuelve una carpeta de --folder-key. Cuando se omite --folder-key , utiliza tu espacio de trabajo personal en modo en línea (la CLI lo busca automáticamente) y la carpeta del conjunto de evaluación en modo conjunto de evaluación. Esto difiere de la mayoría de los verbos uip or , que requieren un selector de carpeta explícito. Consulta la información general para ver la convención general.

Sinopsis​

uip eval execute-and-evaluate --process-key <guid> --eval-set-id <id> [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval execute-and-evaluate --process-key <guid> --workload-id <guid> --items <json> --evaluators <json> [--eval-set-id <id>] [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval run list    --process-key <guid> [--limit <n>] [--offset <n>] [--tenant <name>]
uip eval run get     <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval run results <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval simulatable-components list --process-key <guid> [--process-version <version>] [--tenant <name>]
uip eval execute-and-evaluate --process-key <guid> --eval-set-id <id> [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval execute-and-evaluate --process-key <guid> --workload-id <guid> --items <json> --evaluators <json> [--eval-set-id <id>] [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval run list    --process-key <guid> [--limit <n>] [--offset <n>] [--tenant <name>]
uip eval run get     <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval run results <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval simulatable-components list --process-key <guid> [--process-version <version>] [--tenant <name>]

execute-and-evaluate tiene un alias: run-offline-evals.

uip eval ejecutar y evaluar​

Enviar una ejecución de evaluación de runtime para un proceso: envía un lote de elementos a través del proceso identificado por --process-key, puntúa cada salida con los evaluadores y devuelve EvalSetRunId a la encuesta con run get/run results.

El comando se ejecuta en uno de dos modos:

ModePassLos elementos y evaluadores provienen de
Modo de conjunto de evaluación--eval-set-id sin --items y --evaluatorsEl conjunto de evaluación guardado: sus evaluaciones se convierten en los elementos, y sus referencias de evaluador seleccionan los evaluadores guardados. El ID de carga de trabajo, la carpeta y el tamaño del lote son los valores predeterminados del conjunto de evaluación.
Modo en línea--items, --evaluators y --workload-idLa línea de comandos. --eval-set-id es opcional; cuando se omite, la ejecución utiliza el GUID cero como su ID del conjunto de evaluación.

El comando falla cuando no pasas ni --eval-set-id ni --items/--evaluators, o solo uno de --items y --evaluators. En el modo conjunto de evaluación, también falla cuando el conjunto de evaluación no tiene evaluaciones o referencias de evaluador, o cuando una referencia de evaluador no coincide con un evaluador guardado del proceso.

Opciones​

CortoLargoValorPredeterminadoDescripción
—--process-keyGUID—Obligatorio. Clave de proceso. Usa uip or processes list para encontrar las claves disponibles.
—--eval-set-idID—ID del conjunto de evaluación. Sin --items/--evaluators, la ejecución obtiene sus elementos y evaluadores de este conjunto de evaluación.
—--workload-idGUID—ID de carga de trabajo. Obligatorio en modo en línea.
—--itemsMatrizJson—Modo en línea. Elementos de evaluación, cada uno con id (cadena), name (cadena) y inputs (objeto). Validado en el lado del cliente antes de la llamada: un campo faltante/malformado en cualquier elemento falla rápidamente, nombrando el índice del elemento.
—--evaluatorsMatrizJson—Modo en línea. Configuraciones del evaluador, cada una con un id, evaluatorTypeId y evaluatorConfig.
—--batch-sizeNúmero5 en modo en línea; el valor del conjunto de evaluación en el modo conjunto de evaluaciónMáximo de procesos de evaluación concurrentes.
—--folder-keyGUIDespacio de trabajo personal en modo en línea; la carpeta del conjunto de evaluación en modo conjunto de evaluaciónCarpeta en la que se ejecutará. Usa uip or folders list para encontrar las claves disponibles.
—--tenantnamesesión predeterminadaNombre del tenant de UiPath. Opción simple: consulta Conceptos.

Ejemplos​

# Run from a saved eval set (fetches items and evaluators automatically)
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04
# Run from a saved eval set (fetches items and evaluators automatically)
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04
# Submit a run with an ad hoc item and an inline evaluator
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --workload-id a1b2c3d4-0000-0000-0000-000000000001 \
  --items '[{"id":"1","name":"greeting","inputs":{"input":"hello"}}]' \
  --evaluators '[{"id":"ev-1","evaluatorTypeId":"uipath-llm-judge-output-semantic-similarity","evaluatorConfig":{}}]'
# Submit a run with an ad hoc item and an inline evaluator
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --workload-id a1b2c3d4-0000-0000-0000-000000000001 \
  --items '[{"id":"1","name":"greeting","inputs":{"input":"hello"}}]' \
  --evaluators '[{"id":"ev-1","evaluatorTypeId":"uipath-llm-judge-output-semantic-similarity","evaluatorConfig":{}}]'
# Run from a saved eval set in a specific folder, with a larger batch
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 \
  --folder-key a9f3b2c1-7d4e-4a8b-9c2f-5e1d3b6a8f7e \
  --batch-size 10
# Run from a saved eval set in a specific folder, with a larger batch
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 \
  --folder-key a9f3b2c1-7d4e-4a8b-9c2f-5e1d3b6a8f7e \
  --batch-size 10

Forma de datos (--json de salida)​

Modo en línea, con --folder-key omitido:

{
  "Code": "EvalRunSubmitted",
  "Data": {
    "ProcessKey": "9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09",
    "Folder": "user@uipath.com's workspace",
    "EvalSetId": "00000000-0000-0000-0000-000000000000",
    "EvalSetRunId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04"
  }
}
{
  "Code": "EvalRunSubmitted",
  "Data": {
    "ProcessKey": "9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09",
    "Folder": "user@uipath.com's workspace",
    "EvalSetId": "00000000-0000-0000-0000-000000000000",
    "EvalSetRunId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04"
  }
}

Folder es la clave de carpeta que utiliza la ejecución: la clave que pasaste con --folder-key, o la clave de carpeta del conjunto de evaluación en el modo de conjunto de evaluación. En el modo en línea con --folder-key omitido, es el nombre del espacio de trabajo personal resuelto.

ejecución de evaluación de uip​

Inspeccionar las ejecuciones del conjunto de evaluación creadas por execute-and-evaluate, con ámbito de --process-key.

lista de ejecución de evaluación de uip​

Enumerar las ejecuciones del conjunto de evaluación para un proceso.

Opciones​
CortoLargoValorPredeterminadoDescripción
—--process-keyGUID—Obligatorio. Clave de proceso (GUID de implementación).
—--limitNúmero50Máximo de ejecuciones para volver.
—--offsetNúmero0Número de ejecuciones que se omitirán.
—--tenantnamesesión predeterminadaNombre del tenant de UiPath.
Ejemplo​
uip eval run list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval run list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Forma de datos (--json de salida)​
{
  "Code": "EvalSetRunList",
  "Data": [
    {
      "EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
      "EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
      "Status": "completed",
      "Score": 0.86,
      "EvalsExecuted": 5,
      "Duration": "42.5s",
      "CreatedAt": "2026-08-01T10:00:00Z"
    }
  ],
  "Pagination": { "Returned": 1, "Limit": 50, "Offset": 0, "HasMore": false }
}
{
  "Code": "EvalSetRunList",
  "Data": [
    {
      "EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
      "EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
      "Status": "completed",
      "Score": 0.86,
      "EvalsExecuted": 5,
      "Duration": "42.5s",
      "CreatedAt": "2026-08-01T10:00:00Z"
    }
  ],
  "Pagination": { "Returned": 1, "Limit": 50, "Offset": 0, "HasMore": false }
}

Score y Duration son "-" cuando aún no están disponibles (la ejecución aún está en curso). Duration tiene el formato Nms menos de un segundo, N.Ns de lo contrario.

uip eval run get​

Obtenga detalles de una ejecución de conjunto de evaluación.

Argumentos​
NombreObligatorioPropósito
<evalSetRunId>SíID de ejecución del conjunto de evaluación (GUID), desde run list o la salida de execute-and-evaluate.
Opciones​
CortoLargoValorPredeterminadoDescripción
—--process-keyGUID—Obligatorio. Clave de proceso (GUID de implementación).
—--tenantnamesesión predeterminadaNombre del tenant de UiPath.
Ejemplo​
uip eval run get a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval run get a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Forma de datos (--json de salida)​
{
  "Code": "EvalSetRunDetails",
  "Data": {
    "EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
    "Status": "completed",
    "Score": 0.86,
    "EvalsExecuted": 5,
    "Duration": "42.5s"
  }
}
{
  "Code": "EvalSetRunDetails",
  "Data": {
    "EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
    "Status": "completed",
    "Score": 0.86,
    "EvalsExecuted": 5,
    "Duration": "42.5s"
  }
}

La misma forma que una entrada run list (menos EvalSetId/CreatedAt), obtenida por ID en lugar de enumerada.

Resultados de la ejecución de la evaluación de UIP​

Ver los resultados de la ejecución de evaluación por elemento para una ejecución de conjunto de evaluación: una entrada por elemento enviado en la llamada execute-and-evaluate original.

Argumentos​
NombreObligatorioPropósito
<evalSetRunId>SíID de ejecución del conjunto de evaluación (GUID).
Opciones​
CortoLargoValorPredeterminadoDescripción
—--process-keyGUID—Obligatorio. Clave de proceso (GUID de implementación).
—--tenantnamesesión predeterminadaNombre del tenant de UiPath.
Ejemplo​
uip eval run results a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval run results a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Forma de datos (--json de salida)​
{
  "Code": "EvalRunResults",
  "Data": [
    {
      "EvalRunId": "e1e2e3e4-0000-0000-0000-000000000001",
      "DataPoint": "Test Case 1",
      "Status": "completed",
      "Result": {}
    }
  ]
}
{
  "Code": "EvalRunResults",
  "Data": [
    {
      "EvalRunId": "e1e2e3e4-0000-0000-0000-000000000001",
      "DataPoint": "Test Case 1",
      "Status": "completed",
      "Result": {}
    }
  ]
}

DataPoint es el name del elemento de origen (recurre al propio ID de la ejecución de evaluación si la instantánea no tiene ninguno). Result es la carga útil de puntuación sin procesar del evaluador; la forma depende del evaluador que se ejecutó.

UIP eval componentes-simulables​

Enumera los componentes (herramientas, escaladas) de un proceso implementado que una evaluación puede simular. Utiliza los valores Id y ComponentType para crear el valor --simulations de eval evaluation create y eval evaluation update.

Lista de componentes simulables de la evaluación de UIP​

Enumera los componentes simulables para un proceso implementado.

Opciones​
CortoLargoValorPredeterminadoDescripción
—--process-keyGUID—Obligatorio. Clave de proceso. uip or processes list para buscar claves.
—--process-versionversión semánticaúltima versión implementadaVersión del proceso desde el que leer los componentes.
—--tenantnamesesión predeterminadaNombre del tenant de UiPath.
Ejemplo​
uip eval simulatable-components list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval simulatable-components list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Forma de datos (--json de salida)​
{
  "Code": "SimulatableComponentList",
  "Data": [
    {
      "Id": "web-search",
      "Name": "Web Search",
      "Description": "Searches the web",
      "ComponentType": "tool",
      "SubType": "Api",
      "IsEnabled": true
    }
  ]
}
{
  "Code": "SimulatableComponentList",
  "Data": [
    {
      "Id": "web-search",
      "Name": "Web Search",
      "Description": "Searches the web",
      "ComponentType": "tool",
      "SubType": "Api",
      "IsEnabled": true
    }
  ]
}

OutputSchema se incluye en un componente solo cuando el proceso define uno para él.

  • schedule : automatiza execute-and-evaluate en una programación recurrente.
  • evaluator : gestiona la lógica de puntuación guardada.
  • eval-set y evaluation : gestiona las colecciones de elementos guardados y las definiciones de evaluación.

Ver también​

¿Te ha resultado útil esta página?

Conectar

¿Necesita ayuda? Soporte(opens in new window)

¿Quiere aprender? UiPath Academy(opens in new window)

¿Tiene alguna pregunta? Foro de UiPath(opens in new window)

Manténgase actualizado