Evaluación de UIP

Sintaxis y opciones para `uip eval`, que ejecuta evaluaciones de runtime en paquetes de Orchestrator y gestiona evaluadores, conjuntos de evaluación, evaluaciones y programaciones.

uip eval ejecuta evaluaciones de runtime en un paquete de Orchestrator implementado: envía entradas reales a través de un proceso, puntúa las salidas con uno o más evaluadores e inspecciona los resultados. También gestiona los bloques de construcción reutilizables detrás de ese flujo de trabajo: evaluadores (lógica de puntuación), conjuntos de evaluación (colecciones con nombre que agrupan evaluaciones), evaluaciones (definiciones de casos de prueba guardadas individualmente: nombre, entradas, salida/comportamiento esperado) y programaciones recurrentes que el desencadenador se ejecuta automáticamente.

Este recurso abarca cuatro páginas, divididas por subdominio:

• Esta página : conceptos y execute-and-evaluate / run (enviar una ejecución y luego enumerar/inspeccionar sus resultados).
• schedule : crear/enumerar/obtener/actualizar/pausar/reanudar/eliminar ejecuciones de evaluación recurrentes.
• evaluator : gestionar la lógica de puntuación (p. ej. evaluadores LLM-juez) que una ejecución aplica a sus salidas.
• eval-set y evaluation : gestionar colecciones de elementos seleccionados y definiciones de evaluación individuales.

uip eval se envía como su propio paquete independiente (@uipath/eval-tool, prefijo de comando eval): no es un subcomando de uip or, aunque cada verbo aquí opera contra un proceso/carpeta de Orchestrator. Para conocer las convenciones compartidas de Orchestrator (autenticación, ámbito de carpeta, tipos de clave, sobre de salida) que siguen las opciones --process-key/--folder-key/--tenant de esta herramienta, consulta la uip or descripción general.

Conceptos

• Elemento de evaluación : un caso de prueba pasado en línea a execute-and-evaluate: un id, un name y un objeto inputs que coincide con el esquema de entrada esperado del proceso. Una ejecución envía una matriz de estos directamente en la línea de comandos, haga o no referencia a un conjunto de evaluación guardado.
• Evaluación : la contrapartida guardada de un elemento de evaluación: una definición de caso de prueba persistente (nombre, entradas y, opcionalmente, una salida/comportamiento esperado) que pertenece a un conjunto de evaluación. Adminístrelos con eval evaluation.
• Evaluador : lógica de puntuación aplicada a la salida de cada elemento, identificada por un evaluatorTypeId (por ejemplo, uipath-llm-judge-output-semantic-similarity) más un objeto evaluatorConfig . Gestionar evaluadores guardados con eval evaluator; una ejecución también puede pasar configuraciones del evaluador en línea a través de --evaluators.
• Conjunto de evaluación : una colección de evaluaciones nombrada y reutilizable, gestionada con eval eval-set. execute-and-evaluate puede hacer referencia a uno por --eval-set-id con fines de seguimiento/agrupación, u omitirlo para ejecutarlo ad hoc (el valor predeterminado es el GUID cero 00000000-0000-0000-0000-000000000000); de cualquier manera, los elementos reales puntuados en una ejecución determinada son lo que sea --items contiene en esa llamada.
• Ejecución de conjunto de evaluación frente a ejecución de evaluación : enviar execute-and-evaluate crea una ejecución de conjunto de evaluación (el lote general, identificado por EvalSetRunId), que se despliega en una ejecución de evaluación por elemento (run results los enumera individualmente, cada uno con su propio Status/Result).
• Ámbito de carpeta : execute-and-evaluate y run resuelven una carpeta desde --folder-key, o de forma predeterminada a tu espacio de trabajo personal cuando se omite (la CLI lo busca automáticamente). Esto difiere de la mayoría de los verbos uip or , que requieren un selector de carpeta explícito: consulta la descripción general para la convención general.

Sinopsis

uip eval execute-and-evaluate --process-key <guid> --workload-id <guid> --items <json> --evaluators <json> [--eval-set-id <guid>] [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval run list    --process-key <guid> [--limit <n>] [--offset <n>] [--tenant <name>]
uip eval run get     <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval run results <evalSetRunId> --process-key <guid> [--tenant <name>]

execute-and-evaluate tiene un alias: run-offline-evals.

uip eval ejecutar y evaluar

Enviar una ejecución de evaluación de runtime para un paquete de Orchestrator: envía un lote de elementos a través del proceso identificado por --process-key, puntúa cada salida con los evaluadores dados y devuelve EvalSetRunId a la encuesta con run get/run results.

Opciones

Corto	Largo	Valor	Predeterminado	Descripción
—	--process-key	GUID	—	Obligatorio. Clave de proceso. Usa uip or processes list para encontrar las claves disponibles.
—	--workload-id	GUID	—	Obligatorio. ID de carga de trabajo.
—	--items	MatrizJson	—	Obligatorio. Elementos de evaluación, cada uno con id (cadena), name (cadena) y inputs (objeto). Validado en el lado del cliente antes de la llamada: un campo faltante/malformado en cualquier elemento falla rápidamente, nombrando el índice del elemento.
—	--evaluators	MatrizJson	—	Obligatorio. Configuraciones del evaluador, cada una con un id, evaluatorTypeId y evaluatorConfig.
—	--eval-set-id	GUID	GUID cero	Referencia a un conjunto de evaluación guardado. Omitir para una ejecución ad hoc.
—	--batch-size	Número	5	Máximo de procesos de evaluación concurrentes.
—	--folder-key	GUID	Espacio de trabajo personal	Carpeta en la que se ejecutará. Usa uip or folders list para encontrar las claves disponibles.
—	--tenant	name	sesión predeterminada	Nombre del tenant de UiPath. Opción simple: consulta Conceptos.

Ejemplos

# Submit a run with an ad hoc item and an inline evaluator
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --workload-id a1b2c3d4-0000-0000-0000-000000000001 \
  --items '[{"id":"1","name":"greeting","inputs":{"input":"hello"}}]' \
  --evaluators '[{"id":"ev-1","evaluatorTypeId":"uipath-llm-judge-output-semantic-similarity","evaluatorConfig":{}}]'

# Reference a saved eval set and a specific folder
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --workload-id a1b2c3d4-0000-0000-0000-000000000001 \
  --items '[{"id":"1","name":"greeting","inputs":{"input":"hello"}}]' \
  --evaluators '[{"id":"ev-1","evaluatorTypeId":"uipath-llm-judge-output-semantic-similarity","evaluatorConfig":{}}]' \
  --eval-set-id a1b2c3d4-0000-0000-0000-000000000001 \
  --folder-key a9f3b2c1-7d4e-4a8b-9c2f-5e1d3b6a8f7e

Forma de datos (--json de salida)

{
  "Code": "EvalRunSubmitted",
  "Data": {
    "ProcessKey": "9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09",
    "Folder": "[e-mail]'s workspace",
    "EvalSetId": "00000000-0000-0000-0000-000000000000",
    "EvalSetRunId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04"
  }
}

Folder repite el nombre del espacio de trabajo personal resuelto cuando se omitió --folder-key, o la clave sin procesar que pasaste de lo contrario.

ejecución de evaluación de uip

Inspeccionar las ejecuciones del conjunto de evaluación creadas por execute-and-evaluate, con ámbito de --process-key.

lista de ejecución de evaluación de uip

Enumerar las ejecuciones del conjunto de evaluación para un proceso.

Opciones

Corto	Largo	Valor	Predeterminado	Descripción
—	--process-key	GUID	—	Obligatorio. Clave de proceso (GUID de implementación).
—	--limit	Número	50	Máximo de ejecuciones para volver.
—	--offset	Número	0	Número de ejecuciones que se omitirán.
—	--tenant	name	sesión predeterminada	Nombre del tenant de UiPath.

Ejemplo

uip eval run list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

Forma de datos (--json de salida)

{
  "Code": "EvalSetRunList",
  "Data": [
    {
      "EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
      "EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
      "Status": "completed",
      "Score": 0.86,
      "EvalsExecuted": 5,
      "Duration": "42.5s",
      "CreatedAt": "2026-08-01T10:00:00Z"
    }
  ],
  "Pagination": { "returned": 1, "limit": 50, "offset": 0 }
}

Score y Duration son "-" cuando aún no están disponibles (la ejecución aún está en curso). Duration tiene el formato Nms menos de un segundo, N.Ns de lo contrario.

uip eval run get

Obtenga detalles de una ejecución de conjunto de evaluación.

Argumentos

Nombre	Obligatorio	Propósito
<evalSetRunId>	Sí	ID de ejecución del conjunto de evaluación (GUID), desde run list o la salida de execute-and-evaluate.

Opciones

Corto	Largo	Valor	Predeterminado	Descripción
—	--process-key	GUID	—	Obligatorio. Clave de proceso (GUID de implementación).
—	--tenant	name	sesión predeterminada	Nombre del tenant de UiPath.

Ejemplo

uip eval run get a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

Forma de datos (--json de salida)

{
  "Code": "EvalSetRunDetails",
  "Data": {
    "EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
    "Status": "completed",
    "Score": 0.86,
    "EvalsExecuted": 5,
    "Duration": "42.5s"
  }
}

La misma forma que una entrada run list (menos EvalSetId/CreatedAt), obtenida por ID en lugar de enumerada.

Resultados de la ejecución de la evaluación de UIP

Ver los resultados de la ejecución de evaluación por elemento para una ejecución de conjunto de evaluación: una entrada por elemento enviado en la llamada execute-and-evaluate original.

Argumentos

Nombre	Obligatorio	Propósito
<evalSetRunId>	Sí	ID de ejecución del conjunto de evaluación (GUID).

Opciones

Corto	Largo	Valor	Predeterminado	Descripción
—	--process-key	GUID	—	Obligatorio. Clave de proceso (GUID de implementación).
—	--tenant	name	sesión predeterminada	Nombre del tenant de UiPath.

Ejemplo

uip eval run results a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

Forma de datos (--json de salida)

{
  "Code": "EvalRunResults",
  "Data": [
    {
      "EvalRunId": "e1e2e3e4-0000-0000-0000-000000000001",
      "DataPoint": "Test Case 1",
      "Status": "completed",
      "Result": {}
    }
  ]
}

DataPoint es el name del elemento de origen (recurre al propio ID de la ejecución de evaluación si la instantánea no tiene ninguno). Result es la carga útil de puntuación sin procesar del evaluador; la forma depende del evaluador que se ejecutó.

Relacionado

• schedule : automatiza execute-and-evaluate en una programación recurrente.
• evaluator : gestiona la lógica de puntuación guardada.
• eval-set y evaluation : gestiona las colecciones de elementos guardados y las definiciones de evaluación.

Ver también

• descripción general deuip or : la herramienta en cuyos procesos y carpetas opera; convenciones compartidas para --process-key/--folder-key/--tenant.
• Opciones globales
• Códigos de salida