evaluador uip eval

Sintaxis y opciones para `evaluador de evaluación de uip`, que gestiona los evaluadores de puntuación utilizados para calificar las ejecuciones del proceso de Orchestrator.

Un evaluador es un mecanismo de puntuación adjunto a un proceso (por --process-key) que califica la salida de una ejecución, por ejemplo, una comparación de juez de LLM con una respuesta esperada o una comprobación de coincidencia exacta. Se hace referencia a los evaluadores por ID desde las entradas eval-set y desde las llamadas execute-and-evaluate (consulta la descripción general de eval), que es lo que realmente ejecuta una evaluación puntuada. Esta página solo cubre la creación/gestión de las propias definiciones de evaluador.

Cada verbo requiere --process-key <guid>: los evaluadores se limitan a un proceso. Encuentra claves de proceso con uip or processes list.

Sinopsis

uip eval evaluator list --process-key <guid> [--limit <number>] [--offset <number>] [--tenant <tenant>]
uip eval evaluator get <evaluatorId> --process-key <guid> [--tenant <tenant>]
uip eval evaluator create --process-key <guid> --workload-id <guid> --folder-key <guid> --name <name> --description <text> --evaluator-type-id <id> --evaluator-config <json> [--version <version>] [--tenant <tenant>]
uip eval evaluator update <evaluatorId> --process-key <guid> [--name <name>] [--description <text>] [--evaluator-type-id <id>] [--evaluator-config <json>] [--version <version>] [--tenant <tenant>]
uip eval evaluator delete <evaluatorId> --process-key <guid> [--tenant <tenant>]

lista de evaluadores de uip eval

Enumerar evaluadores definidos para un proceso.

Opciones

Largo	Valor	Obligatorio	Descripción
--process-key <guid>	GUID	Sí	Clave de proceso. Utiliza uip or processes list para buscar claves.
--limit <number>	Entero	No	Número máximo de elementos para devolver. Predeterminado 100.
--offset <number>	Entero	No	Número de elementos a omitir. Predeterminado 0.
--tenant <tenant>	name	No	Nombre del tenant de UiPath.

Ejemplo

uip eval evaluator list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

Forma de datos (--json de salida)

{
  "Code": "EvaluatorList",
  "Data": [
    {
      "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001",
      "Name": "Semantic Similarity",
      "Description": "LLM-based output comparison",
      "EvaluatorTypeId": "uipath-llm-judge-output-semantic-similarity",
      "Version": "1.0",
      "CreatedAt": "2026-08-01T10:00:00Z"
    }
  ],
  "Pagination": { "Returned": 1, "Limit": 100, "Offset": 0 }
}

UpdatedAt se incluye por elemento solo cuando el evaluador se ha modificado desde su creación.

uip eval evaluador get

Obtener los detalles completos de un evaluador por ID.

Argumentos

Nombre	Obligatorio	Propósito
<evaluatorId>	Sí	ID del evaluador (GUID).

Opciones

Largo	Valor	Obligatorio	Descripción
--process-key <guid>	GUID	Sí	Clave de proceso.
--tenant <tenant>	name	No	Nombre del tenant de UiPath.

Ejemplo

uip eval evaluator get a1b2c3d4-0000-0000-0000-000000000001 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

Forma de datos (--json de salida)

{
  "Code": "EvaluatorDetails",
  "Data": {
    "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001",
    "Name": "Semantic Similarity",
    "Description": "LLM-based output comparison",
    "EvaluatorTypeId": "uipath-llm-judge-output-semantic-similarity",
    "Version": "1.0",
    "CreatedAt": "2026-08-01T10:00:00Z"
  }
}

creación de evaluador de uip eval

Crear un evaluador en un proceso.

Opciones

Largo	Valor	Obligatorio	Descripción
--process-key <guid>	GUID	Sí	Clave de proceso.
--workload-id <guid>	GUID	Sí	ID de carga de trabajo.
--folder-key <guid>	GUID	Sí	Clave de carpeta.
--name <name>	String	Sí	Nombre del evaluador.
--description <text>	String	Sí	Descripción del evaluador.
--evaluator-type-id <id>	String	Sí	Tipo de evaluador. Los propios ejemplos de origen muestran uipath-exact-match, uipath-llm-judge-output-semantic-similarity, uipath-llm-judge-trajectory-similarity: este no es un enumerado validado por el cliente, por lo que pueden existir otros ID de tipo en el lado del servidor; los tres que se muestran son simplemente los nombres del propio texto de ayuda de la CLI.
--evaluator-config <json>	ObjetoJson	Sí	Configuración específica del tipo. La forma depende de --evaluator-type-id: el siguiente ejemplo de similitud semántica muestra name/prompt/model/targetOutputKey; es probable que otros tipos tomen claves diferentes, no enumeradas en el lado del cliente.
--version <version>	String	No	Versión del evaluador. Predeterminado 1.0.
--tenant <tenant>	name	No	Nombre del tenant de UiPath.

Se genera automáticamente un externalId (UUID) en cada creación: no es un marcador y no se muestra en la salida list/get.

Ejemplo

uip eval evaluator create --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --workload-id a1b2c3d4-0000-0000-0000-000000000001 \
  --folder-key f1f2f3f4-0000-0000-0000-000000000001 \
  --name "Semantic Similarity" --description "LLM-based output comparison" \
  --evaluator-type-id uipath-llm-judge-output-semantic-similarity \
  --evaluator-config '{"name":"Semantic","prompt":"Score 0-100...","model":"gpt-4.1-2025-04-14","targetOutputKey":"*"}' \
  --version 1.0

Forma de datos (--json de salida)

{
  "Code": "EvaluatorCreated",
  "Data": {
    "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001",
    "Name": "Semantic Similarity",
    "EvaluatorTypeId": "uipath-llm-judge-output-semantic-similarity"
  }
}

actualización del evaluador de uip eval

Actualizar uno o más campos en un evaluador existente. Los campos no especificados se leen del evaluador actual y se reenvían sin cambios (un PUT de objeto completo bajo el capó, no un parche parcial) — --evaluator-config en sí mismo no se fusiona: al pasarlo se reemplaza todo el objeto de configuración, no solo las claves que nombre.

Argumentos

Nombre	Obligatorio	Propósito
<evaluatorId>	Sí	ID del evaluador (GUID).

Opciones

Largo	Valor	Obligatorio	Descripción
--process-key <guid>	GUID	Sí	Clave de proceso.
--name <name>	String	No*	Nuevo nombre.
--description <text>	String	No*	Nueva descripción.
--evaluator-type-id <id>	String	No*	Nuevo tipo de evaluador.
--evaluator-config <json>	ObjetoJson	No*	Nueva configuración: reemplaza todo el objeto.
--version <version>	String	No*	Nueva versión.
--tenant <tenant>	name	No	Nombre del tenant de UiPath.

* Se requiere al menos uno de --name/--description/--evaluator-type-id/--evaluator-config/--version: omitir los cinco falla con un error explícito antes de cualquier llamada de red.

Ejemplo

uip eval evaluator update a1b2c3d4-0000-0000-0000-000000000001 \
  --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --name "Updated Evaluator" \
  --evaluator-config '{"name":"Updated","prompt":"New prompt"}'

Forma de datos (--json de salida)

{
  "Code": "EvaluatorUpdated",
  "Data": {
    "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001",
    "Name": "Updated Evaluator",
    "EvaluatorTypeId": "uipath-llm-judge-output-semantic-similarity"
  }
}

eliminación del evaluador de evaluación de uip

Eliminar un evaluador.

Nota:

Eliminar un evaluador no comprueba si todavía está referenciado por una entrada eval-set o un schedule : la API no realiza ninguna comprobación de referencia en el lado del cliente. Confirme que nada depende de ello primero.

Argumentos

Nombre	Obligatorio	Propósito
<evaluatorId>	Sí	ID del evaluador (GUID).

Opciones

Largo	Valor	Obligatorio	Descripción
--process-key <guid>	GUID	Sí	Clave de proceso.
--tenant <tenant>	name	No	Nombre del tenant de UiPath.

Ejemplo

uip eval evaluator delete a1b2c3d4-0000-0000-0000-000000000001 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

Forma de datos (--json de salida)

{
  "Code": "EvaluatorDeleted",
  "Data": { "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001" }
}

Relacionado

• uip eval — descripción general, execute-and-evaluate y run.
• programación de evaluación de uip : ejecuciones de evaluación recurrentes.
• uip eval-set / evaluación — agrupar evaluadores en una configuración de evaluación reutilizable.
• uip o procesos : busca claves de proceso.

Ver también

• Descripción general de la herramienta Orchestrator
• Opciones globales
• Códigos de salida