Avaliação da UIP

Sintaxe e opções para "uip eval", que executa avaliações de runtime em pacotes do Orchestrator e gerencia avaliadores, conjuntos de avaliação, avaliações e agendamentos.

uip eval executa avaliações de runtime em um pacote do Orchestrator implantado: envie entradas reais por meio de um processo, pontuar as saídas com um ou mais avaliadores e inspecionar os resultados. Ele também gerencia os blocos de construção reutilizáveis por trás desse fluxo de trabalho — avaliadores (lógica de pontuação), conjuntos de avaliação (coleções nomeadas que agrupam avaliações), avaliações (definições individuais de casos de teste salvos — nome, entradas, saída/comportamento esperado) e agendamentos recorrentes que gatilho é executado automaticamente.

Esse recurso abrange quatro páginas, divididas por subdomínio:

• Esta página — conceitos e execute-and-evaluate / run (envia uma execução e, em seguida, lista/inspeciona seus resultados).
• schedule — criar/listar/obter/atualizar/pausar/retomar/excluir execuções de avaliação recorrentes.
• evaluator — gerenciar a lógica de pontuação (por exemplo Avaliação de avaliadores com Julgamento via LLM) uma execução aplica-se às suas saídas.
• eval-set e evaluation — gerencie coleções de itens selecionados e definições de avaliação individuais.

uip eval é enviado como seu próprio pacote independente (@uipath/eval-tool, prefixo de comando eval) — não é um subcomando de uip or, mesmo que cada verbo aqui opere em um processo/pasta do Orchestrator. Para as convenções do Orchestrator compartilhadas (autenticação, escopo de pasta, tipos de chave, envelope de saída) que as opções --process-key/--folder-key/--tenant desta ferramenta seguem, consulte a visão geraluip or .

Conceitos

• Item de avaliação — um caso de teste passado em linha para execute-and-evaluate: um id, um name e um objeto inputs correspondente ao esquema de entrada esperado do processo. Uma execução envia uma matriz desses diretamente na linha de comando, quer ela também faça referência ou não a um conjunto de avaliação salvo.
• Avaliação — a contraparte salva de um item de avaliação: uma definição de caso de teste persistente (nome, entradas e, opcionalmente, uma saída/comportamento esperado) que pertence a um conjunto de avaliação. Gerencie-os com eval evaluation.
• Avaliador — lógica de pontuação aplicada à saída de cada item, identificada por um evaluatorTypeId (por exemplo, uipath-llm-judge-output-semantic-similarity) mais um objeto evaluatorConfig . Gerenciar avaliadores salvos com eval evaluator; uma execução também pode passar configurações do avaliador em linha por meio de --evaluators.
• Conjunto de avaliação — uma coleção de avaliações nomeada e reutilizável, gerenciada com eval eval-set. execute-and-evaluate pode fazer referência a um por --eval-set-id para fins de rastreamento/agrupar ou omita-o para executar ad hoc (o padrão é o GUID zero 00000000-0000-0000-0000-000000000000) — de qualquer forma, os itens reais pontuados em uma determinada execução são quaisquer --items contém nessa chamada.
• Execução de conjunto de avaliação versus execução de avaliação — o envio de execute-and-evaluate cria uma execução de conjunto de avaliação (o lote geral, identificado por EvalSetRunId), que distribui em uma execução de avaliação por item (run results lista-os individualmente, cada um com sua própria Status/Result).
• Escopo de pasta — execute-and-evaluate e run resolvem uma pasta de --folder-key ou padrão para seu espaço de trabalho pessoal quando omitido (a CLI procura-a automaticamente). Isso difere da maioria dos verbos uip or , que requerem um seletor de pasta explícito — consulte a visão geral da convenção geral.

Resumo

uip eval execute-and-evaluate --process-key <guid> --workload-id <guid> --items <json> --evaluators <json> [--eval-set-id <guid>] [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval run list    --process-key <guid> [--limit <n>] [--offset <n>] [--tenant <name>]
uip eval run get     <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval run results <evalSetRunId> --process-key <guid> [--tenant <name>]

execute-and-evaluate tem um alias: run-offline-evals.

executar-e-avaliar avaliação do uip

Envie uma execução de avaliação de runtime para um pacote do Orchestrator: envie um lote de itens pelo processo identificado por --process-key, marque cada saída com os avaliadores determinados e retorne o EvalSetRunId para pesquisar com run get/run results.

Opções

Short	Long	Valor	Padrão	Description
—	--process-key	GUID	—	Obrigatório. Chave do processo. Use uip or processes list para encontrar as chaves disponíveis.
—	--workload-id	GUID	—	Obrigatório. ID da carga de trabalho.
—	--items	Matriz JSON	—	Obrigatório. Itens de avaliação, cada um com id (string), name (string) e inputs (objeto). Validado do lado do cliente antes da chamada — um campo ausente/ malformado em qualquer item falha rapidamente, nomeando o índice do item.
—	--evaluators	Matriz JSON	—	Obrigatório. Configurações do avaliador, cada uma com um id, evaluatorTypeId e evaluatorConfig.
—	--eval-set-id	GUID	GUID zero	Faça referência a um conjunto de avaliação salvo. Omita para uma execução ad hoc.
—	--batch-size	Número	5	Máximo de pipelines de avaliação simultâneas.
—	--folder-key	GUID	Espaço de Trabalho Pessoal	Pasta em que executará. Use uip or folders list para encontrar as chaves disponíveis.
—	--tenant	name	padrão da sessão	Nome do tenant da UiPath. Opção simples — consulte Conceitos.

Exemplos

# Submit a run with an ad hoc item and an inline evaluator
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --workload-id a1b2c3d4-0000-0000-0000-000000000001 \
  --items '[{"id":"1","name":"greeting","inputs":{"input":"hello"}}]' \
  --evaluators '[{"id":"ev-1","evaluatorTypeId":"uipath-llm-judge-output-semantic-similarity","evaluatorConfig":{}}]'

# Reference a saved eval set and a specific folder
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --workload-id a1b2c3d4-0000-0000-0000-000000000001 \
  --items '[{"id":"1","name":"greeting","inputs":{"input":"hello"}}]' \
  --evaluators '[{"id":"ev-1","evaluatorTypeId":"uipath-llm-judge-output-semantic-similarity","evaluatorConfig":{}}]' \
  --eval-set-id a1b2c3d4-0000-0000-0000-000000000001 \
  --folder-key a9f3b2c1-7d4e-4a8b-9c2f-5e1d3b6a8f7e

Formato dos dados (--output json)

{
  "Code": "EvalRunSubmitted",
  "Data": {
    "ProcessKey": "9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09",
    "Folder": "[e-mail]'s workspace",
    "EvalSetId": "00000000-0000-0000-0000-000000000000",
    "EvalSetRunId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04"
  }
}

Folder reflete o nome do espaço de trabalho pessoal resolvido quando --folder-key foi omitido ou, caso contrário, a chave bruta que você passou.

execução de avaliação do uip

Inspecionar execuções de conjuntos de avaliação criadas por execute-and-evaluate, com escopo de --process-key.

lista de execução de avaliação do uip

Listar o conjunto de avaliação executado para um processo.

Opções

Short	Long	Valor	Padrão	Description
—	--process-key	GUID	—	Obrigatório. Chave de processo (GUID de implantação).
—	--limit	Número	50	Máx. de execuções para retornar.
—	--offset	Número	0	Número de execuções a ignorar.
—	--tenant	name	padrão da sessão	Nome do tenant da UiPath.

Exemplo

uip eval run list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

Formato dos dados (--output json)

{
  "Code": "EvalSetRunList",
  "Data": [
    {
      "EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
      "EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
      "Status": "completed",
      "Score": 0.86,
      "EvalsExecuted": 5,
      "Duration": "42.5s",
      "CreatedAt": "2026-08-01T10:00:00Z"
    }
  ],
  "Pagination": { "returned": 1, "limit": 50, "offset": 0 }
}

Score e Duration são "-" quando não estiverem disponíveis (execução ainda em andamento). Duration é formatado como Nms com um segundo, N.Ns caso contrário.

execução de avaliação do uip obter

Obtenha os detalhes de uma execução de conjuntos de avaliação.

Argumentos

Name	Required	Finalidade
<evalSetRunId>	sim	ID do conjunto de avaliações (GUID), de run list ou da saída de execute-and-evaluate.

Opções

Short	Long	Valor	Padrão	Description
—	--process-key	GUID	—	Obrigatório. Chave de processo (GUID de implantação).
—	--tenant	name	padrão da sessão	Nome do tenant da UiPath.

Exemplo

uip eval run get a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

Formato dos dados (--output json)

{
  "Code": "EvalSetRunDetails",
  "Data": {
    "EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
    "Status": "completed",
    "Score": 0.86,
    "EvalsExecuted": 5,
    "Duration": "42.5s"
  }
}

Mesmo formato de uma entrada run list (menos EvalSetId/CreatedAt), buscado por ID em vez de listado.

resultados da execução de avaliação do uip

Exibir resultados de execução de avaliação por item para uma execução de conjunto de avaliação — uma entrada por item enviado na chamada execute-and-evaluate original.

Argumentos

Name	Required	Finalidade
<evalSetRunId>	sim	Definir ID de execução (GUID).

Opções

Short	Long	Valor	Padrão	Description
—	--process-key	GUID	—	Obrigatório. Chave de processo (GUID de implantação).
—	--tenant	name	padrão da sessão	Nome do tenant da UiPath.

Exemplo

uip eval run results a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

Formato dos dados (--output json)

{
  "Code": "EvalRunResults",
  "Data": [
    {
      "EvalRunId": "e1e2e3e4-0000-0000-0000-000000000001",
      "DataPoint": "Test Case 1",
      "Status": "completed",
      "Result": {}
    }
  ]
}

DataPoint é o name do item de origem (retorna para o ID da própria execução de avaliação se o instantâneo não tiver nenhum). Result é a carga de pontuação bruta do avaliador — a forma depende de qual avaliador executou.

Relacionado

• schedule — automatize execute-and-evaluate em um cronograma recorrente.
• evaluator — gerenciar a lógica de pontuação salva.
• eval-set e evaluation — gerenciam coleções de itens salvas e definições de avaliação.

Veja também

• Visão geraluip or — a ferramenta em cujos processos e pastas ela opera; convenções compartilhadas para --process-key/--folder-key/--tenant.
• Opções globais
• Códigos de saída