UiPath Documentation
uipath-cli
latest
false
Guia do usuário da UiPath CLI
Importante :
Este conteúdo foi traduzido com auxílio de tradução automática. A localização de um conteúdo recém-publicado pode levar de 1 a 2 semanas para ficar disponível.

Avaliação da UIP

Sintaxe e opções para "uip eval", que executa avaliações de runtime em pacotes do Orchestrator e gerencia avaliadores, conjuntos de avaliação, avaliações e agendamentos.

uip eval executa avaliações de runtime em um pacote do Orchestrator implantado: envie entradas reais por meio de um processo, pontuar as saídas com um ou mais avaliadores e inspecionar os resultados. Ele também gerencia os blocos de construção reutilizáveis por trás desse fluxo de trabalho — avaliadores (lógica de pontuação), conjuntos de avaliação (coleções nomeadas que agrupam avaliações), avaliações (definições individuais de casos de teste salvos — nome, entradas, saída/comportamento esperado) e agendamentos recorrentes que gatilho é executado automaticamente.

Esse recurso abrange quatro páginas, divididas por subdomínio:

  • Esta página — conceitos, execute-and-evaluate / run (enviar uma execução e, em seguida, listar/inspecionar seus resultados) e simulatable-components (listar os componentes que uma avaliação pode simular).
  • schedule — criar/listar/obter/atualizar/pausar/retomar/excluir execuções de avaliação recorrentes.
  • evaluator — gerenciar a lógica de pontuação (por exemplo Avaliação de avaliadores com Julgamento via LLM) uma execução aplica-se às suas saídas.
  • eval-set e evaluation — gerencie coleções de itens selecionados e definições de avaliação individuais.

uip eval é enviado como seu próprio pacote independente (@uipath/eval-tool, prefixo de comando eval) — não é um subcomando de uip or, mesmo que cada verbo aqui opere em um processo/pasta do Orchestrator. Para as convenções do Orchestrator compartilhadas (autenticação, escopo de pasta, tipos de chave, envelope de saída) que as opções --process-key/--folder-key/--tenant desta ferramenta seguem, consulte a visão geraluip or .

Conceitos​

  • Item de avaliação — um caso de teste passado em linha para execute-and-evaluate: um id, um name e um objeto inputs correspondente ao esquema de entrada esperado do processo. No modo em linha, uma execução envia uma matriz desses diretamente na linha de comando com --items.
  • Avaliação — a contraparte salva de um item de avaliação: uma definição de caso de teste persistente (nome, entradas e, opcionalmente, uma saída/comportamento esperado) que pertence a um conjunto de avaliação. Gerencie-os com eval evaluation.
  • Avaliador — lógica de pontuação aplicada à saída de cada item, identificada por um evaluatorTypeId (por exemplo, uipath-llm-judge-output-semantic-similarity) mais um objeto evaluatorConfig . Gerenciar avaliadores salvos com eval evaluator; uma execução também pode passar configurações do avaliador em linha por meio de --evaluators.
  • Conjunto de avaliação — uma coleção de avaliações nomeada e reutilizável, gerenciada com eval eval-set. execute-and-evaluate é executado em um de dois modos: no modo de conjunto de avaliação, --eval-set-id somente busca os itens e avaliadores do conjunto de avaliação salvo; no modo embutido, --items e --evaluators os fornecem na linha de comando.
  • Execução de conjunto de avaliação versus execução de avaliação — o envio de execute-and-evaluate cria uma execução de conjunto de avaliação (o lote geral, identificado por EvalSetRunId), que distribui em uma execução de avaliação por item (run results lista-os individualmente, cada um com sua própria Status/Result).
  • Simulation — simulates a component the process calls (a tool or an escalation) when an evaluation runs. Attach simulations to a saved evaluation with --simulations. List the components a deployed process exposes with simulatable-components list.
  • Escopo de pasta — execute-and-evaluate resolve uma pasta de --folder-key. Quando --folder-key é omitido, ele usa seu espaço de trabalho pessoal no modo em linha (a CLI o procura automaticamente) e a pasta do conjunto de avaliação no modo do conjunto de avaliação. Isso difere da maioria dos verbos uip or , que requerem um seletor de pasta explícito. Consulte a visão geral da convenção geral.

Resumo​

uip eval execute-and-evaluate --process-key <guid> --eval-set-id <id> [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval execute-and-evaluate --process-key <guid> --workload-id <guid> --items <json> --evaluators <json> [--eval-set-id <id>] [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval run list    --process-key <guid> [--limit <n>] [--offset <n>] [--tenant <name>]
uip eval run get     <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval run results <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval simulatable-components list --process-key <guid> [--process-version <version>] [--tenant <name>]
uip eval execute-and-evaluate --process-key <guid> --eval-set-id <id> [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval execute-and-evaluate --process-key <guid> --workload-id <guid> --items <json> --evaluators <json> [--eval-set-id <id>] [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval run list    --process-key <guid> [--limit <n>] [--offset <n>] [--tenant <name>]
uip eval run get     <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval run results <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval simulatable-components list --process-key <guid> [--process-version <version>] [--tenant <name>]

execute-and-evaluate tem um alias: run-offline-evals.

executar-e-avaliar avaliação do uip​

Envie uma execução de avaliação de runtime para um processo: envie um lote de itens pelo processo identificado por --process-key, marque cada saída com os avaliadores e retorne o EvalSetRunId para pesquisar com run get/run results.

O comando é executado em um dos dois modos:

ModePassOs itens e avaliadores vêm de
Modo de definição da avaliação--eval-set-id sem --items e --evaluatorsO conjunto de avaliação salvo: suas avaliações se tornam os itens, e suas referências de avaliador selecionam os avaliadores salvos. O ID da carga de trabalho, a pasta e o tamanho do lote são padrão para os valores do conjunto de avaliação.
Modo em linha--items, --evaluators e --workload-idA linha de comando. é opcional --eval-set-id quando omitido, a execução usa o GUID zero como seu ID de conjunto de avaliação.

O comando falha quando você não passa --eval-set-id nem --items/--evaluators, ou apenas um dos --items e --evaluators. No modo de conjunto de avaliação, ele também falha quando o conjunto de avaliação não tem avaliações ou referências de avaliador, ou quando uma referência de avaliador não corresponde a um avaliador salvo do processo.

Opções​

ShortLongValorPadrãoDescription
—--process-keyGUID—Obrigatório. Chave do processo. Use uip or processes list para encontrar as chaves disponíveis.
—--eval-set-idID—ID do conjunto de avaliação. Sem --items--evaluators a execução busca seus itens e avaliadores desse conjunto de avaliação.
—--workload-idGUID—ID da carga de trabalho. Necessário no modo em linha.
—--itemsMatriz JSON—Modo em linha. Itens de avaliação, cada um com id (string), name (string) e inputs (objeto). Validado do lado do cliente antes da chamada — um campo ausente/ malformado em qualquer item falha rapidamente, nomeando o índice do item.
—--evaluatorsMatriz JSON—Modo em linha. Configurações do avaliador, cada uma com um id, evaluatorTypeId e evaluatorConfig.
—--batch-sizeNúmero5 no modo embutido; o valor do conjunto de avaliação no modo eval-setMáximo de pipelines de avaliação simultâneas.
—--folder-keyGUIDespaço de trabalho pessoal no modo incorporado; a pasta do conjunto de eval no modo eval-setPasta em que executará. Use uip or folders list para encontrar as chaves disponíveis.
—--tenantnamepadrão da sessãoNome do tenant da UiPath. Opção simples — consulte Conceitos.

Exemplos​

# Run from a saved eval set (fetches items and evaluators automatically)
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04
# Run from a saved eval set (fetches items and evaluators automatically)
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04
# Submit a run with an ad hoc item and an inline evaluator
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --workload-id a1b2c3d4-0000-0000-0000-000000000001 \
  --items '[{"id":"1","name":"greeting","inputs":{"input":"hello"}}]' \
  --evaluators '[{"id":"ev-1","evaluatorTypeId":"uipath-llm-judge-output-semantic-similarity","evaluatorConfig":{}}]'
# Submit a run with an ad hoc item and an inline evaluator
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --workload-id a1b2c3d4-0000-0000-0000-000000000001 \
  --items '[{"id":"1","name":"greeting","inputs":{"input":"hello"}}]' \
  --evaluators '[{"id":"ev-1","evaluatorTypeId":"uipath-llm-judge-output-semantic-similarity","evaluatorConfig":{}}]'
# Run from a saved eval set in a specific folder, with a larger batch
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 \
  --folder-key a9f3b2c1-7d4e-4a8b-9c2f-5e1d3b6a8f7e \
  --batch-size 10
# Run from a saved eval set in a specific folder, with a larger batch
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 \
  --folder-key a9f3b2c1-7d4e-4a8b-9c2f-5e1d3b6a8f7e \
  --batch-size 10

Formato dos dados (--output json)​

Modo em linha, com --folder-key omitido:

{
  "Code": "EvalRunSubmitted",
  "Data": {
    "ProcessKey": "9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09",
    "Folder": "user@uipath.com's workspace",
    "EvalSetId": "00000000-0000-0000-0000-000000000000",
    "EvalSetRunId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04"
  }
}
{
  "Code": "EvalRunSubmitted",
  "Data": {
    "ProcessKey": "9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09",
    "Folder": "user@uipath.com's workspace",
    "EvalSetId": "00000000-0000-0000-0000-000000000000",
    "EvalSetRunId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04"
  }
}

Folder é a chave de pasta que a execução usa: a chave que você passou com --folder-key ou a chave de pasta do conjunto de avaliação no modo eval-set. No modo em linha com --folder-key omitido, é o nome resolvido do espaço de trabalho pessoal.

execução de avaliação do uip​

Inspecionar execuções de conjuntos de avaliação criadas por execute-and-evaluate, com escopo de --process-key.

lista de execução de avaliação do uip​

Listar o conjunto de avaliação executado para um processo.

Opções​
ShortLongValorPadrãoDescription
—--process-keyGUID—Obrigatório. Chave de processo (GUID de implantação).
—--limitNúmero50Máx. de execuções para retornar.
—--offsetNúmero0Número de execuções a ignorar.
—--tenantnamepadrão da sessãoNome do tenant da UiPath.
Exemplo​
uip eval run list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval run list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Formato dos dados (--output json)​
{
  "Code": "EvalSetRunList",
  "Data": [
    {
      "EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
      "EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
      "Status": "completed",
      "Score": 0.86,
      "EvalsExecuted": 5,
      "Duration": "42.5s",
      "CreatedAt": "2026-08-01T10:00:00Z"
    }
  ],
  "Pagination": { "Returned": 1, "Limit": 50, "Offset": 0, "HasMore": false }
}
{
  "Code": "EvalSetRunList",
  "Data": [
    {
      "EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
      "EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
      "Status": "completed",
      "Score": 0.86,
      "EvalsExecuted": 5,
      "Duration": "42.5s",
      "CreatedAt": "2026-08-01T10:00:00Z"
    }
  ],
  "Pagination": { "Returned": 1, "Limit": 50, "Offset": 0, "HasMore": false }
}

Score e Duration são "-" quando não estiverem disponíveis (execução ainda em andamento). Duration é formatado como Nms com um segundo, N.Ns caso contrário.

execução de avaliação do uip obter​

Obtenha os detalhes de uma execução de conjuntos de avaliação.

Argumentos​
NameRequiredFinalidade
<evalSetRunId>simID do conjunto de avaliações (GUID), de run list ou da saída de execute-and-evaluate.
Opções​
ShortLongValorPadrãoDescription
—--process-keyGUID—Obrigatório. Chave de processo (GUID de implantação).
—--tenantnamepadrão da sessãoNome do tenant da UiPath.
Exemplo​
uip eval run get a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval run get a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Formato dos dados (--output json)​
{
  "Code": "EvalSetRunDetails",
  "Data": {
    "EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
    "Status": "completed",
    "Score": 0.86,
    "EvalsExecuted": 5,
    "Duration": "42.5s"
  }
}
{
  "Code": "EvalSetRunDetails",
  "Data": {
    "EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
    "Status": "completed",
    "Score": 0.86,
    "EvalsExecuted": 5,
    "Duration": "42.5s"
  }
}

Mesmo formato de uma entrada run list (menos EvalSetId/CreatedAt), buscado por ID em vez de listado.

resultados da execução de avaliação do uip​

Exibir resultados de execução de avaliação por item para uma execução de conjunto de avaliação — uma entrada por item enviado na chamada execute-and-evaluate original.

Argumentos​
NameRequiredFinalidade
<evalSetRunId>simDefinir ID de execução (GUID).
Opções​
ShortLongValorPadrãoDescription
—--process-keyGUID—Obrigatório. Chave de processo (GUID de implantação).
—--tenantnamepadrão da sessãoNome do tenant da UiPath.
Exemplo​
uip eval run results a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval run results a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Formato dos dados (--output json)​
{
  "Code": "EvalRunResults",
  "Data": [
    {
      "EvalRunId": "e1e2e3e4-0000-0000-0000-000000000001",
      "DataPoint": "Test Case 1",
      "Status": "completed",
      "Result": {}
    }
  ]
}
{
  "Code": "EvalRunResults",
  "Data": [
    {
      "EvalRunId": "e1e2e3e4-0000-0000-0000-000000000001",
      "DataPoint": "Test Case 1",
      "Status": "completed",
      "Result": {}
    }
  ]
}

DataPoint é o name do item de origem (retorna para o ID da própria execução de avaliação se o instantâneo não tiver nenhum). Result é a carga de pontuação bruta do avaliador — a forma depende de qual avaliador executou.

componentes-simuláveis de avaliação uiip​

Liste os componentes (ferramentas, escalonamentos) de um processo implantado que uma avaliação pode simular. Use os valores Id e ComponentType para criar o valor --simulations de eval evaluation create e eval evaluation update.

lista de componentes simulatable-components do uiip eval​

Listar componentes simuláveis de um processo implantado.

Opções​
ShortLongValorPadrãoDescription
—--process-keyGUID—Obrigatório. Chave do processo. uip or processes list para encontrar chaves.
—--process-versionversão semânticaversão mais recente implantadaVersão do processo do qual ler os componentes.
—--tenantnamepadrão da sessãoNome do tenant da UiPath.
Exemplo​
uip eval simulatable-components list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval simulatable-components list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Formato dos dados (--output json)​
{
  "Code": "SimulatableComponentList",
  "Data": [
    {
      "Id": "web-search",
      "Name": "Web Search",
      "Description": "Searches the web",
      "ComponentType": "tool",
      "SubType": "Api",
      "IsEnabled": true
    }
  ]
}
{
  "Code": "SimulatableComponentList",
  "Data": [
    {
      "Id": "web-search",
      "Name": "Web Search",
      "Description": "Searches the web",
      "ComponentType": "tool",
      "SubType": "Api",
      "IsEnabled": true
    }
  ]
}

é incluído em um componente OutputSchema quando o processo define um para ele.

  • schedule — automatize execute-and-evaluate em um cronograma recorrente.
  • evaluator — gerenciar a lógica de pontuação salva.
  • eval-set e evaluation — gerenciam coleções de itens salvas e definições de avaliação.

Veja também​

Esta página foi útil?

Conectar

Precisa de ajuda? Suporte(opens in new window)

Quer aprender? Academia UiPath(opens in new window)

Tem perguntas? Fórum do UiPath(opens in new window)

Fique por dentro das novidades