- Visão geral
- Introdução
- Conceitos
- Usando o UiPath CLI
- Guias de instruções
- Receitas de CI/CD
- Referência de comando
- Visão geral
- Códigos de saída
- Opções globais
- Agente de código uip
- codificador UIP
- Contextualização da uip
- Documento da UIP
- Função UIP
- Proteções da UIP
- configuração-llm-uip
- gateway-llm-uip
- criação do uip Maestro
- Registro do uip Maestro
- hub de modelo da uip
- Atividades Localizar
- atividades get-padrão-xaml
- Analisar
- lista de regras do analisador
- Criar
- Limpeza
- instalação de entidades-de-dados
- lista de entidades de data-fabric
- comparação dos arquivos
- obter-repositório-objeto-da-Biblioteca
- obter-objeto-repositório
- Init
- lista de instâncias
- Empacotar
- inspeção de pacotes
- Instalação dos pacotes
- versões dos pacotes
- Publicar
- Remoto
- restore
- executar, depurar e adicionar; Execução
- Configurações
- Início do Studio
- pesquisa de modelos
- adição de dados de teste
- adicionar-fila-de-dados-de-teste
- adição-variação dos dados de teste
- TM
- UIA
- Validar
- fluxo de trabalho-exemplos obter
- lista de exemplos de fluxo de trabalho
- tarefas do UIP
- anexo
- Campo personalizado
- Defects
- Execuções
- exportar trabalhos
- Migração
- Rótulo do objeto
- Empacotar
- cenário-perf
- grupos de carga do cenário-perf
- dados de execução do cenário-perf
- relatório do cenário-perf
- Projeto
- permissões do projeto
- Prompts
- Relatar
- Requisitos
- Resultado
- Executar
- Agendamentos
- Log de caso de teste
- Casos de teste
- Conjuntos de Testes
- Log de etapa de teste
- Usuário
- Aguardar
- Traces da UIP
- Feedback de traces da uip
- Migração
- Referência e suporte
Avaliação da UIP
Sintaxe e opções para "uip eval", que executa avaliações de runtime em pacotes do Orchestrator e gerencia avaliadores, conjuntos de avaliação, avaliações e agendamentos.
uip eval executa avaliações de runtime em um pacote do Orchestrator implantado: envie entradas reais por meio de um processo, pontuar as saídas com um ou mais avaliadores e inspecionar os resultados. Ele também gerencia os blocos de construção reutilizáveis por trás desse fluxo de trabalho — avaliadores (lógica de pontuação), conjuntos de avaliação (coleções nomeadas que agrupam avaliações), avaliações (definições individuais de casos de teste salvos — nome, entradas, saída/comportamento esperado) e agendamentos recorrentes que gatilho é executado automaticamente.
Esse recurso abrange quatro páginas, divididas por subdomínio:
- Esta página — conceitos,
execute-and-evaluate/run(enviar uma execução e, em seguida, listar/inspecionar seus resultados) esimulatable-components(listar os componentes que uma avaliação pode simular). schedule— criar/listar/obter/atualizar/pausar/retomar/excluir execuções de avaliação recorrentes.evaluator— gerenciar a lógica de pontuação (por exemplo Avaliação de avaliadores com Julgamento via LLM) uma execução aplica-se às suas saídas.eval-seteevaluation— gerencie coleções de itens selecionados e definições de avaliação individuais.
uip eval é enviado como seu próprio pacote independente (@uipath/eval-tool, prefixo de comando eval) — não é um subcomando de uip or, mesmo que cada verbo aqui opere em um processo/pasta do Orchestrator. Para as convenções do Orchestrator compartilhadas (autenticação, escopo de pasta, tipos de chave, envelope de saída) que as opções --process-key/--folder-key/--tenant desta ferramenta seguem, consulte a visão geraluip or .
Conceitos
- Item de avaliação — um caso de teste passado em linha para
execute-and-evaluate: umid, umnamee um objetoinputscorrespondente ao esquema de entrada esperado do processo. No modo em linha, uma execução envia uma matriz desses diretamente na linha de comando com--items. - Avaliação — a contraparte salva de um item de avaliação: uma definição de caso de teste persistente (nome, entradas e, opcionalmente, uma saída/comportamento esperado) que pertence a um conjunto de avaliação. Gerencie-os com
eval evaluation. - Avaliador — lógica de pontuação aplicada à saída de cada item, identificada por um
evaluatorTypeId(por exemplo,uipath-llm-judge-output-semantic-similarity) mais um objetoevaluatorConfig. Gerenciar avaliadores salvos comeval evaluator; uma execução também pode passar configurações do avaliador em linha por meio de--evaluators. - Conjunto de avaliação — uma coleção de avaliações nomeada e reutilizável, gerenciada com
eval eval-set.execute-and-evaluateé executado em um de dois modos: no modo de conjunto de avaliação,--eval-set-idsomente busca os itens e avaliadores do conjunto de avaliação salvo; no modo embutido,--itemse--evaluatorsos fornecem na linha de comando. - Execução de conjunto de avaliação versus execução de avaliação — o envio de
execute-and-evaluatecria uma execução de conjunto de avaliação (o lote geral, identificado porEvalSetRunId), que distribui em uma execução de avaliação por item (run resultslista-os individualmente, cada um com sua própriaStatus/Result). - Simulation — simulates a component the process calls (a tool or an escalation) when an evaluation runs. Attach simulations to a saved evaluation with
--simulations. List the components a deployed process exposes withsimulatable-components list. - Escopo de pasta —
execute-and-evaluateresolve uma pasta de--folder-key. Quando--folder-keyé omitido, ele usa seu espaço de trabalho pessoal no modo em linha (a CLI o procura automaticamente) e a pasta do conjunto de avaliação no modo do conjunto de avaliação. Isso difere da maioria dos verbosuip or, que requerem um seletor de pasta explícito. Consulte a visão geral da convenção geral.
Resumo
uip eval execute-and-evaluate --process-key <guid> --eval-set-id <id> [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval execute-and-evaluate --process-key <guid> --workload-id <guid> --items <json> --evaluators <json> [--eval-set-id <id>] [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval run list --process-key <guid> [--limit <n>] [--offset <n>] [--tenant <name>]
uip eval run get <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval run results <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval simulatable-components list --process-key <guid> [--process-version <version>] [--tenant <name>]
uip eval execute-and-evaluate --process-key <guid> --eval-set-id <id> [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval execute-and-evaluate --process-key <guid> --workload-id <guid> --items <json> --evaluators <json> [--eval-set-id <id>] [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval run list --process-key <guid> [--limit <n>] [--offset <n>] [--tenant <name>]
uip eval run get <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval run results <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval simulatable-components list --process-key <guid> [--process-version <version>] [--tenant <name>]
execute-and-evaluate tem um alias: run-offline-evals.
executar-e-avaliar avaliação do uip
Envie uma execução de avaliação de runtime para um processo: envie um lote de itens pelo processo identificado por --process-key, marque cada saída com os avaliadores e retorne o EvalSetRunId para pesquisar com run get/run results.
O comando é executado em um dos dois modos:
| Mode | Pass | Os itens e avaliadores vêm de |
|---|---|---|
| Modo de definição da avaliação | --eval-set-id sem --items e --evaluators | O conjunto de avaliação salvo: suas avaliações se tornam os itens, e suas referências de avaliador selecionam os avaliadores salvos. O ID da carga de trabalho, a pasta e o tamanho do lote são padrão para os valores do conjunto de avaliação. |
| Modo em linha | --items, --evaluators e --workload-id | A linha de comando. é opcional --eval-set-id quando omitido, a execução usa o GUID zero como seu ID de conjunto de avaliação. |
O comando falha quando você não passa --eval-set-id nem --items/--evaluators, ou apenas um dos --items e --evaluators. No modo de conjunto de avaliação, ele também falha quando o conjunto de avaliação não tem avaliações ou referências de avaliador, ou quando uma referência de avaliador não corresponde a um avaliador salvo do processo.
Opções
| Short | Long | Valor | Padrão | Description |
|---|---|---|---|---|
| — | --process-key | GUID | — | Obrigatório. Chave do processo. Use uip or processes list para encontrar as chaves disponíveis. |
| — | --eval-set-id | ID | — | ID do conjunto de avaliação. Sem --items--evaluators a execução busca seus itens e avaliadores desse conjunto de avaliação. |
| — | --workload-id | GUID | — | ID da carga de trabalho. Necessário no modo em linha. |
| — | --items | Matriz JSON | — | Modo em linha. Itens de avaliação, cada um com id (string), name (string) e inputs (objeto). Validado do lado do cliente antes da chamada — um campo ausente/ malformado em qualquer item falha rapidamente, nomeando o índice do item. |
| — | --evaluators | Matriz JSON | — | Modo em linha. Configurações do avaliador, cada uma com um id, evaluatorTypeId e evaluatorConfig. |
| — | --batch-size | Número | 5 no modo embutido; o valor do conjunto de avaliação no modo eval-set | Máximo de pipelines de avaliação simultâneas. |
| — | --folder-key | GUID | espaço de trabalho pessoal no modo incorporado; a pasta do conjunto de eval no modo eval-set | Pasta em que executará. Use uip or folders list para encontrar as chaves disponíveis. |
| — | --tenant | name | padrão da sessão | Nome do tenant da UiPath. Opção simples — consulte Conceitos. |
Exemplos
# Run from a saved eval set (fetches items and evaluators automatically)
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04
# Run from a saved eval set (fetches items and evaluators automatically)
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04
# Submit a run with an ad hoc item and an inline evaluator
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--workload-id a1b2c3d4-0000-0000-0000-000000000001 \
--items '[{"id":"1","name":"greeting","inputs":{"input":"hello"}}]' \
--evaluators '[{"id":"ev-1","evaluatorTypeId":"uipath-llm-judge-output-semantic-similarity","evaluatorConfig":{}}]'
# Submit a run with an ad hoc item and an inline evaluator
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--workload-id a1b2c3d4-0000-0000-0000-000000000001 \
--items '[{"id":"1","name":"greeting","inputs":{"input":"hello"}}]' \
--evaluators '[{"id":"ev-1","evaluatorTypeId":"uipath-llm-judge-output-semantic-similarity","evaluatorConfig":{}}]'
# Run from a saved eval set in a specific folder, with a larger batch
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 \
--folder-key a9f3b2c1-7d4e-4a8b-9c2f-5e1d3b6a8f7e \
--batch-size 10
# Run from a saved eval set in a specific folder, with a larger batch
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 \
--folder-key a9f3b2c1-7d4e-4a8b-9c2f-5e1d3b6a8f7e \
--batch-size 10
Formato dos dados (--output json)
Modo em linha, com --folder-key omitido:
{
"Code": "EvalRunSubmitted",
"Data": {
"ProcessKey": "9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09",
"Folder": "user@uipath.com's workspace",
"EvalSetId": "00000000-0000-0000-0000-000000000000",
"EvalSetRunId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04"
}
}
{
"Code": "EvalRunSubmitted",
"Data": {
"ProcessKey": "9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09",
"Folder": "user@uipath.com's workspace",
"EvalSetId": "00000000-0000-0000-0000-000000000000",
"EvalSetRunId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04"
}
}
Folder é a chave de pasta que a execução usa: a chave que você passou com --folder-key ou a chave de pasta do conjunto de avaliação no modo eval-set. No modo em linha com --folder-key omitido, é o nome resolvido do espaço de trabalho pessoal.
execução de avaliação do uip
Inspecionar execuções de conjuntos de avaliação criadas por execute-and-evaluate, com escopo de --process-key.
lista de execução de avaliação do uip
Listar o conjunto de avaliação executado para um processo.
Opções
| Short | Long | Valor | Padrão | Description |
|---|---|---|---|---|
| — | --process-key | GUID | — | Obrigatório. Chave de processo (GUID de implantação). |
| — | --limit | Número | 50 | Máx. de execuções para retornar. |
| — | --offset | Número | 0 | Número de execuções a ignorar. |
| — | --tenant | name | padrão da sessão | Nome do tenant da UiPath. |
Exemplo
uip eval run list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval run list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Formato dos dados (--output json)
{
"Code": "EvalSetRunList",
"Data": [
{
"EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
"EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
"Status": "completed",
"Score": 0.86,
"EvalsExecuted": 5,
"Duration": "42.5s",
"CreatedAt": "2026-08-01T10:00:00Z"
}
],
"Pagination": { "Returned": 1, "Limit": 50, "Offset": 0, "HasMore": false }
}
{
"Code": "EvalSetRunList",
"Data": [
{
"EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
"EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
"Status": "completed",
"Score": 0.86,
"EvalsExecuted": 5,
"Duration": "42.5s",
"CreatedAt": "2026-08-01T10:00:00Z"
}
],
"Pagination": { "Returned": 1, "Limit": 50, "Offset": 0, "HasMore": false }
}
Score e Duration são "-" quando não estiverem disponíveis (execução ainda em andamento). Duration é formatado como Nms com um segundo, N.Ns caso contrário.
execução de avaliação do uip obter
Obtenha os detalhes de uma execução de conjuntos de avaliação.
Argumentos
| Name | Required | Finalidade |
|---|---|---|
<evalSetRunId> | sim | ID do conjunto de avaliações (GUID), de run list ou da saída de execute-and-evaluate. |
Opções
| Short | Long | Valor | Padrão | Description |
|---|---|---|---|---|
| — | --process-key | GUID | — | Obrigatório. Chave de processo (GUID de implantação). |
| — | --tenant | name | padrão da sessão | Nome do tenant da UiPath. |
Exemplo
uip eval run get a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval run get a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Formato dos dados (--output json)
{
"Code": "EvalSetRunDetails",
"Data": {
"EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
"Status": "completed",
"Score": 0.86,
"EvalsExecuted": 5,
"Duration": "42.5s"
}
}
{
"Code": "EvalSetRunDetails",
"Data": {
"EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
"Status": "completed",
"Score": 0.86,
"EvalsExecuted": 5,
"Duration": "42.5s"
}
}
Mesmo formato de uma entrada run list (menos EvalSetId/CreatedAt), buscado por ID em vez de listado.
resultados da execução de avaliação do uip
Exibir resultados de execução de avaliação por item para uma execução de conjunto de avaliação — uma entrada por item enviado na chamada execute-and-evaluate original.
Argumentos
| Name | Required | Finalidade |
|---|---|---|
<evalSetRunId> | sim | Definir ID de execução (GUID). |
Opções
| Short | Long | Valor | Padrão | Description |
|---|---|---|---|---|
| — | --process-key | GUID | — | Obrigatório. Chave de processo (GUID de implantação). |
| — | --tenant | name | padrão da sessão | Nome do tenant da UiPath. |
Exemplo
uip eval run results a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval run results a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Formato dos dados (--output json)
{
"Code": "EvalRunResults",
"Data": [
{
"EvalRunId": "e1e2e3e4-0000-0000-0000-000000000001",
"DataPoint": "Test Case 1",
"Status": "completed",
"Result": {}
}
]
}
{
"Code": "EvalRunResults",
"Data": [
{
"EvalRunId": "e1e2e3e4-0000-0000-0000-000000000001",
"DataPoint": "Test Case 1",
"Status": "completed",
"Result": {}
}
]
}
DataPoint é o name do item de origem (retorna para o ID da própria execução de avaliação se o instantâneo não tiver nenhum). Result é a carga de pontuação bruta do avaliador — a forma depende de qual avaliador executou.
componentes-simuláveis de avaliação uiip
Liste os componentes (ferramentas, escalonamentos) de um processo implantado que uma avaliação pode simular. Use os valores Id e ComponentType para criar o valor --simulations de eval evaluation create e eval evaluation update.
lista de componentes simulatable-components do uiip eval
Listar componentes simuláveis de um processo implantado.
Opções
| Short | Long | Valor | Padrão | Description |
|---|---|---|---|---|
| — | --process-key | GUID | — | Obrigatório. Chave do processo. uip or processes list para encontrar chaves. |
| — | --process-version | versão semântica | versão mais recente implantada | Versão do processo do qual ler os componentes. |
| — | --tenant | name | padrão da sessão | Nome do tenant da UiPath. |
Exemplo
uip eval simulatable-components list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval simulatable-components list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
Formato dos dados (--output json)
{
"Code": "SimulatableComponentList",
"Data": [
{
"Id": "web-search",
"Name": "Web Search",
"Description": "Searches the web",
"ComponentType": "tool",
"SubType": "Api",
"IsEnabled": true
}
]
}
{
"Code": "SimulatableComponentList",
"Data": [
{
"Id": "web-search",
"Name": "Web Search",
"Description": "Searches the web",
"ComponentType": "tool",
"SubType": "Api",
"IsEnabled": true
}
]
}
é incluído em um componente OutputSchema quando o processo define um para ele.
Relacionado
schedule— automatizeexecute-and-evaluateem um cronograma recorrente.evaluator— gerenciar a lógica de pontuação salva.eval-seteevaluation— gerenciam coleções de itens salvas e definições de avaliação.
Veja também
- Visão geral
uip or— a ferramenta em cujos processos e pastas ela opera; convenções compartilhadas para--process-key/--folder-key/--tenant. - Opções globais
- Códigos de saída
- Conceitos
- Resumo
- executar-e-avaliar avaliação do uip
- Opções
- Exemplos
- Formato dos dados (--output json)
- execução de avaliação do uip
- lista de execução de avaliação do uip
- execução de avaliação do uip obter
- resultados da execução de avaliação do uip
- componentes-simuláveis de avaliação uiip
- lista de componentes simulatable-components do uiip eval
- Relacionado
- Veja também