Avaliador da avaliação da uip

Sintaxe e opções para o "uip eval evaluator", que gerencia os avaliadores de pontuação usados para classificar execuções de processos do Orchestrator.

Um avaliador é um mecanismo de pontuação anexado a um processo ( --process-key) que classifica a saída de uma execução — por exemplo, uma comparação de juiz de LLM com uma resposta esperada ou uma verificação de correspondência exata. Os avaliadores são referenciados pelo ID de eval-set entradas e de execute-and-evaluate chamadas (consulte a visão geral da avaliação), que é o que realmente executa uma avaliação pontuada. Esta página abrange apenas a criação/gerenciamento das próprias definições do avaliador.

Cada verbo requer --process-key <guid> — os avaliadores estão limitados a um processo. Encontrar chaves de processo com uip or processes list.

Resumo

uip eval evaluator list --process-key <guid> [--limit <number>] [--offset <number>] [--tenant <tenant>]
uip eval evaluator get <evaluatorId> --process-key <guid> [--tenant <tenant>]
uip eval evaluator create --process-key <guid> --workload-id <guid> --folder-key <guid> --name <name> --description <text> --evaluator-type-id <id> --evaluator-config <json> [--version <version>] [--tenant <tenant>]
uip eval evaluator update <evaluatorId> --process-key <guid> [--name <name>] [--description <text>] [--evaluator-type-id <id>] [--evaluator-config <json>] [--version <version>] [--tenant <tenant>]
uip eval evaluator delete <evaluatorId> --process-key <guid> [--tenant <tenant>]

lista de avaliadores uip eval

Listar os avaliadores definidos para um processo.

Opções

Long	Valor	Required	Description
--process-key <guid>	GUID	sim	Chave do processo. Use uip or processes list para encontrar chaves.
--limit <number>	Número inteiro	não	Número máximo de itens a serem retornados. 100Padrão.
--offset <number>	Número inteiro	não	Número de itens a ignorar. 0Padrão.
--tenant <tenant>	name	não	Nome do tenant da UiPath.

Exemplo

uip eval evaluator list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

Formato dos dados (--output json)

{
  "Code": "EvaluatorList",
  "Data": [
    {
      "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001",
      "Name": "Semantic Similarity",
      "Description": "LLM-based output comparison",
      "EvaluatorTypeId": "uipath-llm-judge-output-semantic-similarity",
      "Version": "1.0",
      "CreatedAt": "2026-08-01T10:00:00Z"
    }
  ],
  "Pagination": { "Returned": 1, "Limit": 100, "Offset": 0 }
}

UpdatedAt é incluído por item somente quando o avaliador foi modificado desde a criação.

avaliador de avaliação uip obter

Obtenha os detalhes completos de um avaliador por ID.

Argumentos

Name	Required	Finalidade
<evaluatorId>	sim	ID do avaliador (GUID).

Opções

Long	Valor	Required	Description
--process-key <guid>	GUID	sim	Chave do processo.
--tenant <tenant>	name	não	Nome do tenant da UiPath.

Exemplo

uip eval evaluator get a1b2c3d4-0000-0000-0000-000000000001 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

Formato dos dados (--output json)

{
  "Code": "EvaluatorDetails",
  "Data": {
    "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001",
    "Name": "Semantic Similarity",
    "Description": "LLM-based output comparison",
    "EvaluatorTypeId": "uipath-llm-judge-output-semantic-similarity",
    "Version": "1.0",
    "CreatedAt": "2026-08-01T10:00:00Z"
  }
}

criação de avaliador de avaliação da uip

Crie um avaliador em um processo.

Opções

Long	Valor	Required	Description
--process-key <guid>	GUID	sim	Chave do processo.
--workload-id <guid>	GUID	sim	ID da carga de trabalho.
--folder-key <guid>	GUID	sim	Chave da pasta.
--name <name>	String	sim	Nome do avaliador.
--description <text>	String	sim	Descrição do avaliador.
--evaluator-type-id <id>	String	sim	Tipo de avaliador. Os exemplos da própria origem mostram uipath-exact-match, uipath-llm-judge-output-semantic-similarity, uipath-llm-judge-trajectory-similarity — esse não é um enum validado pelo cliente, portanto, outros IDs de tipo podem existir no lado do servidor; os três mostrados são simplesmente quais nomes os próprios textos de ajuda da CLI.
--evaluator-config <json>	JsonObject	sim	Configuração específica do tipo. A forma depende de --evaluator-type-id — o exemplo de similaridade semântica abaixo mostra name/prompt/model/targetOutputKey; outros tipos provavelmente usam chaves diferentes, não enumeradas no lado do cliente.
--version <version>	String	não	Versão do avaliador. 1.0Padrão.
--tenant <tenant>	name	não	Nome do tenant da UiPath.

Um externalId (UUID) é gerado automaticamente em cada criação — não é um sinalizador e não é mostrado na saída list/get.

Exemplo

uip eval evaluator create --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --workload-id a1b2c3d4-0000-0000-0000-000000000001 \
  --folder-key f1f2f3f4-0000-0000-0000-000000000001 \
  --name "Semantic Similarity" --description "LLM-based output comparison" \
  --evaluator-type-id uipath-llm-judge-output-semantic-similarity \
  --evaluator-config '{"name":"Semantic","prompt":"Score 0-100...","model":"gpt-4.1-2025-04-14","targetOutputKey":"*"}' \
  --version 1.0

Formato dos dados (--output json)

{
  "Code": "EvaluatorCreated",
  "Data": {
    "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001",
    "Name": "Semantic Similarity",
    "EvaluatorTypeId": "uipath-llm-judge-output-semantic-similarity"
  }
}

atualização do avaliador uip eval

Atualize um ou mais campos em um avaliador existente. Os campos não especificados são lidos do avaliador atual e reenviados inalterados (um PUT de objeto completo sob os panos, não um patch parcial) — o próprio --evaluator-config não é mesclado: passá-lo substitui todo o objeto de configuração, não apenas as chaves que você nome.

Argumentos

Name	Required	Finalidade
<evaluatorId>	sim	ID do avaliador (GUID).

Opções

Long	Valor	Required	Description
--process-key <guid>	GUID	sim	Chave do processo.
--name <name>	String	não*	Novo nome.
--description <text>	String	não*	Nova descrição.
--evaluator-type-id <id>	String	não*	Novo tipo de avaliador.
--evaluator-config <json>	JsonObject	não*	Nova configuração — substitui o objeto inteiro.
--version <version>	String	não*	Nova versão.
--tenant <tenant>	name	não	Nome do tenant da UiPath.

* Pelo menos um dos --name/--description/--evaluator-type-id/--evaluator-config/--version é necessário — a omissão de todos os cinco falha com um erro explícito antes de qualquer chamada de rede.

Exemplo

uip eval evaluator update a1b2c3d4-0000-0000-0000-000000000001 \
  --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --name "Updated Evaluator" \
  --evaluator-config '{"name":"Updated","prompt":"New prompt"}'

Formato dos dados (--output json)

{
  "Code": "EvaluatorUpdated",
  "Data": {
    "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001",
    "Name": "Updated Evaluator",
    "EvaluatorTypeId": "uipath-llm-judge-output-semantic-similarity"
  }
}

exclusão do avaliador de avaliação do uip

Excluir um avaliador.

Observação:

Excluir um avaliador não verifica se ele ainda é referenciado por uma entrada eval-set ou um schedule — a API não realiza nenhuma verificação de referência no lado do cliente. Confirme que nada depende disso primeiro.

Argumentos

Name	Required	Finalidade
<evaluatorId>	sim	ID do avaliador (GUID).

Opções

Long	Valor	Required	Description
--process-key <guid>	GUID	sim	Chave do processo.
--tenant <tenant>	name	não	Nome do tenant da UiPath.

Exemplo

uip eval evaluator delete a1b2c3d4-0000-0000-0000-000000000001 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

Formato dos dados (--output json)

{
  "Code": "EvaluatorDeleted",
  "Data": { "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001" }
}

Relacionado

• avaliação do uiip — visão geral, execute-and-evaluate e run.
• agendamento de avaliação uip — execuções de avaliação recorrentes.
• uip eval-set / evaluation — agrupando avaliadores em uma configuração de avaliação reutilizável.
• uip ou processes — encontre chaves de processo.

Veja também

• Visão geral da ferramenta do Orchestrator
• Opções globais
• Códigos de saída