avaliação de fluxo do uip Maestro

Sintaxe e opções para o "uip Maestro flow eval", que gerencia avaliadores, conjuntos de avaliação e pontos de dados localmente e os executa no Studio Web.

uip maestro flow eval gerencia os ativos de avaliação de um projeto de fluxo — avaliadores (lógica de pontuação), conjuntos de avaliação (grupos nomeados de casos de teste) e pontos de dados (casos de teste individuais dentro de um conjunto) — e os executa remotamente no Studio Web. Tudo isso edita arquivos JSON locais no projeto de Fluxo, exceto eval run, que conversa com o Studio Web.

Conceitos

• Avaliador — lógica de pontuação (correspondência exata, similaridade JSON, contém ou um juiz LLM) aplicada à saída real de um ponto de dados.
• Conjunto de avaliação — uma coleção nomeada de pontos de dados mais os avaliadores que os pontuam. Pode ser limitada a todo o fluxo ou a um nó de agente (--entry-point com um ID de nó de agente).
• Ponto de dados — um caso de teste em um conjunto: entradas, saída esperada opcional, critérios opcionais por avaliador.
• Simulação — uma resposta simulada ou simulada por LLM para um componente (um nó ou uma ferramenta filho em um nó de agente), anexada a um ponto de dados específico — permite testar um fluxo sem chamar a dependência real.
• Cada subcomando local (evaluator, set, os verbos de ponto de dados simples, simulation) leva --path <path> — um diretório de projeto de fluxo ou um diretório de solução com exatamente um projeto de fluxo. O padrão é ..

Resumo

uip maestro flow eval evaluator add    <name> --type <type> [--description <text>] [--target-key <key>] [--model <model>] [--prompt <text>] [--path <path>]
uip maestro flow eval evaluator list   [--path <path>]
uip maestro flow eval evaluator remove <id> [--path <path>]

uip maestro flow eval set add    <name> [--evaluators <refs>] [--entry-point <id>] [--path <path>]
uip maestro flow eval set list   [--path <path>]
uip maestro flow eval set remove <id> [--path <path>]

uip maestro flow eval add    <name> --set <name> [--inputs <json>] [--input-file <key=path>]... [--expected <json>] [--criteria <json>] [--search-text <text>] [--path <path>]
uip maestro flow eval list   --set <name> [--path <path>]
uip maestro flow eval remove <id> --set <name> [--path <path>]

uip maestro flow eval simulation add    <component-id> --set <name> --data-point <id> --strategy <Static|Llm> [options...] [--path <path>]
uip maestro flow eval simulation list   --set <name> --data-point <id> [--parent <component-id>] [--path <path>]
uip maestro flow eval simulation remove <component-id> --set <name> --data-point <id> [--parent <component-id>] [--path <path>]

uip maestro flow eval run start    --set <name> [--solution-id <id> | --project-id <id>] [--entry-point <entry>] [--folder-key <key>] [--debug-mode <mode>] [--wait [--timeout <seconds>]]
uip maestro flow eval run status   <evalSetRunId> --set <name> [--solution-id <id> | --project-id <id>]
uip maestro flow eval run results  <evalSetRunId> --set <name> [--only-failed] [--verbose] [--export-format <json|csv>]
uip maestro flow eval run list     --set <name> [--solution-id <id> | --project-id <id>]
uip maestro flow eval run compare  <evalSetRunId> --compare-to <id> --set <name>

Observe a nomeação: os pontos de dados são gerenciados com eval add/list/remove bare (não eval evaluation add — não há a palavra "avaliação" no caminho de comando real, mesmo que a origem chame internamente esse conceito " ;avaliação".

Recebe opções globais. Os códigos de saída seguem o contrato padrão. Os subcomandos eval run exigem uip login.

avaliador de avaliação de fluxo do uip Maestro

Gerenciar avaliadores — a lógica de pontuação aplicada aos pontos de dados.

adicionar avaliador de avaliação de fluxo do uip Maestro

Opção	Required	Description
<name> (argumento)	sim	Nome do avaliador.
--type <type>	sim	Um destes: exact-match, json-similarity, contains, llm-judge-output, llm-judge-strict-json, llm-judge-trajectory, llm-judge-trajectory-simulation.
--description <text>	não	Descrição do avaliador.
--target-key <key>	não	Chave de saída de destino para pontuar. Padrão * (saída inteira).
--model <model>	não	Modelo de LLM — significativo apenas para tipos llm-judge-*.
--prompt <text>	não	Prompt de juiz do LLM personalizado — significativo apenas para os tipos llm-judge-*.
--path <path>	não	Diretório do projeto de fluxo. .Padrão.

Formato dos dados: Code: "FlowEvalEvaluatorAdd", Data: { Name, Id, Type, File }.

lista de avaliadores da avaliação do fluxo do uip Maestro

Formato dos dados: Code: "FlowEvalEvaluatorList", Data é uma matriz de { Name, Id, Type, TargetKey, File }.

Avaliador de avaliação de fluxo do uip Maestro remover

Argumento: <id> — ID do avaliador, nome ou nome de base do arquivo. Formato dos dados: Code: "FlowEvalEvaluatorRemove".

conjunto de avaliação de fluxo do uip Maestro

Gerenciar conjuntos de avaliação.

adicionar conjunto de avaliação de fluxo do uip Maestro

Opção	Required	Description
<name> (argumento)	sim	Nome do conjunto de avaliação.
--evaluators <refs>	não	IDs de avaliadores separados por vírgulas ou nomes de base de arquivo. Padrão: todos os avaliadores no projeto.
--entry-point <id>	não	ID do nó do ponto de entrada, armazenado como o selectedEntrypoint do conjunto. Passar o ID de um nó de agente cria um conjunto com escopo de nós que avalia apenas esse agente isoladamente.
--path <path>	não	Diretório do projeto de fluxo.

Formato dos dados: Code: "FlowEvalSetAdd", Data: { Name, Id, Evaluators, File, Scope, TargetNode? } — TargetNode está presente apenas para um conjunto com escopo de nó.

lista de conjuntos de avaliação de fluxo do uip Maestro

Formato dos dados: Code: "FlowEvalSetList", Data é uma matriz de { Name, Id, DataPoints, Evaluators, File, Scope, TargetNode? }.

conjunto de avaliação de fluxo do uip Maestro remover

Argumento: <id> — defina ID, nome ou nome base do arquivo. Formato dos dados: Code: "FlowEvalSetRemove".

Avaliação de fluxo do uip Maestro (pontos de dados)

Gerenciar casos de teste individuais dentro de um conjunto de avaliação. Registrado diretamente em eval, não em um subgrupo data-point ou evaluation.

adição de avaliação de fluxo do uip Maestro

Opção	Required	Description
<name> (argumento)	sim	Nome do ponto de dados.
--set <name>	sim	Nome ou ID do conjunto de avaliação.
--inputs <json>	não*	Insira valores como um objeto JSON.
--input-file <key=path>	não*	Anexe um arquivo como entrada <key>. Repetível.
--expected <json>	não	Saída esperada como um objeto JSON.
--criteria <json>	não	Critérios por avaliador, um objeto JSON chaveado pelo ID do avaliador.
--search-text <text>	não	Texto de pesquisa para avaliadores do tipo contains.
--path <path>	não	Diretório do projeto de fluxo.

* Pelo menos um dos --inputs/--input-file é necessário.

Formato dos dados: Code: "FlowEvalAdd", Data: { Status, Name, Id, Set }.

lista de avaliação do fluxo do uip Maestro

Requer --set <name>. Formato dos dados: Code: "FlowEvalList", Data é uma matriz de { Name, Id, Inputs, Expected, Evaluators } (Inputs/Expected são JSON com strings; Expected é "-" quando ausente).

remoção da avaliação do fluxo do Maestro do uip

Argumentos: <id> (ID ou nome do ponto de dados). Requer --set <name>. Formato dos dados: Code: "FlowEvalRemove".

simulação de avaliação de fluxo do uip Maestro

Simular ou LLM a resposta de um componente para um ponto de dados — permite que um ponto de dados exercer um fluxo sem atingir a dependência real (uma API externa, uma ferramenta de agente aninhada e assim por diante).

adição de simulação de avaliação de fluxo do uip Maestro

Opção	Required	Description
<component-id> (argumento)	sim	ID do componente a ser simulado.
--set <name>	sim	Nome ou ID do conjunto de avaliação.
--data-point <id>	sim	Nome ou ID do ponto de dados.
--strategy <Static|Llm>	sim	Estratégia de simulação.
--component-type <type>	condicionalmente	O padrão é Node quando --parent é passado; caso contrário, será necessário.
--component-description <text>	não	Descrição do componente.
--simulation-instructions <text>	necessário com Llm	Instruções de simulação do LLM.
--mock-value <json>	necessário com Static	Valor de saída simulado como JSON.
--parent <component-id>	não	ID do componente do agente pai. Quando definido, isso é adicionado como uma simulação de ferramenta filha nesse nó de agente em vez de uma simulação de componente de nível superior.
--path <path>	não	Diretório do projeto de fluxo.

Formato dos dados: Code: "FlowEvalSimulationAdd" (ou "FlowEvalChildSimulationAdd" quando --parent estiver definido), Data: { ComponentId, ComponentType, Strategy, DataPoint, Set, Parent? }.

lista de simulação de avaliação de fluxo do uip Maestro

Requer --set/--data-point. --parent <component-id> lista simulações de ferramentas filhas nesse nó de agente em vez de outras de nível superior. Formato dos dados: Code: "FlowEvalSimulationList" (ou "FlowEvalChildSimulationList" com --parent).

remoção de simulação de avaliação de fluxo do uip Maestro

Argumento:. <component-id> Requer --set/--data-point; --parent para direcionar uma simulação filha. Formato dos dados: Code: "FlowEvalSimulationRemove".

execução de avaliação do fluxo do uip Maestro

Execute um conjunto de avaliação remotamente no Studio Web e inspecione os resultados. Cada subcomando leva --set <name> (obrigatório), mais --solution-id <id> ou --project-id <id> para fixar o projeto do Studio Web de destino (por padrão, leia a partir do pai .uipx ou SolutionStorage.json) e --path <path>.

início da execução de avaliação do fluxo do uip Maestro

Opções adicionais: --entry-point <entry> (um caminho de ponto de entrada de fluxo como /Main.bpmn#start, ou um ID de nó inicial), --folder-key <key> (pasta do Orchestrator — usa o espaço de trabalho pessoal se omitido), --debug-mode <mode> (Substituição do modo de depuração do Studio Web), --wait (bloquear até a conclusão e imprimir resultados), --timeout <seconds> (com --wait).

uip maestro flow eval run start --set "Regression Suite" --wait

Formato dos dados: Code: "FlowEvalRunStarted", Data: { EvalSetRunId, EvalSetName, DataPoints, Evaluators, Status }. Sem --wait, Instructions informa o comando eval run status exato para pesquisar.

status de execução eval do fluxo do uip Maestro

Argumento:. <evalSetRunId> Formato dos dados: Code: "FlowEvalRunStatus", Data: { EvalSetRunId, Status, Score, Duration, EvaluatorScores } (Score é "-" se ainda não tiver sido pontuado).

resultados da execução eval do fluxo do uip Maestro

Argumento:. <evalSetRunId> Opções adicionais: --only-failed (filtrar para pontos de dados com falha/erros), --verbose (incluir justificativas do avaliador), --export-format <json|csv> (gravar em arquivo em vez de imprimir). Formato dos dados: Code: "FlowEvalRunResults", Data é uma matriz de linhas de resultado por ponto de dados.

lista de execução eval do fluxo do uip Maestro

Nenhum argumento além das opções de destino compartilhados. Formato dos dados: Code: "FlowEvalRunList", Data é uma matriz de resumos de execuções anteriores para o conjunto.

Comparação de execução eval do fluxo do uip Maestro

Argumentos: <evalSetRunId> mais --compare-to <id> (necessário) — a segunda execução para comparar. Formato dos dados: Code: "FlowEvalRunComparison", Data é uma comparação estruturada entre as pontuações das duas execuções e os resultados por ponto de dados.

Veja também

• uip maestro flow debug — testar um fluxo interativamente, em vez de executar um conjunto de avaliação pontuado
• uip maestro flow init, uip maestro flow node
• Visão geral do fluxo
• Opções globais, Códigos de saída