evaluación de flujo maestro de uip

Sintaxis y opciones para `uip maestroflow eval`, que gestiona evaluadores, conjuntos de evaluación y puntos de datos localmente y los ejecuta en Studio Web.

uip maestro flow eval los activos de evaluación de un proyecto de flujo: evaluadores (lógica de puntuación), conjuntos de evaluación (grupos con nombre de casos de prueba) y puntos de datos (casos de prueba individuales dentro de un conjunto), y los ejecuta de forma remota en Studio Web. Todo esto edita los archivos JSON locales en el proyecto Flow excepto eval run, que se comunica con Studio Web.

Conceptos

• Evaluador : lógica de puntuación (coincidencia exacta, similitud de JSON, contiene o un juez de LLM) aplicada a la salida real de un punto de datos.
• Conjunto de evaluación : una colección con nombre de puntos de datos más los evaluadores que los puntúan. Puede limitarse a todo el flujo o a un nodo agente (--entry-point con un ID de nodo agente).
• Punto de datos : un caso de prueba en un conjunto: entradas, salida esperada opcional, criterios opcionales por evaluador.
• Simulación : una respuesta simulada o simulada por LLM para un componente (un nodo o una herramienta secundaria en un nodo agente), adjunta a un punto de datos específico: te permite probar un flujo sin llamar a la dependencia real.
• Cada subcomando local (evaluator, set, los verbos de punto de datos desnudos, simulation) ocupa --path <path>: un directorio de proyecto de Flow o un directorio de soluciones con exactamente un proyecto de Flow. El valor predeterminado es ..

Sinopsis

uip maestro flow eval evaluator add    <name> --type <type> [--description <text>] [--target-key <key>] [--model <model>] [--prompt <text>] [--path <path>]
uip maestro flow eval evaluator list   [--path <path>]
uip maestro flow eval evaluator remove <id> [--path <path>]

uip maestro flow eval set add    <name> [--evaluators <refs>] [--entry-point <id>] [--path <path>]
uip maestro flow eval set list   [--path <path>]
uip maestro flow eval set remove <id> [--path <path>]

uip maestro flow eval add    <name> --set <name> [--inputs <json>] [--input-file <key=path>]... [--expected <json>] [--criteria <json>] [--search-text <text>] [--path <path>]
uip maestro flow eval list   --set <name> [--path <path>]
uip maestro flow eval remove <id> --set <name> [--path <path>]

uip maestro flow eval simulation add    <component-id> --set <name> --data-point <id> --strategy <Static|Llm> [options...] [--path <path>]
uip maestro flow eval simulation list   --set <name> --data-point <id> [--parent <component-id>] [--path <path>]
uip maestro flow eval simulation remove <component-id> --set <name> --data-point <id> [--parent <component-id>] [--path <path>]

uip maestro flow eval run start    --set <name> [--solution-id <id> | --project-id <id>] [--entry-point <entry>] [--folder-key <key>] [--debug-mode <mode>] [--wait [--timeout <seconds>]]
uip maestro flow eval run status   <evalSetRunId> --set <name> [--solution-id <id> | --project-id <id>]
uip maestro flow eval run results  <evalSetRunId> --set <name> [--only-failed] [--verbose] [--export-format <json|csv>]
uip maestro flow eval run list     --set <name> [--solution-id <id> | --project-id <id>]
uip maestro flow eval run compare  <evalSetRunId> --compare-to <id> --set <name>

Tenga en cuenta la denominación: los puntos de datos se gestionan con eval add/list/remove (no eval evaluation add — no hay palabra "evaluación" en la ruta del comando real, aunque el origen llama internamente a este concepto &quot ;evaluación").

Prevalece las opciones globales. Los códigos de salida siguen el contrato estándar. Los subcomandos eval run requieren uip login.

evaluador de flujo maestro de uip

Gestionar evaluadores: la lógica de puntuación aplicada a los puntos de datos.

añadir al evaluador de evaluación de flujo maestro de uip

Opción	Obligatorio	Descripción
<name> (argumento)	Sí	Nombre del evaluador.
--type <type>	Sí	Uno de: exact-match, json-similarity, contains, llm-judge-output, llm-judge-strict-json, llm-judge-trajectory, llm-judge-trajectory-simulation.
--description <text>	No	Descripción del evaluador.
--target-key <key>	No	Clave de salida de destino para puntuar. Predeterminado * (salida completa).
--model <model>	No	Modelo LLM: solo significativo para tipos llm-judge-*.
--prompt <text>	No	Solicitud de juez de LLM personalizada: solo significativa para tipos llm-judge-*.
--path <path>	No	Directorio del proyecto de flujo. Predeterminado ..

Forma de datos: Code: "FlowEvalEvaluatorAdd", Data: { Name, Id, Type, File }.

lista de evaluadores de evaluación de flujo maestro de uip

Forma de datos: Code: "FlowEvalEvaluatorList", Data es una matriz de { Name, Id, Type, TargetKey, File }.

Eliminar del evaluador de flujo maestro de uip

Argumento: <id> — ID del evaluador, nombre o nombre base del archivo. Forma de datos: Code: "FlowEvalEvaluatorRemove".

conjunto de evaluación de flujo maestro de uip

Gestionar conjuntos de evaluación.

añadir conjunto de evaluación de flujo maestro de uip

Opción	Obligatorio	Descripción
<name> (argumento)	Sí	Nombre del conjunto de evaluación.
--evaluators <refs>	No	ID de evaluador separados por comas o nombres base de archivos. Predeterminado: todos los evaluadores del proyecto.
--entry-point <id>	No	ID de nodo del punto de entrada, almacenado como el selectedEntrypoint del conjunto. Al pasar el ID de un nodo agente se crea un conjunto de ámbito de nodo que evalúa solo ese agente de forma aislada.
--path <path>	No	Directorio del proyecto de flujo.

Forma de datos: Code: "FlowEvalSetAdd", Data: { Name, Id, Evaluators, File, Scope, TargetNode? } — TargetNode está presente solo para un conjunto de ámbito de nodo.

lista de conjuntos de evaluación de flujo maestro de uip

Forma de datos: Code: "FlowEvalSetList", Data es una matriz de { Name, Id, DataPoints, Evaluators, File, Scope, TargetNode? }.

eliminar conjunto de evaluación de flujo maestro de uip

Argumento: <id>: establecer ID, nombre o nombre base de archivo. Forma de datos: Code: "FlowEvalSetRemove".

evaluación de flujo maestro de uip (puntos de datos)

Gestiona casos de prueba individuales dentro de un conjunto de evaluación. Registrado directamente en eval, no en un subgrupo data-point o evaluation.

adición de evaluación de flujo maestro de uip

Opción	Obligatorio	Descripción
<name> (argumento)	Sí	Nombre del punto de datos.
--set <name>	Sí	Nombre o ID del conjunto de evaluación.
--inputs <json>	No*	Valores de entrada como un objeto JSON.
--input-file <key=path>	No*	Adjuntar un archivo como entrada <key>. Repetible.
--expected <json>	No	Salida esperada como objeto JSON.
--criteria <json>	No	Criterios por evaluador, un objeto JSON introducido por ID de evaluador.
--search-text <text>	No	Texto de búsqueda, para evaluadores de tipo contains.
--path <path>	No	Directorio del proyecto de flujo.

* Se requiere al menos uno de --inputs/--input-file.

Forma de datos: Code: "FlowEvalAdd", Data: { Status, Name, Id, Set }.

lista de evaluación de flujo maestro de uip

Requiere --set <name>. Forma de datos: Code: "FlowEvalList", Data es una matriz de { Name, Id, Inputs, Expected, Evaluators } (Inputs/Expected son JSON en cadena; Expected es "-" cuando está ausente).

eliminación de evaluación de flujo maestro de uip

Argumentos: <id> (ID o nombre del punto de datos). Requiere --set <name>. Forma de datos: Code: "FlowEvalRemove".

simulación de evaluación de flujo maestro de uip

Simular o simular mediante LLM la respuesta de un componente para un punto de datos: permite que un punto de datos ejerza un flujo sin afectar a la dependencia real (una API externa, una herramienta de agente anidada, etc.).

adición de simulación de evaluación de flujo de maestro de uip

Opción	Obligatorio	Descripción
<component-id> (argumento)	Sí	ID de componente para simular.
--set <name>	Sí	Nombre o ID del conjunto de evaluación.
--data-point <id>	Sí	Nombre o ID del punto de datos.
--strategy <Static|Llm>	Sí	Estrategia de simulación.
--component-type <type>	condicionalmente	El valor predeterminado es Node cuando se pasa --parent; de lo contrario.
--component-description <text>	No	Descripción del componente.
--simulation-instructions <text>	requerido con Llm	Instrucciones de simulación de LLM.
--mock-value <json>	requerido con Static	Valor de salida simulado como JSON.
--parent <component-id>	No	ID del componente del agente principal. Cuando se establece, se añade como una simulación de herramienta secundaria en ese nodo agente en lugar de una simulación de componente de nivel superior.
--path <path>	No	Directorio del proyecto de flujo.

Forma de datos: Code: "FlowEvalSimulationAdd" (o "FlowEvalChildSimulationAdd" cuando se establece --parent), Data: { ComponentId, ComponentType, Strategy, DataPoint, Set, Parent? }.

lista de simulación de evaluación de flujo maestro de uip

Requiere --set/--data-point. --parent <component-id> enumera las simulaciones de herramientas secundarias en ese nodo agente en lugar de las de nivel superior. Forma de datos: Code: "FlowEvalSimulationList" (o "FlowEvalChildSimulationList" con --parent).

eliminación de simulación de evaluación de flujo maestro de uip

Argumento: <component-id>. Requiere --set/--data-point; --parent para dirigirse a una simulación secundaria. Forma de datos: Code: "FlowEvalSimulationRemove".

ejecución de evaluación de flujo de uip maestro

Ejecuta un conjunto de evaluación de forma remota en Studio Web e inspecciona los resultados. Cada subcomando toma --set <name> (obligatorio), más --solution-id <id> o --project-id <id> para anclar el proyecto de destino de Studio Web (de forma predeterminada, léase del padre .uipx o SolutionStorage.json), y --path <path>.

inicio de la ejecución de la evaluación del flujo maestro de uip

Opciones adicionales: --entry-point <entry> (una ruta de punto de entrada de flujo como /Main.bpmn#start, o un ID de nodo de inicio), --folder-key <key> (carpeta de Orchestrator: utiliza el espacio de trabajo personal si se omite), --debug-mode <mode> (anulación del modo de depuración de Studio Web) --wait (bloquear hasta la finalización e imprimir los resultados), --timeout <seconds> (con --wait).

uip maestro flow eval run start --set "Regression Suite" --wait

Forma de datos: Code: "FlowEvalRunStarted", Data: { EvalSetRunId, EvalSetName, DataPoints, Evaluators, Status }. Sin --wait, Instructions te dice el comando exacto eval run status con el que sondear.

Estado de ejecución de la evaluación del flujo maestro de uip

Argumento: <evalSetRunId>. Forma de datos: Code: "FlowEvalRunStatus", Data: { EvalSetRunId, Status, Score, Duration, EvaluatorScores } (Score es "-" si aún no se ha puntuado).

resultados de la ejecución de la evaluación del flujo maestro de uip

Argumento: <evalSetRunId>. Opciones adicionales: --only-failed (filtrar a puntos de datos fallidos/con errores), --verbose (incluir justificaciones del evaluador), --export-format <json|csv> (escribir en el archivo en lugar de imprimir). Forma de datos: Code: "FlowEvalRunResults", Data es una matriz de filas de resultados por punto de datos.

lista de ejecución de evaluación de flujo maestro de uip

No hay argumentos más allá de las opciones de destino compartido. Forma de datos: Code: "FlowEvalRunList", Data es una matriz de resúmenes de ejecuciones anteriores para el conjunto.

comparación de ejecución de evaluación de flujo maestro de uip

Argumentos: <evalSetRunId> más --compare-to <id> (obligatorio): la segunda ejecución contra la que se diferencia. Forma de datos: Code: "FlowEvalRunComparison", Data es una diferencia estructurada entre las puntuaciones de las dos ejecuciones y los resultados por punto de datos.

Ver también

• uip maestro flow debug : prueba de humo de un flujo de forma interactiva, en lugar de ejecutar un conjunto de evaluación puntuado
• uip maestro flow init, uip maestro flow node
• Descripción general del flujo
• Opciones globales, Códigos de salida