UIP Maestro のフロー評価

「uip maestro flow eval」の構文とオプション。評価器、評価セット、データ ポイントをローカルで管理し、それらを Studio Web で実行します。

uip maestro flow eval フロー プロジェクトの評価アセット ( 評価器 (スコアリング ロジック)、 評価セット (テスト ケースの名前付きグループ)、 データ ポイント (セット内の個々のテスト ケース)) を管理し、それらを Studio Web でリモートで実行します。これらはすべて、Studio Web と通信する eval runを除き、フロー プロジェクト内のローカル JSON ファイルを編集します。

概念

• 評価器 — データ ポイントの実際の出力に適用されるスコアリング ロジック (完全一致、JSON の類似性、次の値を含む、または LLM の評価) です。
• 評価セット — データ ポイントと、そのデータ ポイントをスコアリングする評価器の名前付きのコレクションです。フロー全体または 1 つのエージェント ノード (エージェント ノード ID を持つ--entry-point ) にスコープを設定できます。
• データ ポイント — セット内の 1 つのテスト ケース: 入力、任意の期待される出力、任意の評価器ごとの基準。
• シミュレーション (特定のデータ ポイントにアタッチされた、1 つのコンポーネント (ノード、またはエージェント ノード上の子ツール) に対するモックまたは LLM シミュレートされた応答) を使用すると、実際の依存関係を呼び出すことなくフローをテストできます。
• すべてのローカル サブコマンド (evaluator、 set、裸のデータ ポイント動詞 simulation) --path <path> (フロー プロジェクト ディレクトリ、または 1 つのフロー プロジェクトのみを含むソリューション ディレクトリ) を取ります。既定値は .です。

概要

uip maestro flow eval evaluator add    <name> --type <type> [--description <text>] [--target-key <key>] [--model <model>] [--prompt <text>] [--path <path>]
uip maestro flow eval evaluator list   [--path <path>]
uip maestro flow eval evaluator remove <id> [--path <path>]

uip maestro flow eval set add    <name> [--evaluators <refs>] [--entry-point <id>] [--path <path>]
uip maestro flow eval set list   [--path <path>]
uip maestro flow eval set remove <id> [--path <path>]

uip maestro flow eval add    <name> --set <name> [--inputs <json>] [--input-file <key=path>]... [--expected <json>] [--criteria <json>] [--search-text <text>] [--path <path>]
uip maestro flow eval list   --set <name> [--path <path>]
uip maestro flow eval remove <id> --set <name> [--path <path>]

uip maestro flow eval simulation add    <component-id> --set <name> --data-point <id> --strategy <Static|Llm> [options...] [--path <path>]
uip maestro flow eval simulation list   --set <name> --data-point <id> [--parent <component-id>] [--path <path>]
uip maestro flow eval simulation remove <component-id> --set <name> --data-point <id> [--parent <component-id>] [--path <path>]

uip maestro flow eval run start    --set <name> [--solution-id <id> | --project-id <id>] [--entry-point <entry>] [--folder-key <key>] [--debug-mode <mode>] [--wait [--timeout <seconds>]]
uip maestro flow eval run status   <evalSetRunId> --set <name> [--solution-id <id> | --project-id <id>]
uip maestro flow eval run results  <evalSetRunId> --set <name> [--only-failed] [--verbose] [--export-format <json|csv>]
uip maestro flow eval run list     --set <name> [--solution-id <id> | --project-id <id>]
uip maestro flow eval run compare  <evalSetRunId> --compare-to <id> --set <name>

名前に注意してください:データポイントは裸の eval add/list/remove で管理されます( eval evaluation add ではありません—ソースは内部的にこの概念を「評価」と呼んでいますが、実際のコマンドパスには「評価」という単語はありません)。

グローバル オプションを尊重します。終了コードは 標準契約に従います。eval run サブコマンドには uip loginが必要です。

UIP Maestro フロー評価評価器

評価器を管理する — データ ポイントに適用されるスコアリング ロジックです。

UIP Maestro フロー評価評価器 追加

オプション	Required	説明
<name> (引数)	○	評価器名。
--type <type>	○	次のいずれか: exact-match、 json-similarity、 contains、 llm-judge-output、 llm-judge-strict-json、 llm-judge-trajectory、 llm-judge-trajectory-simulation。
--description <text>	×	評価器の説明。
--target-key <key>	×	スコアリングするターゲット出力キー。既定の * (出力全体)。
--model <model>	×	LLM モデル — llm-judge-* の種類に対してのみ意味があります。
--prompt <text>	×	カスタムの LLM の評価プロンプト — llm-judge-* の種類でのみ意味があります。
--path <path>	×	フロー プロジェクト ディレクトリ。既定 .です。

データシェイプ: Code: "FlowEvalEvaluatorAdd"、 Data: { Name, Id, Type, File }。

UIP Maestro フロー評価評価器のリスト

データ図形: Code: "FlowEvalEvaluatorList"、 は Data{ Name, Id, Type, TargetKey, File }の配列です。

UIP Maestro フロー評価評価器 削除

引数: <id> — 評価器 ID、名前、またはファイル ベース名。データ図形: Code: "FlowEvalEvaluatorRemove"。

UIP Maestro フロー評価セット

評価セットを管理する

UIP Maestro フロー評価セット 追加

オプション	Required	説明
<name> (引数)	○	評価セット名。
--evaluators <refs>	×	コンマ区切りの評価器 ID またはファイル ベース名。既定: プロジェクト内のすべての評価器。
--entry-point <id>	×	セットの selectedEntrypointとして格納されるエントリ ポイント ノード ID です。エージェント ノードの ID を渡すと、ノード スコープのセットが作成され、そのエージェントのみが単独で評価されます。
--path <path>	×	フロー プロジェクト ディレクトリ。

データ図形: Code: "FlowEvalSetAdd"、 Data: { Name, Id, Evaluators, File, Scope, TargetNode? } — ノードを対象範囲としたセットにのみ TargetNode 存在します。

UIP Maestro フロー評価セットのリスト

データ図形: Code: "FlowEvalSetList"、 は Data{ Name, Id, DataPoints, Evaluators, File, Scope, TargetNode? }の配列です。

UIP Maestro フロー評価セット 削除

引数: <id> — ID、名前、またはファイル ベース名を設定します。データ図形: Code: "FlowEvalSetRemove"。

UIP Maestro のフロー評価 (データ ポイント)

評価セット内の個々のテスト ケースを管理します。data-pointやevaluationのサブグループではなく、evalに直接登録されています。

UIP Maestro フロー評価 追加

オプション	Required	説明
<name> (引数)	○	データ ポイント名。
--set <name>	○	評価セットの名前または ID。
--inputs <json>	いいえ*	値を JSON オブジェクトとして入力します。
--input-file <key=path>	いいえ*	ファイルを入力 <key>として添付します。繰り返し可能。
--expected <json>	×	JSON オブジェクトとしての期待される出力。
--criteria <json>	×	評価器ごとの基準。評価器 ID をキーとする JSON オブジェクトです。
--search-text <text>	×	検索テキスト ( contains型の評価器の場合)
--path <path>	×	フロー プロジェクト ディレクトリ。

※ --inputs/--input-file のいずれか1つ以上が必要です。

データシェイプ: Code: "FlowEvalAdd"、 Data: { Status, Name, Id, Set }。

UIP Maestro フロー評価リスト

--set <name>が必要です。データ図形: Code: "FlowEvalList" Data は { Name, Id, Inputs, Expected, Evaluators } の配列です (Inputs/Expected は文字列化された JSON です。 Expected 存在しない場合は "-" )。

UIP Maestro フロー評価 削除

引数: <id> (データ ポイントの ID または名前)。--set <name>が必要です。データ図形: Code: "FlowEvalRemove"。

UIP Maestro フロー評価シミュレーション

1 つのデータ ポイントに対するコンポーネントの応答をモックまたは LLM シミュレーションする — データ ポイントが実際の依存関係 (外部 API、入れ子になったエージェント ツールなど) に触れることなくフローを実行できます。

UIP Maestro フロー評価シミュレーション 追加

オプション	Required	説明
<component-id> (引数)	○	シミュレートするコンポーネント ID
--set <name>	○	評価セットの名前または ID。
--data-point <id>	○	データ ポイントの名前または ID。
--strategy <Static|Llm>	○	シミュレーション戦略。
--component-type <type>	条件付き	--parentが渡されると、既定でNodeされます。それ以外の場合は必須です。
--component-description <text>	×	コンポーネントの説明。
--simulation-instructions <text>	必須 とともに Llm	LLM シミュレーションの手順。
--mock-value <json>	必須 とともに Static	出力値を JSON としてモックします。
--parent <component-id>	×	親エージェントのコンポーネント ID。設定すると、これは最上位のコンポーネント シミュレーションではなく、そのエージェント ノードに 子ツールのシミュレーション として追加されます。
--path <path>	×	フロー プロジェクト ディレクトリ。

データ図形: Code: "FlowEvalSimulationAdd" (--parentが設定されている場合は "FlowEvalChildSimulationAdd")、Data: { ComponentId, ComponentType, Strategy, DataPoint, Set, Parent? }です。

UIP Maestro フロー評価シミュレーションのリスト

--set/--data-pointが必要です。--parent <component-id> には、最上位の子ツールのシミュレーションではなく、そのエージェント ノードでの子ツールのシミュレーションが表示されます。データ図形: Code: "FlowEvalSimulationList" (または --parentで"FlowEvalChildSimulationList")。

UIP Maestro フロー評価シミュレーション 削除

引数: <component-id>。--set/--data-pointが必要です。--parent子シミュレーションを対象とします。データ図形: Code: "FlowEvalSimulationRemove"。

UIP Maestro フロー評価の実行

評価セットを Studio Web でリモートで実行し、結果を調べる各サブコマンドは --set <name> (必須) と、対象の Studio Web プロジェクトをピン留めするために --solution-id <id> または --project-id <id> (既定では親 .uipx または SolutionStorage.jsonから読み込み)、 --path <path>を必要とします。

UIP Maestro フロー評価の実行の開始

その他のオプション: --entry-point <entry> ( /Main.bpmn#startなどのフロー エントリ ポイントのパス、または開始ノード ID)、 --folder-key <key> (Orchestrator フォルダー — 省略する場合は個人用ワークスペースを使用)、 --debug-mode <mode> (Studio Web のデバッグ モードの上書き)、 --wait (完了までブロックし、結果が出力される)、 --timeout <seconds> ( --waitを使用)。

uip maestro flow eval run start --set "Regression Suite" --wait

データ図形: Code: "FlowEvalRunStarted"、 Data: { EvalSetRunId, EvalSetName, DataPoints, Evaluators, Status }。--waitを指定しない場合、ポーリングに使用する正確な eval run status コマンドInstructions指示されます。

UIP Maestro フロー評価の実行ステータス

引数: <evalSetRunId>。データ図形: Code: "FlowEvalRunStatus"、 Data: { EvalSetRunId, Status, Score, Duration, EvaluatorScores } (Score がまだスコアが付けられていない場合は "-" )。

UIP Maestro フロー評価の実行結果

引数: <evalSetRunId>。その他のオプション: --only-failed (失敗/エラーのデータ ポイントにフィルターを適用)、[ --verbose ] (評価器の妥当性を含める)、 --export-format <json|csv> (印刷ではなくファイルに書き込み)。データ図形: Code: "FlowEvalRunResults" Data は、データ ポイントごとの結果の行の配列です。

UIP Maestro フロー評価の実行リスト

共有ターゲットのオプション以外の引数は使用できません。データ図形: Code: "FlowEvalRunList" Data は、セットの過去の実行の概要の配列です。

UIP Maestro フロー評価の実行の比較

引数: <evalSetRunId> プラス --compare-to <id> (必須) — 差分に対して 2 回目の実行です。データ図形: Code: "FlowEvalRunComparison" Data は、2 つの実行のスコアとデータ ポイントごとの結果の構造化された差分です。

参照

• uip maestro flow debug — スコアリングされた評価セットを実行するのではなく、対話的にフローをスモーク テストします
• uip maestro flow init、 uip maestro flow node
• フローの概要
• グローバル オプション、 終了コード