UIP の評価、評価セット、評価

「uip eval eval-set」および「uip eval evaluation」を使用して、Orchestrator の評価セットとその中の評価 (データ ポイント) を管理するための構文とオプションです。

uip eval サブシステムの一部です。このページでは、 評価対象を定義する 2 つのリソースについて説明します。

• eval eval-set — 名前付きのプロセス スコープの評価データ ポイントのコレクションです。--evaluator-refsを介して 1 つ以上の評価器にリンクされています。評価セットには、実行時に使用されるバッチ処理/タイムアウト設定もあります。
• eval evaluation — 評価セット内の 1 つのデータ ポイント (入力ペイロード、任意の期待される出力/動作、および任意の評価器ごとの基準の上書き)。execute-and-evaluate実行とschedule実行は、評価セットの評価を通じて機能し、評価セットにリンクされた評価器で各評価にスコアリングを加えます。

概要

uip eval eval-set list --process-key <guid> [--limit <n>] [--offset <n>] [--tenant <tenant>]
uip eval eval-set get <evalSetId> --process-key <guid> [--tenant <tenant>]
uip eval eval-set create --process-key <guid> --workload-id <guid> --folder-key <guid> --name <name> [options...] [--tenant <tenant>]
uip eval eval-set update <evalSetId> --process-key <guid> [options...] [--tenant <tenant>]
uip eval eval-set delete <evalSetId> --process-key <guid> [--tenant <tenant>]

uip eval evaluation list --process-key <guid> --eval-set-id <guid> [--limit <n>] [--offset <n>] [--tenant <tenant>]
uip eval evaluation get <evaluationId> --process-key <guid> --eval-set-id <guid> [--tenant <tenant>]
uip eval evaluation create --process-key <guid> --eval-set-id <guid> --folder-key <guid> --name <name> --inputs <json> [options...] [--tenant <tenant>]
uip eval evaluation update <evaluationId> --process-key <guid> --eval-set-id <guid> [options...] [--tenant <tenant>]
uip eval evaluation delete <evaluationId> --process-key <guid> --eval-set-id <guid> [--tenant <tenant>]

UIP 評価評価セットのリスト

プロセスに定義されている評価セットのリストを表示します。

オプション

長押し	値 (Value)	Required	説明
--process-key <guid>	GUID	○	プロセス キー。uip or processes list を使用して検索します。
--limit <n>	integer	×	返す最大アイテム数。既定 100です。
--offset <n>	integer	×	スキップする項目。既定 0です。
--tenant <tenant>	name	×	UiPath のテナント名です。

例

uip eval eval-set list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

データシェイプ(--output json)

{
  "Code": "EvalSetList",
  "Data": [
    {
      "EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
      "Name": "Smoke Tests",
      "Description": "Basic smoke tests",
      "BatchSize": 10,
      "EvaluatorRefs": ["ev-1", "ev-2"],
      "CreatedAt": "2026-08-01T10:00:00Z"
    }
  ],
  "Pagination": { "Returned": 1, "Limit": 100, "Offset": 0 }
}

設定されていない場合はBatchSize"-"されます。UpdatedAt は、評価セットが少なくとも 1 回更新された後にのみ存在します。

uip eval eval-set get

1 つの評価セットの詳細を取得します。

引数

名前	Required	目的
<evalSetId>	○	評価セット ID (GUID)。

オプション

長押し	値 (Value)	Required	説明
--process-key <guid>	GUID	○	プロセス キー。
--tenant <tenant>	name	×	UiPath のテナント名です。

例

uip eval eval-set get f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

データシェイプ(--output json)

{
  "Code": "EvalSetDetails",
  "Data": {
    "EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
    "Name": "Smoke Tests",
    "Description": "Basic smoke tests",
    "BatchSize": 10,
    "EvaluatorRefs": ["ev-1", "ev-2"],
    "CreatedAt": "2026-08-01T10:00:00Z"
  }
}

uip eval eval-set 作成

プロセスの評価セットを作成します。

オプション

長押し	値 (Value)	Required	説明
--process-key <guid>	GUID	○	プロセス キー。
--workload-id <guid>	GUID	○	ワークロード ID
--folder-key <guid>	GUID	○	フォルダー キー。
--name <name>	string	○	評価セット名。
--description <text>	string	×	評価セットの説明。
--batch-size <n>	整数 ≥ 1	×	実行あたりの同時評価の最大数
--timeout-minutes <n>	整数 ≥ 1	×	タイムアウト (分) 評価あたり。
--evaluator-refs <refs...>	スペースで区切られた ID	×	評価器 この評価セットにリンクする ID。可変異位数 — 複数の ID をコンマではなくスペースで区切って渡します。
--tenant <tenant>	name	×	UiPath のテナント名です。

内部 externalId (ランダムな UUID) は作成のたびに自動的に生成されますが、ユーザーが設定することはできません。

例

uip eval eval-set create --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --workload-id a1b2c3d4-0000-0000-0000-000000000001 \
  --folder-key f1f2f3f4-0000-0000-0000-000000000001 \
  --name "Smoke Tests" --evaluator-refs ev-1 ev-2

データシェイプ(--output json)

{
  "Code": "EvalSetCreated",
  "Data": { "EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04", "Name": "Smoke Tests" }
}

UIP 評価評価セットの更新

既存の評価セットを更新します。--process-keyを超える更新可能なフィールドが少なくとも 1 つ必要である。省略したフィールドでは現在の値が保持されます (コマンドは最初に既存の評価セットを読み取ってから、変更を一番上に適用します)。

引数

名前	Required	目的
<evalSetId>	○	評価セット ID (GUID)。

オプション

長押し	値 (Value)	Required	説明
--process-key <guid>	GUID	○	プロセス キー。
--name <name>	string	いいえ*	新しい評価セット名。
--description <text>	string	いいえ*	新しい説明。
--batch-size <n>	整数 ≥ 1	いいえ*	新しい同時評価の最大数。
--timeout-minutes <n>	整数 ≥ 1	いいえ*	新しいタイムアウト (分)。
--evaluator-refs <refs...>	スペースで区切られた ID	いいえ*	完全な評価器参照リストを置換します (加算ではありません)。
--tenant <tenant>	name	×	UiPath のテナント名です。

* --name、 --description、 --batch-size、 --timeout-minutes、または --evaluator-refs の少なくとも 1 つが必要です。何も渡さないと、コマンドはすぐに失敗します。

例

uip eval eval-set update f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 \
  --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --name "Updated Name" --evaluator-refs ev-1 ev-2

データシェイプ(--output json)

{
  "Code": "EvalSetUpdated",
  "Data": {
    "EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
    "Name": "Updated Name",
    "EvaluatorRefs": ["ev-1", "ev-2"]
  }
}

uip eval eval-set delete

評価セットを削除します。

引数

名前	Required	目的
<evalSetId>	○	評価セット ID (GUID)。

オプション

長押し	値 (Value)	Required	説明
--process-key <guid>	GUID	○	プロセス キー。
--tenant <tenant>	name	×	UiPath のテナント名です。

例

uip eval eval-set delete f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

データシェイプ(--output json)

{ "Code": "EvalSetDeleted", "Data": { "EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04" } }

評価セットを削除しても、それを参照するスケジュールや評価器についてはカスケード削除や警告は行われません。CLI は依存関係チェックなしでプレーンな DELETE を発行します。

UIP 評価の評価リスト

評価セット内の評価 (データ ポイント) のリストを取得します。

オプション

長押し	値 (Value)	Required	説明
--process-key <guid>	GUID	○	プロセス キー。
--eval-set-id <guid>	GUID	○	評価セット ID。
--limit <n>	integer	×	返す最大アイテム数。既定 100です。
--offset <n>	integer	×	スキップする項目。既定 0です。
--tenant <tenant>	name	×	UiPath のテナント名です。

例

uip eval evaluation list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 --eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04

データシェイプ(--output json)

{
  "Code": "EvaluationList",
  "Data": [
    {
      "EvaluationId": "c1d2e3f4-0000-0000-0000-000000000001",
      "EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
      "Name": "Greeting test",
      "Inputs": { "input": "hello" },
      "ExpectedOutput": { "content": "Hi there!" },
      "ExpectedBehavior": "",
      "CreatedAt": "2026-08-01T10:00:00Z"
    }
  ],
  "Pagination": { "Returned": 1, "Limit": 100, "Offset": 0 }
}

UIP 評価の評価 Get

1 つの評価の詳細を取得します。

引数

名前	Required	目的
<evaluationId>	○	評価 ID (GUID)。

オプション

長押し	値 (Value)	Required	説明
--process-key <guid>	GUID	○	プロセス キー。
--eval-set-id <guid>	GUID	○	評価セット ID。
--tenant <tenant>	name	×	UiPath のテナント名です。

例

uip eval evaluation get c1d2e3f4-0000-0000-0000-000000000001 \
  --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 --eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04

データシェイプ(--output json)

evaluation listのData配列の 1 つのエントリと同じオブジェクト形状。

UIP 評価 作成

評価 (データ ポイント) を評価セットに追加します。

オプション

長押し	値 (Value)	Required	説明
--process-key <guid>	GUID	○	プロセス キー。
--eval-set-id <guid>	GUID	○	評価セット ID。
--folder-key <guid>	GUID	○	フォルダー キー。
--name <name>	string	○	評価名。
--inputs <json>	JSON	○	入力値 (例:'{"input":"hello"}'です。
--expected-output <json>	JSON	×	比較スタイルの評価器で期待される出力。
--expected-behavior <text>	string	×	軌跡評価器で期待されるエージェントの動作の説明。
--evaluation-criterias <json>	JSON	×	評価器ごとの基準が上書きされます。
--tenant <tenant>	name	×	UiPath のテナント名です。

--inputs、--expected-output、または --evaluation-criterias で形式が正しくない JSON は、ネットワーク呼び出しの前にクライアント側で高速で失敗します。予期される図形の例は、 --inputsのエラーに示されています。

例

uip eval evaluation create --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 \
  --folder-key f1f2f3f4-0000-0000-0000-000000000001 \
  --name "Greeting test" --inputs '{"input":"hello"}' --expected-output '{"content":"Hi there!"}'

データシェイプ(--output json)

{
  "Code": "EvaluationCreated",
  "Data": {
    "EvaluationId": "c1d2e3f4-0000-0000-0000-000000000001",
    "EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
    "Name": "Greeting test"
  }
}

UIP 評価の評価の更新

既存の評価を更新します。--process-key/--eval-set-idを超える更新可能なフィールドが少なくとも 1 つ必要である。省略されたフィールドでは現在の値が保持されます。

引数

名前	Required	目的
<evaluationId>	○	評価 ID (GUID)。

オプション

長押し	値 (Value)	Required	説明
--process-key <guid>	GUID	○	プロセス キー。
--eval-set-id <guid>	GUID	○	評価セット ID。
--name <name>	string	いいえ*	新しい評価名。
--inputs <json>	JSON	いいえ*	新しい入力値。
--expected-output <json>	JSON	いいえ*	新しい期待される出力。
--expected-behavior <text>	string	いいえ*	新しい期待される動作の説明。
--evaluation-criterias <json>	JSON	いいえ*	評価者ごとの新しい基準が上書きされます。
--tenant <tenant>	name	×	UiPath のテナント名です。

* --name、 --inputs、 --expected-output、 --expected-behavior、 --evaluation-criterias のいずれか少なくとも 1 つが必要です。

例

uip eval evaluation update c1d2e3f4-0000-0000-0000-000000000001 \
  --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 --eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 \
  --inputs '{"input":"updated"}' --expected-output '{"content":"new response"}'

データシェイプ(--output json)

{
  "Code": "EvaluationUpdated",
  "Data": {
    "EvaluationId": "c1d2e3f4-0000-0000-0000-000000000001",
    "EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
    "Name": "Greeting test"
  }
}

UIP 評価の評価 削除

評価セットから評価を削除します。

引数

名前	Required	目的
<evaluationId>	○	評価 ID (GUID)。

オプション

長押し	値 (Value)	Required	説明
--process-key <guid>	GUID	○	プロセス キー。
--eval-set-id <guid>	GUID	○	評価セット ID。
--tenant <tenant>	name	×	UiPath のテナント名です。

例

uip eval evaluation delete c1d2e3f4-0000-0000-0000-000000000001 \
  --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 --eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04

データシェイプ(--output json)

{ "Code": "EvaluationDeleted", "Data": { "EvaluationId": "c1d2e3f4-0000-0000-0000-000000000001" } }

関連

• UIP 評価 — 概要、execute-and-evaluate、run
• UIP 評価スケジュール — 評価セットに対して定期的な評価が実行されます。
• UIP 評価評価器 — 評価セットの --evaluator-refs が指すスコアリング ロジックです。
• uip or processes — --process-keyを解決します。

参照

• Orchestrator ツールの概要
• グローバル オプション
• 終了コード