- 概要
- はじめに
- 概念
- UiPath CLI を使用する
- 使用ガイド
- CI/CD レシピ
- コマンド リファレンス
- 概要
- 終了コード
- グローバル オプション
- uip codedagent
- UIP コーダー
- UIP のコンテキスト グラウンディング
- uip docsai
- uip 関数
- UIP ガードレール
- uip llm - 構成
- uip llm-gateway
- UIP Maestro のオーサリング
- UIP Maestro レジストリ
- uip model-hub
- アクティビティ検索
- アクティビティ get-default-xaml
- 分析
- アナライザー - ルールのリスト
- 開発
- クリーンアップ
- data-fabric-entities をインストールする
- data-fabric-entities リスト
- ファイル差分
- get-library-object-repository
- オブジェクト リポジトリを取得
- Init
- インスタンス リスト
- パッケージ化
- パッケージ検査
- パッケージのインストール
- パッケージ バージョン
- パブリッシュ
- リモート
- 元に戻す
- 実行、デバッグ、実行
- 設定
- Studio での起動
- テンプレートの検索
- test-data add-entity
- test-data add-queue
- test-data add-variation
- TM
- UIA
- 検証
- workflow-examples get
- ワークフロー - 例のリスト
- UIP タスク
- uip traces
- UIP トレースのフィードバック
- 移行
- 参照とサポート
UIP の評価
「uip eval」の構文とオプション。Orchestrator パッケージに対して実行時の評価を実行し、評価器、評価セット、評価、スケジュールを管理します。
uip eval は、デプロイ済みの Orchestrator パッケージに対して実行時の評価を実行します。プロセスを介して実際の入力を送信し、1 つ以上の評価器で出力をスコアリングし、結果を検証します。また、そのワークフローの背後にある再利用可能な構成要素 (評価器 (スコアリング ロジック)、評価セット (評価をグループ化する名前付きコレクション)、評価 (個別に保存されたテスト ケースの定義 - 名前、入力、期待される出力/動作)、および自動的に実行をトリガーする定期的なスケジュール) も管理します。
このリソースは 4 ページにまたがり、サブドメインごとに分割されています。
- このページ — 概念、
execute-and-evaluate/run(実行を送信し、その結果のリストを表示/検証する)、およびsimulatable-components(評価でシミュレートできるコンポーネントのリスト) schedule— 定期的な評価実行を作成/一覧表示/取得/更新/一時停止/再開/削除します。evaluator— スコアリング ロジックを管理します (例:LLM による評価器による評価器) の実行はその出力に適用されます。eval-setとevaluation— キュレーションされたアイテム コレクションと個々の評価の定義を管理します。
uip eval は、独自のスタンドアロン パッケージ (@uipath/eval-tool、コマンド プレフィックス eval) として出荷されます。ここでのすべての動詞は Orchestrator のプロセス/フォルダーに対して動作しますが、uip orのサブコマンドではありません。このツールの--process-key/--folder-key/--tenant オプションが従う共通の Orchestrator 規則 (認証、フォルダーのスコープ、キーの種類、出力エンベロープ) については、uip orの概要をご覧ください。
概念
- 評価項目 —
execute-and-evaluateにインラインで渡された 1 つのテスト ケース (id、name、およびプロセスの予期される入力スキーマに一致するinputsオブジェクト)。インライン モードでは、実行時にこれらの配列がコマンド ラインで直接送信されます--itemsを使用して。 - 評価 — 評価セットに属する、永続化されたテスト ケースの定義 (名前、入力、および必要に応じて期待される出力/動作) である、評価項目に対して保存されたもの。これらを
eval evaluationで管理します。 - 評価器 — 各項目の出力に適用されるスコアリング ロジックです。
evaluatorTypeId(例:uipath-llm-judge-output-semantic-similarity) とevaluatorConfigオブジェクトで識別されます。保存した評価器をeval evaluatorで管理します。実行では、 を介して評価器の設定をインラインで渡すこともできます--evaluators。 - 評価セット — 名前付きで再利用可能な評価のコレクションです。
eval eval-setで管理されます。execute-and-evaluateは、次の 2 つのモードのいずれかで実行されます。評価セット モードでは、--eval-set-id単独で、保存された評価セットから項目と評価器を取得します。インライン モードでは、コマンド ラインで--itemsと--evaluatorsを指定します。 - 評価セットの実行と評価の実行 —
execute-and-evaluate提出すると、 評価セットの実行 が 1 つ作成され (EvalSetRunIdで識別されるバッチ全体) が作成され、項目ごとに 1 つの 評価実行 に展開されます (run resultsには、これらが個別にリストされ、それぞれに独自のStatus/Resultが記載されています)。 - シミュレーション — 評価の実行時にプロセスが呼び出すコンポーネント (ツールまたはエスカレーション) をシミュレートします。
--simulationsを使用して、保存した評価にシミュレーションをアタッチします。デプロイ済みプロセスによって公開されるコンポーネントをsimulatable-components listで挙げる - フォルダーへの範囲設定 —
execute-and-evaluateフォルダーを--folder-keyから解決します。--folder-key省略すると、個人用ワークスペースをインライン モードで使用し (CLI によって自動的に検索されます)、評価セットのフォルダーを評価セット モードで使用します。これは、明示的なフォルダー セレクターを必要とするほとんどのuip or動詞とは異なります。一般条 約の概要を参照してください 。
概要
uip eval execute-and-evaluate --process-key <guid> --eval-set-id <id> [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval execute-and-evaluate --process-key <guid> --workload-id <guid> --items <json> --evaluators <json> [--eval-set-id <id>] [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval run list --process-key <guid> [--limit <n>] [--offset <n>] [--tenant <name>]
uip eval run get <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval run results <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval simulatable-components list --process-key <guid> [--process-version <version>] [--tenant <name>]
uip eval execute-and-evaluate --process-key <guid> --eval-set-id <id> [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval execute-and-evaluate --process-key <guid> --workload-id <guid> --items <json> --evaluators <json> [--eval-set-id <id>] [--batch-size <n>] [--folder-key <key>] [--tenant <name>]
uip eval run list --process-key <guid> [--limit <n>] [--offset <n>] [--tenant <name>]
uip eval run get <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval run results <evalSetRunId> --process-key <guid> [--tenant <name>]
uip eval simulatable-components list --process-key <guid> [--process-version <version>] [--tenant <name>]
execute-and-evaluate のエイリアスは run-offline-evalsです。
UIP 評価 Execute-and-Evaluate
プロセスの実行時の評価実行を送信する: --process-keyで識別されたプロセスを通じて項目のバッチを送信し、評価器で各出力をスコアリングし、そのEvalSetRunIdを返してポーrun resultsrun getリングします。
このコマンドは、次の 2 つのモードのいずれかで実行されます。
| モード | Pass | 項目と評価器の取得元です |
|---|---|---|
| 評価セット モード | --eval-set-id --itemsと--evaluatorsなし | 保存された評価セット: その評価が項目になり、その評価器の参照によって保存された評価器が選択されます。ワークロード ID、フォルダー、バッチ サイズは、既定で評価セットの値になります。 |
| インライン モード | --items、 --evaluators、 --workload-id | コマンド ライン。--eval-set-id は任意です。省略すると、実行では 0 の GUID が評価セット ID として使用されます。 |
--eval-set-id も --items/--evaluatorsも渡さなかった場合、または --items と --evaluatorsのいずれか 1 つだけを渡した場合、コマンドは失敗します。評価セット モードでは、評価セットに評価がないか評価器の参照がない場合、または評価器の参照がプロセスの保存済みの評価器と一致しない場合にも失敗します。
オプション
| Short | 長押し | 値 (Value) | 既定 (Default) | 説明 |
|---|---|---|---|---|
| — | --process-key | GUID | — | 必須。プロセス キー。uip or processes list を使用して、使用可能なキーを検索します。 |
| — | --eval-set-id | ID | — | 評価セット ID。 --items/--evaluatorsを指定しない場合、実行はこの評価セットから項目と評価器を取得します。 |
| — | --workload-id | GUID | — | ワークロード IDインライン モードでは必須です。 |
| — | --items | JSON 配列 | — | インライン モード評価項目。それぞれ id (文字列)、 name (文字列)、 inputs (オブジェクト) が含まれます。呼び出し前にクライアント側で検証済み — すべての項目のフィールドが欠落しているか、形式が正しくないと、項目のインデックスに名前が付けられるとすぐに失敗します。 |
| — | --evaluators | JSON 配列 | — | インライン モードエバリュエーターの設定。それぞれに id、 evaluatorTypeId、 evaluatorConfigがあります。 |
| — | --batch-size | Number | 5 インライン モードの場合。評価セットの値 (評価セット) モードでの値 | 同時評価パイプラインの最大数。 |
| — | --folder-key | GUID | インライン モードの個人用ワークスペース。評価セット モードの評価セットのフォルダー | 実行するフォルダー。uip or folders list を使用して、使用可能なキーを検索します。 |
| — | --tenant | name | セッションの既定値 | UiPath のテナント名です。プレーン オプション — 「概念」をご覧ください。 |
例
# Run from a saved eval set (fetches items and evaluators automatically)
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04
# Run from a saved eval set (fetches items and evaluators automatically)
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04
# Submit a run with an ad hoc item and an inline evaluator
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--workload-id a1b2c3d4-0000-0000-0000-000000000001 \
--items '[{"id":"1","name":"greeting","inputs":{"input":"hello"}}]' \
--evaluators '[{"id":"ev-1","evaluatorTypeId":"uipath-llm-judge-output-semantic-similarity","evaluatorConfig":{}}]'
# Submit a run with an ad hoc item and an inline evaluator
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--workload-id a1b2c3d4-0000-0000-0000-000000000001 \
--items '[{"id":"1","name":"greeting","inputs":{"input":"hello"}}]' \
--evaluators '[{"id":"ev-1","evaluatorTypeId":"uipath-llm-judge-output-semantic-similarity","evaluatorConfig":{}}]'
# Run from a saved eval set in a specific folder, with a larger batch
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 \
--folder-key a9f3b2c1-7d4e-4a8b-9c2f-5e1d3b6a8f7e \
--batch-size 10
# Run from a saved eval set in a specific folder, with a larger batch
uip eval execute-and-evaluate --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 \
--folder-key a9f3b2c1-7d4e-4a8b-9c2f-5e1d3b6a8f7e \
--batch-size 10
データシェイプ(--output json)
インライン モード ( --folder-key 省略)
{
"Code": "EvalRunSubmitted",
"Data": {
"ProcessKey": "9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09",
"Folder": "user@uipath.com's workspace",
"EvalSetId": "00000000-0000-0000-0000-000000000000",
"EvalSetRunId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04"
}
}
{
"Code": "EvalRunSubmitted",
"Data": {
"ProcessKey": "9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09",
"Folder": "user@uipath.com's workspace",
"EvalSetId": "00000000-0000-0000-0000-000000000000",
"EvalSetRunId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04"
}
}
実行で使用するフォルダー キーはFolderです。--folder-keyで渡したキー、または評価セット モードでの評価セットのフォルダー キーです。--folder-keyを省略したインライン モードでは、解決された個人用ワークスペース名です。
UIP 評価の実行
execute-and-evaluateによって作成された評価セットの実行を検査します。--process-keyでスコープが設定されています。
UIP 評価の実行のリスト
プロセスの評価セットの実行のリストを表示します。
オプション
| Short | 長押し | 値 (Value) | 既定 (Default) | 説明 |
|---|---|---|---|---|
| — | --process-key | GUID | — | 必須。プロセス キー (デプロイの GUID)。 |
| — | --limit | Number | 50 | 戻りまでの最大実行数。 |
| — | --offset | Number | 0 | スキップする実行回数。 |
| — | --tenant | name | セッションの既定値 | UiPath のテナント名です。 |
例
uip eval run list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval run list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
データシェイプ(--output json)
{
"Code": "EvalSetRunList",
"Data": [
{
"EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
"EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
"Status": "completed",
"Score": 0.86,
"EvalsExecuted": 5,
"Duration": "42.5s",
"CreatedAt": "2026-08-01T10:00:00Z"
}
],
"Pagination": { "Returned": 1, "Limit": 50, "Offset": 0, "HasMore": false }
}
{
"Code": "EvalSetRunList",
"Data": [
{
"EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
"EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
"Status": "completed",
"Score": 0.86,
"EvalsExecuted": 5,
"Duration": "42.5s",
"CreatedAt": "2026-08-01T10:00:00Z"
}
],
"Pagination": { "Returned": 1, "Limit": 50, "Offset": 0, "HasMore": false }
}
Score と Duration はまだ利用できない場合は "-" されます (実行中)。Duration は 1 秒未満 Nms 形式 N.Ns 、それ以外の形式ではありません。
UIP 評価の実行 Get
1 つの評価セットの実行の詳細を取得します。
引数
| 名前 | Required | 目的 |
|---|---|---|
<evalSetRunId> | ○ | run list または execute-and-evaluateの出力から実行 ID (GUID) を評価します。 |
オプション
| Short | 長押し | 値 (Value) | 既定 (Default) | 説明 |
|---|---|---|---|---|
| — | --process-key | GUID | — | 必須。プロセス キー (デプロイの GUID)。 |
| — | --tenant | name | セッションの既定値 | UiPath のテナント名です。 |
例
uip eval run get a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval run get a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
データシェイプ(--output json)
{
"Code": "EvalSetRunDetails",
"Data": {
"EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
"Status": "completed",
"Score": 0.86,
"EvalsExecuted": 5,
"Duration": "42.5s"
}
}
{
"Code": "EvalSetRunDetails",
"Data": {
"EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
"Status": "completed",
"Score": 0.86,
"EvalsExecuted": 5,
"Duration": "42.5s"
}
}
1 つの run list エントリと同じ形状 ( EvalSetId/CreatedAtを引いた値) で、リストではなく ID で取得されます。
UIP 評価の実行結果
評価セットの実行の項目ごとの評価実行結果を表示します。元の execute-and-evaluate 呼び出しで送信された項目ごとに 1 つのエントリが表示されます。
引数
| 名前 | Required | 目的 |
|---|---|---|
<evalSetRunId> | ○ | 評価セットの実行 ID (GUID)。 |
オプション
| Short | 長押し | 値 (Value) | 既定 (Default) | 説明 |
|---|---|---|---|---|
| — | --process-key | GUID | — | 必須。プロセス キー (デプロイの GUID)。 |
| — | --tenant | name | セッションの既定値 | UiPath のテナント名です。 |
例
uip eval run results a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval run results a1b2c3d4-0000-0000-0000-000000000101 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
データシェイプ(--output json)
{
"Code": "EvalRunResults",
"Data": [
{
"EvalRunId": "e1e2e3e4-0000-0000-0000-000000000001",
"DataPoint": "Test Case 1",
"Status": "completed",
"Result": {}
}
]
}
{
"Code": "EvalRunResults",
"Data": [
{
"EvalRunId": "e1e2e3e4-0000-0000-0000-000000000001",
"DataPoint": "Test Case 1",
"Status": "completed",
"Result": {}
}
]
}
DataPoint は元の項目の name です (スナップショットに ID がない場合は、評価実行の独自の ID にフォールバックします)。Result は評価器の生のスコアリング ペイロードです。形状は実行された評価器によって異なります。
UIP 評価 simulatable-components
評価でシミュレートできるデプロイ済みプロセスのコンポーネント (ツール、エスカレーション) をリストアップします。Id と ComponentType の値を使用して、eval evaluation create と eval evaluation updateの--simulations値を構築します。
uip eval simulatable-components list
デプロイ済みのプロセスでシミュレート可能なコンポーネントのリストを表示します。
オプション
| Short | 長押し | 値 (Value) | 既定 (Default) | 説明 |
|---|---|---|---|---|
| — | --process-key | GUID | — | 必須。プロセス キー。uip or processes listを使用して鍵を検索します。 |
| — | --process-version | セマンティック バージョン | デプロイされた最新のバージョン | コンポーネントの読み込み元となるプロセスのバージョンです。 |
| — | --tenant | name | セッションの既定値 | UiPath のテナント名です。 |
例
uip eval simulatable-components list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval simulatable-components list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
データシェイプ(--output json)
{
"Code": "SimulatableComponentList",
"Data": [
{
"Id": "web-search",
"Name": "Web Search",
"Description": "Searches the web",
"ComponentType": "tool",
"SubType": "Api",
"IsEnabled": true
}
]
}
{
"Code": "SimulatableComponentList",
"Data": [
{
"Id": "web-search",
"Name": "Web Search",
"Description": "Searches the web",
"ComponentType": "tool",
"SubType": "Api",
"IsEnabled": true
}
]
}
OutputSchema は、プロセスがコンポーネントに対してコンポーネントを定義する場合にのみ、コンポーネントに含まれます。
関連
schedule— 定期的なスケジュールに従ってexecute-and-evaluateを自動化します。evaluator— 保存されたスコアリング ロジックを管理します。eval-setとevaluation— 保存したアイテムのコレクションと評価の定義を管理します。
参照
uip orの概要 — このプロセスとフォルダーが動作するツールです。--process-key/--folder-key/--tenantの共有規則です。- グローバル オプション
- 終了コード