UIP 評価評価器

「uip eval evaluator」の構文とオプション - Orchestrator プロセスの実行の採点に使用されるスコアリング評価器を管理します。

評価器とは、プロセスに (--process-keyによって) アタッチされたスコアリング メカニズムで、実行の出力を採点します (たとえば、LLM による評価による回答との比較、完全一致チェックなど)。評価器は、eval-set エントリと execute-and-evaluate 呼び出し (「評価の概要」を参照) の ID で参照され、実際にスコア付けされた評価が実行されます。このページでは、評価器の定義自体の作成/管理についてのみ説明します。

すべての動詞には --process-key <guid> が必要です。評価器のスコープは 1 つのプロセスに設定されています。uip or processes listでプロセス キーを検索します。

概要

uip eval evaluator list --process-key <guid> [--limit <number>] [--offset <number>] [--tenant <tenant>]
uip eval evaluator get <evaluatorId> --process-key <guid> [--tenant <tenant>]
uip eval evaluator create --process-key <guid> --workload-id <guid> --folder-key <guid> --name <name> --description <text> --evaluator-type-id <id> --evaluator-config <json> [--version <version>] [--tenant <tenant>]
uip eval evaluator update <evaluatorId> --process-key <guid> [--name <name>] [--description <text>] [--evaluator-type-id <id>] [--evaluator-config <json>] [--version <version>] [--tenant <tenant>]
uip eval evaluator delete <evaluatorId> --process-key <guid> [--tenant <tenant>]

UIP 評価評価器のリスト

プロセスに定義されている評価器のリストを表示します。

オプション

長押し	値 (Value)	Required	説明
--process-key <guid>	GUID	○	プロセス キー。uip or processes listを使用して鍵を検索します。
--limit <number>	integer	×	返すアイテムの最大数既定 100です。
--offset <number>	integer	×	スキップする項目の数です。既定 0です。
--tenant <tenant>	name	×	UiPath のテナント名です。

例

uip eval evaluator list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

データシェイプ(--output json)

{
  "Code": "EvaluatorList",
  "Data": [
    {
      "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001",
      "Name": "Semantic Similarity",
      "Description": "LLM-based output comparison",
      "EvaluatorTypeId": "uipath-llm-judge-output-semantic-similarity",
      "Version": "1.0",
      "CreatedAt": "2026-08-01T10:00:00Z"
    }
  ],
  "Pagination": { "Returned": 1, "Limit": 100, "Offset": 0 }
}

UpdatedAt は、作成後に評価器が変更されている場合にのみ、項目ごとに含まれます。

UIP 評価評価器 Get

1 人の評価器の完全な詳細情報を ID で取得します。

引数

名前	Required	目的
<evaluatorId>	○	評価器 ID (GUID)。

オプション

長押し	値 (Value)	Required	説明
--process-key <guid>	GUID	○	プロセス キー。
--tenant <tenant>	name	×	UiPath のテナント名です。

例

uip eval evaluator get a1b2c3d4-0000-0000-0000-000000000001 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

データシェイプ(--output json)

{
  "Code": "EvaluatorDetails",
  "Data": {
    "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001",
    "Name": "Semantic Similarity",
    "Description": "LLM-based output comparison",
    "EvaluatorTypeId": "uipath-llm-judge-output-semantic-similarity",
    "Version": "1.0",
    "CreatedAt": "2026-08-01T10:00:00Z"
  }
}

UIP 評価評価器の作成

プロセスに評価器を作成します。

オプション

長押し	値 (Value)	Required	説明
--process-key <guid>	GUID	○	プロセス キー。
--workload-id <guid>	GUID	○	ワークロード ID
--folder-key <guid>	GUID	○	フォルダー キー。
--name <name>	string	○	評価器名。
--description <text>	string	○	評価器の説明。
--evaluator-type-id <id>	string	○	エバリュエーターの種類。ソース独自の例は、 uipath-llm-judge-output-semantic-similarity、 uipath-llm-judge-trajectory-similarity uipath-exact-matchを示しています — これはクライアントで検証された列挙型ではないため、他の型 ID がサーバー側に存在する可能性があります。表示されている 3 つは、CLI 独自のヘルプ テキストの名前にすぎません。
--evaluator-config <json>	JSON オブジェクト	○	タイプ固有の設定。形状は --evaluator-type-id によって異なります — 以下の意味的類似性の例は、 name/prompt/model/targetOutputKeyを示しています。他の型は、クライアント側で列挙されていない、異なるキーを受け取る可能性があります。
--version <version>	string	×	評価器のバージョン。既定 1.0です。
--tenant <tenant>	name	×	UiPath のテナント名です。

externalId (UUID) は作成のたびに自動的に生成されます。これはフラグではなく、list/get出力には表示されません。

例

uip eval evaluator create --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --workload-id a1b2c3d4-0000-0000-0000-000000000001 \
  --folder-key f1f2f3f4-0000-0000-0000-000000000001 \
  --name "Semantic Similarity" --description "LLM-based output comparison" \
  --evaluator-type-id uipath-llm-judge-output-semantic-similarity \
  --evaluator-config '{"name":"Semantic","prompt":"Score 0-100...","model":"gpt-4.1-2025-04-14","targetOutputKey":"*"}' \
  --version 1.0

データシェイプ(--output json)

{
  "Code": "EvaluatorCreated",
  "Data": {
    "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001",
    "Name": "Semantic Similarity",
    "EvaluatorTypeId": "uipath-llm-judge-output-semantic-similarity"
  }
}

UIP 評価評価器の更新

既存の評価器の 1 つ以上のフィールドを更新します。未指定のフィールドは現在の評価器から読み取られ、変更されずに再送信されます (部分的なパッチではなく、内部でのフルオブジェクト PUT) — --evaluator-config 自体はマージされません: 渡すと、指定したキーだけでなく、構成オブジェクト全体が置き換えられます。

引数

名前	Required	目的
<evaluatorId>	○	評価器 ID (GUID)。

オプション

長押し	値 (Value)	Required	説明
--process-key <guid>	GUID	○	プロセス キー。
--name <name>	string	いいえ*	新しい名前。
--description <text>	string	いいえ*	新しい説明。
--evaluator-type-id <id>	string	いいえ*	新しいエバリュエーターの種類。
--evaluator-config <json>	JSON オブジェクト	いいえ*	新しい構成 — オブジェクト全体を置換します。
--version <version>	string	いいえ*	新しいバージョン。
--tenant <tenant>	name	×	UiPath のテナント名です。

* --name/--description/--evaluator-type-id/--evaluator-config/--version のうち少なくとも 1 つが必要です。5 つすべてを省略すると、ネットワーク呼び出しの前に明示的なエラーが発生して失敗します。

例

uip eval evaluator update a1b2c3d4-0000-0000-0000-000000000001 \
  --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --name "Updated Evaluator" \
  --evaluator-config '{"name":"Updated","prompt":"New prompt"}'

データシェイプ(--output json)

{
  "Code": "EvaluatorUpdated",
  "Data": {
    "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001",
    "Name": "Updated Evaluator",
    "EvaluatorTypeId": "uipath-llm-judge-output-semantic-similarity"
  }
}

UIP 評価評価器 削除

評価器を削除します。

注:

評価器を削除しても、その評価器がまだeval-setエントリまたはschedule のどちらによって参照されているかは確認されません。API はクライアント側では参照チェックを行いません。最初に、何も依存しないことを確認します。

引数

名前	Required	目的
<evaluatorId>	○	評価器 ID (GUID)。

オプション

長押し	値 (Value)	Required	説明
--process-key <guid>	GUID	○	プロセス キー。
--tenant <tenant>	name	×	UiPath のテナント名です。

例

uip eval evaluator delete a1b2c3d4-0000-0000-0000-000000000001 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

データシェイプ(--output json)

{
  "Code": "EvaluatorDeleted",
  "Data": { "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001" }
}

関連

• UIP 評価 — 概要、execute-and-evaluate、run
• UIP 評価スケジュール — 評価を定期的に実行します。
• UIP 評価セット/評価 — 評価器を再利用可能な評価の設定にグループ化します。
• UI またはプロセス — プロセス キーを検索します。

参照

• Orchestrator ツールの概要
• グローバル オプション
• 終了コード