uip eval 评估程序

"uip eval evaluator" 的语法和选项，用于管理用于对 Orchestrator 流程运行进行评分的评分评估程序。

评估程序是附加到流程（由--process-key ）的一种评分机制，用于对运行输出进行评分，例如，LLM 评判者根据预期答案进行比较，或进行精确匹配检查。评估程序通过 ID 从eval-set条目和execute-and-evaluate调用（请参阅评估概述）进行引用，这是实际运行已评分的评估的原因。此页面仅涵盖创作/管理评估程序定义本身。

每个动词都需要 --process-key <guid> — 评估程序的作用域为一个流程。查找包含uip or processes list流程密钥。

大纲

uip eval evaluator list --process-key <guid> [--limit <number>] [--offset <number>] [--tenant <tenant>]
uip eval evaluator get <evaluatorId> --process-key <guid> [--tenant <tenant>]
uip eval evaluator create --process-key <guid> --workload-id <guid> --folder-key <guid> --name <name> --description <text> --evaluator-type-id <id> --evaluator-config <json> [--version <version>] [--tenant <tenant>]
uip eval evaluator update <evaluatorId> --process-key <guid> [--name <name>] [--description <text>] [--evaluator-type-id <id>] [--evaluator-config <json>] [--version <version>] [--tenant <tenant>]
uip eval evaluator delete <evaluatorId> --process-key <guid> [--tenant <tenant>]

uip 评估评估程序列表

列出为流程定义的评估程序。

选项

长	值	必填	描述
--process-key <guid>	GUID	是	流程密钥。使用 uip or processes list 查找密钥。
--limit <number>	整数	否	要返回的最大项目数。默认 100。
--offset <number>	整数	否	要跳过的项目数。默认 0。
--tenant <tenant>	name	否	UiPath 租户名称。

示例

uip eval evaluator list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

数据形状（--输出 json）

{
  "Code": "EvaluatorList",
  "Data": [
    {
      "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001",
      "Name": "Semantic Similarity",
      "Description": "LLM-based output comparison",
      "EvaluatorTypeId": "uipath-llm-judge-output-semantic-similarity",
      "Version": "1.0",
      "CreatedAt": "2026-08-01T10:00:00Z"
    }
  ],
  "Pagination": { "Returned": 1, "Limit": 100, "Offset": 0 }
}

仅当评估程序自创建后被修改时，每个项目才会包含 UpdatedAt。

uip 评估评估程序获取

按 ID 获取一个评估者的完整详细信息。

参数

名称	必填	用途
<evaluatorId>	是	评估者 ID (GUID)。

选项

长	值	必填	描述
--process-key <guid>	GUID	是	流程密钥。
--tenant <tenant>	name	否	UiPath 租户名称。

示例

uip eval evaluator get a1b2c3d4-0000-0000-0000-000000000001 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

数据形状（--输出 json）

{
  "Code": "EvaluatorDetails",
  "Data": {
    "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001",
    "Name": "Semantic Similarity",
    "Description": "LLM-based output comparison",
    "EvaluatorTypeId": "uipath-llm-judge-output-semantic-similarity",
    "Version": "1.0",
    "CreatedAt": "2026-08-01T10:00:00Z"
  }
}

创建 uip 评估评估程序

为流程创建评估程序。

选项

长	值	必填	描述
--process-key <guid>	GUID	是	流程密钥。
--workload-id <guid>	GUID	是	工作负载 ID。
--folder-key <guid>	GUID	是	文件夹密钥。
--name <name>	字符串	是	评估程序名称。
--description <text>	字符串	是	评估程序说明。
--evaluator-type-id <id>	字符串	是	评估程序类型。来源自己的示例显示 uipath-exact-match、uipath-llm-judge-output-semantic-similarity、uipath-llm-judge-trajectory-similarity — 这不是未经客户端验证的枚举，因此服务器端可能存在其他类型 ID；显示的三个只是 CLI 自己的帮助文本的名称。
--evaluator-config <json>	JSON 对象	是	特定于类型的配置。形状取决于 --evaluator-type-id — 下面的语义相似度示例显示了 name/prompt/model/targetOutputKey；其他类型可能采用不同的密钥，而客户端未枚举。
--version <version>	字符串	否	评估程序版本。默认 1.0。
--tenant <tenant>	name	否	UiPath 租户名称。

externalId (UUID) 是在每次创建时自动生成的，它不是标志，不会显示在 list/get 输出中。

示例

uip eval evaluator create --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --workload-id a1b2c3d4-0000-0000-0000-000000000001 \
  --folder-key f1f2f3f4-0000-0000-0000-000000000001 \
  --name "Semantic Similarity" --description "LLM-based output comparison" \
  --evaluator-type-id uipath-llm-judge-output-semantic-similarity \
  --evaluator-config '{"name":"Semantic","prompt":"Score 0-100...","model":"gpt-4.1-2025-04-14","targetOutputKey":"*"}' \
  --version 1.0

数据形状（--输出 json）

{
  "Code": "EvaluatorCreated",
  "Data": {
    "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001",
    "Name": "Semantic Similarity",
    "EvaluatorTypeId": "uipath-llm-judge-output-semantic-similarity"
  }
}

uip eval 评估程序更新

更新现有评估程序上的一个或多个字段。未指定的字段从当前评估程序中读取，且不加更改地重新发送（完整对象 PUT，而不是部分补丁）— --evaluator-config 本身不会合并：将其传递时会替换整个配置对象，而不仅仅是您输入的密钥名称。

参数

名称	必填	用途
<evaluatorId>	是	评估者 ID (GUID)。

选项

长	值	必填	描述
--process-key <guid>	GUID	是	流程密钥。
--name <name>	字符串	否*	新名称。
--description <text>	字符串	否*	新说明。
--evaluator-type-id <id>	字符串	否*	新的评估程序类型。
--evaluator-config <json>	JSON 对象	否*	新配置 — 替换整个对象。
--version <version>	字符串	否*	新版本。
--tenant <tenant>	name	否	UiPath 租户名称。

*--name --description/--evaluator-type-id /--evaluator-config / 中至少有一个为必需--version — 在任何网络调用之前省略所有五个将失败，并会显示明确错误。

示例

uip eval evaluator update a1b2c3d4-0000-0000-0000-000000000001 \
  --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
  --name "Updated Evaluator" \
  --evaluator-config '{"name":"Updated","prompt":"New prompt"}'

数据形状（--输出 json）

{
  "Code": "EvaluatorUpdated",
  "Data": {
    "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001",
    "Name": "Updated Evaluator",
    "EvaluatorTypeId": "uipath-llm-judge-output-semantic-similarity"
  }
}

uip 评估评估程序删除

删除评估程序。

备注：

删除评估程序时，不会检查它是否仍被eval-set条目或schedule引用——API 在客户端不会执行引用检查。请先确认没有任何内容依赖于它。

参数

名称	必填	用途
<evaluatorId>	是	评估者 ID (GUID)。

选项

长	值	必填	描述
--process-key <guid>	GUID	是	流程密钥。
--tenant <tenant>	name	否	UiPath 租户名称。

示例

uip eval evaluator delete a1b2c3d4-0000-0000-0000-000000000001 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09

数据形状（--输出 json）

{
  "Code": "EvaluatorDeleted",
  "Data": { "EvaluatorId": "a1b2c3d4-0000-0000-0000-000000000001" }
}

相关内容

• uip eval — 概述、 execute-and-evaluate和run 。
• uip 评估计划— 定期运行评估。
• uip eval-set / evaluation — 将评估程序分组到可重用的评估配置中。
• UIP 或 Processes — 查找流程密钥。

另请参阅

• Orchestrator 工具概述
• 全局选项
• 退出代码