uip 评估评估集和评估集评估
使用“uip eval eval-set”和“uip eval evaluation”管理 Orchestrator 评估集以及其中的评估(数据点)的语法和选项。
uip eval子系统的一部分。此页面涵盖用于定义评估内容的两个资源:
eval eval-set— 一组命名的流程作用域评估数据点,通过--evaluator-refs链接到一个或多个评估程序。评估集还包含运行时使用的批处理/超时设置。eval evaluation— 评估集中的一个数据点:输入有效负载、可选的预期输出/行为和可选的每个评估程序条件覆盖。execute-and-evaluate和schedule通过评估集的评估运行工作,使用评估集的已链接评估程序为每个评估评分。
大纲
uip eval eval-set list --process-key <guid> [--limit <n>] [--offset <n>] [--tenant <tenant>]
uip eval eval-set get <evalSetId> --process-key <guid> [--tenant <tenant>]
uip eval eval-set create --process-key <guid> --workload-id <guid> --folder-key <guid> --name <name> [options...] [--tenant <tenant>]
uip eval eval-set update <evalSetId> --process-key <guid> [options...] [--tenant <tenant>]
uip eval eval-set delete <evalSetId> --process-key <guid> [--tenant <tenant>]
uip eval evaluation list --process-key <guid> --eval-set-id <guid> [--limit <n>] [--offset <n>] [--tenant <tenant>]
uip eval evaluation get <evaluationId> --process-key <guid> --eval-set-id <guid> [--tenant <tenant>]
uip eval evaluation create --process-key <guid> --eval-set-id <guid> --folder-key <guid> --name <name> --inputs <json> [options...] [--tenant <tenant>]
uip eval evaluation update <evaluationId> --process-key <guid> --eval-set-id <guid> [options...] [--tenant <tenant>]
uip eval evaluation delete <evaluationId> --process-key <guid> --eval-set-id <guid> [--tenant <tenant>]
uip eval eval-set list --process-key <guid> [--limit <n>] [--offset <n>] [--tenant <tenant>]
uip eval eval-set get <evalSetId> --process-key <guid> [--tenant <tenant>]
uip eval eval-set create --process-key <guid> --workload-id <guid> --folder-key <guid> --name <name> [options...] [--tenant <tenant>]
uip eval eval-set update <evalSetId> --process-key <guid> [options...] [--tenant <tenant>]
uip eval eval-set delete <evalSetId> --process-key <guid> [--tenant <tenant>]
uip eval evaluation list --process-key <guid> --eval-set-id <guid> [--limit <n>] [--offset <n>] [--tenant <tenant>]
uip eval evaluation get <evaluationId> --process-key <guid> --eval-set-id <guid> [--tenant <tenant>]
uip eval evaluation create --process-key <guid> --eval-set-id <guid> --folder-key <guid> --name <name> --inputs <json> [options...] [--tenant <tenant>]
uip eval evaluation update <evaluationId> --process-key <guid> --eval-set-id <guid> [options...] [--tenant <tenant>]
uip eval evaluation delete <evaluationId> --process-key <guid> --eval-set-id <guid> [--tenant <tenant>]
uip eval 评估集列表
列出为流程定义的评估集。
选项
| 长 | 值 | 必填 | 描述 |
|---|---|---|---|
--process-key <guid> | GUID | 是 | 流程密钥。使用uip or processes list查找。 |
--limit <n> | 整数 | 否 | 要返回的最大项目数。默认 100。 |
--offset <n> | 整数 | 否 | 要跳过的项目。默认 0。 |
--tenant <tenant> | name | 否 | UiPath 租户名称。 |
示例
uip eval eval-set list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval eval-set list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
数据形状(--输出 json)
{
"Code": "EvalSetList",
"Data": [
{
"EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
"Name": "Smoke Tests",
"Description": "Basic smoke tests",
"BatchSize": 10,
"EvaluatorRefs": ["ev-1", "ev-2"],
"CreatedAt": "2026-08-01T10:00:00Z"
}
],
"Pagination": { "Returned": 1, "Limit": 100, "Offset": 0 }
}
{
"Code": "EvalSetList",
"Data": [
{
"EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
"Name": "Smoke Tests",
"Description": "Basic smoke tests",
"BatchSize": 10,
"EvaluatorRefs": ["ev-1", "ev-2"],
"CreatedAt": "2026-08-01T10:00:00Z"
}
],
"Pagination": { "Returned": 1, "Limit": 100, "Offset": 0 }
}
取消设置时,BatchSize 为 "-"。仅在评估集至少更新一次后,UpdatedAt 才会存在。
uip eval 评估集获取
获取一个评估集的详细信息。
参数
| 名称 | 必填 | 用途 |
|---|---|---|
<evalSetId> | 是 | 评估集 ID (GUID)。 |
选项
| 长 | 值 | 必填 | 描述 |
|---|---|---|---|
--process-key <guid> | GUID | 是 | 流程密钥。 |
--tenant <tenant> | name | 否 | UiPath 租户名称。 |
示例
uip eval eval-set get f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval eval-set get f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
数据形状(--输出 json)
{
"Code": "EvalSetDetails",
"Data": {
"EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
"Name": "Smoke Tests",
"Description": "Basic smoke tests",
"BatchSize": 10,
"EvaluatorRefs": ["ev-1", "ev-2"],
"CreatedAt": "2026-08-01T10:00:00Z"
}
}
{
"Code": "EvalSetDetails",
"Data": {
"EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
"Name": "Smoke Tests",
"Description": "Basic smoke tests",
"BatchSize": 10,
"EvaluatorRefs": ["ev-1", "ev-2"],
"CreatedAt": "2026-08-01T10:00:00Z"
}
}
uip 评估评估集创建
为流程创建评估集。
选项
| 长 | 值 | 必填 | 描述 |
|---|---|---|---|
--process-key <guid> | GUID | 是 | 流程密钥。 |
--workload-id <guid> | GUID | 是 | 工作负载 ID。 |
--folder-key <guid> | GUID | 是 | 文件夹密钥。 |
--name <name> | 字符串 | 是 | 评估集名称。 |
--description <text> | 字符串 | 否 | 评估集描述。 |
--batch-size <n> | ≥ 1 的整数 | 否 | 每次运行的最大并发评估数。 |
--timeout-minutes <n> | ≥ 1 的整数 | 否 | 每次评估的超时分钟数。 |
--evaluator-refs <refs...> | 以空格分隔的 ID | 否 | 要链接到此评估集的评估程序ID。变量 — 传递由空格而不是逗号分隔的多个 ID。 |
--tenant <tenant> | name | 否 | UiPath 租户名称。 |
内部 externalId(随机 UUID)是在每次创建时自动生成的,用户无法设置。
示例
uip eval eval-set create --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--workload-id a1b2c3d4-0000-0000-0000-000000000001 \
--folder-key f1f2f3f4-0000-0000-0000-000000000001 \
--name "Smoke Tests" --evaluator-refs ev-1 ev-2
uip eval eval-set create --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--workload-id a1b2c3d4-0000-0000-0000-000000000001 \
--folder-key f1f2f3f4-0000-0000-0000-000000000001 \
--name "Smoke Tests" --evaluator-refs ev-1 ev-2
数据形状(--输出 json)
{
"Code": "EvalSetCreated",
"Data": { "EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04", "Name": "Smoke Tests" }
}
{
"Code": "EvalSetCreated",
"Data": { "EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04", "Name": "Smoke Tests" }
}
uip eval 评估集更新
更新现有评估集。除 --process-key 之外,至少还需要一个可更新字段;您省略的字段保留其当前值(该命令首先读取现有评估集,然后应用您的更改)。
参数
| 名称 | 必填 | 用途 |
|---|---|---|
<evalSetId> | 是 | 评估集 ID (GUID)。 |
选项
| 长 | 值 | 必填 | 描述 |
|---|---|---|---|
--process-key <guid> | GUID | 是 | 流程密钥。 |
--name <name> | 字符串 | 否* | 新的评估集名称。 |
--description <text> | 字符串 | 否* | 新说明。 |
--batch-size <n> | ≥ 1 的整数 | 否* | 新的最大并发评估。 |
--timeout-minutes <n> | ≥ 1 的整数 | 否* | 新的超时(以分钟为单位)。 |
--evaluator-refs <refs...> | 以空格分隔的 ID | 否* | 替换完整的评估程序参考列表(非相加)。 |
--tenant <tenant> | name | 否 | UiPath 租户名称。 |
* 至少需要 --name、--description、--batch-size、--timeout-minutes 或 --evaluator-refs 中的一项 — 如果什么都不传递,则该命令快速失败。
示例
uip eval eval-set update f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 \
--process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--name "Updated Name" --evaluator-refs ev-1 ev-2
uip eval eval-set update f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 \
--process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--name "Updated Name" --evaluator-refs ev-1 ev-2
数据形状(--输出 json)
{
"Code": "EvalSetUpdated",
"Data": {
"EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
"Name": "Updated Name",
"EvaluatorRefs": ["ev-1", "ev-2"]
}
}
{
"Code": "EvalSetUpdated",
"Data": {
"EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
"Name": "Updated Name",
"EvaluatorRefs": ["ev-1", "ev-2"]
}
}
uip eval 评估集删除
删除评估集。
参数
| 名称 | 必填 | 用途 |
|---|---|---|
<evalSetId> | 是 | 评估集 ID (GUID)。 |
选项
| 长 | 值 | 必填 | 描述 |
|---|---|---|---|
--process-key <guid> | GUID | 是 | 流程密钥。 |
--tenant <tenant> | name | 否 | UiPath 租户名称。 |
示例
uip eval eval-set delete f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
uip eval eval-set delete f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09
数据形状(--输出 json)
{ "Code": "EvalSetDeleted", "Data": { "EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04" } }
{ "Code": "EvalSetDeleted", "Data": { "EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04" } }
删除评估集不会对引用该评估集的计划或评估程序进行级联删除,也不会以其他方式发出警告 — CLI 会发出简单的 DELETE 命令,不会执行依赖项检查。
uip eval 评估列表
列出评估集中的评估(数据点)。
选项
| 长 | 值 | 必填 | 描述 |
|---|---|---|---|
--process-key <guid> | GUID | 是 | 流程密钥。 |
--eval-set-id <guid> | GUID | 是 | 评估集 ID。 |
--limit <n> | 整数 | 否 | 要返回的最大项目数。默认 100。 |
--offset <n> | 整数 | 否 | 要跳过的项目。默认 0。 |
--tenant <tenant> | name | 否 | UiPath 租户名称。 |
示例
uip eval evaluation list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 --eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04
uip eval evaluation list --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 --eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04
数据形状(--输出 json)
{
"Code": "EvaluationList",
"Data": [
{
"EvaluationId": "c1d2e3f4-0000-0000-0000-000000000001",
"EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
"Name": "Greeting test",
"Inputs": { "input": "hello" },
"ExpectedOutput": { "content": "Hi there!" },
"ExpectedBehavior": "",
"CreatedAt": "2026-08-01T10:00:00Z"
}
],
"Pagination": { "Returned": 1, "Limit": 100, "Offset": 0 }
}
{
"Code": "EvaluationList",
"Data": [
{
"EvaluationId": "c1d2e3f4-0000-0000-0000-000000000001",
"EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
"Name": "Greeting test",
"Inputs": { "input": "hello" },
"ExpectedOutput": { "content": "Hi there!" },
"ExpectedBehavior": "",
"CreatedAt": "2026-08-01T10:00:00Z"
}
],
"Pagination": { "Returned": 1, "Limit": 100, "Offset": 0 }
}
uip eval 评估获取
获取一个评估的详细信息。
参数
| 名称 | 必填 | 用途 |
|---|---|---|
<evaluationId> | 是 | 评估 ID (GUID)。 |
选项
| 长 | 值 | 必填 | 描述 |
|---|---|---|---|
--process-key <guid> | GUID | 是 | 流程密钥。 |
--eval-set-id <guid> | GUID | 是 | 评估集 ID。 |
--tenant <tenant> | name | 否 | UiPath 租户名称。 |
示例
uip eval evaluation get c1d2e3f4-0000-0000-0000-000000000001 \
--process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 --eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04
uip eval evaluation get c1d2e3f4-0000-0000-0000-000000000001 \
--process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 --eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04
数据形状(--输出 json)
对象形状与 evaluation list 的 Data 数组中的一个条目相同。
uip eval 评估创建
将评估(数据点)添加到评估集中。
选项
| 长 | 值 | 必填 | 描述 |
|---|---|---|---|
--process-key <guid> | GUID | 是 | 流程密钥。 |
--eval-set-id <guid> | GUID | 是 | 评估集 ID。 |
--folder-key <guid> | GUID | 是 | 文件夹密钥。 |
--name <name> | 字符串 | 是 | 评估名称。 |
--inputs <json> | JSON | 是 | 输入值,例如'{"input":"hello"}'。 |
--expected-output <json> | JSON | 否 | 比较样式评估程序的预期输出。 |
--expected-behavior <text> | 字符串 | 否 | 针对轨迹评估器的预期智能体行为描述。 |
--evaluation-criterias <json> | JSON | 否 | 每个评估程序的条件都会被覆盖。 |
--tenant <tenant> | name | 否 | UiPath 租户名称。 |
在任何网络调用之前,--inputs、--expected-output 或 --evaluation-criterias 上的 上的格式错误的 JSON 在客户端快速失败,并在错误中提供 --inputs 的预期形状示例。
示例
uip eval evaluation create --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 \
--folder-key f1f2f3f4-0000-0000-0000-000000000001 \
--name "Greeting test" --inputs '{"input":"hello"}' --expected-output '{"content":"Hi there!"}'
uip eval evaluation create --process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 \
--eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 \
--folder-key f1f2f3f4-0000-0000-0000-000000000001 \
--name "Greeting test" --inputs '{"input":"hello"}' --expected-output '{"content":"Hi there!"}'
数据形状(--输出 json)
{
"Code": "EvaluationCreated",
"Data": {
"EvaluationId": "c1d2e3f4-0000-0000-0000-000000000001",
"EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
"Name": "Greeting test"
}
}
{
"Code": "EvaluationCreated",
"Data": {
"EvaluationId": "c1d2e3f4-0000-0000-0000-000000000001",
"EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
"Name": "Greeting test"
}
}
uip eval 评估更新
更新现有评估。在 --process-key/--eval-set-id 以外,至少需要一个可更新字段;省略的字段将保留其当前值。
参数
| 名称 | 必填 | 用途 |
|---|---|---|
<evaluationId> | 是 | 评估 ID (GUID)。 |
选项
| 长 | 值 | 必填 | 描述 |
|---|---|---|---|
--process-key <guid> | GUID | 是 | 流程密钥。 |
--eval-set-id <guid> | GUID | 是 | 评估集 ID。 |
--name <name> | 字符串 | 否* | 新评估名称。 |
--inputs <json> | JSON | 否* | 新的输入值。 |
--expected-output <json> | JSON | 否* | 新的预期输出。 |
--expected-behavior <text> | 字符串 | 否* | 新的预期行为描述。 |
--evaluation-criterias <json> | JSON | 否* | 每个评估程序的新条件将被覆盖。 |
--tenant <tenant> | name | 否 | UiPath 租户名称。 |
* --name、--inputs、--expected-output、--expected-behavior 或 --evaluation-criterias 中至少有一个为必需。
示例
uip eval evaluation update c1d2e3f4-0000-0000-0000-000000000001 \
--process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 --eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 \
--inputs '{"input":"updated"}' --expected-output '{"content":"new response"}'
uip eval evaluation update c1d2e3f4-0000-0000-0000-000000000001 \
--process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 --eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04 \
--inputs '{"input":"updated"}' --expected-output '{"content":"new response"}'
数据形状(--输出 json)
{
"Code": "EvaluationUpdated",
"Data": {
"EvaluationId": "c1d2e3f4-0000-0000-0000-000000000001",
"EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
"Name": "Greeting test"
}
}
{
"Code": "EvaluationUpdated",
"Data": {
"EvaluationId": "c1d2e3f4-0000-0000-0000-000000000001",
"EvalSetId": "f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04",
"Name": "Greeting test"
}
}
uip eval 评估删除
从评估集中删除评估。
参数
| 名称 | 必填 | 用途 |
|---|---|---|
<evaluationId> | 是 | 评估 ID (GUID)。 |
选项
| 长 | 值 | 必填 | 描述 |
|---|---|---|---|
--process-key <guid> | GUID | 是 | 流程密钥。 |
--eval-set-id <guid> | GUID | 是 | 评估集 ID。 |
--tenant <tenant> | name | 否 | UiPath 租户名称。 |
示例
uip eval evaluation delete c1d2e3f4-0000-0000-0000-000000000001 \
--process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 --eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04
uip eval evaluation delete c1d2e3f4-0000-0000-0000-000000000001 \
--process-key 9e4b2f17-7c3a-4d81-b592-3f6e8a1d5c09 --eval-set-id f3a7d219-8b4c-4e62-a951-7d3f6e2c8b04
数据形状(--输出 json)
{ "Code": "EvaluationDeleted", "Data": { "EvaluationId": "c1d2e3f4-0000-0000-0000-000000000001" } }
{ "Code": "EvaluationDeleted", "Data": { "EvaluationId": "c1d2e3f4-0000-0000-0000-000000000001" } }
相关内容
- uip eval — 概述、
execute-and-evaluate和run。 - uip 评估计划— 针对评估集定期运行评估。
- uip 评估评估程序— 评估集的
--evaluator-refs指向的评分逻辑。 uip or processes— 解析--process-key。
另请参阅
- 大纲
- uip eval 评估集列表
- 选项
- 示例
- 数据形状(--输出 json)
- uip eval 评估集获取
- 参数
- 选项
- 示例
- 数据形状(--输出 json)
- uip 评估评估集创建
- 选项
- 示例
- 数据形状(--输出 json)
- uip eval 评估集更新
- 参数
- 选项
- 示例
- 数据形状(--输出 json)
- uip eval 评估集删除
- 参数
- 选项
- 示例
- 数据形状(--输出 json)
- uip eval 评估列表
- 选项
- 示例
- 数据形状(--输出 json)
- uip eval 评估获取
- 参数
- 选项
- 示例
- 数据形状(--输出 json)
- uip eval 评估创建
- 选项
- 示例
- 数据形状(--输出 json)
- uip eval 评估更新
- 参数
- 选项
- 示例
- 数据形状(--输出 json)
- uip eval 评估删除
- 参数
- 选项
- 示例
- 数据形状(--输出 json)
- 相关内容
- 另请参阅