管理 Runtime 评估（预览）

按需或定期根据数据集验证已部署的智能体。

在设计时通过测试的智能体仍可能在生产中失败。模型会在没有警告的情况下更新、输入发生变化，您的智能体调用的工具也会发生变化。如果您仅在发货前进行评估，那么最先发现这些故障的将是您的用户。

Runtime 评估针对已部署的智能体本身运行，因此结果反映了生产中的内容，而不是设计时副本。每次更改后按计划运行它们，以便在用户之前捕获退化问题。

要在构建智能体的同时对其进行评估，请参阅评估。

评估智能体的执行情况，而不仅仅是输出

智能体可能会通过错误的路由返回正确的答案：它调用了不应该使用的工具，跳过了它应该执行的步骤，或在到达目标之前循环了三次。检查最终输出不会捕获到任何此类问题，在生产中，这些故障才会让您付出代价。

每个数据点都由关联到其数据集的评估程序进行评分。您可以在评估程序视图中添加评估程序。它们分为三类，每一类都可以捕获不同类型的故障，因此请将多个类别结合使用。

输出验证评估程序运行确定性检查。此类方法价格低廉，每次都会给出相同的结果。

• 包含文本：当输出包含您指定的文本时通过。
• 精确匹配：当输出与预期输出完全匹配时，通过。
• JSON 相似度：当输出的 JSON 结构与预期结构相似时通过。

LLM Judge评估程序使用 LLM 对运行进行评分，因此他们会接受正确但措辞不同的答案。

• LLM 判断输出：判断输出在含义上是否与预期输出匹配。默认的LLM Judge 评估程序使用此类型。
• LLM Judge Strict JSON：判断输出是否与预期的 JSON 结构严格匹配。
• LLM 判断轨迹：判断运行是否遵循预期行为。您目前无法在已计划的运行中使用该功能。
• LLM Judge 模拟：评判使用模拟组件的运行的执行路径。

工具调用评估程序会检查智能体使用工具的方式。

• 工具调用参数：检查智能体是否使用正确的参数调用工具。
• 工具调用计数：检查智能体调用每个工具的次数。
• 工具调用顺序：检查智能体是否按预期顺序调用工具。
• 工具调用输出：检查工具输出是否与预期值匹配。

每个评估程序结果都附带分数和完整的执行追踪记录，因此您可以查看运行出错的位置。LLM 评判者评估者还会解释其分数及理由。将结果视为改进智能体的待办事项列表：导出运行并使用 CLI 技能进行分析。例如，您可以：

• 对最重要的故障进行排序，以便首先修复影响最大的问题。
• 检查您的数据集是否涵盖了智能体提示中的每条指令，并为遗漏的指令添加数据点。
• 查找智能体在生产环境中处理、且数据集尚未测试的用例。

根据真实流量构建数据集

数据集是一组数据点。每个队列都包含您发送给智能体的输入以及您期望返回的输出。您可以手写数据点，但并非必需。还有其他三个来源，生产运行是最具代表性的，因为它们包含您认为不需要测试的输入：

• 生产运行。已完成的部署智能体运行可以直接进入数据集。值得首先添加故障和奇数边缘用例，因为这些用例是需要谨防的。请参阅将生产运行添加到数据集。
• 生成的示例。当您需要覆盖智能体尚未查看的内容时，请使用 CLI 技能生成数据点。请参阅《Coding Agents 指南》中的“智能体” 。
• 您的业务团队。使用 CLI 技能从知晓正确答案的人员处导入测试用例（JSON 或 CSV）。对于需要大量判断力的任务，他们应明确预期输出、轨迹或升级路径。

在您依赖某个数据点之前，请查看其预期输出。数据点表单与智能体的输入架构和预期输出架构匹配，当预期输出与智能体输出中的键不匹配时，它会向您发出警告。

具有副作用的模拟工具

评估运行会将每个数据点发送到您部署的智能体。如果智能体的工具处于活动状态，则运行将触发这些工具：智能体会发送电子邮件，写入记录，并创建升级以供人工处理。如果您不想在生产环境中产生这些下游影响，请模拟每个会更改智能体外部内容的工具和升级。这包括人机回圈 (HITL) 步骤，因此评估不会将工作放入人员的队列中。

每个模拟组件都从已填充的输出架构开始。您可以通过两种方式进行模拟：

• 静态模拟组件在每次运行时返回相同的响应，例如始终批准的 HITL 步骤，或工具始终返回相同的输出。模拟精确且成本较低，因此只要只需固定响应即可使用模拟。
• 生成的响应。您描述希望智能体查看的响应，每次运行评估时，系统都会生成一个新的响应。当智能体需要处理各种响应时，请使用此选项。

每次发生变更时按计划运行

您可以按需或计划启动评估运行。

• 按需：每次智能体所依赖的内容（例如模型、提示词、工具或已连接的系统）发生更改后运行您的数据集，以便在退化趋势扩大之前捕获它。在设计时和运行时使用相同的数据集，并在设计时先运行数据集。
• 按计划：定期运行会捕获偏差。正确的频率取决于输入和依赖项的变化速度。与不接触不断变化的系统的智能体相比，接触不断变化的系统的大批量智能体需要更严格的节奏。

安排评估

运行整个数据集的计划。要创建此包，请执行以下操作：

1. 在“智能体实例管理”下，选择“智能体” 。
2. 选择已部署的智能体。
3. 选择“评估”选项卡。
4. 在“计划”视图中，选择“新建计划” 。
5. 设置开始日期和结束日期。以您的本地时区显示时间。
6. 设置重复周期，即数据集的运行频率。
7. 选择要运行的数据集。系统默认选择智能体的第一个数据集。
8. 保存计划。

每次计划的运行都按运行开始时的原样使用数据集。如果您添加、编辑或删除数据点，则下一次运行将自动应用这些更改，因此您无需重新计划。

创建计划后，您可以暂停和继续计划，更改运行频率，或将其删除。“计划”视图仅列出已部署智能体文件夹中的计划。

读取结果

在“评估运行”视图中打开运行，以查看：

• 运行的状态和总体分数
• 通过了多少个数据点
• 每个数据点的状态和分数

总体分数告知您某些内容是否发生变化。它不会告诉您什么。选择数据点会显示：

• 理由：评估者给出该分数的原因。
• 输入、预期输出以及预期输出与实际输出的对比：数据点的值，位于智能体实际生成的值旁边。
• 追踪：智能体在运行期间执行了哪些操作。追踪从评估集运行跨度开始，包含智能体运行情况、智能体输出以及每个评估程序的评估程序跨度。

当数据点的分数下降时，要么是智能体出错，要么是预期输出出错。如果智能体出错，就会导致退化。如果预期输出错误，则需要修复该数据点，以使数据集保持可信。

运行时评估所在的位置

打开智能体注册表>智能体，然后选择一个已部署的智能体。其“评估”选项卡有四个视图：

视图	用途
数据集	创建和管理数据点，并查看每个数据集的链接评估程序和上次更新时间。
评估者	选择每个数据点的评分方式。如果您的智能体没有，则系统将创建默认评估程序，并且默认数据集仅链接到LLM Judge 评估程序。
评估运行	查看过去的运行，包括分数和追踪。
计划	定期运行数据集。

您可以在“评估”选项卡上执行的操作取决于您在已部署的智能体文件夹中的权限。如果没有它们，编辑和运行操作将隐藏或不可用，并且该选项卡为只读状态。

Runtime 评估与智能体包分开存储。您可以更改数据集、数据点和评估程序，而无需重新发布智能体。附加到数据点的文件位于 Orchestrator 存储桶中，您可以从“评估”选项卡管理这些文件，而不是“Orchestrator存储桶”页面。

将生产运行添加到数据集

您可以将完成运行的已部署智能体转换为数据点。运行输出将成为数据点的预期输出，因此在添加之前请检查其是否正确。此处保存的错误答案将成为未来运行的评分依据。

开始之前

• 在“评估”选项卡的“数据集”视图中创建至少一个数据集。
• 确保智能体至少已完成一次运行。

步骤

1. 在“智能体实例管理”下，选择“智能体” 。
2. 选择已部署的智能体。
3. 选择“审核运行”选项卡。
4. 在运行所在行中，选择“添加到数据集”列中的图标。如果运行的反馈对话框已打开，请在其中选择“添加到数据集” 。
5. 在“数据集”中，选择一个数据集。默认情况下选择第一个。
6. （可选）输入“数据点名称” 。如果将其留空，则系统会以追踪命名数据点，例如Trace 083869d6 。
7. 查看“输入”和“预期输出”值。
8. 选择“添加数据点” 。

确认消息会为数据集命名，并且数据点将显示在“评估”选项卡上。

限制

• 计划的运行尚不支持LLM Judge 轨迹评估程序。
• 无法使用在线评估。
• Maestro Runtime 评估不可用。