测试 Maestro 流程

测试方法

测试 Maestro 流程基于三项原则：

1. 保留行之有效的测试方式：按您一贯的方式，对 Maestro 流程中的 RPA 工作流进行测试。
2. 单独测试每个部分：RPA、Agents 和人工任务均具有各自的测试模式。单独测试各个部分，可在出现问题时更轻松地定位故障原因。
3. 测试整个流程：端到端测试可验证各步骤是否正确衔接、数据流向是否符合预期，以及业务结果是否正确。

Maestro 流程与 RPA 工作流存在一些差异，而这些差异决定了测试方式。RPA 工作流只需几秒钟即可运行，相同的输入始终产生相同的输出。Maestro 流程可以持续运行几分钟、几小时，或几天。它们将 RPA、智能体和人工步骤整合到一个流程中。它们依赖于不受您控制的外部系统。

Maestro 流程现在已经可以直接测试，并配套专门的测试工具。以下改进说明了实现这一目标的方法。

您今天可以执行的操作

RPA 工作流测试：Maestro 流程中使用的 RPA 工作流可以像其他任何 RPA 工作流一样，在 RPA 项目中使用测试用例进行测试。测试输入，以验证输出是否符合预期。无需 Maestro 专属工具。

智能体测试：Maestro 流程中使用的智能体可以通过 Studio Web 中的评估集进行测试。评估集是一组测试输入及其对应的智能体预期响应。它会针对每个输入运行智能体，并检查实际响应与预期响应的匹配情况。对于依赖 Agents 做出重要决策的流程来说，这尤为重要。

端到端流程测试：Studio 测试用例可以使用预先准备好的测试数据运行已发布的 Maestro 流程，然后检查最终输出。对于刚开始测试 Maestro 流程的用户而言，这是最重要的起点。

调试运行：Studio Web 中的调试运行是检查流程在设计阶段行为表现的理想工具。它提供分步追踪、实时变量更新以及过去调试运行的历史记录。

如何构建 Maestro 测试实践

按顺序构建覆盖范围：

1. 先从最关键流程的端到端测试开始：针对每一个关键业务结果，执行一项测试。这些测试能够防止最严重的问题流入生产阶段。
2. 在依赖 Agents 的流程上添加智能体测试：智能体响应的差异比流程的其他部分更为显著。分别测试它们，以便尽早发现智能体特有的问题。
3. 扩展测试范围以覆盖失败场景和边缘用例：针对无效输入、失败步骤以及其他出现问题的情况添加测试。为多个 Maestro 流程中使用的 RPA 工作流添加测试。

Maestro 测试中的难点

有四个常见的挑战。提前针对这些挑战做好规划。

长时间运行的流程

Maestro 流程可以运行数小时或数天。相同的流程在生产环境中可能需要 30 分钟完成，而在测试阶段可能只需要 2 分钟，具体取决于数据情况以及外部系统的响应速度。因此，基于执行时间的断言都是不可靠的。测试该流程生成了什么以及执行了哪些步骤，而不是它花了多长时间。

外部系统依赖项

端到端测试会连接到真实的外部系统。这意味着测试可能会因与您的流程无关的原因而失败：例如连接超时、第三方速率限制或系统停机。 尽可能使用这些系统的沙盒环境或测试版本。如果连接在开发过程中随机失败，请将其视为连接问题，而非真正的测试失败。

智能体变异性

在输入相同的情况下，运行两次同一智能体可能会产生不同的输出。相等性断言会间歇性地失败。而评估集就是专为此而设的。使用允许合理差异的比较规则，而非要求精确匹配。

人机回环 (HITL) 步骤

测试需要在没有人为干预的情况下端到端运行，但 Maestro 的 HITL 步骤需要等待真实用户采取行动。目前没有内置方式可注入替代响应。合适的变通方案取决于 HITL 步骤的设置方式。您的客户团队可以协助确定具体方案。