Test Suite 用户指南
执行测试
您可以手动或自动执行测试。手动测试执行通过 Test Manager 调用,而自动化执行通过 Test Manager 调用并通过 Orchestrator 执行。此外,在一次测试集执行中,每个单独的测试用例都可以手动或自动执行。这会将执行类型更改为“混合”。
要执行测试用例,您必须先创建一个测试集,以便稍后执行。如果要单独执行测试用例,而不是一次执行所有用例,则可以从测试集创建待处理的执行。在任何执行中,您都可以选择自动或手动执行单个测试用例。
- 您可以对 Test Manager 中创建的测试集以及来自 Orchestrator 的链接测试集使用“手动执行”和“自动执行”。
- 仅执行测试集中包含的测试用例版本。如果要执行新的测试用例,则需要为测试集分配新版本。对于 Orchestrator 测试集,您需要确保已发布最新的包。
- 如果启用了“执行顺序”,则无法运行测试集中的单个测试用例。
自动化执行是指从 Orchestrator 链接的测试集或在 Test Manager 中创建的具有从 Studio 链接的测试用例的测试集。
您可以通过为用户分配手动测试用例执行并为其设置截止日期,在测试项目中分配工作。 您可以为任何用户分配手动执行,请记住他们应具有执行测试的权限。
先决条件
要分配或取消分配手动测试用例日志,您的其中一个角色必须具有“更改测试用例执行分配”任务权限。 默认情况下,此任务权限已集成在Test Manager预定义角色中。
分配手动执行
要为用户分配一个或多个手动执行,请执行以下步骤:
- 转到项目的“执行”部分。
- 选择测试执行的名称并将其打开。
注意:可以选择任何测试执行,无论其类型如何。 这是因为目标是方便用户手动执行,无论先前执行时使用的是哪种方法。
- 通过以下方式之一分配手动测试用例执行:
- 要手动分配单个测试用例:为所需的测试用例选择“更多选项”,然后选择“分配”。
- 要手动分配多个测试用例执行:选中所需手动测试用例键旁边的复选框,然后选择“分配”。
系统将打开“分配” 对话框。
- 在“受分配人” 字段中,输入要向其分配测试用例的用户的用户名或电子邮件地址。
确保您向其分配测试用例的用户有权执行测试。
- 在“设置到期日期”字段中,输入您希望用户运行测试用例的截止日期。
日期的格式为:月/日/年。
您也可以在此步骤中使用日期选取器。
- 选择“分配”以完成操作。
如果订阅这些事件,用户将收到已为其分配测试用例的通知。
取消分配手动执行
要为用户取消分配一个或多个手动执行,请执行以下步骤:
- 转到项目的“执行”部分。
- 选择目标测试执行的名称并将其打开。
- 通过以下方式之一取消分配手动测试用例执行:
- 要取消分配单个手动测试用例执行:选中所需测试用例旁边的复选框,然后选择“清除分配”。
- 要取消分配多个手动测试用例执行:选中所需手动测试用例键旁边的复选框,然后选择“清除分配” 。
如果订阅这些事件,用户将收到已取消为其分配测试用例的通知。
您可以设置手动执行测试用例的截止日期。 如果在该日期过去了而没有运行测试用例日志,则该到期日期将高亮显示。
要设置手动测试用例执行的到期日期,请执行以下操作:
- 转到项目的“执行”部分。
- 选择并打开手动测试执行。
- 打开测试用例日志。
- 在测试用例日志标头的“到期日期”字段中,输入到期日期。 格式应为:月/日/年。
您还可使用日期选取器选择日期。
注意:在将手动测试用例执行分配给用户时,您还可以设置到期日期。
Test Manager 测试集和从 Orchestrator 链接的测试集都可以手动执行。如果已为测试用例定义手动步骤。有关更多信息,请参见测试集执行。
手动执行助理
手动执行助理允许您逐个执行一组手动测试。 您需要为每个手动步骤设置一个结果,以便进入测试集中的下一个测试用例。 通过手动执行助理,您需要将每种情况下的步骤标记为通过或失败。
- 要标记测试用例中每个步骤的进度,请选择 “设置失败”或 “设置通过”。
- 添加注释,以提供有关结果的特定信息,尤其是在将步骤标记为失败时。
- 标记一个步骤后,您可以将后续几个步骤设置为通过。 选择“设置为在此之前传递” 即可执行此操作。
- 通过将结果分配给最后一步以结束测试用例后,请选择“下一步” 。
此操作允许您进入测试集中的下一个测试用例。
- 重复步骤 1 到步骤 4,直到到达测试集中的最终测试用例。
- 如果为手动测试指定了后置条件,请在将结果分配给测试用例的最后一步后进行验证。
- 如果满足后条件,请选择“满足条件” 。
- 如果不满足后置条件,请取消选择“满足条件” 。
- 完成最后一个测试用例后,选择“完成”以完成整个执行流程。
您可以与其他用户同时执行手动测试用例。 这允许即使在手动测试集运行正在进行时也可以重新执行测试用例。 测试用例日志状态会根据最近的用户活动(包括测试的开始和结束)不断更新。 当用户开始重新执行先前完成的测试用例日志时,状态更新会立即发生,而在整个重新执行过程中不会保留先前的结果。 虽然维护了过去执行的记录,但任何新结果都将覆盖旧结果,这意味着测试用例日志反映最近执行的结果。
识别上一个测试用例执行者
在手动执行的“结果”选项卡中,“执行者”列显示执行测试用例日志的最新用户的用户名。 每次您或其他用户对测试用例执行以下任何操作时,此信息都会刷新:
- 首次执行手动测试集;
- 运行手动测试执行的待处理执行;
- 重新执行手动执行中的测试用例日志。
跟踪测试用例日志
如果在特定测试执行期间重新执行测试用例日志,则Test Manager将不会保留测试用例日志的历史记录,并将覆盖它。 但是,您可以在“最新结果”选项卡中查看每个测试用例的执行历史记录,包括不同的测试执行以及关联的用户详细信息。
您可以使用执行自动化来执行所有测试集。为已链接到 Test Manager 的测试用例调用 Orchestrator。要执行从 Orchestrator 链接的测试集,请确保在 Orchestrator 中创建测试集。
如果测试集包含从 Studio 链接的测试用例,您也可以执行自动化测试。有关更多信息,请参见测试集执行。
- 自动化测试执行的默认超时为四天。任何超过四天的自动化测试执行都将标记为“已取消”。
- 从 Orchestrator 链接的测试集的测试执行仅包括已发布到最新包版本中的 Orchestrator 租户流程订阅源的测试用例。如果要执行新的测试用例,则需要在 Orchestrator 中发布新的包版本,然后将测试集链接到 Test Manager。
- 如果您的 Test Manager 测试集包含来自多个 Studio 项目的测试用例,则考虑执行具有最多测试用例的项目。因此,只会执行此项目中的测试用例。在这种情况下,您将在 Test Manager 中收到以下消息:“已选择多个包中的测试用例。运行此测试集时,某些测试用例将不会执行。”
仅当您拥有从 Orchestrator 链接的测试集时,才能执行测试集,包括来自多个 Studio 项目的测试用例。
- 如果您的测试集包含在多个 Studio 项目中重复的测试用例,则按项目名称降序排列。仅执行列表中最先放置的项目中的测试用例。
待处理的测试执行类似于测试集运行期间执行的常规测试,唯一的区别是不会立即运行任何测试。待处理执行会为测试集中的每个测试用例分配“无”结果,从而允许您稍后开始测试,或者分块或单独执行测试。
- 当您想要稍后执行测试或不想一次执行所有测试,但仍要反映测试集的当前状态时。
- 当某些测试手动运行,而其他测试应该自动运行时。
- 当您希望执行的测试反映测试集(包括选定的测试用例)的当前状态时。
测试执行独立于其原始测试集,所有分配的测试用例都将成为静态执行成员。为了确保在执行中使用测试集中的特定测试集,即使测试集已更新,也请创建待处理执行。
可以执行重新执行的预定义用户角色包括: Test Manager、 Test Executor 和 Manual Tester。
解决方案
您需要将 Studio 包发布到 Orchestrator。当测试用例从 Studio 链接到 Test Manager,但包尚未发布到 Orchestrator 时,会发生此问题。
解决方案
当测试集中的测试用例未通过最新的 Studio 包发布到 Orchestrator 时,会出现此问题。 当在 Orchestrator 上未找到 Studio 包的流程/版本时,您可能会收到相同的错误。
- 条件
- 自动化执行
- 手动测试执行
- 执行手动测试
- 为用户分配手动执行
- 计划手动执行的截止日期
- 手动执行测试用例
- 同时执行测试用例
- 执行自动化测试
- 条件
- 执行自动化测试
- 执行混合测试
- 执行混合测试集
- 创建待处理执行
- 何时可以使用待处理执行
- 创建待处理执行的步骤
- 启用执行顺序
- 步骤
- 重新执行测试执行
- 重新执行测试集执行
- 重新执行测试用例执行
- 自动执行故障排除
- 无法开始自动化执行,因为在 Orchestrator 中找不到包。只能执行已发布到 Orchestrator 的包中的测试用例。
- 无法执行测试用例,因为找不到可执行的版本。只能执行使用最新包版本发布到 Orchestrator 的测试用例。
- 无法开始自动化执行,因为此测试集中找不到自动化测试用例。
- 执行测试集时出错。请重试。