Test Suite 用户指南
执行测试
您可以手动或自动执行测试。手动测试执行通过 Test Manager 调用,而自动化执行通过 Test Manager 调用并通过 Orchestrator 执行。此外,在一次测试集执行中,每个单独的测试用例都可以手动或自动执行。这会将执行类型更改为“混合”。
要执行测试用例,您必须先创建一个测试集,以便稍后执行。如果要单独执行测试用例,而不是一次执行所有用例,则可以从测试集创建待处理的执行。在任何执行中,您都可以选择自动或手动执行单个测试用例。
- 您可以对 Test Manager 中创建的测试集以及来自 Orchestrator 的链接测试集使用“手动执行”和“自动执行”。
- 仅执行测试集中包含的测试用例版本。如果要执行新的测试用例,则需要为测试集分配新版本。对于 Orchestrator 测试集,您需要确保已发布最新的包。
- 如果启用了“执行顺序”,则无法运行测试集中的单个测试用例。
自动化执行是指从 Orchestrator 链接的测试集或在 Test Manager 中创建的具有从 Studio 链接的测试用例的测试集。
Test Manager 测试集和从 Orchestrator 链接的测试集都可以手动执行。如果已为测试用例定义手动步骤。有关更多信息,请参见测试集执行。
- 在“测试管理器”中打开项目,然后导航至“测试集”。
- 选择一个测试集,然后单击垂直省略号。
- 选择“手动执行”。系统将在新窗口中打开手动执行助理。确保您的弹出窗口阻止程序允许打开窗口。
有关更多测试结果的信息,请参阅“分析测试结果”。
- 不包含任何手动步骤的测试用例将在执行期间被跳过,而不会产生任何结果。
- 自动化测试用例可以定义手动步骤,也可以手动执行。
或者,您可以打开测试集,单击“执行”,然后从下拉列表中选择“手动”。
手动执行助理
手动执行助理可让您逐个执行一组手动测试。您需要为每个手动步骤设置一个结果,以便进入测试集中的下一个测试用例。
通过手动执行助理,您需要将每种情况下的步骤标记为通过或失败。
使用“设置失败”或“设置通过”来标记每种情况下的步骤。添加注释,尤其是在失败的情况下,以提供有关特定结果的详细信息。您可以通过单击“设置至此为止已通过”,将多个连续步骤设置为已通过。
为测试用例的最后一步分配结果后,您可以单击“下一步”。这使您能够转到测试集中的下一个测试用例。完成最后一个测试用例后,单击“完成”即可完成整个执行。
您可以使用执行自动化来执行所有测试集。为已链接到 Test Manager 的测试用例调用 Orchestrator。要执行从 Orchestrator 链接的测试集,请确保在 Orchestrator 中创建测试集。
如果测试集包含从 Studio 链接的测试用例,您也可以执行自动化测试。有关更多信息,请参见测试集执行。
- 从 Orchestrator 链接的测试集的测试执行仅包括已发布到最新包版本中的 Orchestrator 租户流程订阅源的测试用例。如果要执行新的测试用例,则需要在 Orchestrator 中发布新的包版本,然后将测试集链接到 Test Manager。
- 如果您的 Test Manager 测试集包含来自多个 Studio 项目的测试用例,则考虑执行具有最多测试用例的项目。因此,只会执行此项目中的测试用例。在这种情况下,您将在 Test Manager 中收到以下消息:“已选择多个包中的测试用例。运行此测试集时,某些测试用例将不会执行。”
仅当您拥有从 Orchestrator 链接的测试集时,才能执行测试集,包括来自多个 Studio 项目的测试用例。
- 如果您的测试集包含在多个 Studio 项目中重复的测试用例,则按项目名称降序排列。仅执行列表中最先放置的项目中的测试用例。
待处理的测试执行类似于测试集运行期间执行的常规测试,唯一的区别是不会立即运行任何测试。待处理执行会为测试集中的每个测试用例分配“无”结果,从而允许您稍后开始测试,或者分块或单独执行测试。
- 当您想要稍后执行测试或不想一次执行所有测试,但仍要反映测试集的当前状态时。
- 当某些测试手动运行,而其他测试应该自动运行时。
- 当您希望执行的测试反映测试集(包括选定的测试用例)的当前状态时。
测试执行独立于其原始测试集,所有分配的测试用例都将成为静态执行成员。为了确保在执行中使用测试集中的特定测试集,即使测试集已更新,也请创建待处理执行。
可以执行重新执行的预定义用户角色包括: Test Manager、 Test Executor 和 Manual Tester。
问题说明
如果您尝试链接一个 Studio 测试用例,且该用例已链接到与您当前使用的 Test Manager 实例不同的 Test Manager 实例,则系统会显示以下消息:“系统已将自动化链接到 Test Manager 中的另一个测试用例”。
解决方案
您无法直接取消链接测试用例。但是,您可以通过将测试用例转换为工作流,然后将其转换回测试用例来解决此问题。此流程将更改测试用例 ID,允许将其链接到您当前的 Test Manager 实例,但不会修改测试用例的基础逻辑。
有关将工作流转换为测试用例的信息,请访问将工作流转换为测试用例。
解决方案
您需要将 Studio 包发布到 Orchestrator。当测试用例从 Studio 链接到 Test Manager,但包尚未发布到 Orchestrator 时,会发生此问题。
解决方案
当测试集中的测试用例未通过最新的 Studio 包发布到 Orchestrator 时,会出现此问题。 当在 Orchestrator 上未找到 Studio 包的流程/版本时,您可能会收到相同的错误。
- 条件
- 自动化执行
- 手动测试执行
- 执行手动测试
- 手动执行测试用例
- 执行自动化测试
- 条件
- 执行自动化测试
- 执行混合测试
- 执行混合测试集
- 创建待处理执行
- 何时可以使用待处理执行
- 创建待处理执行的步骤
- 启用执行顺序
- 步骤
- 重新执行测试执行
- 重新执行测试集执行
- 重新执行测试用例执行
- 自动执行故障排除
- 自动化项目已经链接到 Test Manager 中的其他测试用例
- 无法开始自动化执行,因为在 Orchestrator 中找不到包。只能执行已发布到 Orchestrator 的包中的测试用例。
- 无法执行测试用例,因为找不到可执行的版本。只能执行使用最新包版本发布到 Orchestrator 的测试用例。
- 无法开始自动化执行,因为此测试集中找不到自动化测试用例。
- 执行测试集时出错。请重试。