执行测试
You can execute tests manually or automated. Manual test executions are invoked through Test Manager, whereas automated executions are invoked through Test Manager and executed via Orchestrator. Additionally, within one test set execution, each individual test case can be executed either manually or automated. This changes the execution type to Mixed.
要执行测试用例,您必须先创建一个测试集,以便稍后执行。如果要单独执行测试用例,而不是一次执行所有用例,则可以从测试集创建待处理的执行。在任何执行中,您都可以选择自动或手动执行单个测试用例。
- You can use both Execute Manually and Execute Automated for test sets created in Test Manager as well as the linked test sets from Orchestrator.
- 仅执行测试集中包含的测试用例版本。如果要执行新的测试用例,则需要为测试集分配新版本。对于 Orchestrator 测试集,您需要确保已发布最新的包。
- 如果启用了“执行顺序”,则无法运行测试集中的单个测试用例。
Automated execution refers to test sets that have been linked from Orchestrator or test sets created in Test Manager that have test cases linked from Studio.
您可以通过为用户分配手动测试用例执行并为其设置截止日期,在测试项目中分配工作。 您可以为任何用户分配手动执行,请记住他们应具有执行测试的权限。
先决条件
要分配或取消分配手动测试用例日志,您的其中一个角色必须具有“更改测试用例执行分配”任务权限。 默认情况下,此任务权限已集成在Test Manager预定义角色中。
分配手动执行
要为用户分配一个或多个手动执行,请执行以下步骤:
- 转到项目的“执行”部分。
- 选择测试执行的名称并将其打开。
注意:可以选择任何测试执行,无论其类型如何。 这是因为目标是方便用户手动执行,无论先前执行时使用的是哪种方法。
- 通过以下方式之一分配手动测试用例执行:
- 要手动分配单个测试用例:为所需的测试用例选择“更多选项”,然后选择“分配”。
- 要手动分配多个测试用例执行:选中所需手动测试用例键旁边的复选框,然后选择“分配”。
系统将打开“分配” 对话框。
- 在“受分配人” 字段中,输入要向其分配测试用例的用户的用户名或电子邮件地址。
确保您向其分配测试用例的用户有权执行测试。
- 在“设置到期日期”字段中,输入您希望用户运行测试用例的截止日期。
日期的格式为:月/日/年。
您也可以在此步骤中使用日期选取器。
- 选择“分配”以完成操作。
如果订阅这些事件,用户将收到已为其分配测试用例的通知。
取消分配手动执行
要为用户取消分配一个或多个手动执行,请执行以下步骤:
- 转到项目的“执行”部分。
- 选择目标测试执行的名称并将其打开。
- 通过以下方式之一取消分配手动测试用例执行:
- 要取消分配单个手动测试用例执行:选中所需测试用例旁边的复选框,然后选择“清除分配”。
- 要取消分配多个手动测试用例执行:选中所需手动测试用例键旁边的复选框,然后选择“清除分配” 。
如果订阅这些事件,用户将收到已取消为其分配测试用例的通知。
您可以设置手动执行测试用例的截止日期。 如果在该日期过去了而没有运行测试用例日志,则该到期日期将高亮显示。
要设置手动测试用例执行的到期日期,请执行以下操作:
- 转到项目的“执行”部分。
- 选择并打开手动测试执行。
- 打开测试用例日志。
- 在测试用例日志标头的“到期日期”字段中,输入到期日期。 格式应为:月/日/年。
您还可使用日期选取器选择日期。
注意:在将手动测试用例执行分配给用户时,您还可以设置到期日期。
Test Manager 测试集和从 Orchestrator 链接的测试集都可以手动执行。如果已为测试用例定义手动步骤。有关更多信息,请参见测试集执行。
手动执行助理
手动执行助理允许您逐个执行一组手动测试。 您需要为每个手动步骤设置一个结果,以便进入测试集中的下一个测试用例。 通过手动执行助理,您需要将每种情况下的步骤标记为通过或失败。
- 要标记测试用例中每个步骤的进度,请选择 “设置失败”或 “设置通过”。
- 添加注释,以提供有关结果的特定信息,尤其是在将步骤标记为失败时。
- 标记一个步骤后,您可以将后续几个步骤设置为通过。 选择“设置为在此之前传递” 即可执行此操作。
- 通过将结果分配给最后一步以结束测试用例后,请选择“下一步” 。
此操作允许您进入测试集中的下一个测试用例。
- 重复步骤 1 到步骤 4,直到到达测试集中的最终测试用例。
- 如果为手动测试指定了后置条件,请在将结果分配给测试用例的最后一步后进行验证。
- 如果满足后条件,请选择“满足条件” 。
- 如果不满足后置条件,请取消选择“满足条件” 。
- 完成最后一个测试用例后,选择“完成”以完成整个执行流程。
您可以与其他用户同时执行手动测试用例。 这允许即使在手动测试集运行正在进行时也可以重新执行测试用例。 测试用例日志状态会根据最近的用户活动(包括测试的开始和结束)不断更新。 当用户开始重新执行先前完成的测试用例日志时,状态更新会立即发生,而在整个重新执行过程中不会保留先前的结果。 虽然维护了过去执行的记录,但任何新结果都将覆盖旧结果,这意味着测试用例日志反映最近执行的结果。
识别上一个测试用例执行者
在手动执行的“结果”选项卡中,“执行者”列显示执行测试用例日志的最新用户的用户名。 每次您或其他用户对测试用例执行以下任何操作时,此信息都会刷新:
- 首次执行手动测试集;
- 运行手动测试执行的待处理执行;
- 重新执行手动执行中的测试用例日志。
跟踪测试用例日志
If you re-execute a test case log during a particular test execution, Test Manager will not preserve the test case log's history and will overwrite it. However, you can review the execution history for each test case, across different test executions and associated user details, in the Latest Results tab.
您可以使用执行自动化来执行所有测试集。为已链接到 Test Manager 的测试用例调用 Orchestrator。要执行从 Orchestrator 链接的测试集,请确保在 Orchestrator 中创建测试集。
如果测试集包含从 Studio 链接的测试用例,您也可以执行自动化测试。有关更多信息,请参见测试集执行。
- 自动化测试执行的默认超时为四天。任何超过四天的自动化测试执行都将标记为“已取消”。
- 从 Orchestrator 链接的测试集的测试执行仅包括已发布到最新包版本中的 Orchestrator 租户流程订阅源的测试用例。如果要执行新的测试用例,则需要在 Orchestrator 中发布新的包版本,然后将测试集链接到 Test Manager。
- 如果您的 Test Manager 测试集包含来自多个 Studio 项目的测试用例,则考虑执行具有最多测试用例的项目。因此,只会执行此项目中的测试用例。在这种情况下,您将在 Test Manager 中收到以下消息:“已选择多个包中的测试用例。运行此测试集时,某些测试用例将不会执行。”
仅当您拥有从 Orchestrator 链接的测试集时,才能执行测试集,包括来自多个 Studio 项目的测试用例。
- 如果您的测试集包含在多个 Studio 项目中重复的测试用例,则按项目名称降序排列。仅执行列表中最先放置的项目中的测试用例。
待处理的测试执行类似于测试集运行期间执行的常规测试,唯一的区别是不会立即运行任何测试。待处理执行会为测试集中的每个测试用例分配“无”结果,从而允许您稍后开始测试,或者分块或单独执行测试。
- 当您想要稍后执行测试或不想一次执行所有测试,但仍要反映测试集的当前状态时。
- 当某些测试手动运行,而其他测试应该自动运行时。
- 当您希望执行的测试反映测试集(包括选定的测试用例)的当前状态时。
测试执行独立于其原始测试集,所有分配的测试用例都将成为静态执行成员。为了确保在执行中使用测试集中的特定测试集,即使测试集已更新,也请创建待处理执行。
可以执行重新执行的预定义用户角色包括: Test Manager、 Test Executor 和 Manual Tester。
解决方案
您需要将 Studio 包发布到 Orchestrator。当测试用例从 Studio 链接到 Test Manager,但包尚未发布到 Orchestrator 时,会发生此问题。
解决方案
当测试集中的测试用例未通过最新的 Studio 包发布到 Orchestrator 时,会出现此问题。 当在 Orchestrator 上未找到 Studio 包的流程/版本时,您可能会收到相同的错误。
- 条件
- 自动化执行
- 手动测试执行
- 执行手动测试
- 为用户分配手动执行
- 计划手动执行的截止日期
- 手动执行测试用例
- 同时执行测试用例
- 执行自动化测试
- 条件
- 执行自动化测试
- 执行混合测试
- 执行混合测试集
- 创建待处理执行
- 何时可以使用待处理执行
- 创建待处理执行的步骤
- 启用执行顺序
- 步骤
- 重新执行测试执行
- 重新执行测试集执行
- 重新执行测试用例执行
- 自动执行故障排除
- 无法开始自动化执行,因为在 Orchestrator 中找不到包。只能执行已发布到 Orchestrator 的包中的测试用例。
- 无法执行测试用例,因为找不到可执行的版本。只能执行使用最新包版本发布到 Orchestrator 的测试用例。
- 无法开始自动化执行,因为此测试集中找不到自动化测试用例。
- 执行测试集时出错。请重试。