Resultados de las pruebas

Cuando se inicia la ejecución de un conjunto de pruebas, Test Manager pasa por el proceso siguiente:

1. Se crea una ejecución de prueba en la sección Resultados de prueba de Test Manager. Esto sirve como contenedor para los resultados de prueba.
2. Para cada caso de prueba dentro del conjunto de pruebas ejecutado, se genera un registro de casos de prueba vacío. Este registro se adjunta a la ejecución de prueba y contendrá sus resultados de prueba asociados.
3. A medida que la ejecución continúa, Test Manager llena cada registro de casos de prueba con resultados e información de registro relacionada.

Nota:

Cada vez que se crea una ejecución de prueba, se añaden registros de casos de prueba para todos los casos de prueba asociados del conjunto de pruebas original. Esto significa que las ejecuciones de prueba existentes permanecen coherentes, independientemente de las actualizaciones o eliminaciones realizadas en el conjunto de pruebas original.

La siguiente tabla ilustra el proceso de ejecución de un conjunto de pruebas en Test Manager.

Como consecuencia, después de que se haya ejecutado un conjunto de pruebas, cualquier cambio en el conjunto de pruebas o sus casos de prueba asociados no afecta a los resultados de ejecuciones anteriores. Incluso cuando se elimina un conjunto de pruebas, todas las ejecuciones de prueba permanecen inalteradas.

Quién puede ver proyectos

Todos los roles de usuario pueden ver los resultados de las pruebas.

For more information see User and Group Access Management.

Analizar resultados de prueba

To view test executions, open Test Results in Test Manager. The execution of each test is listed as a test execution entry. To understand how the test executions work behind the scenes, see Test Results.

Al analizar la ejecución de la prueba, puedes realizar las siguientes acciones:

• Encuentra resultados de prueba que se hayan ejecutado de forma manual o automática mediante Orchestrator.
• Marca el progreso al realizar las ejecuciones de prueba.
• Abra el conjunto de pruebas que se ha ejecutado.
• Examina registros y adjuntos.
• Create defects in your defect management system directly from Test Manager, if you have an Application Lifecycle Management tool integration. For more information, see ALM Tool Integration.

De forma predeterminada, las ejecuciones de prueba se clasifican en función de la fecha en que se finalizó la ejecución. Las ejecuciones en marcha y pendientes actualmente se ponen al principio.

Puedes identificar el estado a través de los códigos de colores asignados a cada ejecución de prueba, de la manera siguiente:

• Verde: casos de prueba aprobados.
• Rojo: casos de prueba fallidos.
• Gris: casos de prueba sin resultados definitivos, como casos de prueba que aún no se han ejecutado pero que forman parte de un conjunto de pruebas que se está ejecutando.

Resultados de pruebas automatizadas

The results from automated test executions are imported from Orchestrator automatically. To have your automated tests imported to Test Manager, you need to meet the following condition: The automated test needs to be part of a test set on your Test Manager project. For more information, see Automated Tests.

Nota:

Si una ejecución de prueba de Orchestrator tiene los resultados de casos de prueba de varios proyectos en Test Manager, la ejecución de prueba se divide en Test Manager. Los resultados aparecen en los proyectos en los que están los casos de prueba.

Navegación y búsqueda

Para encontrar rápidamente tus resultados de prueba, utiliza la función de búsqueda y los filtros. Dirígete a la página utilizando y configurando el paginador.Como método alternativo, puedes utilizar las migas de pan para navegar entre las páginas.

1. Filter - You can use the filter to narrow your search. For example, you can search for test results by execution type, when the execution was finished or by status. The filters are automatically saved and kept active until you clear them.
2. Search - Use the search bar to find test results by their key, execution type or status (requires full search term match). You can use the search bar at the top of the page to look for test results.

Trabajar con resultados de la ejecución de prueba

To get detailed results from a test execution, go to Test Results and click an entry to open the detailed view. A typical test execution detailed view shows information on when the executions started, duration, and execution logs.

Puedes usar el filtro Fecha de presentación de informes para establecer una única fecha para todos los resultados de la ejecución de prueba. Esto es útil cuando se ejecutan pruebas durante la noche, en las que algunos casos de prueba se ejecutan antes y después de la medianoche. De lo contrario, los resultados se dividirán entre diferentes fechas en los informes.

In the Results section you can examine all the test cases that were executed within the test set. You can take actions for each test case. For more info, see Execution log.

You can also open the executed test set by right-clicking an entry in the Test Sets page and selecting Open Test Set, or directly within the test execution.

Registro de ejecución

Como parte de informes de prueba, los registros de ejecución contienen información como detalles de ejecución (por ejemplo, variaciones de datos y capturas de pantalla), aserciones fallidas y aprobadas, y un registro detallado de eventos de ejecución.

Para abrir un registro de caso de prueba, ve a Resultados de prueba, abre una ejecución de prueba y luego haz clic en Clave de caso de prueba.

En la tabla siguiente, puedes ver el tipo de información que se recopila durante la ejecución de un caso de prueba.

Informes de ejecución de prueba	Descripción
Afirmaciones	View failed or passed assertions (e.g.,Verify expression activity), and associated screenshots if any were taken during test case execution. Para asegurarte de que Orchestrator realiza capturas de pantalla durante las ejecuciones, consulta los siguientes recursos: Default roles in Orchestrator - to check if the default roles have the Test Case Execution Artifacts permission assigned. In case the default roles don't have this permission, then you can create a custom role with this permission. Managing roles in Orchestrator - to learn how to create, edit, or import a role in Orchestrator.
Registros	Vea los registros de nivel INFO como parte de RobotLogs, con información sobre procesos, robot de ejecución y registros de eventos, incluidos los errores. Seleccione el para ir a la pestaña Registros del caso de prueba seleccionado, para obtener una descripción detallada del fallo.
Detalles de la ejecución	Consulta detalles del argumento como valores de entrada y salida, así como detalles de ejecución y robot (por ejemplo, proyecto, máquina o robot).
Requisitos afectados	Consulta los requisitos que se asignan al caso de prueba que se ha ejecutado. Puedes usar esta pestaña para ir directamente al requisito afectado.
Archivos adjuntos	Ver: the attachments uploaded using the Attach Document activity. los archivos adjuntos de un resultado de caso de prueba, que está vinculado desde Orchestrator.

Ver cobertura de actividad

Nota:

Activity coverage calculation is available only for test sets created in Orchestrator that have coverage calculation enabled. To learn how to enable coverage calculation, see Create test sets in Orchestrator.

Prerequisites: The test cases that you published to Orchestrator, link them to Test Manager as well. Because to display activity coverage in Test Manager, the test cases must be linked to both Orchestrator and Test Manager.

1. Select Enable coverage calculation for a test set when you create or edit it in Orchestrator.

2. Abre Test Manager y vincula el conjunto de pruebas desde Orchestrator.

3. Open the test set, select More Options and then Execute Automated.

   La cobertura de actividades solo está disponible para ejecuciones de pruebas automatizadas.

4. Ve a Resultados de la prueba y abre el conjunto de pruebas que ejecutaste.

5. Ve a la pestaña Cobertura de la actividad e investiga la información sobre las actividades que se cubrieron durante la ejecución de la prueba.

   

Crear defectos a partir de resultados

You can create defect reports including the execution log to your external defect management system, if you already have it integrated with Test Manager. For more information, see ALM Tool Integration.

To create a defect out of an execution log, you need to open a test case log, click Tasks, and then select Create Defect. After the defect has been created, a link is available in the execution log, so you can access the integrated external tool.

Artículos relacionados

• Operaciones masivas
• Exportar datos

Sincronización de defectos

You can synchronize execution results with external tools, as part of the Application Lifecycle Management tool integration. Information that is gathered during execution, such as results, logs, timestamps, and other details is synchronized with the tool that you have integrated with Test Manager.

Ten en cuenta que por el momento solo puede haber una conexión que está habilitada para la sincronización de defectos en general por proyecto.

Nota:

• To synchronize defects, you need to configure a connector in Test Manager. See available connections in Test Manager.
• You need to have executed a test set first.

Quién puede sincronizar los defectos

Todos los roles de usuario, aparte de Solo lectura, pueden sincronizar defectos.

For more information see User and Group Access Management.

Crear defecto

Puedes crear defectos cuando accedas a los registros de casos de prueba en la página Resultados de pruebas.

1. Ve a Resultados de pruebas

2. Abre un resultado de prueba y haz clic en la clave del caso de prueba para abrir los registros.

3. Haz clic en Tareas y selecciona Crear defecto.

   

El defecto se crea y se sincroniza con tu herramienta externa. Puedes abrir el defecto directamente en la herramienta (por ejemplo, Atlassian Jira) navegando al resultado de ejecución de prueba que tiene un defecto sincronizado.

Desvincular defecto

Cuando desvinculas los defectos de una herramienta externa, la entrada creada en la herramienta permanece inalterada. En Test Manager no se vinculará el resultado de ejecución de la prueba con una herramienta externa.

1. Ve a Resultados de pruebas
2. Abre un resultado de prueba y haz clic en Tareas
3. Selecciona Desvincular Defecto.