- Introducción a Test Suite
- Studio
- Conjunto de pruebas - Estudio
- Información general
- Actividades de prueba y API
- Arquitectura de automatización de dispositivos móviles
- Primeros pasos
- Administración de Mobile Device Manager
- Administración de aplicaciones
- Creación de flujos de trabajo de automatización móvil
- Interacción de dispositivos
- Automatización para aplicaciones nativas de React
- Actividades de automatización móvil
- Orchestrator
- Testing Robots
- Test Manager
- Primeros pasos
- Guía de inicio rápido
- Requisitos
- Asignar Casos de prueba a los Requisitos
- Vincular casos de prueba en Studio a Test Manager
- Desvincular automatización
- Eliminar casos de prueba
- Creación de casos de prueba
- Generación de pruebas impulsada por IA: vista previa
- Clonación de casos de prueba
- Exportar casos de prueba
- Automatizar casos de prueba
- Casos de prueba manuales
- Conjuntos de prueba
- Ejecución de pruebas
- Resultados de las pruebas
- Documentos
- Informes
- Exportar datos
- Operaciones masivas
- Solución de problemas
Resultados de las pruebas
Cuando comienzas a ejecutar un conjunto de pruebas, Test Manager pasa por el siguiente proceso:
- Se crea una ejecución de prueba en la sección Resultados de prueba de Test Manager. Esto sirve como contenedor para los resultados de la prueba.
- Para cada caso de prueba dentro del conjunto de pruebas ejecutado, se genera un registro de casos de prueba vacío. Este registro se adjunta a la ejecución de prueba y contendrá sus resultados de prueba asociados.
- A medida que continúa la ejecución, Test Manager rellena cada registro de caso de prueba con resultados e información de registro relacionada.
El siguiente gráfico ilustra el proceso de ejecución de un conjunto de pruebas en Test Manager.
Como consecuencia, después de que se haya ejecutado un conjunto de pruebas, cualquier cambio en el conjunto de pruebas o sus casos de prueba asociados no afecta a los resultados de ejecuciones anteriores. Incluso cuando se elimina un conjunto de pruebas, todas las ejecuciones de prueba permanecen inalteradas.
Quién puede ver proyectos
Todos los roles de usuario pueden ver los resultados de las pruebas.
Para obtener más información consulta Gestión de acceso de usuarios y grupos.
Para ver las ejecuciones de prueba, abre Resultados de prueba en Test Manager. La ejecución de cada conjunto de pruebas se muestra como una entrada de ejecución de pruebas. Para entender cómo funcionan las ejecuciones de prueba en segundo plano, consulta Resultados de la prueba.
Al analizar la ejecución de la prueba, puedes realizar las siguientes acciones:
- Encuentra resultados de prueba que se hayan ejecutado de forma manual o automática mediante Orchestrator.
- Marca el progreso al realizar las ejecuciones de prueba.
- Abre el conjunto de pruebas que se ha ejecutado.
- Examina registros y adjuntos.
- Crea defectos en tu sistema de gestión de defectos directamente desde Test Manager, si tienes una integración de la herramienta de gestión del ciclo de vida de la aplicación. Para obtener más información, consulta Integración de la herramienta ALM.
De forma predeterminada, las ejecuciones de prueba se clasifican en función de la fecha en que se finalizó la ejecución. Las ejecuciones en marcha y pendientes actualmente se ponen al principio.
Puedes identificar el estado a través de los códigos de colores asignados a cada ejecución de prueba, de la manera siguiente:
- Verde: casos de prueba que se aprobaron.
- Rojo: casos de prueba fallidos.
- Gris: casos de prueba sin resultados definitivos, como casos de prueba que aún no se han ejecutado pero que forman parte de un conjunto de pruebas que se está ejecutando.
Los resultados de las ejecuciones de pruebas automatizadas se importan desde Orchestrator automáticamente. Para que tus pruebas automatizadas se importen a Test Manager, debes cumplir las siguientes condiciones:
- La prueba automatizada debe formar parte de un conjunto de pruebas en tu proyecto de Test Manager . Para obtener más información, consulta Pruebas automatizadas.
Nota: Si una ejecución de prueba de Orchestrator contiene resultados para casos de prueba de varios proyectos en Test Manager, la ejecución de prueba se divide en Test Manager. Los resultados aparecen en los proyectos en los que se encuentran los casos de prueba.
Anular los resultados de un caso de prueba puede ayudar en escenarios en los que el resultado de la prueba actual no refleje con precisión el comportamiento real de la aplicación y una nueva ejecución no sea una solución efectiva. Puedes anular los resultados de la prueba de un caso de prueba y luego puedes borrar la operación, si es necesario.
- Dirígete a Resultados de la prueba y abre un resultado de la prueba.
- En la pestaña Resultados, abre un registro de caso de prueba.
- En la pestaña Afirmaciones, selecciona Tareas > Anular resultado.
- En la ventana Anular el resultado de la prueba, configura los siguientes campos:
- Cambiar resultado a: selecciona si deseas anular el resultado con el estado opuesto (Pasado/Fallido) o establecer el resultado en Ninguno.
- Comentario: escribe la razón por la que anulas el resultado.
- Selecciona Confirmar.
Los resultados de la prueba que anulas tienen el siguiente icono junto al estado del resultado de la prueba: . Selecciona el icono y puedes ver los detalles de anular.
- De forma opcional, si quieres borrar la operación de anulación, selecciona el junto al estado del resultado de un registro de caso de prueba.
- En la ventana Anular detalles, selecciona Borrar anulación.
- En la ventana Anular detalles, selecciona Borrar anulación.
- De forma opcional, si quieres editar la operación de anulación, selecciona el junto al estado del resultado de un registro de caso de prueba.
- Realiza los cambios y haz clic en Confirmar.
Para encontrar rápidamente tus resultados de prueba, utiliza la función de búsqueda y los filtros. Dirígete a la página utilizando y configurando el paginador.Como método alternativo, puedes utilizar las migas de pan para navegar entre las páginas.
- Filtro : puedes utilizar el filtro para acotar tu búsqueda. Por ejemplo, puedes buscar los resultados de las pruebas por tipo de ejecución, cuándo finalizó la ejecución o por estado. Los filtros se guardan automáticamente y se mantienen activos hasta que los borre.
- Buscar: utiliza la barra de búsqueda para encontrar resultados de búsqueda en función de su clave, tipo de ejecución o estado (requiere una coincidencia completa del término de búsqueda). Puedes utilizar la barra de búsqueda en la parte superior de la página para buscar los resultados de prueba.
Para ver los resultados de la prueba detallados, ve a Resultados de la prueba.
- Conjunto de pruebas: para el seguimiento de resultados estándar dentro de las ejecuciones de pruebas.
- Caso de prueba: para el análisis de ejecución cruzada al filtrar los resultados en función de criterios que excluyen los atributos de ejecución de prueba.
Puedes utilizar el filtro Fecha de informe para establecer una fecha unificada en todos los resultados de la ejecución de la prueba. Esto es útil cuando se ejecutan pruebas durante la noche, donde algunos casos de prueba se ejecutan antes y después de la medianoche, evitando que los resultados se dividan en fechas separadas.
En la sección Resultados puedes examinar todos los casos de prueba ejecutados dentro del conjunto de pruebas y tomar medidas para cada uno, según sea necesario. Para obtener más información, consulta la sección Registro de ejecución .
También puedes abrir el conjunto de pruebas ejecutadas haciendo clic con el botón derecho en una entrada de la página Conjuntos de pruebas y seleccionando Abrir conjunto de pruebas, o directamente dentro de la ejecución de la prueba.
Como parte de informes de prueba, los registros de ejecución contienen información como detalles de ejecución (por ejemplo, variaciones de datos y capturas de pantalla), aserciones fallidas y aprobadas, y un registro detallado de eventos de ejecución.
Para abrir un registro de caso de prueba, ve a Resultados de prueba, abre una ejecución de prueba y luego haz clic en Clave de caso de prueba.
En la tabla siguiente, puedes ver el tipo de información que se recopila durante la ejecución de un caso de prueba.
Informes de ejecución de prueba |
Descripción |
---|---|
Afirmaciones | Ver aserciones fallidas o aprobadas (por ejemplo, Verificar actividad de expresión) y capturas de pantalla asociadas si realizaste alguna durante la ejecución del caso de prueba.
Para asegurarte de que Orchestrator realiza capturas de pantalla durante las ejecuciones, consulta los siguientes recursos:
|
Registros | Vea los registros de nivel INFO como parte de RobotLogs , con información sobre procesos, robot de ejecución y registros de eventos, incluidos los errores.
Seleccione el para ir a la pestaña Registros del caso de prueba seleccionado para obtener una descripción detallada del error. |
Detalles de la ejecución | Consulta detalles del argumento como valores de entrada y salida, así como detalles de ejecución y robot (por ejemplo, proyecto, máquina o robot). |
Requisitos afectados | Consulta los requisitos que se asignan al caso de prueba que se ha ejecutado. Puedes usar esta pestaña para ir directamente al requisito afectado. |
Archivos adjuntos | Ver:
|
Requisitos previos: habilita la cobertura de actividades para los conjuntos de pruebas deseados en Orchestrator o Test Manager.
- Abre el conjunto de pruebas, selecciona Más opciones y luego Ejecutar automatizado.
- Ve a Resultados de la prueba y abre el conjunto de pruebas que ejecutaste.
- Ve a la pestaña Cobertura de la actividad e investiga la información sobre las actividades que se cubrieron durante la ejecución de la prueba.
Puedes crear informes de defectos que incluyan el registro de ejecución en tu sistema de gestión de defectos externo, si ya lo tienes integrado con Test Manager. Para obtener más información, consulta Integración de la herramienta ALM.
Para crear un defecto a partir de un registro de ejecución, debes abrir un registro de caso de prueba, hacer clic en Tareas y luego seleccionar Crear defecto. Una vez creado el defecto, aparece un enlace en el registro de ejecución para que puedas acceder a la herramienta externa integrada.
Puedes sincronizar los resultados de la ejecución con herramientas externas, como parte de la integración de la herramienta Gestión del ciclo de vida de la aplicación. La información que se recopila durante la ejecución, como resultados, registros, marcas de tiempo y otros detalles, se sincroniza con la herramienta que has integrado con Test Manager.
Ten en cuenta que por el momento solo puede haber una conexión que está habilitada para la sincronización de defectos en general por proyecto.
- Para sincronizar los defectos, debes configurar un conector en Test Manager. Consulta las conexiones disponibles en Test Manager.
- En primer lugar, debes haber ejecutado un conjunto de pruebas.
Todos los roles de usuario, aparte de Solo lectura, pueden sincronizar defectos.
Para obtener más información consulta Gestión de acceso de usuarios y grupos.
Puedes crear defectos cuando accedas a los registros de casos de prueba en la página Resultados de pruebas.
El defecto se crea y se sincroniza con tu herramienta externa. Puedes abrir el defecto directamente en la herramienta (por ejemplo, Atlassian Jira) navegando al resultado de ejecución de prueba que tiene un defecto sincronizado.
Al desvincular defectos de una herramienta externa, la entrada creada en la herramienta permanece sin cambios. En Test Manager, el resultado de la ejecución de la prueba no se vinculará con una herramienta externa.
- Ve a Resultados de pruebas
- Abre un resultado de prueba y haz clic en Tareas
- Selecciona Desvincular Defecto.
El informe de pruebas fallidas te da un resumen real de tus resultados de prueba, impulsado por IA (inteligencia artificial). Generas este informe seleccionando un conjunto específico de resultados de prueba. Cada informe que creas se almacena y se puede acceder en cualquier momento desde la pestaña Insights en Resultados de prueba.
El informe puede tener hasta cinco secciones, cada una de las cuales muestra los problemas encontrados en las pruebas automatizadas. Selecciona Mostrar para ver los casos de prueba afectados y buscarlos.
Nombre | Descripción |
---|---|
Información general | Una descripción general de los resultados de prueba que seleccionaste para el informe, que muestra información sobre la tasa de fallo promedio, la tasa de fallo del conjunto de pruebas y el porcentaje de errores por gravedad. |
Pruebas fallidas principales | Muestra los casos de prueba más frecuentes y te permite acceder a ellos directamente. |
Errores comunes | Resalta los errores más comunes encontrados durante las ejecuciones de prueba. |
Patrones de error | Categoriza errores y te permite identificar patrones de falla en función de ellos. Esto ayuda a facilitar la solución de problemas y la resolución. |
Recomendaciones | Ofrece mejores prácticas para evitar los errores encontrados en las ejecuciones de prueba elegidas. |
- Abre un proyecto en Test Manager.
- Ve a Resultados de prueba y selecciona Generar Insights.
- En la tabla Resultados , selecciona los resultados de la prueba que se incluirán en el informe.
- Opcionalmente, puedes filtrar los resultados de la prueba por:
- Palabras clave : utiliza la barra de búsqueda .
- Tipo de ejecución: el tipo de ejecución.
- Ejecución finalizada : la hora de finalización de la ejecución.
- Estado : el estado de ejecución.
- Selecciona Generar informe.
Cuando finalice el proceso de generación, recibirás una notificación en la aplicación y un correo electrónico que indica el estado del informe: Listo o Erróneo.
- Si el informe está listo, selecciona la notificación Informe de Insights está listo , o Abrir informe en la notificación por correo electrónico, para acceder al informe. Si el informe ha fallado, puedes volver a generarlo.
- Selecciona Mostrar para cada sección del informe para ver los casos de prueba afectados por un determinado error o recomendación.
- Navega a la pestaña Insights dentro de Resultados de prueba.
- Opcionalmente, para cambiar el nombre del informe de Insights, selecciona Más opciones y luego Cambiar nombre.
- Selecciona el botón Descargar.
El informe de pruebas fallidas se descarga como un archivo DOCX.
La política de gobernanza de la capa de confianza de IA te permite gestionar el uso de características impulsadas por IA dentro de tu organización. Aunque todos los miembros tienen acceso predeterminado a estas características, puedes utilizar esta política para restringir el acceso según sea necesario. La política de gobernanza de la capa de confianza de IA te permite limitar el acceso de un usuario a ciertas características impulsadas por IA o a todas ellas, en un nivel de usuario, grupo o tenant. Además, te da la capacidad de decidir a qué productos de IA pueden acceder los usuarios. Puedes crear, modificar e implementar esta política de gobernanza en AutomationOps.
Si quieres implementar una política de gobernanza de capa de confianza de IA y seguir utilizando las capacidades de prueba impulsadas por IA, asegúrate de que, dentro de la alternancia de características de la política, seleccionas Sí para habilitar características de Test Manager.
Comprueba los siguientes recursos para aprender a crear, configurar e implementar una política de gobernanza para tu organización.
- Analizar resultados de prueba
- Resultados de pruebas automatizadas
- Anular los resultados de la prueba
- Navegación y búsqueda
- Trabajar con resultados de la ejecución de prueba
- Registro de ejecución
- Ver cobertura de actividad
- Crear defectos a partir de resultados
- Artículos relacionados
- Sincronización de defectos
- Quién puede sincronizar los defectos
- Crear defecto
- Desvincular defecto
- Información de prueba impulsada por IA: vista previa
- Generar informe de pruebas fallidas
- Descargar informe de pruebas fallidas
- Gestión de acceso de usuario para pruebas impulsadas por IA