Test Suite

2023.4

False

Guide de l'utilisateur de Test Suite

Dernière mise à jour 28 févr. 2024

Résultats de tests

Lorsque vous démarrez l'exécution d'un ensemble de test, Test Manager effectue le processus suivant :

Une exécution de test est créée dans la section Résultats de tests de Test Manager. Celle-ci va servir de conteneur pour les résultats de test.
Pour chaque cas de test de l'ensemble de test exécuté, un journal de cas de test vide est généré. Ce journal sera joint à l'exécution de test et contiendra ses résultats de test associés.
Au fur et à mesure de l'exécution, Test Manager va remplir chaque journal de cas de test avec les résultats et les informations de journal associées.

Remarque : à chaque fois qu'une exécution de test est créée, des journaux de cas de test sont ajoutés pour chaque cas de test associé de l'ensemble de test d'origine. Cela permet que les exécutions de test existantes restent actualisées, quelles que soient les mises à jour et les suppressions effectuées sur l'ensemble de tests d'origine.

La table ci-dessous illustre le processus d'exécution d'un ensemble de test dans Test Manager.

Par conséquent, après l'exécution d'un ensemble de test, toute modification apportée à l'ensemble de test ou à ses cas de test associés n'affecte pas les résultats des exécutions précédentes. Même lorsqu'un ensemble de test est supprimé, toutes les exécutions de tests restent inchangées.

Qui peut voir les projets

Tous les rôles d'utilisateur peuvent voir les résultats des tests.

Pour plus d'informations, consultez Gestion des accès des utilisateurs et des groupes.

Analyser les résultats de test

Pour afficher les exécutions de test, ouvrez les résultats de test dans Test Manager. L'exécution de chaque test est répertoriée sous la forme d'une entrée d'exécution de test. Pour comprendre comment les exécutions de test fonctionnent en arrière-plan, consultez Résultats de test.

En analysant l'exécution de vos tests, vous pouvez effectuer les actions suivantes :

Recherchez les résultats de test qui ont été exécutés manuellement ou automatiquement via Orchestrator.
Vérifiez la progression de l'exécution des exécutions de tests.
Ouvrez l'ensemble de tests qui a été exécuté.
Examinez les journaux et les pièces jointes.
Créez des défauts dans votre système de gestion des défauts directement à partir de Test Manager, si vous disposez d'une intégration d'outil de gestion du cycle de vie des applications. Pour plus d'informations, consultez Intégration ALM Tool.

Par défaut, les exécutions de tests sont triées en fonction de la date à laquelle chaque exécution s'est terminée. Les exécutions en cours et en attente sont placées en premier.

Vous pouvez identifier le statut grâce aux codes couleur attribués à chaque exécution de test, comme suit :

Vert : cas de test qui ont réussi.
Rouge : cas de test qui ont échoué.
Gris : cas de test sans résultats définitifs, tels que des cas de test qui n'ont pas encore été exécutés mais qui font partie d'un ensemble de test en cours d'exécution.

Résultats de test automatisés

Les résultats des exécutions de tests automatisés sont automatiquement importés à partir d'Orchestrator. Pour que vos tests automatisés soient importés dans Test Manager, vous devez remplir les conditions suivantes :

Intégrez Test Manager avec Orchestrator.
Le test automatisé doit faire partie d'un ensemble de test par rapport à votre projet Test Manager. Pour plus d'informations, consultez Tests automatisés.

Remarque : si une exécution de test d'Orchestrator contient des résultats pour des cas de test de plusieurs projets dans Test Manager, l'exécution de test est divisée dans Test Manager. Les résultats apparaissent dans les projets où se trouvent les cas de test.

Navigation et recherche

Pour rechercher rapidement vos éléments de test, utilisez la fonction de recherche ainsi que les filtres. Naviguez dans la page en utilisant et en configurant l’outil de pagination. Vous pouvez également utiliser le fil d'Ariane pour naviguer entre les pages.

Filtre (Filter) : vous pouvez utiliser le filtre pour affiner votre recherche. Par exemple, vous pouvez rechercher des résultats de test par type d'exécution, date de fin de l'exécution ou par statut. Les filtres sont automatiquement enregistrés et restent actifs jusqu'à ce que vous les effaciez.
Rechercher - Utilisez la barre de recherche pour trouver des cas de test selon leur clé, leur nom ou leur libellé (nécessite une correspondance complète des termes de recherche). Vous pouvez utiliser la barre de recherche en haut de la page pour rechercher les résultats des tests.

Utiliser les résultats d'exécution de tests

Pour obtenir des résultats détaillés d'une exécution de test, accédez à Résultats de test (Test Results) et cliquez sur une entrée pour ouvrir la vue détaillée. Une vue détaillée d'exécution de test type affiche des informations sur le début des exécutions, leur durée et les journaux d'exécution.

Vous pouvez utiliser le filtre Date de rapport (Reporting Date) pour définir une date unique pour tous les résultats de l'exécution de test. Ceci est utile lorsque vous exécutez des tests pendant la nuit, où certains cas de test sont exécutés avant et après minuit. Sinon, les résultats seront répartis entre différentes dates dans les rapports.

Dans la section Résultats (Results), vous pouvez examiner tous les cas de test qui ont été exécutés dans l'ensemble de test. Vous pouvez effectuer des actions pour chaque cas de test. Pour plus d'informations, consultez Journal d'exécution.

Vous pouvez également ouvrir l'ensemble de tests exécuté en cliquant avec le bouton droit sur une entrée de la page Ensembles de tests ( Test Sets ) et en sélectionnant Ouvrir l'ensemble de tests ( Open Test Set) , ou directement dans l'exécution du test.

Journal d'exécution

Dans le cadre des rapports de test, les journaux d'exécution contiennent des informations telles que les détails d'exécution (par exemple, la variation des données et les captures d'écran), les assertions échouées et réussies, et un journal détaillé des événements d'exécution.

Pour ouvrir un journal de cas de test, accédez à Résultats de test (Test Results), ouvrez une exécution de test, puis cliquez sur une clé de cas de test.

Dans la table suivante, vous pouvez afficher le type d'informations collectées lors de l'exécution du cas de test.

Rapport d'exécution de test	Description
Assertions	Affichez les assertions échouées ou réussies (via l'activité Vérifier l'expression (Verify expression), par exemple) et les captures d'écran associées qui ont éventuellement été prises lors de l'exécution du cas de test. Pour vous assurer qu’Orchestrator prend des captures d’écran lors des exécutions, consultez les ressources suivantes : Rôles par défaut dans Orchestrator : pour vérifier si les rôles par défaut disposent de l’autorisation Artefacts d’exécution des cas de test. Si les rôles par défaut ne disposent pas de cette autorisation, vous pouvez créer un rôle personnalisé ayant cette autorisation. Gestion des rôles dans Orchestrator : pour apprendre à créer, modifier ou importer un rôle dans Orchestrator.
Journaux (Logs)	Affichez les journaux de niveau INFO dans le cadre de `RobotLogs`, avec des informations sur les processus, le robot d'exécution et les journaux d'événements, y compris les échecs. Sélectionnez le pour accéder à l'onglet Journaux (Logs) du cas de test sélectionné, afin d'obtenir une description détaillée de l'échec.
Détails de l'exécution	Affichez les détails des arguments tels que les valeurs d'entrée et de sortie, ainsi que les détails d'exécution et de Robot (par exemple, projet, machine, Robot).
Exigences concernées	Affichez les exigences affectées au cas de test qui a été exécuté. Vous pouvez utiliser cet onglet pour accéder directement à l'exigence concernée.
Pièces jointes (Attachments)	Vue : les pièces jointes chargées à l’aide de l’activité Joindre un document (Attach Document). les pièces jointes d'un résultat de cas de test, qui est lié à partir d'Orchestrator.

Affichage de la couverture des activités

Remarque : le calcul de la couverture de l'activité est disponible uniquement avec les ensembles de tests créés dans Orchestrator pour lesquels le calcul de la couverture a été activé. Pour savoir comment activer le calcul de la couverture, consultez la section Créer des ensembles de tests dans Orchestrator.

Prérequis : les cas de test que vous avez publiés dans Orchestrator sont également liés à Test Manager. En effet, pour afficher la couverture des activités dans Test Manager, les cas de test doivent être liés à Orchestrator et à Test Manager.

Sélectionnez Activer le calcul de la couverture lorsque vous créez ou modifiez un ensemble de tests dans Orchestrator.
Ouvrez Test Manager et liez l'ensemble de test à partir d'Orchestrator.
Ouvrez l’ensemble de tests, sélectionnez Plus d’options , puis Exécuter automatiquement (Execute Automated).
La couverture des activités est disponible uniquement pour les exécutions de test automatisées.
Accédez à Résultats de test (Test Results) et ouvrez l'ensemble de tests que vous avez exécuté.
Accédez à l'onglet Couverture de l'activité (Activity Coverage) et recherchez les informations relatives aux activités couvertes lors de l'exécution du test.

Créer des défauts à partir des résultats

Vous pouvez créer des rapports de défauts, y compris le journal d'exécution, dans votre système de gestion des défauts externe, si vous l'avez déjà intégré à Test Manager. Pour plus d'informations, consultez Intégration ALM Tool.

Pour créer un défaut à partir d'un journal d'exécution, vous devez ouvrir un journal de cas de test, cliquer sur Tâches (Tasks), puis sélectionner Créer un défaut (Create Defect). Une fois le défaut créé, un lien est disponible dans le journal d'exécution, vous permettant ainsi d'accéder à l'outil externe intégré.

Articles associés

Synchronisation des défauts

Vous pouvez synchroniser les résultats d'exécution avec des outils externes, dans le cadre de l'intégration de l'outil de gestion du cycle de vie des applications. Les informations recueillies lors de l'exécution, telles que les résultats, les journaux, les horodatages et d'autres détails, sont synchronisées avec l'outil que vous avez intégré à Test Manager.

Veuillez noter qu'à l'heure actuelle, il ne peut y avoir qu'une seule connexion activée pour la synchronisation globale des défauts par projet.

Remarque :

Pour synchroniser les défauts, vous devez configurer un connecteur dans Test Manager. Consultez les connexions disponibles dans Test Manager.
Vous devez d'abord avoir exécuté un ensemble de test.

Qui peut synchroniser les défauts

Tous les rôles d'utilisateur, à l'exception de l'option Lecture seule, peuvent synchroniser les défauts.

Pour plus d'informations, consultez Gestion des accès des utilisateurs et des groupes (User and Group Access Management).

Créer un défaut

Vous pouvez créer des défauts lorsque vous accédez aux journaux de cas de test sur la page Résultats de test (Test Results).

Accédez aux résultats de test.
Ouvrez un résultat de test et cliquez sur la clé de cas de test pour ouvrir les journaux.
Cliquez sur Tâches (Tasks) et sélectionnez Créer un défaut (Create Defect).

Le défaut est créé et synchronisé avec votre outil externe. Vous pouvez ouvrir le défaut directement dans l'outil (par exemple, Atlassian Jira) en accédant au résultat d'exécution de test qui présente un défaut synchronisé.

Dissocier le défaut

Lorsque vous dissociez des défauts d'un outil externe, l'entrée créée dans l'outil reste inchangée. Dans Test Manager, le résultat de l'exécution de test ne sera pas lié à un outil externe.