- Premiers pas avec Test Suite
- Studio
- Suite de tests - Studio
- Vue d'ensemble (Overview)
- Activités et API de test
- Orchestrator
- Testing Robots
- Test Manager
- Attribuer des licences Test Manager
- Guide de démarrage rapide
- Prérequis
- Assigning test cases to requirements
- Linking test cases in Studio to Test Manager
- Unlink automation
- Delete test cases
- Documenter les cas de test avec Task Capture
- Créer des scénarios de test
- Génération de tests optimisée par l’IA
- Clonage des cas de test
- Exporter des cas de test
- Cas de test automatisés
- Cas de test manuels
- Appliquer des filtres et des vues
- Ensembles de tests
- Exécution de tests
- Analyser les résultats de test
- Synchronisation des défauts
- Résultats de tests optimisés par l’IA
- Documents
- Rapports
- Exporter des données
- Opérations en bloc
- Résolution des problèmes
Analyser les résultats de test
Pour afficher les exécutions de test, ouvrez Exécution dans Test Manager. L’exécution de chaque test est répertoriée sous la forme d’une entrée d’exécution de test. Pour comprendre comment les exécutions de test fonctionnent en arrière-plan, consultez Exécution.
En analysant l'exécution de vos tests, vous pouvez effectuer les actions suivantes :
- Recherchez les résultats de test qui ont été exécutés manuellement ou automatiquement via Orchestrator.
- Vérifiez la progression de l'exécution des exécutions de tests.
- Ouvrez l’ensemble de tests qui a été exécuté.
- Examinez les journaux et les pièces jointes.
- Créez des défauts dans votre système de gestion des défauts directement à partir de Test Manager, si vous disposez d’une intégration d’outil de gestion du cycle de vie des applications. Pour plus d’informations, consultez Intégration ALM Tool.
Par défaut, les exécutions de tests sont triées en fonction de la date à laquelle chaque exécution s'est terminée. Les exécutions en cours et en attente sont placées en premier.
Vous pouvez identifier le statut grâce aux codes couleur attribués à chaque exécution de test, comme suit :
- Vert : cas de test qui ont réussi.
- Rouge : cas de test qui ont échoué.
- Gris : cas de test sans résultats définitifs, tels que des cas de test qui n'ont pas encore été exécutés mais qui font partie d'un ensemble de test en cours d'exécution.
Les résultats des exécutions de tests automatisés sont automatiquement importés à partir d’Orchestrator. Pour que vos tests automatisés soient importés dans Test Manager, vous devez remplir les conditions suivantes :
- Le test automatisé doit faire partie d’un ensemble de test par rapport à votre projet Test Manager. Pour plus d’informations, consultez Tests automatisés.
Remarque : si une exécution de test d’Orchestrator contient des résultats pour des cas de test de plusieurs projets dans Test Manager, l’exécution de test est divisée dans Test Manager. Les résultats apparaissent dans les projets où se trouvent les cas de test.
Le remplacement des résultats d’un cas de test peut être utile dans les cas où le résultat du test actuel ne reflète pas avec précision le comportement réel de l’application et où le fait d’exécuter à nouveau le test ne constitue pas une solution efficace. Vous pouvez remplacer les résultats de test d’un cas de test, puis vous pouvez effacer l’opération, le cas échéant.
- Accédez à Exécution et ouvrez un résultat de test.
- Dans l'onglet Résultats (Results), ouvrez un journal de cas de test.
- Dans l'onglet Assertions, sélectionnez Tâches (Tasks) > Remplacer le résultat (Override result).
- Dans la fenêtre Remplacer le résultat du test (Override test result), configurez les champs suivants :
- Remplacer le résultat par (Change result to) : déterminez si vous souhaitez remplacer le résultat par le statut opposé (Réussi (Passed)/Échec (Failed)) ou définissez le résultat sur Aucun (None).
- Commentaire : saisissez la raison pour laquelle vous remplacez le résultat.
- Sélectionnez Confirmer (Confirm).
Les résultats de test que vous avez remplacés présentent l'icône suivante à côté du statut du résultat du test : . Sélectionnez l'icône pour afficher les détails du remplacement.
Figure 1. Le message « Résultat du test remplacé avec succès »
- À titre facultatif, si vous souhaitez effacer l'opération de remplacement, vous pouvez sélectionner l'élément à côté du statut du résultat d'un journal de cas de test.
- Dans la fenêtre Détails du remplacement (Override details), sélectionnez Effacer le remplacement (Clear override).
Figure 2. Le menu Remplacer les détails ( Override details )
- Dans la fenêtre Détails du remplacement (Override details), sélectionnez Effacer le remplacement (Clear override).
- À titre facultatif, si vous souhaitez modifier l'opération de remplacement, vous pouvez sélectionner l'élément à côté du statut du résultat d'un journal de cas de test.
- Effectuez les modifications et cliquez sur Confirmer.
Pour rechercher rapidement vos éléments de test, utilisez la fonction de recherche ainsi que les filtres. Naviguez dans la page en utilisant et en configurant l’outil de pagination. Vous pouvez également utiliser le fil d'Ariane pour naviguer entre les pages.
- Filtres : vous pouvez utiliser les filtres pour affiner votre recherche. Vous pouvez par exemple rechercher des résultats de test selon les critères suivants :
- Libellés
- ExecutionType
- Exécution terminée
- État (Status)
Les filtres sont automatiquement enregistrés et restent actifs jusqu'à ce que vous les effaciez.
- Rechercher - Utilisez la barre de recherche pour trouver des cas de test selon leur clé, leur nom ou leur libellé (nécessite une correspondance complète des termes de recherche). Vous pouvez utiliser la barre de recherche en haut de la page pour rechercher les résultats des tests.
Pour afficher les résultats de test détaillés, accédez à Exécution.
- Ensemble de tests : les résultats des tests sont regroupés par exécution de test (ensemble de test).
- Cas de test : pour une analyse croisée des exécutions lors du filtrage des résultats, selon des critères excluant les attributs des exécution des tests.
Vous pouvez accéder au journal d'exécution d'un cas de test à partir de la vue Cas de test (Test Case) en sélectionnant la puce de résultat pertinente. Si la postcondition d’un cas de test n’a pas été remplie lors d’une exécution manuelle, le journal de cas de test affiche une exception avec une icône Info . Le message d'exception indique : Exception lors de l'exécution. Consultez les journaux pour en savoir plus. En sélectionnant ce message, vous accédez à l'onglet Détails de l'exécution ( Execution details ) du journal de cas de test correspondant.
Vous pouvez utiliser le filtre Date de rapport (Reporting Date) pour définir une date unique pour tous les résultats de l’exécution de test. Cela est utile lorsque vous exécutez des tests au cours de la nuit et que certains cas de test sont exécutés avant et après minuit, en empêchant les résultats d’être divisés en deux dates distinctes.
Dans l’onglet Résultats , vous pouvez examiner tous les cas de test exécutés dans l’ensemble de test et effectuer des actions sur n’importe lequel d’entre eux, si nécessaire. Pour plus d’informations, consultez la section Journal d’exécution .
Vous pouvez également ouvrir l'ensemble de tests exécuté en cliquant avec le bouton droit sur une entrée de la page Ensembles de tests ( Test Sets ) et en sélectionnant Ouvrir l'ensemble de tests ( Open Test Set) , ou directement dans l'exécution du test.
Dans le cadre des rapports de test, les journaux d'exécution contiennent des informations telles que les détails d'exécution (par exemple, la variation des données et les captures d'écran), les assertions échouées et réussies, et un journal détaillé des événements d'exécution.
Pour ouvrir un journal de cas de test, accédez à Exécutions(Executions), ouvrez une exécution de test, puis sélectionnez une Clé ( Key) de cas de test ou un résultat.
Dans la table suivante, vous pouvez afficher le type d'informations collectées lors de l'exécution du cas de test.
Rapport d'exécution de test |
Description |
---|---|
Assertions | Affichez les assertions échouées ou réussies (via l'activité Vérifier l'expression (Verify expression), par exemple) et les captures d'écran associées qui ont éventuellement été prises lors de l'exécution du cas de test.
Pour vous assurer qu’Orchestrator prend des captures d’écran lors des exécutions, consultez les ressources suivantes :
|
Journaux (Logs) | Affichez les journaux de niveau INFO dans le cadre de RobotLogs , avec des informations sur les processus, le robot d'exécution et les journaux d'événements, y compris les échecs.
Sélectionnez le pour accéder à l'onglet Journaux (Logs) du cas de test sélectionné, afin d'obtenir une description détaillée de l'échec. |
Détails de l'exécution | Affichez les détails des arguments tels que les valeurs d'entrée et de sortie, ainsi que les détails d'exécution et de Robot (par exemple, projet, machine, Robot). Cette section indique également si la postcondition a été remplie ou non par le cas de test. |
Exigences concernées | Affichez les exigences affectées au cas de test qui a été exécuté. Vous pouvez utiliser cet onglet pour accéder directement à l'exigence concernée. |
Pièces jointes (Attachments) | Vous pouvez afficher les éléments suivants :
|
- Pour télécharger les journaux de l'ensemble de vos exécutions de test : dans Exécution, sélectionnez Exporter vers Excel.
- Pour télécharger les journaux des cas de test pour une exécution de test spécifique : dans Exécution, sélectionnez une exécution de test, puis sélectionnez Exporter vers Excel.
Consultez la page Exporter des données pour vérifier davantage de détails sur l'exportation des journaux vers des fichiers Excel.
L'onglet Détails de l'exécution ( Execution details ) d'un journal de cas de test fournit des informations sur les préconditions et les postconditions d'un cas de test.
Si la postcondition n'a pas été remplie lors de l'exécution du test, l'onglet affiche l'avertissement Condition non satisfaite (Condition not met), que vous pouvez enquêter.
Prérequis : permet d’activer la couverture des activités pour les ensembles de tests souhaités, soit dans Orchestrator, soit dans Test Manager.
- Ouvrez l'ensemble de tests, sélectionnez Autres options puis Execute Automated.
- Accédez à Exécution (Execution) et ouvrez l'ensemble de tests que vous avez exécuté.
- Accédez à l'onglet Couverture de l'activité (Activity Coverage) et recherchez les informations relatives aux activités couvertes lors de l'exécution du test.
Graphique 5. Aperçu d’un exemple de couverture de l’activité
Vous pouvez créer des rapports de défauts, y compris le journal d’exécution, dans votre système de gestion des défauts externe, si vous l’avez déjà intégré à Test Manager. Pour plus d’informations, consultez Intégration ALM Tool.
Pour créer un défaut à partir d’un journal d’exécution, vous devez ouvrir un journal de cas de test, cliquer sur Tâches, puis sélectionner Créer un défaut. Une fois le défaut créé, un lien est disponible dans le journal d’exécution, vous permettant ainsi d’accéder à l’outil externe intégré.
- Résultats de test automatisés
- Remplacer les résultats de test
- Navigation et recherche
- Utiliser les résultats d'exécution de tests
- Journal d'exécution
- Télécharger les journaux d'exécution
- Détails de l'exécution
- Affichage de la couverture des activités
- Créer des défauts à partir des résultats
- Articles associés