test-suite

2023.10

false

Guide de l'utilisateur de Test Suite

PRODUIT :

Automation Cloud Automation Cloud Public Sector Automation Suite Standalone

Dernière mise à jour 4 déc. 2024

Exécution de tests

Vous pouvez exécuter des tests manuellement ou automatiquement. Les exécutions de test manuelles sont appelées via Test Manager, tandis que les exécutions automatisées sont appelées via Test Manager et exécutées via Orchestrator. Pour exécuter vos cas de test, vous devez d'abord créer un ensemble de test, qui sera exécuté ultérieurement.

Conditions

Vous pouvez utiliser les deux options Exécuter manuellement (Execute Manually) et Exécuter automatiquement (Execute Automated) pour les ensembles de test créés dans Test Manager ainsi que les ensembles de test liés à partir d'Orchestrator.
Seules les versions de cas de test incluses dans l'ensemble de test sont exécutées. Si vous souhaitez exécuter de nouveaux cas de test, vous devez affecter de nouvelles versions à votre ensemble de test. Pour les ensembles de test Orchestrator, vous devez vous assurer que les derniers packages sont publiés.

Exécution automatisée

L'exécution automatisée fait référence aux ensembles de test qui ont été liés à partir d'Orchestrator ou aux ensembles de test créés dans Test Manager et qui ont des cas de test liés à partir de Studio.

Avant d'exécuter des tests automatisés dans Test Manager, assurez-vous de créer des ensembles de test dans Orchestrator.

Exécution manuelle

L'exécution manuelle fait référence aux ensembles de test créés dans Test Manager, y compris les cas de test qui comportent des étapes manuelles. L'exécution manuelle peut être effectuée pour les ensembles de test créés dans Test Manager ainsi que pour les ensembles de test liés à partir d'Orchestrator.

Exécution de tests manuels

Exécuter les ensembles de test manuellement

Les ensembles de test Test Manager et les ensembles de test liés à partir d'Orchestrator peuvent être exécutés manuellement, si des étapes manuelles ont été définies pour les cas de test. Pour plus d'informations, consultez Exécution de tests.

Ouvrez votre projet dans Test Manager, puis accédez à Ensembles de test (Test Sets).
Sélectionnez un ensemble de test et cliquez sur l'ellipse verticale.
Sélectionnez Exécuter manuellement (Execute Manually). L'assistant d'exécution manuelle s'ouvre dans une nouvelle fenêtre. Assurez-vous que votre bloqueur de fenêtres contextuelles autorise l'ouverture de la fenêtre.

Pour plus d'informations, consultez Analyse des résultats de test.

Remarque :

Les cas de test qui ne contiennent aucune étape manuelle seront ignorés lors de l'exécution sans produire de résultat.
Le cas de test automatisé peut avoir des étapes manuelles définies et peut également être exécuté manuellement.

Vous pouvez également ouvrir votre ensemble de test, cliquer sur Exécuter (Execute) et sélectionner Manuellement (Manually) dans la liste déroulante.

Assistant d'exécution manuelle

L'assistant d'exécution manuelle vous permet d'effectuer un ensemble de test manuels les uns après les autres. Vous devez définir un résultat à chaque étape manuelle pour passer au cas de test suivant dans l'ensemble de test.

À travers l'assistant d'exécution manuelle, vous devez traiter et marquer les étapes dans chaque cas comme ayant réussi ou échoué.

Utilisez Réussite de l'ensemble (Set Failed) ou Échec de l'ensemble (Set Passed) pour marquer une étape dans chaque cas. Ajoutez des commentaires, en particulier en cas d'échec, pour donner des détails sur le résultat particulier. Vous pouvez définir plusieurs étapes consécutives comme réussies en cliquant sur Ensemble transmis jusqu'à ce point (Set Passed Till Here).

Une fois que la dernière étape d'un cas de test a un résultat attribué, vous pouvez cliquer sur Suivant (Next). Cela vous permet d'accéder au cas de test suivant à partir de l'ensemble de test. Une fois que vous avez terminé avec le dernier cas de test, cliquez sur Terminé (Done) pour terminer entièrement l'exécution.

Exécuter des tests automatisés

Vous pouvez exécuter tous les ensembles de test à l'aide de l'option Exécuter automatiquement (Execute Automated). Orchestrator est appelé pour les cas de test qui ont été liés à Test Manager. Pour exécuter des ensembles de test liés à partir d'Orchestrator, assurez-vous de créer vos ensembles de test dans Orchestrator.

Vous pouvez également exécuter un test automatisé si l'ensemble de test inclut des cas de test liés à partir de Studio. Pour plus d'informations, consultez Exécution de tests.

Conditions

Important : pour utiliser l'option Exécuter l'automatisation ( Execute Automated ), vous avez besoin d'au moins un cas de test automatisé dans un ensemble de test.

L'exécution de test pour les ensembles de test liés à Orchestrator inclut uniquement les cas de test qui ont été publiés dans le flux de processus du locataire Orchestrator dans la dernière version du package. Si vous souhaitez exécuter de nouveaux cas de test, vous devez publier une nouvelle version de package dans Orchestrator, puis lier l'ensemble de test à Test Manager.
Si votre ensemble de test Test Manager inclut des cas de test de plusieurs projets Studio, le projet qui a le plus grand nombre de cas de test est pris en compte pour l'exécution. Par conséquent, seuls les cas de test de ce projet seront exécutés. Dans ce cas, vous recevrez le message suivant dans Test Manager : « Des cas de test de plusieurs packages ont été sélectionnés. Certains de ces cas de test ne seront pas exécutés lors de l’exécution de cet ensemble de tests. »
Vous pouvez exécuter des ensembles de test, y compris des cas de test à partir de plusieurs projets Studio, uniquement si vous disposez d'un ensemble de test lié à partir d'Orchestrator.
Si votre ensemble de test comprend des cas de test en double dans plusieurs projets Studio, le tri est effectué par nom de projet dans l'ordre décroissant. Seuls les cas de test du projet placé en premier dans la liste seront exécutés.

Exécuter des ensembles de test automatisés

Ouvrez votre projet dans Test Manager, puis accédez à Ensembles de test (Test Sets).
Sélectionnez un ensemble de test et cliquez sur l'ellipse verticale.
Sélectionnez Exécuter automatiquement (Execute Automated).
Pour plus d'informations, consultez Analyse des résultats de test.
Remarque :
- Les cas de test qui ne peuvent pas être exécutés sont ignorés lors de l'exécution via Orchestrator.
- Les cas de test qui ne sont pas exécutés génèrent des journaux de cas de test sans résultat.

Vous pouvez également ouvrir votre ensemble de test, cliquer sur Exécuter (Execute) et sélectionner Automatique (Automated) dans la liste déroulante.

Réexécution des exécutions de test

Si vous exécutez à nouveau une exécution de test, les anciens résultats d'exécution sont supprimés et remplacés par les nouveaux résultats. Si vous ne souhaitez pas remplacer un résultat d'exécution de test, exécutez à nouveau l'ensemble de tests. Cela générera de nouveaux résultats d'exécution de test, indépendants des précédents.

Les rôles d'utilisateur prédéfinis pouvant effectuer des réexécutions sont : Test Manager, Test Executor et Manual Tester.

Réexécution des exécutions d'ensembles de tests

Accédez à Résultats du test ( Test Results ) et choisissez l'une des options suivantes :
- Sélectionnez Autres options pour l'exécution de test que vous souhaitez rétablir.
- Ouvrez l'exécution de test et sélectionnez Tâches.
Sélectionnez l'une des options suivantes :
- Réexécuter manuellement (disponible uniquement pour les exécutions de test manuelles)
- Réexécuter automatiquement (disponible uniquement pour les exécutions de test automatisées)
La boîte de dialogue Réexécuter ( Re-execute ) s'affiche.
Sélectionnez Confirmer et exécutez les étapes manuelles ou attendez que l’ensemble de tests automatisé se termine.

Remarque :
La réexécution des exécutions d’ensembles de tests n’affiche plus la couverture d’activité.

Réexécution des exécutions de cas de test

Vous pouvez réexécuter une ou plusieurs exécutions de cas de test. Pour les cas de test axés sur les données, vous ne pouvez réexécuter qu'une exécution de cas de test à la fois. Vous ne pouvez pas réexécuter en bloc des exécutions de cas de test pilotés par les données.

Remarque : même si vous publiez une version plus récente du cas de test, la version que vous réexécutez est la même version qui est enregistrée dans l'exécution du test.

Accédez à Résultats des tests ( Test Results ) et ouvrez une exécution d'ensemble de tests.
Cochez les cases d'une ou plusieurs exécutions de cas de test, puis sélectionnez Réexécuter la sélection.
Sélectionnez l'une des options suivantes :
- Réexécuter manuellement (disponible uniquement pour les exécutions de test manuelles)
- Réexécuter automatiquement (disponible uniquement pour les exécutions de test automatisées)
La boîte de dialogue Réexécuter ( Re-execute ) s'affiche.
Sélectionnez Confirmer et exécutez les étapes manuelles ou attendez que le cas de test automatisé se termine.

Résoudre les problèmes des exécutions automatisées

Automatisation déjà liée à un autre cas de test dans Test Manager

Description du problème

Si vous essayez de lier un cas de test Studio qui est déjà lié à une instance de Test Manager différente de celle avec laquelle vous travaillez actuellement, l’erreur suivante s’affiche : « Automatisation déjà liée à un autre cas de test dans Test Manager ».

Solution

Vous ne pouvez pas dissocier directement le cas de test. Vous pouvez cependant contourner ce problème en convertissant le cas de test en workflow, puis en le reconvertissant en cas de test. Ce processus modifie l’ID du cas de test, ce qui lui permettra d’être lié à votre instance Test Manager actuelle, mais sans modifier la logique sous-jacente du cas de test.

Consultez la page Convertir le workflow en cas de test pour plus d’informations sur la conversion d’un workflow en cas de test.

L’exécution automatisée n’a pas pu démarrer, car le package n’a pas été trouvé sur Orchestrator. Seuls les cas de test des packages ayant été publiés sur Orchestrator peuvent être exécutés.

Solution

Vous devez publier le package Studio dans Orchestrator. Ce problème se produit lorsqu’un cas de test est relié à Test Manager depuis Studio, mais que le package n’est pas encore publié dans Orchestrator.

Les cas de test n’ont pas pu être exécutés, car aucune version exécutable n’a été trouvée. Seuls les cas de test publiés avec la dernière version du package sur Orchestrator peuvent être exécutés.

Solution

Ce problème se produit lorsque les cas de test d'un ensemble de test ne sont pas publiés dans le dernier package de Studio vers Orchestrator. Vous pouvez obtenir la même erreur lorsqu'il n'y a aucun processus/version trouvé sur Orchestrator pour le package Studio.

L’exécution automatisée n’a pas pu démarrer, car aucun cas de test automatisé n’a été trouvé dans cet ensemble de tests.

Solution

Vous devez avoir au moins un cas de test automatisé pour utiliser Exécuter automatiquement (Execute Automated). Pour plus d'informations, consultez Conditions.