Exécution de tests

Vous pouvez exécuter des tests manuellement ou de façon automatisée. Les exécutions de test manuelles sont appelées via Test Manager, tandis que les exécutions automatisées sont appelées via Test Manager et exécutées via Orchestrator. Par ailleurs, au sein d’une même exécution d’un ensemble de tests, chaque cas de test peut être exécuté manuellement ou de façon automatisée au niveau individuel. Le type d’exécution est ainsi changé en type Mixte.

Pour exécuter vos cas de test, vous devez d’abord créer un ensemble de test, qui sera exécuté ultérieurement. Si vous souhaitez exécuter des cas de test de façon individuelle, au lieu de tous les exécuter en même temps, vous pouvez créer une exécution en attente à partir de l’ensemble de tests. Vous pouvez choisir d’exécuter des cas de test individuels de façon automatisée ou manuelle à partir de n’importe quelle exécution.

Conditions

• Vous pouvez utiliser les deux options Exécuter manuellement (Execute Manually) et Exécuter automatiquement (Execute Automated) pour les ensembles de test créés dans Test Manager ainsi que les ensembles de test liés à partir d’Orchestrator.
• Seules les versions de cas de test incluses dans l'ensemble de test sont exécutées. Si vous souhaitez exécuter de nouveaux cas de test, vous devez affecter de nouvelles versions à votre ensemble de test. Pour les ensembles de test Orchestrator, vous devez vous assurer que les derniers packages sont publiés.
• Si l’ ordre d’exécution est activé, vous ne pouvez pas exécuter de cas de test individuels à partir d’un ensemble de tests.

Exécution automatisée

L’exécution automatisée fait référence aux ensembles de test qui ont été liés à partir d’Orchestrator ou aux ensembles de test créés dans Test Manager et qui ont des cas de test liés à partir de Studio.

Exécution manuelle

L’exécution manuelle fait référence aux ensembles de test créés dans Test Manager, y compris les cas de test qui comportent des étapes manuelles. L’exécution manuelle peut être effectuée pour les ensembles de test créés dans Test Manager ainsi que pour les ensembles de test liés à partir d’Orchestrator.

Exécution de tests manuels

Exécuter les ensembles de test manuellement

Les ensembles de test Test Manager et les ensembles de test liés à partir d'Orchestrator peuvent être exécutés manuellement, si des étapes manuelles ont été définies pour les cas de test. Pour plus d'informations, consultez Exécution de tests.

1. Ouvrez votre projet dans Test Manager, puis accédez à Ensembles de test (Test Sets).
2. Sélectionnez un ensemble de test et cliquez sur l'ellipse verticale.
3. Sélectionnez Exécuter manuellement (Execute Manually). L'assistant d'exécution manuelle s'ouvre dans une nouvelle fenêtre. Assurez-vous que votre bloqueur de fenêtres contextuelles autorise l'ouverture de la fenêtre.

Pour plus d'informations, consultez Analyse des résultats de test.

Remarque :

• Les cas de test qui ne contiennent aucune étape manuelle seront ignorés lors de l'exécution sans produire de résultat.
• Le cas de test automatisé peut avoir des étapes manuelles définies et peut également être exécuté manuellement.

Vous pouvez également ouvrir votre ensemble de test, cliquer sur Exécuter (Execute) et sélectionner Manuellement (Manually) dans la liste déroulante.

Assistant d'exécution manuelle

L'assistant d'exécution manuelle vous permet d'effectuer un ensemble de test manuels les uns après les autres. Vous devez définir un résultat à chaque étape manuelle pour passer au cas de test suivant dans l'ensemble de test.

À travers l'assistant d'exécution manuelle, vous devez traiter et marquer les étapes dans chaque cas comme ayant réussi ou échoué.

Utilisez Réussite de l'ensemble (Set Failed) ou Échec de l'ensemble (Set Passed) pour marquer une étape dans chaque cas. Ajoutez des commentaires, en particulier en cas d'échec, pour donner des détails sur le résultat particulier. Vous pouvez définir plusieurs étapes consécutives comme réussies en cliquant sur Ensemble transmis jusqu'à ce point (Set Passed Till Here).

Une fois que la dernière étape d'un cas de test a un résultat attribué, vous pouvez cliquer sur Suivant (Next). Cela vous permet d'accéder au cas de test suivant à partir de l'ensemble de test. Une fois que vous avez terminé avec le dernier cas de test, cliquez sur Terminé (Done) pour terminer entièrement l'exécution.

Exécuter des tests automatisés

Vous pouvez exécuter tous les ensembles de test à l'aide de l'option Exécuter automatiquement (Execute Automated). Orchestrator est appelé pour les cas de test qui ont été liés à Test Manager. Pour exécuter des ensembles de test liés à partir d'Orchestrator, assurez-vous de créer vos ensembles de test dans Orchestrator.

Vous pouvez également exécuter un test automatisé si l'ensemble de test inclut des cas de test liés à partir de Studio. Pour plus d'informations, consultez Exécution de tests.

Conditions

Important : pour utiliser l'option Exécuter l'automatisation ( Execute Automated ), vous avez besoin d'au moins un cas de test automatisé dans un ensemble de test.

• L'exécution de test pour les ensembles de test liés à Orchestrator inclut uniquement les cas de test qui ont été publiés dans le flux de processus du locataire Orchestrator dans la dernière version du package. Si vous souhaitez exécuter de nouveaux cas de test, vous devez publier une nouvelle version de package dans Orchestrator, puis lier l'ensemble de test à Test Manager.
• Si votre ensemble de test Test Manager inclut des cas de test de plusieurs projets Studio, le projet qui a le plus grand nombre de cas de test est pris en compte pour l'exécution. Par conséquent, seuls les cas de test de ce projet seront exécutés. Dans ce cas, vous recevrez le message suivant dans Test Manager : « Des cas de test de plusieurs packages ont été sélectionnés. Certains de ces cas de test ne seront pas exécutés lors de l’exécution de cet ensemble de tests. »

  Vous pouvez exécuter des ensembles de test, y compris des cas de test à partir de plusieurs projets Studio, uniquement si vous disposez d'un ensemble de test lié à partir d'Orchestrator.

• Si votre ensemble de test comprend des cas de test en double dans plusieurs projets Studio, le tri est effectué par nom de projet dans l'ordre décroissant. Seuls les cas de test du projet placé en premier dans la liste seront exécutés.

Exécuter des ensembles de test automatisés

1. Ouvrez votre projet dans Test Manager, puis accédez à Ensembles de test (Test Sets).
2. Sélectionnez un ensemble de test et cliquez sur l'ellipse verticale.
3. Sélectionnez Exécuter automatiquement (Execute Automated).

   Pour plus d'informations, consultez Analyse des résultats de test.

   Remarque :

   • Les cas de test qui ne peuvent pas être exécutés sont ignorés lors de l'exécution via Orchestrator.
   • Les cas de test qui ne sont pas exécutés génèrent des journaux de cas de test sans résultat.

Vous pouvez également ouvrir votre ensemble de test, cliquer sur Exécuter (Execute) et sélectionner Automatique (Automated) dans la liste déroulante.

Exécuter des tests mixtes

Vous pouvez exécuter des tests mixtes en exécutant à nouveau des tests manuels et automatisés à partir d'un résultat de test passé. Lorsque vous exécutez à nouveau des tests mixtes, la dernière version du cas de test sera toujours la version utilisée.

Exécuter des ensembles de tests mixtes

1. Ouvrez votre projet dans Test Manager et accédez à Exécution.
2. Sélectionnez un ensemble de tests contenant à la fois des cas de test manuels et automatisés.
3. Sélectionnez les deux types de cas de test, puis sélectionnez Exécuter automatiquement.

   Vous constaterez que le type d'exécution du résultat du test est passé de Manuel ou Automatisé à Mixte.

Créer des exécutions en attente

Une exécution de test en attente est similaire à une exécution de test classique effectuée dans le cadre de l'exécution d'un ensemble de tests, la seule différence résidant dans le fait qu'aucun test ne sera exécuté immédiatement. Une exécution en attente attribue le résultat Aucun à chaque cas de test de l'ensemble de test, ce qui vous permet de démarrer les tests ultérieurement, ou bien de les exécuter par segments ou de façon individuelle.

Quand utiliser des exécutions en attente

• Lorsque vous souhaitez exécuter des tests ultérieurement non simultanément, mais continuer à rendre compte de l'état actuel de l'ensemble de tests.
• Lorsque certains tests sont exécutés manuellement tandis que d'autres sont censés s'exécuter automatiquement.
• Lorsque vous souhaitez que les tests exécutés rendent compte de l'état actuel d'un ensemble de tests en incluant les cas de test sélectionnés.

Une exécution de test est indépendante de son ensemble de tests d'origine, tous les cas de test attribués devenant des membres statiques de l'exécution. Créez une exécution en attente pour vous assurer qu'un ensemble spécifique de tests au sein d'un ensemble de tests soit utilisé dans une exécution, même lorsque l'ensemble de test a été mis à jour.

Étapes pour créer une exécution en attente

1. Ouvrez un projet dans Test Manager, puis accédez à Ensembles de test.
2. Sélectionnez Tâches , puis Créer une exécution en attente. Cela va générer une réplique de l'ensemble de tests qui sera prête à être exécutée. L'exécution en attente s'ouvre automatiquement et vous dirige vers Exécution.

Appliquer un ordre d’exécution

Vous pouvez définir une séquence d’exécution spécifique pour les cas de test d’un ensemble de test ou d’une exécution de test. Cette séquence va déterminer l’ordre dans lequel les cas de test s’exécuteront initialement. Cependant, toute modification de l’ordre dans une exécution de test n’affectera pas l’ordre dans l’ensemble de tests. Ainsi, les séquences que vous définissez dans un ensemble de tests et dans une exécution de test fonctionnent de façon indépendante.

Remarque : vous pouvez appliquer un ordre d’exécution spécifique seulement pour les cas de test attribués de façon statique, en faisant se suivre ceux attribués de manière dynamique uniquement lorsque les cas statiques sont terminés.

Étapes

1. Déterminez l’endroit où vous souhaitez réorganiser les cas de test dans votre projet :
   • Dans un ensemble de tests.
   • Dans une exécution de test.
2. Activez le bouton Appliquer l’ordre d’exécution.
   • Accédez à Ensembles de tests, puis à l’onglet Configuration, et sélectionnez le bouton Appliquer l’ordre d’exécution.
   • Si vous souhaitez réorganiser une exécution de test, vous pouvez également accéder à Exécution, puis à l’onglet Paramètres , et activer le bouton Appliquer l’ordre d’exécution .
3. Après avoir activé l’ordre d’exécution, revenez à l’onglet où sont affichés les cas de test. En fonction de l’endroit où vous avez activé l’application, procédez comme suit :
   • Si vous vous trouvez dans les Ensembles de tests, revenez à Cas de test et sélectionnez Réorganiser.
   • Si vous vous trouvez dans Exécution, revenez aux Résultats et sélectionnez Réorganiser.
   La vue Réorganiser les cas de test s’ouvre, à partir de laquelle vous pouvez réorganiser l’ordre des exécutions des cas de test.
4. Faites glisser et déposez des cas de test pour les réorganiser dans l’ensemble de tests ou dans l’exécution de test.
5. Lorsque vous avez terminé de réorganiser les cas de test, sélectionnez Enregistrer.

Lorsque vous exécutez l’ensemble de test, les cas de test s’exécutent dans l’ordre que vous avez précédemment enregistré.

Réexécution des exécutions de test

Si vous exécutez à nouveau une exécution de test, les anciens résultats d'exécution sont supprimés et remplacés par les nouveaux résultats. Si vous ne souhaitez pas remplacer un résultat d'exécution de test, exécutez à nouveau l'ensemble de tests. Cela générera de nouveaux résultats d'exécution de test, indépendants des précédents.

Les rôles d'utilisateur prédéfinis pouvant effectuer des réexécutions sont : Test Manager, Test Executor et Manual Tester.

Réexécution des exécutions d'ensembles de tests

1. Accédez à Exécution et choisissez l’une des options suivantes :
   • Sélectionnez Autres options pour l'exécution de test que vous souhaitez rétablir.
   • Ouvrez l'exécution de test et sélectionnez Tâches.
2. Sélectionnez l'une des options suivantes :
   • Réexécuter manuellement (disponible uniquement pour les exécutions de test manuelles)
   • Réexécuter automatiquement (disponible uniquement pour les exécutions de test automatisées)
   La boîte de dialogue Réexécuter ( Re-execute ) s'affiche.
3. Sélectionnez Confirmer et exécutez les étapes manuelles ou attendez que l’ensemble de tests automatisé se termine.
   Remarque :

   La réexécution des exécutions d’ensembles de tests n’affiche plus la couverture d’activité.

Réexécution des exécutions de cas de test

Vous pouvez réexécuter une ou plusieurs exécutions de cas de test. Pour les cas de test axés sur les données, vous ne pouvez réexécuter qu'une exécution de cas de test à la fois. Vous ne pouvez pas réexécuter en bloc des exécutions de cas de test pilotés par les données.

Remarque : même si vous publiez une version plus récente du cas de test, la version que vous réexécutez est la même version qui est enregistrée dans l'exécution du test.

1. Accédez à Exécution et ouvrez une exécution d'ensemble de test.
2. Cochez les cases d'une ou plusieurs exécutions de cas de test, puis sélectionnez Réexécuter la sélection.
   
   

   

   
   
3. Sélectionnez l'une des options suivantes :
   • Réexécuter manuellement (disponible uniquement pour les exécutions de test manuelles)
   • Réexécuter automatiquement (disponible uniquement pour les exécutions de test automatisées)
   La boîte de dialogue Réexécuter ( Re-execute ) s'affiche.
4. Sélectionnez Confirmer et exécutez les étapes manuelles ou attendez que le cas de test automatisé se termine.

Résoudre les problèmes des exécutions automatisées

Automatisation déjà liée à un autre cas de test dans Test Manager

Description du problème

Si vous essayez de lier un cas de test Studio qui est déjà lié à une instance de Test Manager différente de celle avec laquelle vous travaillez actuellement, l’erreur suivante s’affiche : « Automatisation déjà liée à un autre cas de test dans Test Manager ».

Solution

Vous ne pouvez pas dissocier directement le cas de test. Vous pouvez cependant contourner ce problème en convertissant le cas de test en workflow, puis en le reconvertissant en cas de test. Ce processus modifie l’ID du cas de test, ce qui lui permettra d’être lié à votre instance Test Manager actuelle, mais sans modifier la logique sous-jacente du cas de test.

Consultez la page Convertir le workflow en cas de test pour plus d’informations sur la conversion d’un workflow en cas de test.

L’exécution automatisée n’a pas pu démarrer, car le package n’a pas été trouvé sur Orchestrator. Seuls les cas de test des packages ayant été publiés sur Orchestrator peuvent être exécutés.

Solution

Vous devez publier le package Studio dans Orchestrator. Ce problème se produit lorsqu’un cas de test est relié à Test Manager depuis Studio, mais que le package n’est pas encore publié dans Orchestrator.

Les cas de test n’ont pas pu être exécutés, car aucune version exécutable n’a été trouvée. Seuls les cas de test publiés avec la dernière version du package sur Orchestrator peuvent être exécutés.

Solution

Ce problème se produit lorsque les cas de test d'un ensemble de test ne sont pas publiés dans le dernier package de Studio vers Orchestrator. Vous pouvez obtenir la même erreur lorsqu'il n'y a aucun processus/version trouvé sur Orchestrator pour le package Studio.

L’exécution automatisée n’a pas pu démarrer, car aucun cas de test automatisé n’a été trouvé dans cet ensemble de tests.

Solution

Vous devez avoir au moins un cas de test automatisé pour utiliser Exécuter automatiquement (Execute Automated). Pour plus d'informations, consultez Conditions.

Une erreur s’est produite lors de l’exécution de l’ensemble de tests. Veuillez réessayer.

Solution

Si l'exécution de l'ensemble de tests échoue pour une raison autre que celles spécifiées ci-dessus, obtenez de l'aide des services de support UiPath.