Exécution de tests

You can execute tests manually or automated. Manual test executions are invoked through Test Manager, whereas automated executions are invoked through Test Manager and executed via Orchestrator. Additionally, within one test set execution, each individual test case can be executed either manually or automated. This changes the execution type to Mixed.

Pour exécuter vos cas de test, vous devez d’abord créer un ensemble de test, qui sera exécuté ultérieurement. Si vous souhaitez exécuter des cas de test de façon individuelle, au lieu de tous les exécuter en même temps, vous pouvez créer une exécution en attente à partir de l’ensemble de tests. Vous pouvez choisir d’exécuter des cas de test individuels de façon automatisée ou manuelle à partir de n’importe quelle exécution.

Conditions

• You can use both Execute Manually and Execute Automated for test sets created in Test Manager as well as the linked test sets from Orchestrator.
• Seules les versions de cas de test incluses dans l'ensemble de test sont exécutées. Si vous souhaitez exécuter de nouveaux cas de test, vous devez affecter de nouvelles versions à votre ensemble de test. Pour les ensembles de test Orchestrator, vous devez vous assurer que les derniers packages sont publiés.
• Si l’ ordre d’exécution est activé, vous ne pouvez pas exécuter de cas de test individuels à partir d’un ensemble de tests.

Exécution automatisée

Automated execution refers to test sets that have been linked from Orchestrator or test sets created in Test Manager that have test cases linked from Studio.

Exécution manuelle

Manual execution refers to test sets created in Test Manager, including test cases that have manual steps. Manual execution can be done for test sets created in Test Manager as well as the linked test sets from Orchestrator.

Exécution de tests manuels

Attribution d'exécutions manuelles aux utilisateurs

Vous pouvez distribuer votre travail au sein d'un projet de test en attribuant des exécutions de cas de test manuelles aux utilisateurs et en définissant des dates d'échéance pour celles-ci. Vous pouvez attribuer des exécutions manuelles à n'importe quel utilisateur, en gardant à l'esprit qu'il doit être autorisé à exécuter des tests.

Prérequis

Pour affecter ou annuler l'affectation des journaux de cas de test manuels, vous devez disposer de l'autorisation de tâche Modifier les affectations d'exécutions de cas de test (Change test case executions ) dans l'un de vos rôles. Par défaut, cette autorisation de tâche est intégrée au rôle prédéfini de Test Manager .

Attribuer des exécutions manuelles

Pour attribuer une ou plusieurs exécutions manuelles à un utilisateur, effectuez les étapes suivantes :

1. Accédez à la section Exécution (Execution) de votre projet.
2. Sélectionnez le nom d'une exécution de test et ouvrez-le.
   Remarque : toute exécution de test peut être sélectionnée, quel que soit son type. En effet, l'objectif est de faciliter l'exécution manuelle par l'utilisateur, quelle que soit la méthode utilisée dans son exécution précédente.
3. Attribuez les exécutions de cas de test manuels en appliquant l’une des méthodes suivantes :
   • Pour attribuer une seule exécution de cas de test manuel : sélectionnez Plus d’options pour le cas de test souhaité, puis sélectionnez Affectation.
   • Pour attribuer plusieurs exécutions de cas de test manuels : cochez les cases à côté des clés de cas de test manuels souhaitées, puis sélectionnez Attribuer(Assign).

   La boîte de dialogue Affectation (Assignment) s'ouvre.

4. Dans le champ Bénéficiaire ( Assignee ), saisissez le nom d'utilisateur ou l'adresse e-mail de l'utilisateur auquel vous souhaitez attribuer les cas de test.

   Assurez-vous que l’utilisateur auquel vous attribuez le cas de test est autorisé à exécuter des tests.

5. Dans le champ Définir la date d'échéance ( Set the due date ), saisissez la date à laquelle vous souhaitez que l'utilisateur exécute le cas de test.

   Le format de la date est : Mois/Jour/Année.

   Vous pouvez également utiliser le sélecteur de date pour cette étape.

6. Sélectionnez Affecter (Assign) pour terminer votre action.

   S’il est abonné à ces événements, l’utilisateur recevra une notification indiquant que des cas de test lui ont été attribués.

Astuce : vous pouvez également modifier l'attribution et la date d'échéance à partir de l'en-tête du journal d'exécution du cas de test.

Figure 1. Vue d'ensemble de la boîte de dialogue d' affectation

Annuler l’affectation des exécutions manuelles

Pour annuler l'affectation d'une ou plusieurs exécutions manuelles à un utilisateur, procédez comme suit :

1. Accédez à la section Exécution (Execution) de votre projet.
2. Sélectionnez le nom de l'exécution de test cible et ouvrez-le.
3. Annulez l’attribution des exécutions de cas de test manuels en appliquant l’une des méthodes suivantes :
   • Pour désaffecter une seule exécution de cas de test manuel : cochez la case à côté du cas de test souhaité, puis sélectionnez Effacer l'affectation(Clear assign).
   • Pour annuler l’attribution de plusieurs exécutions de cas de test manuels : cochez les cases à côté des clés de cas de test manuels souhaitées, puis sélectionnez Effacer l’affectation(Clear assign).

   S'il est abonné à ces événements, l'utilisateur recevra une notification indiquant que les cas de test lui ont été retirés.

Planifier une date d'échéance pour les exécutions manuelles

Vous pouvez définir une date d’échéance pour l’exécution manuelle d’un cas de test. Si cette date passe sans que le journal de cas de test soit exécuté, la date d'échéance sera mise en surbrillance.

Pour définir une date d'échéance pour l'exécution manuelle d'un cas de test :

1. Accédez à la section Exécution (Execution) de votre projet.
2. Sélectionnez une exécution de test manuel et ouvrez-la.
3. Ouvrez un journal de cas de test.
4. Dans le champ Date d'échéance, saisissez la date d'échéance dans l'en-tête du journal de cas de test. Le format doit être : Mois/Jour/Année.

   Vous pouvez également sélectionner la date en utilisant le sélecteur de date.

   Remarque : vous pouvez également définir la date d'échéance lorsque vous attribuez l'exécution manuelle du cas de test à un utilisateur.

Exécuter les ensembles de test manuellement

Les ensembles de test Test Manager et les ensembles de test liés à partir d'Orchestrator peuvent être exécutés manuellement, si des étapes manuelles ont été définies pour les cas de test. Pour plus d'informations, consultez Exécution de tests.

1. Open your project in Test Manager and then navigate to Test Sets.
2. Sélectionner Plus d’options pour l’ensemble de tests que vous souhaitez exécuter.
3. Sélectionnez Exécuter manuellement (Execute Manually).
   L' assistant d'exécution manuelle s'ouvre dans une nouvelle fenêtre. Si vous utilisez un bloqueur de fenêtres contextuelles, configurez-le pour permettre à la fenêtre de s'ouvrir.

Pour plus d'informations, consultez Analyse des résultats de test.

Remarque : les cas de test automatisés peuvent avoir des étapes manuelles définies et peuvent également être exécutés manuellement.

Vous pouvez également ouvrir votre ensemble de test, sélectionner Exécuter ( Execute ), puis sélectionner Manuellement (Manually) dans la liste déroulante.

Assistant d'exécution manuelle

L'assistant d'exécution manuelle vous permet d'effectuer un ensemble de test manuels les uns après les autres. Vous devez définir un résultat à chaque étape manuelle pour passer au cas de test suivant dans l'ensemble de test. À travers l'assistant d'exécution manuelle, vous devez traiter et marquer les étapes dans chaque cas comme ayant réussi ou échoué.

Figure 2. Exécution de tests manuels à l'aide de l'Assistant d'exécution manuelle

1. Pour marquer la progression de chaque étape dans le cas de test, sélectionnez Échec de l'ensemble ( Set Failed ) ou Échec de l'ensemble ( Set Passed).
2. Incluez des commentaires, en particulier lorsque vous marquez une étape comme ayant échoué, afin de fournir des informations spécifiques sur le résultat.
3. Après avoir marqué une étape, vous pouvez définir plusieurs étapes suivantes comme réussies. Pour ce faire, sélectionnez Ensemble transmis jusqu'à ce point (Set Passed Here).
4. Une fois que vous avez terminé un cas de test en attribuant un résultat à la dernière étape, sélectionnez Suivant.

   Cette action vous permet d'accéder au cas de test suivant dans votre ensemble de test.

5. Répétez les étapes une à quatre jusqu'à ce que vous atteigniez le cas de test final dans l'ensemble de test.
6. Si une postcondition est spécifiée pour un test manuel, vérifiez-la après avoir affecté un résultat à la dernière étape d’un cas de test.
   1. Si la postcondition est satisfaite, sélectionnez Condition Met (Condition Met).
   2. Si la postcondition n’est pas remplie, laissez Condition Met (Condition Met ) désélectionné.
7. Une fois le dernier cas de test terminé, sélectionnez Terminé ( Done ) pour terminer l'ensemble du processus d'exécution.

Exécution simultanée de cas de test

Vous pouvez exécuter des cas de test manuels simultanément avec d'autres utilisateurs. Cela permet de réexécuter des cas de test même lorsqu'une exécution manuelle d'un ensemble de test est en cours. Le statut du journal de cas de test est constamment mis à jour en fonction de l’activité de l’utilisateur la plus récente concernant le début et la fin d’un test. Les mises à jour du statut se produisent immédiatement lorsqu’un utilisateur commence à réexécuter un journal de cas de test précédemment terminé, sans conserver le résultat précédent tout au long du processus de réexécution. Bien qu'un enregistrement des exécutions passées soit conservé, tout nouveau résultat remplace l'ancien, ce qui signifie que le journal de cas de test reflète le résultat de l'exécution la plus récente.

Identifier le dernier exécuteur de cas de test

Dans l'onglet Résultats (Results) d'une exécution manuelle, la colonne Exécuté par (ExecutedBy) affiche le nom d'utilisateur le plus récent de l'utilisateur qui a exécuté le journal de cas de test. Ces informations sont actualisées chaque fois que vous ou d'autres utilisateurs effectuez l'une des actions suivantes sur un cas de test :

• Exécuter un ensemble de test manuel pour la première fois ;
• Lancer une exécution en attente d’une exécution de test manuel ;
• Réexécuter un journal de cas de test à partir d'une exécution manuelle.

Suivi des journaux de cas de test

If you re-execute a test case log during a particular test execution, Test Manager will not preserve the test case log's history and will overwrite it. However, you can review the execution history for each test case, across different test executions and associated user details, in the Latest Results tab.

Exécuter des tests automatisés

Vous pouvez exécuter tous les ensembles de test à l'aide de l'option Exécuter automatiquement (Execute Automated). Orchestrator est appelé pour les cas de test qui ont été liés à Test Manager. Pour exécuter des ensembles de test liés à partir d'Orchestrator, assurez-vous de créer vos ensembles de test dans Orchestrator.

Vous pouvez également exécuter un test automatisé si l'ensemble de test inclut des cas de test liés à partir de Studio. Pour plus d'informations, consultez Exécution de tests.

Conditions

Important : pour utiliser l'option Exécuter l'automatisation ( Execute Automated ), vous avez besoin d'au moins un cas de test automatisé dans un ensemble de test.

• Les exécutions de test automatisées ont un délai d’expiration par défaut de quatre jours. Toute exécution de texte automatisée dépassant quatre jours sera marquée comme Annulée.
• L'exécution de test pour les ensembles de test liés à Orchestrator inclut uniquement les cas de test qui ont été publiés dans le flux de processus du locataire Orchestrator dans la dernière version du package. Si vous souhaitez exécuter de nouveaux cas de test, vous devez publier une nouvelle version de package dans Orchestrator, puis lier l'ensemble de test à Test Manager.
• Si votre ensemble de test Test Manager inclut des cas de test de plusieurs projets Studio, le projet qui a le plus grand nombre de cas de test est pris en compte pour l'exécution. Par conséquent, seuls les cas de test de ce projet seront exécutés. Dans ce cas, vous recevrez le message suivant dans Test Manager : « Des cas de test de plusieurs packages ont été sélectionnés. Certains de ces cas de test ne seront pas exécutés lors de l’exécution de cet ensemble de tests. »

  Vous pouvez exécuter des ensembles de test, y compris des cas de test à partir de plusieurs projets Studio, uniquement si vous disposez d'un ensemble de test lié à partir d'Orchestrator.

• Si votre ensemble de test comprend des cas de test en double dans plusieurs projets Studio, le tri est effectué par nom de projet dans l'ordre décroissant. Seuls les cas de test du projet placé en premier dans la liste seront exécutés.

Exécuter des ensembles de test automatisés

1. Ouvrez votre projet dans Test Manager, puis accédez à Ensembles de test (Test Sets).
2. Sélectionnez un ensemble de test et cliquez sur l'ellipse verticale.
3. Sélectionnez Exécuter automatiquement (Execute Automated).

   Pour plus d'informations, consultez Analyse des résultats de test.

   Remarque :

   • Les cas de test qui ne peuvent pas être exécutés sont ignorés lors de l'exécution via Orchestrator.
   • Les cas de test qui ne sont pas exécutés génèrent des journaux de cas de test sans résultat.

Vous pouvez également ouvrir votre ensemble de test, cliquer sur Exécuter (Execute) et sélectionner Automatique (Automated) dans la liste déroulante.

Exécuter des tests mixtes

Vous pouvez exécuter des tests mixtes en exécutant à nouveau des tests manuels et automatisés à partir d'un résultat de test passé. Lorsque vous exécutez à nouveau des tests mixtes, la dernière version du cas de test sera toujours la version utilisée.

Exécuter des ensembles de tests mixtes

1. Ouvrez votre projet dans Test Manager et accédez à Exécution.
2. Sélectionnez un ensemble de tests contenant à la fois des cas de test manuels et automatisés.
3. Sélectionnez les deux types de cas de test, puis sélectionnez Exécuter automatiquement.

   Vous constaterez que le type d'exécution du résultat du test est passé de Manuel ou Automatisé à Mixte.

Créer des exécutions en attente

Une exécution de test en attente est similaire à une exécution de test classique effectuée dans le cadre de l'exécution d'un ensemble de tests, la seule différence résidant dans le fait qu'aucun test ne sera exécuté immédiatement. Une exécution en attente attribue le résultat Aucun à chaque cas de test de l'ensemble de test, ce qui vous permet de démarrer les tests ultérieurement, ou bien de les exécuter par segments ou de façon individuelle.

Quand utiliser des exécutions en attente

• Lorsque vous souhaitez exécuter des tests ultérieurement non simultanément, mais continuer à rendre compte de l'état actuel de l'ensemble de tests.
• Lorsque certains tests sont exécutés manuellement tandis que d'autres sont censés s'exécuter automatiquement.
• Lorsque vous souhaitez que les tests exécutés rendent compte de l'état actuel d'un ensemble de tests en incluant les cas de test sélectionnés.

Une exécution de test est indépendante de son ensemble de tests d'origine, tous les cas de test attribués devenant des membres statiques de l'exécution. Créez une exécution en attente pour vous assurer qu'un ensemble spécifique de tests au sein d'un ensemble de tests soit utilisé dans une exécution, même lorsque l'ensemble de test a été mis à jour.

Étapes pour créer une exécution en attente

1. Ouvrez un projet dans Test Manager, puis accédez à Ensembles de test.
2. Sélectionnez Tâches , puis Créer une exécution en attente. Cela va générer une réplique de l'ensemble de tests qui sera prête à être exécutée. L'exécution en attente s'ouvre automatiquement et vous dirige vers Exécution.

Appliquer un ordre d’exécution

Vous pouvez définir une séquence d’exécution spécifique pour les cas de test d’un ensemble de test ou d’une exécution de test. Cette séquence va déterminer l’ordre dans lequel les cas de test s’exécuteront initialement. Cependant, toute modification de l’ordre dans une exécution de test n’affectera pas l’ordre dans l’ensemble de tests. Ainsi, les séquences que vous définissez dans un ensemble de tests et dans une exécution de test fonctionnent de façon indépendante.

Remarque : vous pouvez appliquer un ordre d’exécution spécifique seulement pour les cas de test attribués de façon statique, en faisant se suivre ceux attribués de manière dynamique uniquement lorsque les cas statiques sont terminés.

Étapes

1. Déterminez l’endroit où vous souhaitez réorganiser les cas de test dans votre projet :
   • Dans un ensemble de tests.
   • Dans une exécution de test.
2. Activez le bouton Appliquer l’ordre d’exécution.
   • Accédez à Ensembles de tests, puis à l’onglet Configuration, et sélectionnez le bouton Appliquer l’ordre d’exécution.
   • Si vous souhaitez réorganiser une exécution de test, vous pouvez également accéder à Exécution, puis à l’onglet Paramètres , et activer le bouton Appliquer l’ordre d’exécution .
3. Après avoir activé l’ordre d’exécution, revenez à l’onglet où sont affichés les cas de test. En fonction de l’endroit où vous avez activé l’application, procédez comme suit :
   • Si vous vous trouvez dans les Ensembles de tests, revenez à Cas de test et sélectionnez Réorganiser.
   • Si vous vous trouvez dans Exécution, revenez aux Résultats et sélectionnez Réorganiser.
   La vue Réorganiser les cas de test s’ouvre, à partir de laquelle vous pouvez réorganiser l’ordre des exécutions des cas de test.
4. Faites glisser et déposez des cas de test pour les réorganiser dans l’ensemble de tests ou dans l’exécution de test.
5. Lorsque vous avez terminé de réorganiser les cas de test, sélectionnez Enregistrer.

Lorsque vous exécutez l’ensemble de test, les cas de test s’exécutent dans l’ordre que vous avez précédemment enregistré.

Réexécution des exécutions de test

Si vous exécutez à nouveau une exécution de test, les anciens résultats d'exécution sont supprimés et remplacés par les nouveaux résultats. Si vous ne souhaitez pas remplacer un résultat d'exécution de test, exécutez à nouveau l'ensemble de tests. Cela générera de nouveaux résultats d'exécution de test, indépendants des précédents.

Les rôles d'utilisateur prédéfinis pouvant effectuer des réexécutions sont : Test Manager, Test Executor et Manual Tester.

Réexécution des exécutions d'ensembles de tests

1. Accédez à Exécution et choisissez l’une des options suivantes :
   • Sélectionnez Autres options pour l'exécution de test que vous souhaitez rétablir.
   • Ouvrez l'exécution de test et sélectionnez Tâches.
2. Sélectionnez l'une des options suivantes :
   • Réexécuter manuellement (disponible uniquement pour les exécutions de test manuelles)
   • Réexécuter automatiquement (disponible uniquement pour les exécutions de test automatisées)
   La boîte de dialogue Réexécuter ( Re-execute ) s'affiche.
3. Sélectionnez Confirmer et exécutez les étapes manuelles ou attendez que l’ensemble de tests automatisé se termine.
   Remarque :

   La réexécution des exécutions d’ensembles de tests n’affiche plus la couverture d’activité.

Réexécution des exécutions de cas de test

Vous pouvez réexécuter une ou plusieurs exécutions de cas de test. Pour les cas de test axés sur les données, vous ne pouvez réexécuter qu'une exécution de cas de test à la fois. Vous ne pouvez pas réexécuter en bloc des exécutions de cas de test pilotés par les données.

Remarque : même si vous publiez une version plus récente du cas de test, la version que vous réexécutez est la même version qui est enregistrée dans l'exécution du test.

1. Accédez à Exécution et ouvrez une exécution d'ensemble de test.
2. Cochez les cases d'une ou plusieurs exécutions de cas de test, puis sélectionnez Réexécuter la sélection.
   
   

   

   
   
3. Sélectionnez l'une des options suivantes :
   • Réexécuter manuellement (disponible uniquement pour les exécutions de test manuelles)
   • Réexécuter automatiquement (disponible uniquement pour les exécutions de test automatisées)
   La boîte de dialogue Réexécuter ( Re-execute ) s'affiche.
4. Sélectionnez Confirmer et exécutez les étapes manuelles ou attendez que le cas de test automatisé se termine.

Résoudre les problèmes des exécutions automatisées

L’exécution automatisée n’a pas pu démarrer, car le package n’a pas été trouvé sur Orchestrator. Seuls les cas de test des packages ayant été publiés sur Orchestrator peuvent être exécutés.

Solution

Vous devez publier le package Studio dans Orchestrator. Ce problème se produit lorsqu’un cas de test est relié à Test Manager depuis Studio, mais que le package n’est pas encore publié dans Orchestrator.

Les cas de test n’ont pas pu être exécutés, car aucune version exécutable n’a été trouvée. Seuls les cas de test publiés avec la dernière version du package sur Orchestrator peuvent être exécutés.

Solution

Ce problème se produit lorsque les cas de test d'un ensemble de test ne sont pas publiés dans le dernier package de Studio vers Orchestrator. Vous pouvez obtenir la même erreur lorsqu'il n'y a aucun processus/version trouvé sur Orchestrator pour le package Studio.

L’exécution automatisée n’a pas pu démarrer, car aucun cas de test automatisé n’a été trouvé dans cet ensemble de tests.

Solution

Vous devez avoir au moins un cas de test automatisé pour utiliser Exécuter automatiquement (Execute Automated). Pour plus d'informations, consultez Conditions.

Une erreur s’est produite lors de l’exécution de l’ensemble de tests. Veuillez réessayer.

Solution

Si l'exécution de l'ensemble de tests échoue pour une raison autre que celles spécifiées ci-dessus, obtenez de l'aide des services de support UiPath.