Génération de tests optimisée par l’IA

Important :

Cette fonctionnalité fait actuellement partie d'un processus d'audit et ne doit pas être considérée comme faisant partie de l'autorisation FedRAMP tant que la révision n'est pas finalisée. Consultez ici la liste complète des fonctionnalités en cours de révision.

Cette page répertorie les principes de base et les bonnes pratiques pour générer efficacement des cas de test en utilisant Autopilot^TM dans Test Manager.

Description des exigences

Cette section décrit les principales caractéristiques d’une exigence dans Test Manager.

Les exigences impliquent souvent des capacités spécifiques liées à des aspects qualitatifs tels que les aspects fonctionnels (ce que le logiciel doit faire), les performances (la vitesse de fonctionnement), l’utilisabilité (la facilité d’utilisation), la protection (la sécurité de l’exécution), etc.

1. L’objectif de l’exigence

Les modèles d’IA tels que Autopilot^TM se fondent sur la spécificité pour interpréter correctement les exigences. Des descriptions trop générales ou approximatives peuvent conduire à des cas de test peu pertinents ou incorrects. Pour atténuer ce problème, commencez par un énoncé concis mais précis, axé sur l’utilisateur, qui décrit l’objectif de l’exigence. Concentrez-vous sur l’avantage final pour l’utilisateur.

Exemple : pour une demande d’assurance vie, vous pouvez commencer par :

« En tant qu’assuré potentiel, je souhaite calculer mes primes d’assurance afin de calculer mes dépenses potentielles ».

Cela permet de préciser l’avantage attendu par l’utilisateur et d’identifier un objectif précis pour tester cette exigence.

2. Logique d’application

L’efficacité de Autopilot^TM pour générer des étapes de test précises et détaillées dépend en grande partie de sa compréhension du parcours de l’utilisateur et de la séquence d’application. Il est ainsi crucial de détailler les interactions spécifiques que l’utilisateur avec l’application, ainsi que les réponses ultérieures de l’application (du début de l’application jusqu’à l’action de test finale). Cela permettra à Autopilot^TM de comprendre l’ordre chronologique des opérations, conduisant à des étapes de test plus précises et plus détaillées.

Exemple : pour la fonctionnalité de calcul des primes d’assurance, décrivez le workflow comme suit :

« L’utilisateur commence par l’écran principal, puis accède à l’écran ’Obtenir un devis’ via le menu principal. Il saisit ensuite ses données personnelles, notamment son âge et son sexe, dans les champs correspondants du formulaire. Il sélectionne une couverture d’assurance et une durée de contrat parmi les options disponibles. Lorsque l’utilisateur clique sur ’Calculer la prime’, l’application calcule et affiche la prime sur l’écran suivant. »

3. Critères d’acceptation

Des critères d’acceptation clairs et mesurables sont essentiels pour définir les attentes de l’application et guider Autopilot^TM dans sa vérification de résultats précis. Ils doivent englober des scénarios positifs et négatifs, y compris des situations où les utilisateurs peuvent ne pas suivre l’utilisation prescrite, où ils peuvent saisir des données non valides, ou encore lorsque l’application est en état d’erreur. Les critères doivent également prendre en compte des facteurs non fonctionnels tels que la sécurité, la convivialité et l’évolutivité. Si les critères d’acceptation ne sont pas bien définis, Autopilot^TM peut générer des cas de test inadéquats.

Exemple : pour la fonction de calcul de la prime dans notre demande d’assurance vie, spécifiez des critères d’acceptation concrets, comme dans l’un des exemples suivants :

• « Le système doit calculer la prime en tenant compte de l’âge de l’utilisateur. Pour chaque année après 25 ans, un incrément de 5 $ doit être ajouté à la prime de base de 100 $ »
• « Le système doit augmenter la prime de 50 $ pour les fumeurs en raison des risques de santé plus élevés qui leur sont associés »
• « Si l’utilisateur saisit un âge inférieur à 18 ans, le système doit afficher un message d’erreur »
• « Le processus de calcul de la prime ne doit pas prendre plus de 3 secondes lorsque le nombre d’utilisateurs simultanés est inférieur ou égal à 1000 »

Instructions supplémentaires

Cette section fournit des exemples d’instructions supplémentaires que vous pouvez fournir à Autopilot^TM afin qu’il puisse se concentrer sur les aspects devant être pris en compte lors de la génération des cas de test.

Vérification du flux de bout en bout

Consultez la liste suivante pour découvrir les instructions que vous pouvez donner à Autopilot lorsque vous générez des cas de test de bout en bout à partir de diagrammes de flux :

• Vérifiez chaque chemin unique dans le diagramme de flux en tant que cas de test distinct.
• Concentrez-vous exclusivement sur les tests des chemins de bout en bout dans le diagramme.
• Veillez à ce que chaque cas de test représente un parcours complet du début à la fin.
• Assurez une couverture complète en testant chaque parcours complet dans le diagramme.

Génération rapide d’idées de test

Consultez la liste suivante contenant des instructions que vous pouvez donner à Autopilot afin de générer une multitude d’idées, pour des tests rapides :

• Ne créez aucune étape de test, mais uniquement des titres de cas de test.
• Limitez les titres des cas de test à un maximum de 12 mots.
• Créez un minimum de 50 cas de test créatifs.

Détection de problèmes difficiles à identifier

Consultez la liste d’instructions suivantes que vous pouvez fournir à Autopilot pour générer des cas de test pour déceler les problèmes les plus difficiles à cerner :

• Générez uniquement des scénarios de test inhabituels mais plausibles, afin de révéler des problèmes cachés.
• Concentrez-vous sur des scénarios de test souvent omis dans les tests standard, qui nécessitent des informations plus détaillées.
• Remettez en question les hypothèses de conception du système et de comportement des utilisateurs pour trouver les points faibles.
• Utilisez un large éventail de comportements utilisateur, y compris des comportements inhabituels, pour découvrir les problèmes.

Respect de la convention d’affectation de noms

Consultez la liste d’instructions suivantes que vous pouvez fournir à Autopilot pour générer des cas de test avec une convention d’affectation de noms.

• Commencez chaque titre de cas de test par le verbe d’action « Vérifier ».
• Ne dépassez pas cinq mots dans vos titres, en veillant à ce que ceux-ci soient clairs et informatifs.
• Inclure « UiPath | TC-01 » au début de chaque titre de cas de test : « TC-01 » désignera le numéro de votre cas de test au début de chaque titre de cas de test.

Scénario valide de test de bout en bout

Consultez la liste d’instructions suivantes que vous pouvez fournir à Autopilot afin de générer des cas de test uniquement pour des scénarios de bout en bout valides.

• Créez des cas de test exclusivement pour des parcours d’utilisateurs valides et complets.
• Évitez les cas de test pour les validations d’entrée ou de champ non valides.
• Ne dépassez pas cinq mots pour vos titres de cas de test, en veillant à ce qu’ils soient clairs et informatifs.

Test de valeur limite

Les instructions suivantes peuvent être fournies à Autopilot pour générer des cas de test se concentrant sur des tests de valeur limite.

• Définissez des plages valides et identifiez les valeurs minimales, maximales et limites pour chaque entrée.
• Concentrez-vous sur ces valeurs limites, y compris à l’intérieur et à l’extérieur des plages valides.
• Couvrez les limites de plage la plus basse, la plus élevée et les subdivisions dans vos cas de test.
• Assurez-vous que toutes les limites des champs d’entrée de l’application sont testées.

Documents d’assistance

Cette section répertorie les documents d’assistance que vous pouvez fournir à Autopilot^TM. Ces documents constituent des informations supplémentaires qui complètent la description d’une exigence dans Test Manager. Ils sont destinés à améliorer la compréhension d’une exigence par Autopilot et lui permet de générer des cas de test plus précis et plus utiles concernant une exigence.

Diagrammes de processus

Pour illustrer les opérations étape par étape dans l’application, vous pouvez inclure des diagrammes de cas d’utilisation, des organigrammes ou des diagrammes de processus sous forme d’images ou de fichiers BPMN. Les diagrammes de processus permettent à Autopilot de comprendre le flux séquentiel et logique des activités utilisateur les plus importantes pour l’exigence concernée. Grâce à ces représentations de processus, Autopilot peut générer des cas de test plus précis, qui s’aligneront sur les workflows réels de l’application.

Maquettes et wireframes

Pour faciliter la compréhension de Autopilot, vous pouvez ajouter des diagrammes visuels représentatifs de vos exigences en matière d’interface utilisateur/d’expérience utilisateur. Ceci est particulièrement utile lorsque vous testez de nouvelles fonctionnalités front-end et vous permettra de clarifier la mise en page, les interactions utilisateur et les éléments à tester.

Documents de conformité

Dans les secteurs soumis à d’importantes réglementations tels que la santé, les finances ou les communications, pensez à inclure des documents relatifs à la conformité et aux réglementations. Ces directives s’appliquent souvent de manière universelle à différentes exigences dans Test Manager (user stories, cas d’utilisation, etc.). En chargeant ces documents, vous permettez à Autopilot d’intégrer des normes de conformité aux cas de test qu’il va générer pour chaque exigence, et non uniquement à ceux directement liés à des critères de conformité spécifiques. Cette approche permet de veiller à ce que tous les cas de test respectent les réglementations du secteur et que la conformité sera systématiquement respectée pour l’ensemble des exigences testées par Autopilot.

Transcriptions de discussions

Vous pouvez également inclure une transcription de discussions relatives à des exigences spécifiques. Ces discussions peuvent provenir d’une réunion ou d’une session virtuelle via une plate-forme en ligne et impliquer des développeurs, des propriétaires de produits et des testeurs. Les transcriptions fourniront à Autopilot des informations sur la façon dont les membres de l’équipe interprètent ou prévoient de mettre en œuvre une exigence, fournissant ainsi des éléments de contexte qui peuvent considérablement améliorer la précision des cas de test générés.

Limites fonctionnelles

Cette section décrit les limitations actuelles de Autopilot^TM.

Types de fichiers pris en charge

Vous pouvez uniquement charger des fichiers avec les extensions suivantes, dans lesquels Autopilot traitera uniquement le contenu textuel :

• DOCX
• XLSX
• TXT
• PNG
• JPG
• PDF
• BPMN

Remarque : Autopilot traite uniquement le contenu textuel des fichiers. Les images des fichiers ne sont pas traitées.

Capacité de jetons d’entrée

La capacité maximale du jeton d’entrée sur Autopilot est de 128 000, ce qui équivaut à environ 96 000 mots ou 512 000 caractères.

Veillez à ce que la description de vos exigences et les documents d’assistance ne dépassent pas les limites suivantes.

Astuce : d’après nos observations, 100 jetons correspondent environ à 75 mots ou 400 caractères.

Pour vérifier le nombre approximatif de jetons de vos documents, ouvrez le document sous forme de fichier TXT et copiez le contenu dans l’outil Open AI de générateur de jetons. Le nombre de jetons indiqué est approximatif. Il est possible que le nombre réel soit plus élevé.

Générateur de cas de test

Autopilot peut actuellement générer un maximum de 50 cas de test à la fois. Si le nombre de cas de test à générer n’a pas été spécifié, Autopilot génèrera 10 cas de test.