Évaluation de tests optimisée par l’IA

Important :

Cette fonctionnalité fait actuellement partie d'un processus d'audit et ne doit pas être considérée comme faisant partie de l'autorisation FedRAMP tant que la révision n'est pas finalisée. Consultez ici la liste complète des fonctionnalités en cours de révision.

Cette page présente des instructions pour évaluer les exigences dans Test Manager.

Instructions supplémentaires

Cette section propose des exemples d’instructions supplémentaires que vous pouvez fournir à Autopilot^TM.

Audit multidimensionnel

Les instructions suivantes peuvent être fournies à Autopilot pour analyser les exigences à partir de différents points de vue :

« Génère les 10 premières suggestions d’amélioration en prenant en compte différentes considérations :

• Flux d’utilisateurs : recherche des informations détaillées sur le flux d’utilisateurs et la logique d’application.
• Cohérence : vérifie la cohérence logique et l’absence de contradictions.
• Pertinence : vérifie si l’exigence correspond clairement aux besoins de l’utilisateur.
• Justification : vérifie que la raison d’être de l’exigence a été spécifiée, ainsi que le problème qu’elle doit résoudre.
• Clarté : vérifie la précision et la clarté de la description de l’exigence.
• Critères : vérifie qu’il existe des critères d’acceptation mesurables et réalisables.
• Intégralité : vérifie que toutes les fonctionnalités critiques ont été incluses.
• Prérequis : note les prérequis manquants ou les conditions nécessaires avant l’implémentation.
• Sécurité : vérifie si l’exigence répond correctement aux problèmes de sécurité et de confidentialité.
• Conformité : vérifie tout problème potentiel de conformité juridique et réglementaire.
• Éthique : vérifie si les exigences favorisent un comportement juste et responsable.
• Terminologie : vérifie l’utilisation d’une langue claire, inclusive et universellement comprise.
• Performances : vérifie que les métriques et les points de référence des performances sont clairs. »

Évaluation de la sécurité

Les instructions suivantes peuvent être fournies à Autopilot pour les exigences relatives aux aspects de sécurité.

« Génère les 10 premières suggestions d’amélioration en te concentrant uniquement sur les problématiques de sécurité :

• Accès : vérifie si les utilisateurs pouvant accéder à l’application ont été clairement définies, et dans quelles conditions.
• Protection : vérifie si le chiffrement, l’anonymisation et des mesures de stockage sécurisés ont été définis.
• Authentification : vérifie si des vérifications d’identité et des contrôles des autorisations ont été inclus.
• Vulnérabilité : vérifie si les mesures contre les vulnérabilités connues sont résolues.
• Transmission : vérifie si des transmissions chiffrées de données sont requises.
• Journalisation : vérifie si des conditions détaillées de journalisation et de surveillance ont été spécifiées.
• Conformité : vérifie si les normes de sécurité adéquates sont respectées.
• Erreurs : vérifie si des pratiques sécurisées de gestion des erreurs ont été spécifiées.
• Réponse : vérifie s’il existe des protocoles pour répondre aux incidents de sécurité. »

Évaluation des performances

Les instructions suivantes peuvent être fournies à Autopilot afin d’analyser les exigences relatives aux problématiques de performances.

« Génère les 10 premières suggestions d’amélioration en te concentrant uniquement sur les problématiques de performance :

• Temps : vérifie si des temps de réponse spécifiques à différentes conditions de charge ont été détaillés.
• Débit : vérifie si les niveaux de débit attendus ont été clairement spécifiés.
• Évolutivité : vérifie si l’exigence prend en compte les problématiques d’évolutivité par rapport à des charges de plus en plus importantes.
• Utilisation des ressources : vérifie si des limites d’utilisation du processeur, de la mémoire et du stockage ont été définies.
• Efficacité : vérifie si l’exigence favorise une utilisation efficace des ressources.
• Gestion de la charge : vérifie si des stratégies de gestion des conditions de charge maximale ont été définies.
• Simultanéité : vérifie si des comportements ont été spécifiés pour les scénarios Concurrent User.
• Latence : vérifie si les chiffres de latence maximale acceptable ont été clairement spécifiés.
• Stabilité : vérifie si la stabilité en situation de pression est garantie.
• Capacité : vérifie si des limites de capacité maximale du système ont été spécifiées. »

Documents d’assistance

Cette section répertorie différents types de documents d’assistance que vous pouvez fournir à Autopilot^TM. Vous pouvez considérer ces documents comme des informations supplémentaires qui amélioreront la description d’une exigence dans Test Manager. Comme ces documents complètent la description des prérequis, Autopilot propose également des suggestions afin d’améliorer leur qualité. De manière générale, la définition de votre prérequis sera déterminée par la description de l’exigence ainsi que par l’ensemble des documents complémentaires associés.

Instructions de sécurité

Pensez à fournir des instructions de sécurité, des politiques ou des résultats d’audit de sécurité. Autopilot examinera ces documents pour rechercher les incohérences ou les différences à l’intérieur de ces documents ou entre eux, ainsi que les aspects de sécurité formulés dans la description de l’exigence, afin de s’assurer que les critères de sécurité soient à la fois complets et précisément représentés.

Instructions d’accessibilité

Vous pouvez fournir des directives d’accessibilité, des rapports d’audit ou des spécifications d’accessibilité des utilisateurs. Autopilot évaluera ces documents complémentaires afin de vérifier leur conformité aux critères d’accessibilité indiqués dans la description des exigences. Cette évaluation permet de confirmer que les directives ont été efficacement intégrées dans l’exigence et ne comportent aucune contradiction.

Listes de contrôle de conformité

Vous pouvez fournir des listes de contrôle de conformité, des synthèses de réglementations ou des exigences de conformité relatives à votre secteur d’activité. Autopilot évaluera ces listes de contrôle pour s’assurer qu’elles respectent les critères de conformité décrits dans la description des exigences. Cela permettra d’identifier toute incohérence ou toute faille potentielle dans l’application des réglementations.

Limites fonctionnelles

Cette section décrit les limitations actuelles de Autopilot^TM.

Types de fichiers pris en charge

Vous pouvez uniquement charger des fichiers avec les extensions suivantes, dans lesquels Autopilot traitera uniquement le contenu textuel :

• DOCX
• XLSX
• TXT
• PNG
• JPG
• PDF
• BPMN

Remarque : Autopilot traite uniquement le contenu textuel des fichiers. Les images des fichiers ne sont pas traitées.

Capacité de jetons d’entrée

La capacité de jetons d’entrée sur Autopilot est de 128 000 jetons, ce qui équivaut à environ 96 000 mots ou 512 000 caractères.

Veillez à ce que la description de vos exigences et les documents d’assistance ne dépassent pas les limites suivantes.

Astuce : d’après nos observations, 100 jetons correspondent environ à 75 mots ou 400 caractères.

Pour vérifier le nombre approximatif de jetons de vos documents, ouvrez le document sous forme de fichier TXT et copiez le contenu dans l’outil Open AI de générateur de jetons. Le nombre de jetons indiqué est approximatif. Il est possible que le nombre réel soit plus élevé.

Génération de suggestions

Autopilot peut générer un nombre maximum de 50 suggestions à la fois. Si aucun nombre de suggestions n’est spécifié, Autopilot génèrera les 15 premières suggestions.