Best Practices und Einschränkungen

Anleitung und Einschränkungen für Autopilot for Testers bei der Anforderungsauswertung, der Testgenerierung, der Konvertierung von Text in Code, Testdaten und Ergebnisanalyse.

Autopilot hilft Ihnen, Aufgaben während Ihres Testlebenszyklus zu automatisieren und zu verbessern. Die folgenden bewährten Methoden und Einschränkungen helfen Ihnen, die Genauigkeit und Benutzerfreundlichkeit von Autopilot for Testers zu verbessern, geordnet nach Funktionen.

Hinweis:

Anforderungsauswertung, manuelle Testgenerierung und Analysieren von Testergebnissen gelten für Test Manager – die vollständige Aufschlüsselung des Bereitstellungsmodells finden Sie auf der Seite zur Verfügbarkeit der Test Manager-Funktion. Das Konvertieren von Text in Code, das Automatisieren von manuellen Tests und das Generieren von Testdaten gelten für Studio und unterliegen ihren eigenen Versionsanforderungen unten.

Anforderungsauswertung

Autopilot wertet die Qualität einer Anforderung aus und schlägt Verbesserungen vor. Die folgenden Richtlinien verbessern die Relevanz und Genauigkeit dieser Auswertungen:

• Klare, vollständige Anforderungen mit messbaren Akzeptanzkriterien führen zu genaueren Auswertungen.
• Gezielte Auswertungen, wie beispielsweise Sicherheits- oder Leistungsprüfungen, geben relevantere Vorschläge zurück.
• Unterstützende Dateien, wie beispielsweise Richtlinien oder Spezifikationen, geben Autopilot zusätzlichen Kontext.

Zusätzliche Anweisungen

Sie können die Auswertung leiten, indem Sie auf dem Bildschirm Zusätzliche Anleitung bereitstellen zusätzliche Anweisungen angeben.

Die Prompt-Bibliothek bietet sofort einsetzbare Prompts, die Anforderungen an leistungsbezogene Aspekte, an sicherheitsbezogene Aspekte sowie unter Gesichtspunkten wie Konsistenz, Klarheit und Vollständigkeit analysieren. Sie können auch Ihre eigenen benutzerdefinierten Prompts zur Prompt-Bibliothek für Softwarequalitätsattribute hinzufügen, die Sie häufig auswerten. Dadurch werden die Auswertungen in Ihrem Team vereinheitlicht.

Um zu steuern, wie viele Verbesserungsvorschläge Autopilot zurückgibt, fügen Sie die Anzahl in Ihre Anweisungen ein, z. B.: „Generieren Sie die 20 wichtigsten Verbesserungsvorschläge für diese Anforderung und ordnen Sie sie nach Priorität ein.“

Begleitdokumente

Unterstützende Dokumente ergänzen die Anforderungsbeschreibung durch zusätzliche Informationen. Autopilot berücksichtigt sowohl die Anforderungsbeschreibung als auch die unterstützenden Dokumente bei der Gestaltung und Auswertung der Anforderung. Außerdem schlägt es Verbesserungen an den Dokumenten selbst vor.

• Sicherheitsrichtlinien – Sicherheitsrichtlinien, Richtliniendokumente oder Ergebnisse von Sicherheitsprüfungen. Autopilot überprüft diese auf Inkonsistenzen in den Dokumenten oder anhand der Sicherheitsaspekte in der Anforderungsbeschreibung.
• Richtlinien zur Barrierefreiheit – Richtlinien zur Barrierefreiheit, Prüfberichte oder Spezifikationen zur Barrierefreiheit für Benutzer. Autopilot überprüft sie auf Übereinstimmung mit Barrierefreiheitskriterien in der Anforderungsbeschreibung.
• Compliance-Checklisten – Compliance-Checklisten, Zusammenfassungen von Vorschriften oder Compliance-Anforderungen der Branche. Autopilot überprüft sie anhand der Compliance-Kriterien in der Anforderungsbeschreibung, um Lücken bei der Einhaltung von Vorschriften zu identifizieren.

Funktionseinschränkungen

Unterstützte Dateitypen

Sie können Dateien in den folgenden Formaten hochladen:

• Verarbeitet nur Textinhalt – TXT, BPMN, CSV
• Verarbeitet sowohl Text- als auch Bildinhalte – DOCX, XLSX, PNG, JPG, PDF

Kapazität des Eingabetokens

Die Eingabetokenkapazität von Autopilot beträgt 128.000 Token, was ungefähr 96.000 Wörtern oder 512.000 Zeichen entspricht. Bewahren Sie Ihre Anforderungsbeschreibung und die unterstützenden Dokumente innerhalb dieses Limits auf. Dies ist ein Limit auf Produktebene, das von den Limits für Kontextfenster und Ausgabetoken des zugrunde liegenden Modells getrennt ist – diese finden Sie unter Unterstützte Modelle und Limits.

Tipp:

Als Annäherung entsprechen 100 Token ungefähr 75 Wörtern oder 400 Zeichen.

Um die Tokenanzahl eines Dokuments einzuschätzen, speichern Sie es als TXT-Datei und fügen Sie den Inhalt in das OpenAI Tokenizer-Tool ein. Das Ergebnis ist ungefähr, und die tatsächliche Anzahl kann höher sein.

Generieren von Vorschlägen

Autopilot generiert maximal 50 Vorschläge gleichzeitig. Wenn Sie keine Zahl angeben, generiert Autopilot die 15 wichtigsten Vorschläge.

Manuelle Testgenerierung

Autopilot generiert manuelle Testfälle und Testschritte aus Anforderungen und unterstützenden Dokumenten. Die Testqualität hängt stark von der Qualität der von Ihnen bereitgestellten Anforderung ab.

Anforderungsbeschreibung

Eine gut geformte Anforderung beschreibt ihren Zweck, die Anwendungslogik und klare Akzeptanzkriterien. Anforderungen beziehen sich häufig auf Qualitätsaspekte wie Funktionalität, Leistung, Benutzerfreundlichkeit und Sicherheit.

Anforderungszweck

Autopilot basiert auf Spezifität. Breit gefächerte oder vage Beschreibungen können zu irrelevanten oder falschen Testfällen führen. Beginnen Sie mit einer prägnanten, benutzerorientierten Beschreibung des Zwecks der Anforderung, die den Nutzen für den Benutzer hervorhebt.

Beispiel: „Als potenzieller Versicherungsnehmer möchte ich meine Versicherungsprämien berechnen, damit ich meine potenziellen Kosten einschätzen kann.“

Anwendungslogik

Die Genauigkeit der generierten Testschritte hängt davon ab, wie gut Autopilot die Benutzererfahrung und die Anwendungssequenz versteht. Beschreiben Sie die spezifischen Interaktionen, die der Benutzer mit der Anwendung hat, sowie die Antworten der Anwendung, vom Start des Ablaufs bis zur endgültigen Testaktion.

Beispiel: „Der Benutzer startet auf dem Hauptbildschirm und navigiert über das Hauptmenü zum Bildschirm „Angebot abrufen“. Sie geben ihre persönlichen Daten ein, einschließlich Alter und Geschlecht, und wählen anschließend den gewünschten Versicherungsschutz und die gewünschte Vertragslaufzeit aus. Wenn die Benutzer „Prämie berechnen“ auswählen, berechnet die Anwendung die Prämie und zeigt sie auf dem nächsten Bildschirm an.

Akzeptanzkriterien

Klare, messbare Akzeptanzkriterien leiten Autopilot bei der Überprüfung bestimmter Ergebnisse. Decken Sie sowohl positive als auch negative Szenarien ab, einschließlich ungültiger Eingabe und Fehlerzustände, sowie nicht-funktionale Faktoren wie Sicherheit, Benutzerfreundlichkeit und Skalierbarkeit. Ohne Akzeptanzkriterien kann Autopilot unzureichende Testfälle generieren.

Beispiele:

• „Das System berechnet die Prämie basierend auf dem Alter des Benutzers. Für jedes Jahr über 25 wird die Grundprämie von 100 € um 5 € ergänzt.“
• „Das System erhöht die Prämie für Raucher aufgrund des höheren Gesundheitsrisikos um 50 €.“
• „Wenn der Benutzer ein Alter unter 18 Jahren eingibt, zeigt das System eine Fehlermeldung an.“
• „Die Prämienberechnung ist innerhalb von 3 Sekunden abgeschlossen, wenn die Anzahl der gleichzeitigen Benutzer 1.000 oder weniger beträgt.“

Zusätzliche Anweisungen

Sie können die Generierung gezielter gestalten, indem Sie auf dem Bildschirm Zusätzliche Anleitung bereitstellen zusätzliche Anweisungen eingeben.

Die Prompt-Bibliothek bietet sofort einsetzbare Prompts, die End-to-End-Testfälle aus Flussdiagrammen generieren, Tests für gültige End-to-End-Szenarien generieren und Tests generieren, die schwer fassbare Probleme aufdecken. Sie können auch Ihre eigenen benutzerdefinierten Prompts für Szenarien hinzufügen, die Sie häufig generieren.

Standardmäßig generiert Autopilot Testfälle mit folgendem Verhalten:

• Erwartete Ergebnisse werden nur für den letzten Testschritt in jedem Testfall generiert. Um erwartete Ergebnisse für jeden Schritt zu generieren, fügen Sie eine Anweisung hinzu, zum Beispiel, „Erwartete Ergebnisse für jeden Testschritt generieren“.
• Vorbedingungen und Nachbedingungen werden nur auf Anforderung generiert; geben Sie an, was enthalten sein soll, da diese Bedingungen nicht standardmäßig generiert werden.
• Die Anzahl der Testfälle ist nicht fest – fügen Sie die Anzahl in Ihre Anweisungen ein, z. B.: „Generieren Sie die 20 wichtigsten Testfälle für diese Anforderung.“

Begleitdokumente

Unterstützende Dokumente ergänzen die Anforderungsbeschreibung und helfen Autopilot, genauere Testfälle zu generieren.

• Prozessdiagramme – Verwenden Sie Falldiagramme, Flussdiagramme und Prozessdiagramme als Bilder oder BPMN-Dateien. Sie helfen Autopilot, dem sequenziellen und logischen Ablauf der Benutzeraktivitäten zu folgen.
• Mockups und Wireframes – Visuelle Diagramme Ihrer UI/UX-Anforderungen. Sie klären das Layout, die Benutzerinteraktionen und die zu testenden Elemente, was beim Testen neuer Frontend-Funktionen nützlich ist.
• Compliance-Dokumente – Compliance-Dokumente und regulatorische Dokumente für regulierte Branchen wie Gesundheitswesen, Finanzwesen oder Telekommunikation. Autopilot integriert diese Standards in jeden generierten Testfall, nicht nur in diejenigen, die mit bestimmten Compliance-Kriterien verknüpft sind.
• Diskussionstranskripte – Transkripte der Anforderungsdiskussionen zwischen Entwicklern, Produkteigentümern und Testern. Sie vermitteln, wie das Team eine Anforderung interpretiert oder plant, sie zu implementieren.

Funktionseinschränkungen

Unterstützte Dateitypen

Sie können Dateien in den folgenden Formaten hochladen:

• Verarbeitet nur Textinhalt – TXT, BPMN, CSV
• Verarbeitet sowohl Text- als auch Bildinhalte – DOCX, XLSX, PNG, JPG, PDF

Kapazität des Eingabetokens

Die Eingabe-Token-Kapazität von Autopilot beträgt 128.000 Token, was ungefähr 96.000 Wörtern oder 512.000 Zeichen entspricht. Halten Sie Ihre Anforderungsbeschreibung und die unterstützenden Dokumente innerhalb dieses Limits. Dies ist ein Limit auf Produktebene, das unabhängig vom Kontextfenster- und dem Output-Token-Limit des zugrunde liegenden Modells ist. Diese finden Sie unter Unterstützte Modelle und Limits. Um die Token-Anzahl zu schätzen, verwenden Sie die unter Anforderungsauswertung beschriebene Anleitung des Tokenizers.

Generierung von Testfällen

Autopilot generiert maximal 50 Testfälle gleichzeitig. Wenn Sie keine Anzahl angeben, generiert Autopilot 10 Testfälle.

Konvertieren von Text in Code

Autopilot konvertiert Prompts in natürlicher Sprache in Code innerhalb der in Studio codierten Automatisierungen. Verwenden Sie die Aktion Code generieren aus dem Kontextmenü einer codierten Automatisierung, um einen Prompt in Code zu konvertieren. Autopilot kann C#-Code generieren, vorhandenen Code überarbeiten und eine UiPath-Automatisierung generieren. Die verfügbaren Methoden finden Sie unter Code generieren.

Hinweis:

Um Text in Code umzuwandeln, verwenden Sie Studio Version 2024.10.1 oder höher.

Für bessere Ergebnisse:

• Geben Sie die Sprache und das Ziel an, z. B. „Diese C#-Methode umgestalten“.
• Halten Sie Prompts kurz und direkt.

Beispiele für Eingabeaufforderungen

• „Refaktorieren Sie die untenstehende Methode und machen Sie sie leistungsfähiger.“
• „Erstellen Sie eine Methode, um zwei Zeichenfolgen auf Ähnlichkeit zu vergleichen, mit den Eingabeparametern „string1“ und „string2“.“
• „Wählen Sie „Produkte“ aus.“
• „Auftrag ‚myDemoJob‘ im Orchestrator ausführen.“

Automatisieren von manuellen Tests

Nachdem Sie Studio mit Test Manager verknüpft haben, zeigt der Test Explorer in Studio Desktop alle Testfälle in Ihrem Test Manager-Projekt an, sowohl automatisierte als auch manuelle. Autopilot wandelt manuelle Testfälle in automatisierte um. Weitere Informationen finden Sie unter Erstellen eines codierten Testfalls aus einem manuellen Testfall und Erstellen eines Low-Code-Testfalls aus einem manuellen Testfall.

Hinweis:

Um manuelle Tests zu automatisieren, verwenden Sie Studio Desktop-Version 2024.10.1 oder höher.

Bereiten Sie ein konsistentes Object-Repository vor

Autopilot verwendet UI Automation, um manuelle Testschritte in automatisierte Schritte umzuwandeln. Um auf die zu testenden UI-Elemente zu verweisen, benötigt Autopilot eine Object-Repository-Referenz für jedes einzelne Element. Verwenden Sie identische Steuerelementnamen in Ihren manuellen Testschritten und in Ihrem Object-Repository.

Für den manuellen Schritt „Wählen Sie 'Kreditantrag einreichen'“ generiert Autopilot beispielsweise eine Aktivität Auswählen und sucht nach einem Object-Repository-Element mit dem Namen Kreditantrag einreichen. Konsistente Namen der Steuerelemente erleichtern die Konvertierung.

Tipp:

Die Generierungsgenauigkeit verschlechtert sich merklich, wenn das Objekt-Repository unvollständig ist, insbesondere bei komplexen Anwendungen wie SAP. Um bessere Ergebnisse zu erzielen, konfigurieren Sie ein vollständiges Objekt-Repository oder verwenden Sie Studio 25.10 oder höher mit Autopilot Chat-basierter Testfallgenerierung anstelle des Test Explorer-Flows.

Verwenden Sie gängige Aktivitätsnamen

Ein typischer manueller Testschritt, wie z. B. „Geben Sie '[e-mail]' in das Feld 'E-Mail' ein", enthält eine Aktion („Eingeben", erkannt als Eingeben in-Aktivität), Daten ('[e-mail]') und ein Ziel ('E-Mail', erkannt als das Object-Repository-Element).

In der folgenden Tabelle sind die zu verwendenden manuellen Schritt-Verben sowie die Studio-Aktivitäten und die codierten Automatisierungs-APIs aufgeführt, denen sie zugeordnet sind.

Manueller Testschritt	UiPath-Aktivität	Von UiPath codierte Automatisierungs-API
„’Select’ auf ’Meine Schaltfläche’“	Auswählen	Auswählen
„Geben Sie ‚Hello World‘ in ‚Mein Textfeld‘ ein.“	Eingeben in (Type Into)	Eingeben in (Type Into)
„Text aus ‚Meine Beschriftung‘ abrufen.“	Text erhalten (Get Text)	GetText
„‚Mein Kontrollkästchen‘ ‚aktivieren‘.“	Prüfen (Check)	Prüfen (Check)
„Element ‚3 Jahre‘ aus ‚Kreditlaufzeit‘ auswählen.“	Objekt auswählen (Select Item)	Objekt auswählen (Select Item)

Formularausfüllen automatisieren

Für ein Formular, das eine Dateneingabe erfordert, verwenden Sie das Schlüsselwort „Formular ausfüllen“, damit Autopilot es automatisiert.

Hinweis:

Diese Funktion ist nur beim Generieren eines codierten Testfalls verfügbar.

Zum Beispiel für den Schritt „Füllen Sie das Formular auf dem Bildschirm mit dem Namen 'myFormScreen' mit den folgenden Werten aus: E-Mail: '[e-mail]', Kreditbetrag: '10000', Kreditlaufzeit: '3'“, Autopilot führt den Befehl „Formular ausfüllen“ in Ihrer codierten Automatisierung aus und füllt die Werte in den identifizierten Steuerelementen im Formular aus.

Generieren von Testdaten

Autopilot generiert synthetische Testdaten für Ihre Testfälle. Da die Testdatenverwaltung bis zu 50 % des Testaufwands in Anspruch nehmen kann, kann dies erheblich Zeit sparen.

Hinweis:

Um synthetische Testdaten zu generieren, verwenden Sie Studio Desktop Version 2024.10.1 oder höher.

Erstellen Sie Argumente für Ihre Datenfelder

Beim Generieren von Testdaten berücksichtigt Autopilot die vorhandenen Argumente in Ihrem Workflow zusammen mit den Anweisungen in Ihrem Prompt und strebt eine hohe Abdeckung im Testfall an. Verwenden Sie Argumente, wo immer dies möglich ist, anstelle von lokalen Variablen oder festen String-Werten, damit die generierten Daten an die dynamischen Anforderungen Ihres Workflows angepasst werden.

Wählen Sie eine Datenkombinationsmethode aus

Standardmäßig generiert Autopilot ungefähr 10 Datensätze mit dem Ziel einer hohen Code- oder Aktivitätsabdeckung. Wenn Ihre Teststrategie einen bestimmten Algorithmus erfordert, z. B. paarweise oder alle Kombinationen, fügen Sie ihn in Ihren Prompt ein, z. B.: „Generieren Sie Testdaten für jedes Argument und kombinieren Sie die Datenfelder paarweise.“

Passen Sie Ihren Dataset an

Sie können Autopilot anweisen, andere Aufgaben auszuführen, z. B. eine bestimmte Anzahl von Datensätzen zu generieren oder zusätzliche Felder hinzuzufügen. Zum Beispiel:

• „Generieren Sie mindestens 25 Datensätze.“
• „Fügen Sie das Feld ‚Land‘ in das Dataset ein und weisen Sie jedem Datensatz einen eindeutigen Länderwert zu.“

Analysieren von Testergebnissen

Autopilot bietet Insights in fehlgeschlagene Testfälle und Empfehlungen zur Reduzierung der Fehlerquote in Ihrem Testportfolio. Je mehr Testergebnisse Sie bei der Generierung des Berichts einbeziehen, insbesondere fehlgeschlagene Testfälle, desto effektiver sind die Insights. Das Ziel besteht darin, die Hauptgründe für das Fehlschlagen Ihrer Tests zu verstehen.

Jeder Berichtsabschnitt deckt einen Bereich Ihrer Testergebnisse ab:

• Häufige Fehler – Gruppiert ähnliche Fehlermeldungen semantisch, um die häufigsten Probleme hervorzuheben.
• Fehlermuster – Kategorisiert fehlgeschlagene Testfälle in umfassendere Themen, um wiederkehrende und systemische Probleme aufzuzeigen.
• Empfehlungen – Liefert umsetzbare Empfehlungen, die Sie bei Ihren nächsten Schritten zur Stabilisierung der Testausführung unterstützen.