Best Practices und Einschränkungen

Anleitung und Einschränkungen für Autopilot for Testers in Bezug auf Anforderungsauswertung, Testgenerierung, Text-in-Code-Konvertierung, Testdaten und Ergebnisanalyse.

Autopilot hilft Ihnen, Aufgaben in Ihrem Testlebenszyklus zu automatisieren und zu verbessern. Die folgenden Best Practices und Einschränkungen helfen Ihnen, die Genauigkeit und Benutzerfreundlichkeit von Autopilot for Testers zu verbessern, geordnet nach Funktionen.

Hinweis:

Anforderungsauswertung, manuelle Testgenerierung und Analysieren von Testergebnissen gelten für Test Manager – die vollständige Aufschlüsselung des Bereitstellungsmodells finden Sie auf der Seite zur Verfügbarkeit der Test Manager-Funktion. Das Konvertieren von Text in Code, das Automatisieren von manuellen Tests und das Generieren von Testdaten gelten für Studio und unterliegen ihren eigenen Versionsanforderungen unten.

Anforderungsauswertung

Autopilot bewertet die Qualität einer Anforderung und schlägt Verbesserungen vor. Die folgenden Richtlinien verbessern die Relevanz und Genauigkeit dieser Bewertungen:

• Klare, vollständige Anforderungen mit messbaren Akzeptanzkriterien führen zu genaueren Bewertungen.
• Fokussierte Bewertungen wie Sicherheits- oder Leistungsprüfungen liefern relevantere Vorschläge.
• Unterstützende Dateien wie Richtlinien oder Spezifikationen geben Autopilot zusätzlichen Kontext.

Zusätzliche Anweisungen

Sie können die Auswertung steuern, indem Sie zusätzliche Anweisungen auf dem Bildschirm „Zusätzliche Anweisungen“ bereitstellen.

Die Prompt-Bibliothek bietet sofort einsatzbereite Prompts, die Anforderungen hinsichtlich leistungsbezogener und sicherheitsbezogener Aspekte sowie aus Perspektiven wie Konsistenz, Klarheit und Vollständigkeit analysieren. Sie können auch Ihre eigenen benutzerdefinierten Prompts zur Prompt-Bibliothek für Softwarequalitätsattribute hinzufügen, die Sie häufig auswerten, wodurch Bewertungen in Ihrem Team standardisiert werden.

Um zu steuern, wie viele Verbesserungsvorschläge Autopilot zurückgibt, fügen Sie die Anzahl in Ihre Anweisung ein, z. B. „Generieren Sie die 20 wichtigsten Verbesserungsvorschläge für diese Anforderung und ordnen Sie sie nach Priorität ein.“

Begleitdokumente

Unterstützende Dokumente ergänzen die Anforderungsbeschreibung mit zusätzlichen Informationen. Autopilot berücksichtigt sowohl die Anforderungsbeschreibung als auch die unterstützenden Dokumente bei der Erstellung und Bewertung der Anforderung und schlägt auch Verbesserungen an den Dokumenten selbst vor.

• Sicherheitsrichtlinien – Sicherheitsrichtlinien, Richtliniendokumente oder Ergebnisse von Sicherheitsprüfungen. Autopilot überprüft sie auf Inkonsistenzen innerhalb der Dokumente oder auf die Sicherheitsaspekte in der Anforderungsbeschreibung.
• Richtlinien zur Barrierefreiheit – Richtlinien zur Barrierefreiheit, Prüfungsberichte oder Spezifikationen zur Barrierefreiheit für Benutzer. Der Autopilot prüft sie auf die Zugangskriterien in der Anforderungsbeschreibung.
• Compliance-Checklisten – Compliance-Checklisten, regulatorische Zusammenfassungen oder Branchen-Compliance-Anforderungen. Autopilot prüft sie anhand der Konformitätskriterien in der Anforderungsbeschreibung, um Lücken bei der Einhaltung der Vorschriften zu erkennen.

Funktionseinschränkungen

Unterstützte Dateitypen

Sie können Dateien in den folgenden Formaten hochladen:

• Verarbeitet nur Textinhalt – TXT, BPMN, CSV
• Verarbeitet sowohl Text- als auch Bildinhalt – DOCX, XLSX, PNG, JPG, PDF

Kapazität des Eingabetokens

Die Eingabetokenkapazität von Autopilot beträgt 128.000 Token, was ungefähr 96.000 Wörtern oder 512.000 Zeichen entspricht. Bewahren Sie Ihre Anforderungsbeschreibung und die unterstützenden Dokumente innerhalb dieses Limits auf. Dies ist ein Limit auf Produktebene, das von den Limits für Kontextfenster und Ausgabetoken des zugrunde liegenden Modells getrennt ist – diese finden Sie unter Unterstützte Modelle und Limits.

Tipp:

Als Schätzung entsprechen 100 Token etwa 75 Wörtern oder 400 Zeichen.

Um die Tokenanzahl eines Dokuments zu schätzen, speichern Sie es als TXT-Datei und fügen Sie den Inhalt in das OpenAI Tokenizer-Tool ein. Das Ergebnis ist ein Näherungswert, die tatsächliche Anzahl kann höher sein.

Generieren von Vorschlägen

Der Autopilot generiert maximal 50 Vorschläge gleichzeitig. Wenn Sie keine Zahl angeben, generiert Autopilot die 15 wichtigsten Vorschläge.

Manuelle Testgenerierung

Autopilot generiert manuelle Testfälle und Testschritte aus Anforderungen und unterstützenden Dokumenten. Die Testqualität hängt stark von der Qualität der Anforderung ab, die Sie bereitstellen.

Anforderungsbeschreibung

Eine gut formierte Anforderung beschreibt ihren Zweck, die Anwendungslogik und klare Akzeptanzkriterien. Anforderungen beziehen sich häufig auf Qualitätsaspekte wie Funktionalität, Leistung, Benutzerfreundlichkeit und Sicherheit.

Anforderungszweck

Autopilot hängt von der Spezifität ab. Grobe oder vage Beschreibungen können zu irrelevanten oder falschen Testfällen führen. Beginnen Sie mit einer knappen, auf den Benutzer ausgerichteten Erklärung der Zielsetzung der Anforderung, die den Nutzen für den Benutzer hervorhebt.

Beispiel: „Als potenzieller Versicherungsnehmer möchte ich meine Versicherungsprämien berechnen, damit ich meine möglichen Kosten verstehen kann.“

Anwendungslogik

Die Genauigkeit der generierten Testschritte hängt davon ab, wie gut Autopilot den Benutzervorgang und die Anwendungs-Sequence versteht. Beschreiben Sie die spezifischen Interaktionen des Benutzers mit der Anwendung und die Antworten der Anwendung vom Beginn des Flows bis zur letzten Testaktion.

Beispiel: „Die Benutzer starten auf dem Hauptbildschirm und navigieren über das Hauptmenü zum Bildschirm „Angebot abrufen“. Sie geben ihre persönlichen Daten ein, einschließlich Alter und Geschlecht, und wählen dann den gewünschten Versicherungsschutz und die Laufzeit aus. Wenn sie „Prämie berechnen“ auswählen, berechnet die Anwendung die Prämie und zeigt sie auf dem nächsten Bildschirm an.

Akzeptanzkriterien

Klare, messbare Akzeptanzkriterien leiten Autopilot dabei, bestimmte Ergebnisse zu überprüfen. Deckt sowohl positive als auch negative Szenarien ab, einschließlich ungültiger Eingabe- und Fehlerzustände sowie nicht-funktioneller Faktoren wie Sicherheit, Benutzerfreundlichkeit und Skalierbarkeit. Ohne Akzeptanzkriterien generiert der Autopilot möglicherweise unzureichende Testfälle.

Beispiele:

• „Das System berechnet die Prämie basierend auf dem Alter des Benutzers. Für jedes Jahr über 25 Jahren werden 5 US-Dollar zur Grundprämie von 100 US-Dollar hinzugefügt.
• „Das System erhöht die Prämie für Raucher um 50 Dollar, da das Gesundheitsrisiko höher ist.“
• „Wenn der Benutzer ein Alter unter 18 Jahren eingibt, zeigt das System eine Fehlermeldung an.“
• „Die Prämienberechnung ist innerhalb von 3 Sekunden abgeschlossen, wenn die Anzahl der Concurrent User 1.000 oder weniger ist.“

Zusätzliche Anweisungen

Sie können die Generierung fokussieren, indem Sie zusätzliche Anweisungen auf dem Bildschirm „Zusätzliche Anweisungen“ bereitstellen.

Die Prompt-Bibliothek bietet vorgefertigte Prompts, die End-to-End-Testfälle aus Flussdiagrammen, Tests für gültige End-to-End-Szenarien und Tests generieren, die schwer erkennbare Probleme aufdecken. Sie können auch Ihre eigenen benutzerdefinierten Aufforderungen für Szenarien hinzufügen, die Sie häufig generieren.

Standardmäßig generiert Autopilot Testfälle mit folgendem Verhalten:

• Erwartete Ergebnisse werden nur für den letzten Testschritt in jedem Testfall generiert. Um erwartete Ergebnisse für jeden Schritt zu generieren, fügen Sie eine Anweisung wie „Generieren Sie erwartete Ergebnisse für jeden Testschritt.“ ein.
• Vor- und Nachbedingungen werden nur auf Anfrage generiert; geben Sie an, was enthalten sein soll, da keines standardmäßig generiert wird.
• Die Anzahl der Testfälle ist nicht festgelegt – um sie zu kontrollieren, fügen Sie die Anzahl in Ihre Anweisung ein, z. B. „Generieren Sie die 20 wichtigsten Testfälle für diese Anforderung.“

Begleitdokumente

Unterstützende Dokumente ergänzen die Anforderungsbeschreibung und helfen Autopilot, genauere Testfälle zu generieren.

• Prozessdiagramme – Anwendungsfalldiagramme, Flowdiagramme und Prozessdiagramme als Bilder oder BPMN-Dateien. Sie helfen Autopilot, dem sequentiellen und logischen Ablauf der Benutzeraktivitäten zu folgen.
• Mockups und grafische Darstellungen – Visuelle Diagramme Ihrer UI/UX-Anforderungen. Sie klären das Layout, die Interaktionen mit dem Benutzer und die zu testenden Elemente, was beim Testen neuer Front-End-Funktionen nützlich ist.
• Compliance-Dokumente – Compliance- und regulatorische Dokumente für regulierte Branchen wie das Gesundheitswesen, das Finanzwesen oder die Telekommunikation. Autopilot integriert diese Standards in jeden generierten Testfall, nicht nur in solche, die mit bestimmten Compliance-Knoten verknüpft sind.
• Transkripte von Diskussionen – Transkripte von Anforderungsdiskussionen unter Entwicklern, Produktinhabern und Testpersonen. Sie veranschaulichen, wie das Team eine Anforderung interpretiert oder plant, sie umzusetzen.

Funktionseinschränkungen

Unterstützte Dateitypen

Sie können Dateien in den folgenden Formaten hochladen:

• Verarbeitet nur Textinhalt – TXT, BPMN, CSV
• Verarbeitet sowohl Text- als auch Bildinhalt – DOCX, XLSX, PNG, JPG, PDF

Kapazität des Eingabetokens

Die Eingabetokenkapazität von Autopilot beträgt 128.000 Token, was ungefähr 96.000 Wörtern oder 512.000 Zeichen entspricht. Bewahren Sie Ihre Anforderungsbeschreibung und die unterstützenden Dokumente innerhalb dieses Limits auf. Dies ist ein Limit auf Produktebene, das von den Limits für Kontextfenster und Ausgabetoken des zugrunde liegenden Modells getrennt ist – diese finden Sie unter Unterstützte Modelle und Limits. Um die Tokenanzahl zu schätzen, verwenden Sie die Tokenizer-Anleitung, die unter Anforderungsauswertung beschrieben ist.

Generierung von Testfällen

Autopilot generiert maximal 50 Testfälle gleichzeitig. Wenn Sie keine Zahl angeben, generiert Autopilot 10 Testfälle.

Konvertieren von Text in Code

Autopilot konvertiert Prompts in natürlicher Sprache in Code innerhalb von codierten Studio-Automatisierungen. Verwenden Sie die Aktion Code generieren aus dem Kontextmenü einer codierten Automatisierung, um eine Eingabeaufforderung in Code umzuwandeln. Autopilot kann C#-Code generieren, vorhandenen Code refaktorieren und eine UiPath-Automatisierung generieren. Die verfügbaren Methoden finden Sie unter Generieren von Code.

Hinweis:

Um Text in Code umzuwandeln, verwenden Sie Studio Version 2024.10.1 oder höher.

Für bessere Ergebnisse:

• Geben Sie die Sprache und das Ziel an, z. B. „Refaktorieren Sie diese C#-Methode.“
• Halten Sie Prompts kurz und direkt.

Beispiele für Eingabeaufforderungen

• „Refaktorieren Sie die untenstehende Methode und machen Sie sie leistungsfähiger.“
• „Erstellen Sie eine Methode, um zwei Zeichenfolgen auf Ähnlichkeit mit den Eingabeparametern „string1“ und „string2“ zu vergleichen.“
• "Wählen Sie „Produkte‟ aus.”
• „Auftrag ‚myDemoJob‘ im Orchestrator ausführen.“

Automatisieren von manuellen Tests

Nachdem Sie Studio mit Test Manager verknüpft haben, zeigt der Test Explorer in Studio Desktop alle Testfälle in Ihrem Test Manager-Projekt an, sowohl automatisierte als auch manuelle. Autopilot wandelt manuelle Testfälle in automatisierte um. Weitere Informationen finden Sie unter Erstellen eines codierten Testfalls aus einem manuellen Testfall und Erstellen eines Low-Code-Testfalls aus einem manuellen Testfall.

Hinweis:

Um manuelle Tests zu automatisieren, verwenden Sie Studio Desktop-Version 2024.10.1 oder höher.

Bereiten Sie ein konsistentes Objekt-Repository vor

Autopilot verwendet die UI-Automatisierung, um manuelle Testschritte in automatisierte Schritte umzuwandeln. Um auf die zu testenden UI-Elemente zu verweisen, benötigt der Autopilot für jedes von ihnen einen Object Repository-Verweis. Verwenden Sie in Ihren manuellen Testschritten und in Ihrem Objekt-Repository identische Kontrollnamen.

Beispiel: Für den manuellen Schritt „Auswählen für ‚Kreditantrag einreichen‘“ generiert Autopilot eine Select- Aktivität und sucht nach einem Object Repository-Element mit dem Namen Kreditanwendung einreichen. Einheitliche Steuerelementnamen sorgen für eine reibungslosere Konvertierung.

Verwenden allgemeiner Aktivitätsnamen

Ein typischer manueller Testschritt, wie z. B. „Geben Sie „ [e-mail]“ in das Feld „E-Mail“ ein, enthält eine Aktion („Type“, erkannt als Aktivität „ Type Into “), Daten („ [e-mail]“) und ein Ziel („Email“, das als Object-Repository erkannt wird Element).

In der folgenden Tabelle sind die zu verwendenden manuellen Schritt-Verben und die Studio-Aktivitäten und codierten Automatisierungs-APIs aufgeführt, denen sie zugeordnet sind.

Manueller Testschritt	UiPath-Aktivität	Von UiPath codierte Automatisierungs-API
„’Select’ auf ’Meine Schaltfläche’“	Auswählen	Auswählen
„Geben Sie ‚Hello World‘ in ‚Mein Textfeld‘ ein.“	Eingeben in (Type Into)	Eingeben in (Type Into)
„Text aus ‚Meine Beschriftung‘ abrufen.“	Text erhalten (Get Text)	GetText
„‚Mein Kontrollkästchen‘ ‚aktivieren‘.“	Prüfen (Check)	Prüfen (Check)
„Element ‚3 Jahre‘ aus ‚Kreditlaufzeit‘ auswählen.“	Objekt auswählen (Select Item)	Objekt auswählen (Select Item)

Automatisieren Sie das Ausfüllen von Formularen

Verwenden Sie für ein Formular, das die Eingabe von Daten erfordert, das Schlüsselwort „Formular ausfüllen“, damit Autopilot es automatisiert.

Hinweis:

Diese Funktion ist nur beim Generieren eines codierten Testfalls verfügbar.

Beispiel: „Füllen Sie das Formular auf dem Bildschirm mit dem Namen „myFormScreen“ mit den folgenden Werten aus: E-Mail: „ [e-mail]“ Darlehensbetrag: '10000', Darlehenslaufzeit: '3'', Autopilot führt den Befehl 'Formular ausfüllen' in Ihrer codierten Automatisierung aus und füllt die Werte für die identifizierten Steuerelemente im Formular aus.

Generieren von Testdaten

Autopilot generiert synthetische Testdaten für Ihre Testfälle. Da die Verwaltung von Testdaten bis zu 50 % des Testaufwands in Anspruch nehmen kann, kann dadurch viel Zeit eingespart werden.

Hinweis:

Um synthetische Testdaten zu generieren, verwenden Sie Studio Desktop Version 2024.10.1 oder höher.

Erstellen Sie Argumente für Ihre Datenfelder

Beim Generieren von Testdaten berücksichtigt Autopilot die vorhandenen Argumente in Ihrem Workflow zusammen mit den Anweisungen in Ihrem Prompt und strebt eine hohe Abdeckung innerhalb des Testfalls an. Verwenden Sie Argumente, wo immer möglich, anstelle von lokalen Variablen oder festen Stringwerten, damit die generierten Daten an den dynamischen Anforderungen Ihres Workflows ausgerichtet sind.

Wählen Sie eine Datenkombinationsmethode aus

Standardmäßig generiert Autopilot ungefähr 10 Datensätze, wodurch eine hohe Code- oder Aktivitätsabdeckung erreicht wird. Wenn Ihre Teststrategie einen bestimmten Algorithmus erfordert, z. B. paarweise oder alle Kombinationen, fügen Sie ihn in Ihren Prompt ein, z. B.: „Generieren Sie Testdaten für jedes Argument und kombinieren Sie die Datenfelder paarweise.“

Passen Sie Ihr Dataset an

Sie können Autopilot anweisen, andere Aufgaben auszuführen, z. B. das Generieren einer bestimmten Anzahl von Datensätzen oder das Hinzufügen zusätzlicher Felder. Zum Beispiel:

• „Generieren Sie mindestens 25 Datensätze.“
• „Fügen Sie das Feld ‚Land‘ in das Dataset ein und weisen Sie jedem Datensatz einen eindeutigen Länderwert zu.“

Analysieren von Testergebnissen

Autopilot bietet Erkenntnisse für fehlgeschlagene Testfälle und Empfehlungen zur Reduzierung der Fehlerquote in Ihrem Testportfolio. Je mehr Testergebnisse Sie beim Generieren des Berichts angeben, insbesondere fehlgeschlagene Testfälle, desto effektiver sind die Erkenntnisse. Ziel ist es, die Hauptgründe für das Fehlschlagen Ihrer Tests zu verstehen.

Jeder Berichtsabschnitt deckt einen Bereich Ihrer Testergebnisse ab:

• Häufige Fehler – Gruppiert ähnliche Fehlermeldungen semantisch, um die häufigsten Probleme hervorzuheben.
• Fehlermuster – Unterteilt fehlgeschlagene Testfälle in größere Themen, um wiederkehrende und systemische Probleme aufzudecken.
• Empfehlungen – Bietet umsetzbare Empfehlungen, die Sie bei Ihren nächsten Schritten zur Stabilität der Testausführung unterstützen.