Auswerten Ihrer Workflows

Methoden für Bewertungen, die nachweisen, dass ein Workflow und seine Agents das tun, was Sie erwarten, vor der Bereitstellung und nach jeder Änderung.

Ein KI-Agent kann bei jeder Ausführung anders antworten, auch mit derselben Eingabe. Mit Evaluierungen beweisen Sie, dass ein Workflow immer noch das tut, was er soll: Sie führen ihn gegen Beispieleingaben mit den erwarteten Ergebnissen aus, und die Evaluierer bewerten jedes einzelne. Mit diesen Praktiken finden Bewertungen ihre Zeit. Bei Auswertungen wird beschrieben, wie sie eingerichtet werden.

Beginnen Sie mit echten Ausführungen

Die schnellste Möglichkeit, ein Dataset zu erstellen, sind bereits bestehende Ausführungen. Wählen Sie in der Ausführungsablaufverfolgung einer Debug-Ausführung die Option Zu Evaluierungen hinzufügen aus, um die Eingabe und Ausgabe der Ausführung in einen Datenpunkt umzuwandeln. Wenn die Ausgabe richtig war, behalten Sie das erwartete Ergebnis bei. Wenn sie falsch war, korrigieren Sie sie zuerst.

Testen Sie zuerst den gesamten Workflow

Ein Dataset getestet entweder den gesamten Workflow oder einen einzelnen Agent-Knoten:

• Der gesamte Workflow überprüft, was ein Benutzer erhält, vom Trigger bis zum Ende. Beginnen Sie hier.
• Ein einzelner Agent-Knoten hilft, wenn Sie die Anweisungen oder das Modell dieses Agents ändern und die Auswirkungen isoliert sehen möchten.

Ein Dataset mit gesamten Workflows startet von einem Trigger und sein Einstiegspunkt ist die Knoten-ID des Triggers, z. B. manualTrigger1 in Studio Web oder start in Studio Desktop. Überprüfen Sie die ID auf der Registerkarte Erweitert des Triggers.

Wählen Sie den Auswerter für das aus, was Sie überprüfen

Was Sie überprüfen möchten	Auswertertyp
Ein fester Wert, z. B. ein Bestellstatus oder eine Kategorie	Ausgabevalidierung, wie z. B. „Exact Match“ oder „Containt Text“.
Dass die Antwort das Richtige bedeutet, auch wenn sich die Formulierung unterscheidet	Large Language Model (LLM)-Judge, wie z. B. LLM Judge Output
Wie der Agent dorthin gelangen, z. B. welche Tools er aufgerufen hat und in welcher Reihenfolge	LLM-Judge-Trajektorie oder die Toolaufruf-Auswerter

Feste Prüfungen sind kostengünstiger und liefern immer die gleiche Punktzahl, also verwenden Sie sie, wenn das erwartete Ergebnis genau ist. Setzen Sie einen LLM-Judge ein, bei dem mehrere Antworten richtig sein können.

Deckt mehr als den erwarteten Fall ab

• Fügen Sie Randfälle und Ausfälle hinzu. Schließen Sie die Eingaben ein, die abgelehnt werden sollten, die unvollständigen und die ungewöhnlichen. Hier machen Agents einen Fehler.
• Verwenden Sie echte Daten, keine Platzhalter. Eine Prüfung, die Platzhaltertext weitergibt, beweist nichts, da der Agent nie eine echte Eingabe gesehen hat.
• Testen Sie in der größten Größe, die Sie zulassen. Fügen Sie die umfangreichste Eingabe ein, die der Workflow akzeptieren sollte, nicht nur die typische.

Führen Sie sie im richtigen Moment aus

• Vor der Bereitstellung. Halten Sie den Release an, bis die Auswertungen erfolgreich sind.
• Nach jeder Änderung an den Anweisungen eines Agents, seinem Modell oder seinen Tools. Eine Änderung, die einen Fall verbessert, kann einen anderen Fall verbessern.

Nächste Schritte

• Evaluierungen: Datasets, Evaluierer und Evaluierungsläufe.
• Ausgabe Pseudo: Ersetzen Sie die Ausgabe eines Knotens durch Beispieldaten in einer Debug-Ausführung.
• Grundlagen des Debuggens: Lesen Sie eine Ausführung und finden Sie heraus, was schief gelaufen ist.
• Community: Stellen Sie Fragen und teilen Sie Workflows mit anderen Buildern im UiPath Forum.