Bewertungen

Set up evaluations for a workflow: datasets, evaluation targets, and evaluators, then run them and use the results during development.

Evaluierungen sind automatisierte Qualitätsprüfungen für die Ausgabe eines Workflows. Erwartete Ergebnisse werden in einem Dataset gruppiert, und jeder Lauf wird von den damit verbundenen Auswertern bewertet. Die Registerkarten Datasets, Evaluierer und Evaluierungsausführungen des Ausführungsbereichs enthalten die drei Teile.

Konzepte

• Dataset: Eine benannte Sammlung von Datenpunkten, die ein gemeinsames Auswertungsziel und eine Reihe von Auswertern haben. Ein Dataset listet sein Auswertungsziel, seine Auswerter und seine Anzahl der Elemente auf.
• Datenpunkt: Ein einzelner Fall, der aus Eingabewerten und der erwarteten Ausgabe für diese Eingaben besteht. Ein Datenpunkt kann von Hand geschrieben oder aus einer tatsächlichen Ausführung erfasst werden, wie unter Erfassen eines Datenpunkts aus einer Ausführung beschrieben.
• Evaluator: eine Prüfung, die die tatsächliche Ausgabe mit der erwarteten Ausgabe vergleicht und eine Punktzahl erstellt. Ein boolescher Auswerter meldet, dass sie erfolgreich sind oder fehlschlagen.
• Auswertungsausführung: Eine Ausführung eines Datasets, die jeden Datenpunkt mit den ausgewählten Auswertern bewertet.
• Punktzahl: Das Ergebnis, das ein Auswerter für einen Datenpunkt meldet.

Auswertungsziele

Ein Dataset hat ein Auswertungsziel, welches entweder der gesamte Workflow oder ein einzelner Knoten ist:

• Gesamter Prozess: Testet den Pfad von Anfang bis Ende. Dies ist das empfohlene Ziel. Das Dataset benennt einen Einstiegspunkt, einen Trigger wie Manual Trigger und jeder Datenpunkt liefert die Eingaben des Triggers und die erwartete Ausgabe des Workflows.
• Agent-Knoten: Testet einen isolierten Agent-Knoten.
• Dokumentverarbeitung: Bewertet einen Dokumentverarbeitungsknoten.

Die Knotenziele sind in einem Workflow nicht verfügbar, der keine Agent-Knoten oder Dokumentverarbeitungsknoten hat. Ein einzelnes Dataset kann Ziele nicht vermischen.

Auswerter

Mit der Taste „Neuer Auswerter“ auf der Registerkarte „Auswerter“ werden die Auswertertypen in drei Gruppen aufgeführt. Jeder Typ ist mit Flow für ein gesamtes Workflowziel oder Agent für ein Agentknotenziel oder mit beiden Tags versehen.

Ausgabevalidierung

Diese Auswerter vergleichen die Ausgabe exakt mit der erwarteten Ausgabe, ohne dass ein KI-Modell beteiligt ist. Sie unterstützen den gesamten Workflow und Agent-Knotenziele.

• Enthält Text: Wird übergeben, wenn die Ausgabe den angegebenen Text enthält.
• Exact Match: Wird ausgeführt, wenn die Ausgabe einer exakten Übereinstimmung entspricht.
• JSON-Ähnlichkeit: Wird ausgelöst, wenn die JSON-Strukturen ähnlich sind.

LLM Judge

Diese Auswerter verwenden ein Large Language Model (LLM), um die Ausgabe anhand der erwarteten Ausgabe zu beurteilen. Sie unterstützen den gesamten Workflow und Agent-Knotenziele.

• LLM-Judge-Ausgabe: Ein KI-Modell beurteilt, ob die Ausgabe semantisch mit der erwarteten Ausgabe übereinstimmt.
• LLM-Judge Strict JSON: Ein KI-Modell beurteilt eine strikte JSON-Strukturübereinstimmung.
• LLM-Judge-Trajektorie: Ein KI-Modell beurteilt, ob die Ausführung dem erwarteten Verhalten gefolgt ist, d. h. die Schritte, die während der Ausführung durchgeführt wurden.
• LLM-Judge-Simulation: Ein KI-Modell beurteilt den Pfad der simulierten Ausführung.

Toolaufruf

Diese Auswerter überprüfen, wie ein Agent seine Tools aufgerufen hat. Sie unterstützen nur Agent-Knotenziele.

• Argumente für Toolaufruf: Überprüft, ob Tools mit den richtigen Argumenten aufgerufen wurden.
• Anzahl der Toolaufrufe: Prüft, wie oft jedes Tool aufgerufen wurde.
• Tool Call Order: Überprüft, ob Tools in der richtigen Sequence aufgerufen wurden.
• Ausgabe des Toolaufrufs: Überprüft, ob die Toolausgaben mit den erwarteten Werten übereinstimmen.

Ein Dataset wird erstellt

Das Menü Hinzufügen auf der Registerkarte Datasets verfügt über drei Einträge: Dataset hinzufügen, Dataset importieren und Datenpunkt über Assistent hinzufügen.

Im Bereich Dataset hinzufügen werden ein Name und eine optionale Beschreibung, ein Auswertungsziel und, bei einem Gesamtprozessziel, der Einstiegspunkt abgefragt. Es werden auch die Auswerter aufgelistet, die jeweils über einen Umschalter verfügen: LLM-Judge-Trajectory, Exact Match und LLM-Judge-Evaluator. Im Abschnitt Standardsimulationen werden Standardeinstellungen festgelegt, die jeder Datenpunkt erbt, und ein einzelner Datenpunkt kann sie überschreiben.

Der Assistent Einen Datenpunkt für Auswertung hinzufügen hat vier Schritte: Was ausgewertet werden soll, Szenarioeingabe, Simulationen und Auswertungskriterien. Die vier Schritte sind:

1. Was ausgewertet werden soll: das Ziel, ein optionaler Datenpunktname, der generiert wird, wenn er leer bleibt, und das Dataset, dem der Datenpunkt hinzugefügt werden soll.
2. Szenarioeingabe: Die Eingabe, die der Trigger an den Workflow sendet, mit einem Feld für jede Triggereingabe, in einer JSON- oder visuellen Ansicht. Das Blitz-Symbol Mit KI generieren öffnet ein Anweisungenfeld und Generieren erstellt die Eingabe aus den Anweisungen.
3. Simulationen: Überschreibungen für die Ausgaben ausgewählter Knoten während des Bewertungslaufs. Jeder Knoten verfügt über ein Kontrollkästchen und einen Pseudo-Typ, z. B. Statischer Pseudo-Objekt, die gleiche Option, die der Ausgabe-Pseudo auf einem Knoten bietet, mit den Ausgabewerten, die die echte Ausgabe des Knotens ersetzen. Der Schritt besagt, dass die Überschreibungen LLM-Anweisungen oder regelbasierte Simulationen verwenden.
4. Auswertungskriterien: Die aktivierten Auswerter und wie jeder diesen Datenpunkt bewertet. Für einen LLM-Judge wie LLM Richter Trajectory beschreibt ein Textfeld das erwartete Verhalten. Ein Kontrollkästchen Auswertung starten führt die Auswertung aus, wenn der Datenpunkt hinzugefügt wird.

Konfigurieren eines Evaluierers

Die Registerkarte Evaluierer listet die Evaluierer auf und verfügt über die Schaltfläche Neuer Evaluierer . Jeder Auswerter hat einen Namen, eine Beschreibung und einen Zielausgabeschlüssel, der entweder * für alle Workflowausgaben oder die Ausgabe eines Knotens ist, z. B. httpRequest1.

• „Exact Match“ verfügt über einen Umschalter „Groß-/Kleinschreibung beachten“ und einen Umschalter „Negiert“ . Wenn die Ausgaben nicht übereinstimmen, ist die Bewertung erfolgreich. Die Standardauswertungskriterien enthalten die erwartete Ausgabe, die in einer JSON- oder visuellen Ansicht eingegeben wird. Wenn ein Zielausgabeschlüssel festgelegt ist, wird der erwartete Wert unter diesem Schlüssel verschachtelt.
• LLM-Judge-Auswerter verfügt über ein Modell, z. B. anthropic.claude-sonnet-5, und einen Prompt, der das Modell auffordert, die Ähnlichkeit der Ausgabe zu bewerten und die Punktzahl zu erläutern. Zu den Einstellungen gehört auch der Abschnitt Erweiterte Einstellungen .

Ausführen einer Auswertung

Mit der Schaltfläche Bewertung ausführen wird der Bereich Bewertungslauf konfigurieren geöffnet. Im Bereich werden Sie nach dem Dataset, einem optionalen Filter nach Tags und den zu verwendenden Auswertern gefragt. Ausführungseinstellungen enthalten einen optionalen Ausführungsnamen, eine Batchgröße (standardmäßig 10) und ein Timeout (standardmäßig 20 Minuten). Speichern und ausführen startet die Ausführung.

Dataset-Lebenszyklus

Ein Dataset besteht aus einem Auswertungsziel, Datenpunkten und Auswertern. Das Ziel ist entweder ein einzelner Knoten oder der gesamte Workflow, der über einen Trigger eingegeben wird. Jeder Datenpunkt liefert Eingabewerte und die erwartete Ausgabe, und jeder Auswerter definiert, wie das Ausführungsergebnis bewertet wird.

Wenn ein Dataset ausgeführt wird, wird das Ziel für jeden Datenpunkt ausgeführt und die Punktzahlen pro Auswerter werden auf der Registerkarte Auswertungsausführungen angezeigt.

Erfassen eines Datenpunkts aus einer Ausführung

Ein Datenpunkt muss nicht von Hand geschrieben werden. Der Pfeil neben dem Symbol „Auswertung ausführen“ in der unteren Symbolleiste öffnet Datenpunkt hinzufügen, wodurch der gleiche Assistent gestartet wird. Mit der Taste Zu Evaluierungen hinzufügen in den Details einer Debug-Ausführung und dem Flaggensymbol in jeder Zeile der Liste Debug-Ausführungen erfassen Sie diese Ausführung und ihre Eingaben und Ausgaben werden zur Eingabe und erwarteten Ausgabe des Datenpunkts. Durch das Erfassen einer Ausführung wird ein Dataset aus realem Verhalten erstellt, das bereits beobachtet wurde.

Verwenden von Auswertungen in Development

Bewertungen sind in folgenden Situationen am nützlichsten:

• Ein Workflow ruft KI-Agents auf und die Ausgabe des Agents muss den Qualitätserwartungen entsprechen, bevor Sie bereitstellen.
• Eine Regressionsabdeckung ist erforderlich: Das Ausführen von Auswertungen nach jeder Änderung bestätigt, dass das vorhandene Verhalten nicht verletzt wurde.
• Zwei alternative Implementierungen werden verglichen, indem Auswertungen für zwei Versionen desselben Workflows ausgeführt werden.

Auswertungsergebnisse

Die Ergebnisse werden auf der Registerkarte „Auswertungsausführungen “ gespeichert, auf der „Noch keine Auswertungsausführungen“ angezeigt wird, bis ein Dataset ausgeführt wurde, und können jederzeit überprüft werden. Jede Ausführung ist eine Zeile mit ihrer Ausführungsnummer, dem Dataset, dem Status (z. B. Abgeschlossen oder einer Fortschrittsanzahl wie 0/1 während der Ausführung), der Anzahl der Datenpunkte und der Punktzahl jedes Auswerters Prozentsatz, die Startzeit und die Dauer. Ein Suchfeld, ein Filter und ein Spaltenselektor befinden sich über der Tabelle und Auswertung ausführen startet eine neue Ausführung. Die Spalte Aktionen einer Ausführung verfügt über eine Wiedergabeschaltfläche, Eine neue Ausführung ab dieser starten und ein Drei-Punkte-Menü. Jede Ausführung zeigt die Punktzahlen pro Auswerter, die einzelnen Datenpunktergebnisse sowie die tatsächlichen und erwarteten Werte für jeden Datenpunkt an.

Beispiel aus der Praxis

Ein Workflow verwendet einen KI-Agent, um Kundensupport-E-Mails zu klassifizieren. Vor der Bereitstellung wird ein Dataset mit 10 Datenpunkten eingerichtet:

• 5 E-Mails, die als "billing" klassifiziert werden sollten
• 3 E-Mails, die als "technical" klassifiziert werden sollten
• 2 Edge-Fälle (mehrdeutige E-Mails)

Jeder Datenpunkt definiert den erwarteten classification Ausgabewert. Ein Auswerter für Genaue Übereinstimmungen in der Klassifizierung bewertet jedes Ergebnis, und die Auswertungsausführung zeigt an, bei welchen Fällen der Agent falsch lag, bevor der Workflow in die Produktion geht.

Häufige Fehler

• Ein Dataset wird nur einmal ausgeführt: Datasets sind am nützlichsten nach jeder wesentlichen Änderung eines Workflows, der einen KI-Agent aufruft. Das Verhalten von Agents kann sich ändern, wenn Modelle aktualisiert werden, auch wenn sich der Workflow nicht geändert hat.
• Schreiben von Datenpunkten nur für den erwarteten Fall: Auswertungen sind am wertvollsten für Randfälle und Fehlermodi. Gute Datenpunkte beinhalten Eingaben, die mehrdeutig oder falsch formatiert sind oder sich an der Grenze des erwarteten Bereichs befinden.
• Behandeln einer Punktzahl, die nur bestanden ist, als Grund, den Test zu beenden: Drei bestandene Datenpunkte sind keine Konfidenz. Größere Sätze, insbesondere solche, die echte Produktionseingaben widerspiegeln, bieten eine stärkere Abdeckung.

Nächste Schritte

• Ausgabe- Pseudo-Objekt: feste Knotenausgaben für Debug-Ausführungen.
• Ausführungen überwachen: Ausführungsverlauf und die Ablaufverfolgung jeder Ausführung.
• Autonomer Agent-Knoten: Der Knoten, der einen KI-Agent ausführt.
• Hinzufügen eines KI-Agents zu einem Workflow: eine Erstellungsanleitung, die einen Agent in einem Workflow ausführt.
• Community: Stellen Sie Fragen und teilen Sie Workflows mit anderen Buildern im UiPath Forum.