Bewertungen

Automatisierte Qualitätsprüfungen für Flow-Workflow-Ausgaben, gruppiert in Auswertungssätzen und bewertet anhand der Auswerter, die Sie jeder Ausführung anhängen.

Mit Auswertungen können Sie automatisierte Qualitätsprüfungen für die Ausgaben eines Flow-Workflows definieren. Sie gruppieren die erwarteten Ergebnisse in einem Auswertungssatz, und Flow bewertet jede Ausführung anhand der von Ihnen angehängten Auswerter.

Konzepte

• Auswertungssatz (Evaluation set) – eine Sammlung von Datenpunkten, die auf dasselbe Thema abzielen. Führen Sie den Satz aus, um den Workflow für jeden Datenpunkt gleichzeitig zu bewerten.
• Datenpunkt – ein Einzelfall: ein Satz von Eingabewerten und die erwartete Ausgabe für diese Eingaben. Erstellen Sie einen Datenpunkt manuell oder erfassen Sie einen aus einer tatsächlichen Ausführung (siehe Erfassen eines Datenpunkts aus einer Ausführung).
• Dataset – die Datenpunkte, aus denen ein Auswertungssatz besteht.
• Evaluierer – eine Prüfung, die die tatsächliche Ausgabe mit der erwarteten Ausgabe vergleicht und eine Punktzahl ermittelt. Ein boolescher Auswerter ergibt „Pass“ oder „Fehlgeschlagen“ pro Auswerter.
• Punktzahl – das Ergebnis, das ein Auswerter für einen Datenpunkt meldet.

Auswertungssätze auf Knotenebene im Vergleich zu Flow-Ebenen

Ein Auswertungssatz zielt entweder auf einen einzelnen Knoten oder den gesamten Ablauf ab:

• Knotenebene – an einen Knoten angeheftet. Jeder Datenpunkt liefert die Eingaben dieses Knotens und die erwartete Ausgabe.
• Flow-Ebene – an einen Trigger-Einstiegspunkt angeheftet. Jeder Datenpunkt liefert die Eingaben des Triggers und die erwartete Ausgabe des Flows.

Sie können Datenpunkte auf Knoten- und Flow-Ebene im selben Auswertungssatz nicht kombinieren.

Auswerter

Flow gruppiert Auswerter in drei Familien.

Deterministisch

Vergleichen Sie die Ausgabe genau mit der erwarteten Ausgabe, ohne dass ein Modell in der Schleife ist.

• Enthält – überprüft, ob die Ausgabe eine erwartete Teilzeichenfolge enthält.
• Exakte Übereinstimmung – überprüft, ob die Ausgabe dem erwarteten Wert entspricht.
• JSON-Ähnlichkeit – vergleicht Ausgabe und erwartete Ausgabe als JSON.

LLM-Richter

Verwenden Sie ein Modell, um die Ausgabe anhand der erwarteten Ausgabe zu beurteilen.

• Semantische Ähnlichkeit der Ausgabe – beurteilt, ob die Ausgabe die gleiche ist wie die erwartete Ausgabe.
• Strikte JSON-Ähnlichkeit der Ausgabe – beurteilt die JSON-Ausgabe anhand der erwarteten JSON.
• Pfadähnlichkeit – beurteilt die Schritte, die der Agent in Bezug auf einen erwarteten Pfad durchgeführt hat.
• Trajektoriensimulation – bewertet eine simulierte Trajektorie.

Toolaufruf

Überprüfen Sie, wie ein Knoten seine Tools aufgerufen hat. Diese Auswerter befinden sich nur auf Knotenebene.

• Argumentübereinstimmung – überprüft die Argumente, die an einen Toolaufruf übergeben werden.
• Aufrufanzahl – prüft, wie oft ein Tool aufgerufen wurde.
• Aufrufreihenfolge – überprüft die Reihenfolge, in der Tools aufgerufen wurden.
• Ausgabeübereinstimmung – überprüft die Ausgabe eines Toolaufrufs.

Lebenszyklus des Auswertungssatzes

Ein Auswertungssatz besteht aus einem Betreff, Datenpunkten und Auswertern. Der Betreff ist entweder ein einzelner Knoten oder ein Trigger-Einstiegspunkt. Jeder Datenpunkt liefert Eingabewerte und die erwartete Ausgabe, und jeder Auswerter definiert, wie Flow das Ausführungsergebnis bewertet.

Wenn ein Auswertungssatz ausgeführt wird, führt Flow den Betreff für jeden Datenpunkt aus und zeigt die Punktzahlen pro Auswerter im Auswertungsverlauf an.

Erfassen eines Datenpunkts aus einer Ausführung

Sie müssen nicht jeden Datenpunkt manuell erstellen. Sie können eine erstellen, indem Sie eine tatsächliche Ausführung importieren: Erfassen Sie eine Debug-Ausführung, und ihre Eingaben und Ausgaben werden zur Eingabe und erwarteten Ausgabe des Datenpunkts. Dies ist eine schnelle Möglichkeit, einen Auswertungssatz aus realem Verhalten zu erstellen, das Sie bereits beobachtet haben.

Verwenden von Auswertungen in der Entwicklung

Bewertungen sind am nützlichsten, wenn:

• Sie erstellen Workflows, die KI-Agents aufrufen, und müssen vor der Veröffentlichung überprüfen, ob die Ausgabe des Agents die Qualitätserwartungen erfüllt.
• Sie benötigen eine Regressionsabdeckung – das Ausführen von Evaluierungen nach jeder Änderung bestätigt, dass das vorhandene Verhalten nicht verletzt wurde.
• Sie möchten alternative Implementierungen vergleichen, indem Sie Bewertungen für zwei Versionen desselben Workflows ausführen.

Auswertungsergebnisse

Die Ergebnisse werden im Auswertungsverlauf gespeichert und können jederzeit überprüft werden. Jede Ausführung zeigt die Punktzahlen pro Auswerter, einzelne Datenpunktergebnisse und die tatsächlichen im Vergleich zu den erwarteten Werten für jeden Datenpunkt an.

Beispiel aus der Praxis

Ein Workflow, der einen KI-Agent verwendet, um Kundensupport-E-Mails zu klassifizieren. Vor der Veröffentlichung richten Sie einen Auswertungssatz mit 10 Datenpunkten ein:

• 5 E-Mails, die als "billing"klassifiziert werden sollten
• 3 E-Mails, die als "technical"klassifiziert werden sollten
• 2 Randfälle (mehrdeutige E-Mails)

Jeder Datenpunkt definiert den erwarteten classification -Ausgabewert. Ein Auswerter der exakten Übereinstimmung der Klassifizierung bewertet jedes Ergebnis, und der Auswertungslauf zeigt, in welchen Fällen der Agent einen Fehler gemacht hat, bevor der Workflow in die Produktion übergeht.

Häufige Fehler

• Nur einmaliges Ausführen eines Auswertungssatzes – Auswertungssätze sind am nützlichsten nach jeder wesentlichen Änderung eines Workflows, der einen KI-Agent aufruft. Das Verhalten von Agents kann sich ändern, wenn Modelle aktualisiert werden, auch wenn sich der Workflow nicht geändert hat.
• Schreiben von Datenpunkten nur für den Erfolgspfad – Auswertungen sind am wertvollsten für Randfälle und Fehlermodi. Gute Datenpunkte beinhalten Eingaben, die mehrdeutig oder falsch formatiert sind oder sich an der Grenze des erwarteten Bereichs befinden.
• Behandeln einer Gesamtpunktzahl als Signal zum Beenden des Tests – Drei bestandene Datenpunkte sind keine Konfidenz. Größere Sätze, insbesondere solche, die echte Eingaben aus der Produktion widerspiegeln, bieten eine stärkere Abdeckung.

Zugehörige Seiten

• Ausgabe- Pseudo-Objekt
• Ausführungen beobachten
• Agenten-Knoten
• Orchestrieren Sie einen KI-Agent