Auswertungen (Vorschau)

Automatisierte Qualitätsprüfungen für Maestro-BPMN-Workflows mit Auswertungssätzen, deterministischen und LLM-Richter-Auswertern und Knotenausgabe-Simulationen.

Mit Auswertungen können Sie automatisierte Qualitätsprüfungen für einen BPMN-Workflow von Maestro definieren. Sie gruppieren die erwarteten Ergebnisse in einem Auswertungssatz, und jede Ausführung wird anhand der von Ihnen angehängten Auswerter bewertet.

Auswertungen verwenden dasselbe Auswertungsframework, das bereits für AI Agents und Maestro Flow verfügbar ist, sodass Workflows mit nicht-deterministischen Schritten überprüft werden können, bevor sie ausgeliefert werden.

Konzepte

• Dataset – eine Sammlung von Datenpunkten, die auf dasselbe Thema abzielen. Beim Ausführen des Satzes wird der Workflow für jeden Datenpunkt gleichzeitig bewertet.
• Datenpunkt – ein Einzelfall: ein Satz von Eingabewerten und die erwartete Ausgabe für diese Eingaben. Sie können einen Datenpunkt manuell erstellen oder einen aus einer tatsächlichen Ausführung erfassen.
• Evaluator – ein Prüfer, der die tatsächliche Ausgabe mit der erwarteten Ausgabe oder den Pfad mit einem erwarteten Pfad vergleicht und eine Bewertung erstellt.
• Punktzahl – das Ergebnis, das ein Auswerter für einen Datenpunkt meldet.

Auswertungssätze auf BPMN-Ebene

Ein Auswertungssatz zielt auf den gesamten BPMN-Workflow von Maestro ab. Er ist an einen Trigger-Einstiegspunkt angeheftet und jeder Datenpunkt liefert die Eingaben des Triggers und die erwartete Ausgabe des Workflows.

Auswertungssätze auf Knotenebene heften eine Auswertung an einen einzelnen Knoten an, sodass jeder Datenpunkt die Eingaben dieses Knotens und die erwartete Ausgabe liefert. Auswertungen auf Knotenebene sind nicht Teil dieser öffentlichen Vorschau.

Auswerter

BPMN-Auswerter von Maestro fallen in zwei Familien.

Deterministisch

Diese Auswerter vergleichen die Ausgabe genau mit der erwarteten Ausgabe, ohne dass ein Modell in der Schleife ist.

• Enthält – überprüft, ob die Ausgabe eine erwartete Teilzeichenfolge enthält.
• Exakte Übereinstimmung – überprüft, ob die Ausgabe dem erwarteten Wert entspricht.
• JSON-Ähnlichkeit – vergleicht die Ausgabe und die erwartete Ausgabe als JSON.

LLM-Judge

Diese Auswerter verwenden ein Modell, um die Ausgabe anhand der erwarteten Ausgabe zu beurteilen.

• Semantische Ähnlichkeit der Ausgabe – beurteilt, ob die Ausgabe dasselbe bedeutet wie die erwartete Ausgabe.
• Ausgabe der strengen JSON-Ähnlichkeit – bewertet die JSON-Ausgabe anhand der erwarteten JSON.
• Trajektorien-Ähnlichkeit – bewertet die Schritte, die der Agent ausgeführt hat, anhand einer erwarteten Trajektorie.
• Trajektorien-Simulation – bewertet einen simulierten Verlauf.

Erfassen eines Datenpunkts aus einer Ausführung

Sie müssen nicht jeden Datenpunkt manuell erstellen. Sie können eine erstellen, indem Sie eine tatsächliche Ausführung importieren: Wenn Sie eine Debug-Ausführung erfassen, werden ihre Eingaben und Ausgaben zur Eingabe und erwarteten Ausgabe des Datenpunkts.

Das Erfassen einer Ausführung ist eine schnelle Möglichkeit, einen Auswertungssatz aus realem Verhalten zu erstellen, das Sie bereits beobachtet haben.

Wann Sie Bewertungen verwenden sollten

Auswertungen sind in folgenden Fällen am nützlichsten:

• Sie erstellen Maestro BPMN-Workflows, die KI-Agents aufrufen, und müssen vor der Veröffentlichung überprüfen, ob die Ausgabe des Agents die Qualitätserwartungen erfüllt.
• Sie benötigen eine Regressionsabdeckung und das Ausführen von Evaluierungen nach jeder Änderung bestätigt, dass das vorhandene Verhalten nicht geändert wurde.
• Sie möchten alternative Implementierungen vergleichen, indem Sie Auswertungen an zwei Versionen desselben Workflows ausführen.

Auswertungsergebnisse

Die Ergebnisse werden im Auswertungsverlauf gespeichert und können jederzeit überprüft werden. Sie sind für die Benutzer sichtbar, die sie ausführen, und können entweder als JSON- oder CSV-Datei exportiert werden. Einzelne Ablaufverfolgungen innerhalb eines Evaluierungslaufs können ebenfalls exportiert werden.

Auf der Registerkarte „Verlauf der Evaluierungsläufe“ wird für jede Ausführung Folgendes angezeigt:

• Die Punktzahlen pro Auswerter und die Begründung des Einreichers
• Einzelne Datenpunktergebnisse mit tatsächlichen und erwarteten Werten nebeneinander
• Die vollständige Ablaufverfolgung: was die Ausführung ausgelöst hat, welcher Pfad sie genommen hat, Ausgabe pro Knoten und Zeitpunkt

Die Ablaufverfolgung und die Rechtfertigung des Selektors geben an, was sich ändern muss, damit der Workflow in jedem Fall korrekt ausgeführt wird.

Beispiel: Klassifizieren von Support-E-Mails

Ein BPMN-Workflow von Maestro verwendet einen KI-Agent, um E-Mails an den Kundensupport zu klassifizieren. Vor der Veröffentlichung richten Sie einen Auswertungssatz mit 10 Datenpunkten ein:

• 5 E-Mails klassifiziert als "billing"
• 3 E-Mails klassifiziert als "technical"
• 2 mehrdeutige E-Mails, die als Randfälle behandelt werden

Jeder Datenpunkt definiert den erwarteten classification -Ausgabewert oder eine ausgelöste Eskalation an einen Menschen für die mehrdeutigen E-Mails. Ein Auswerter der exakten Übereinstimmung der Klassifizierung bewertet jedes Ergebnis für "billing" oder "technical" und ein Verlaufsauswerter überprüft die menschliche Eskalation. Jede Ausführung zeigt, welche Fälle der Agent falsch gemacht hat, bevor der Workflow in die Produktion übergeht.

Knotensimulationen

Simulationen überschreiben ausgewählte Knotenausgaben während eines Auswertungslaufs, sodass Sie die nachgelagerte Logik testen können, ohne die echte Aktion eines Knotens auszuführen. Dies ist nützlich, wenn die eigentliche Aktion langsam oder teuer ist oder von externen Systemen abhängt, die während des Entwurfs nicht verfügbar sind.

Wenn eine Simulation auf einem Knoten aktiviert ist, überspringt die Ausführung die tatsächliche Ausführung dieses Knotens und verwendet die simulierten Ausgabewerte direkt. Alle nachgelagerten Knoten erhalten die Pseudo-Werte, als wenn der Knoten normal ausgeführt worden wäre.

Simulationen werden nur während der Testläufe angewendet. Sie sind nie in veröffentlichten Produktionsworkflows aktiv.

Simulationsstrategien

Jeder simulierte Knoten verwendet eine von zwei Strategien:

• Statisches Pseudo – eine regelbasierte Simulation, die immer den von Ihnen definierten Wert zurückgibt.
• Generiertes Pseudo-Objekt – eine LLM-generierte Antwort, die bei jeder Ausführung der Bewertung dynamisch erzeugt wird.

Einrichten einer Simulation

Konfigurieren Sie eine Simulation auf jedem Knoten, dessen echte Ausgabe Sie während einer Auswertungsausführung ersetzen möchten. Die folgende Sequence zeigt den vollständigen Ablauf von der Auswahl des Knotens bis zur Eingabe der simulierten Ausgabe.

1. Wählen Sie den Knoten aus, den Sie auf der Arbeitsfläche simulieren möchten.
2. Öffnen Sie im Konfigurationsbereich Simulation hinzufügen.
3. Wählen Sie die Simulationsstrategie für den Knoten aus.
4. Geben Sie die simulierte Ausgabe für die von Ihnen gewählte Strategie ein:
   1. Geben Sie für Statisches Pseudo-Objekt die Ausgabewerte ein, indem Sie das JSON-Objekt entweder manuell bearbeiten oder mit der Eingabeaufforderung generieren. Verwenden Sie eine gültige JSON, die dem Ausgabeschema des Knotens entspricht.
   2. Geben Sie für Generierte Pseudo-Objekt den Prompt ein, den das Modell verwendet, um bei jeder Auswertungsausführung eine Toolantwort zu generieren.

Ergebnis: Der Knoten wird simuliert. Bei der nächsten Testausführung überspringt Maestro BPMN die eigentliche Ausführung und fügt Ihre Werte stattdessen ein.

Knoten, die Sie simulieren können

Simulationen sind für folgende Knotentypen nützlich:

• Human Task – Gibt eine genehmigte oder abgelehnte Antwort zurück, ohne auf einen echten Genehmiger zu warten.
• HTTP-Anforderung – Gibt eine bestimmte API-Antwort zurück, einschließlich Fehlerantworten, sodass Sie Ihre Fehlerbehandlungspfade testen können.
• Agent – Gibt die Ausgabe eines KI-Agents zurück, sodass Sie testen können, wie Ihr Workflow verschiedene Antworten des Agents verarbeitet.
• Verbindung – Gibt die Ausgabe eines Verbindungsknotens zurück, sodass Sie den Workflow testen können, ohne Änderungen in externen Anwendungen vorzunehmen.

Verfügbarkeit und Lizenzierung

• Auswertungen sind für Benutzer mit den Lizenztypen und Lizenzierungsplänen für Automation Cloud-Organisationen verfügbar, die unter Lizenzierung beschrieben sind.
• Knotensimulationen, die Pseudo-Generierung mithilfe von LLM-Funktionen innerhalb von Evaluierungen und LLM-Judge-Auswerter sind während der Vorschau kostenlos. Maestro BPMN-Ausführungen im Design verbrauchen die monatlichen Benutzerlimits.

Bekannte Einschränkungen

• Auswertungen auf Knotenebene sind nicht verfügbar.
• BPMN-Auswertungen von Maestro unterstützen keine CLI-Fähigkeiten .

Zugehörige Seiten

• Debugging
• Simulieren
• Verwenden von Agents in Maestro
• Maestro-Prozesse testen