Verwalten von Runtime-Auswertungen (Vorschau)

Validieren Sie bereitgestellte Agents anhand von Datasets bei Bedarf oder nach einem wiederkehrenden Zeitplan.

Ein Agent, der seine Tests zur Entwurfsphase bestanden hat, kann in der Produktion dennoch fehlschlagen. Modelle werden aktualisiert, Eingaben werden aktualisiert und die Tools, die Ihre Agent-Aufrufe aufrufen, ändern sich ohne Vorwarnung. Wenn Sie nur vor dem Versand auswerten, sind Ihre Benutzer diejenigen, die diese Fehler finden.

Runtime-Auswertungen werden für den bereitgestellten Agent selbst ausgeführt, sodass die Ergebnisse das widerspiegeln, was in der Produktion vorhanden ist, und keine Kopie aus der Entwurfsphase. Führen Sie sie nach jeder Änderung und nach einem Zeitplan aus, um Regressionen zu erkennen, bevor es Ihre Benutzer tun.

Informationen zum Auswerten eines Agents während der Erstellung finden Sie unter Evaluierungen.

Bewerten Sie, was der Agent getan hat, nicht nur die Ausgabe

Ein Agent kann die richtige Antwort auf dem falschen Weg zurückgeben: Er ruft ein Tool auf, das er nicht haben sollte, überspringt einen Schritt, den er ausführen sollte, oder macht eine dreifache Schleife, bevor er dort ankommt. Bei einer Überprüfung der endgültigen Ausgabe wird nichts davon erkannt, und in der Produktion sind das die Fehler, die Sie kosten.

Jeder Datenpunkt wird von den Auswertern bewertet, die mit seinem Dataset verknüpft sind. Sie fügen Auswerter in der Ansicht Auswerter hinzu. Es gibt drei Kategorien, und jede erkennt eine andere Art von Fehler, also kombinieren Sie mehr als eine.

Ausgabevalidierungsauswerter führen deterministische Prüfungen durch. Sie sind kostengünstig und liefern jedes Mal das gleiche Ergebnis.

• Enthält Text: Wird übergeben, wenn die Ausgabe den von Ihnen angegebenen Text enthält.
• Exact Match: Wird übergeben, wenn die Ausgabe genau mit der erwarteten Ausgabe übereinstimmt.
• JSON-Ähnlichkeit: Wird übergeben, wenn die JSON-Struktur der Ausgabe der erwarteten ähnlich ist.

LLM-Judge -Bewerter verwenden ein LLM, um die Ausführung zu bewerten, sodass sie Antworten akzeptieren, die korrekt, aber anders formuliert sind.

• LLM-Judge-Ausgabe: Bewertet, ob die Ausgabe mit der erwarteten Ausgabe übereinstimmt. Der standardmäßige LLM-Judge-Auswerter verwendet diesen Typ.
• LLM-Judge Strict JSON: Beurteilt, ob die Ausgabe streng der erwarteten JSON-Struktur entspricht.
• LLM-Judge-Verlauf: Bewertet, ob die Ausführung dem erwarteten Verhalten gefolgt ist. Sie können es noch nicht in geplanten Ausführungen verwenden.
• LLM-Judge-Simulation: Beurteilt den Ausführungspfad einer Ausführung, die simulierte Komponenten verwendet.

Auswerter von Toolaufrufen überprüfen, wie der Agent seine Tools verwendet hat.

• Argumente des Toolaufrufs: Überprüft, ob der Agent Tools mit den richtigen Argumenten aufgerufen hat.
• Anzahl der Toolaufrufe: Prüft, wie oft der Agent jedes Tool aufgerufen hat.
• Reihenfolge des Toolaufrufs: Überprüft, ob der Agent Tools in der erwarteten Abfolge aufgerufen hat.
• Ausgabe des Toolaufrufs: Überprüft, ob die Toolausgaben mit den erwarteten Werten übereinstimmen.

Jedes Auswerterergebnis enthält eine Punktzahl und eine vollständige Ausführungsablaufverfolgung, sodass Sie sehen können, wo eine Ausführung fehlgeschlagen ist. LLM-Judge-Auswerter erläutern auch ihre Punktzahl mit einer Begründung. Behandeln Sie die Ergebnisse als Aufgabenliste zur Verbesserung Ihres Agent: Exportieren Sie Ihre Ausführungen und analysieren Sie sie mithilfe von CLI-Fähigkeiten. Sie können zum Beispiel:

• Ordnen Sie die Fehler ein, die am wichtigsten sind, sodass Sie zuerst die Probleme mit den höchsten Auswirkungen beheben.
• Prüfen Sie, ob Ihre Datasets jede Anweisung im Prompt des Agents abdecken, und fügen Sie Datenpunkte für diejenigen hinzu, die sie fehlen.
• Finden Sie Anwendungsfälle, die Ihr Agent in der Produktion verarbeitet, die Ihre Datasets noch nicht testen.

Erstellen Sie Datasets aus dem echten Verkehr

Ein Dataset ist ein Satz von Datenpunkten. Jede enthält die Eingaben, die Sie an den Agent senden, und die Ausgabe, die Sie zurückerwarten. Sie können Datenpunkte von Hand schreiben, müssen aber nicht. Es gibt drei weitere Quellen, und Produktionsläufe sind am repräsentativsten, da sie Eingaben enthalten, die Sie nicht testen wollten:

• Produktionsläufe. Abgeschlossene Ausführungen Ihres bereitgestellten Agents können direkt in ein Dataset aufgenommen werden. Ausfälle und ungerade Randfälle sollten zuerst hinzugefügt werden, da dies die Fälle sind, vor denen Sie sich schützen sollten. Siehe Hinzufügen einer Produktionsausführung zu einem Dataset.
• Generierte Beispiele. Verwenden Sie CLI-Fähigkeiten, um Datenpunkte zu generieren, wenn Sie eine Abdeckung benötigen, die der Agent noch nicht gesehen hat. Siehe Agents im Handbuch zur Codierung von Agents.
• Ihre Geschäftsteams. Verwenden Sie CLI-Fähigkeiten, um Testfälle (JSON oder CSV) von den Personen zu importieren, die wissen, wie eine korrekte Antwort aussieht. Für entscheidungsintensive Aufgaben sollten sie die erwarteten Ausgabe-, Verlaufs- oder Eskalationspfade definieren.

Bevor Sie sich auf einen Datenpunkt verlassen, überprüfen Sie seine erwartete Ausgabe. Das Datenpunktformular entspricht den Eingabe- und erwarteten Ausgabeschemas Ihres Agents. Es warnt Sie, wenn die erwartete Ausgabe nicht mit den Schlüsseln in der Ausgabe des Agents übereinstimmt.

Simulieren Sie Tools mit Nebenwirkungen

Eine Auswertungsausführung sendet jeden Datenpunkt an Ihren bereitgestellten Agent. Wenn die Tools des Agents live sind, werden sie von der Ausführung ausgelöst: Sie sendet die E-Mail, schreibt den Datensatz und erstellt die Eskalation, die ein Mensch bearbeiten muss. Wenn Sie diese nachgelagerten Auswirkungen in der Produktion nicht möchten, simulieren Sie jedes Tool und jede Eskalation, die etwas außerhalb des Agents ändert. Dies umfasst Human-in-the-Loop (HITL)-Schritte, sodass eine Auswertung keine Arbeit in die Warteschlange einer Person stellt.

Jede simulierte Komponente beginnt mit einem ausgefüllten Ausgabeschema. Sie können sie auf zwei Arten simulieren:

• Statisches Pseudo-Objekt. Die Komponente gibt bei jeder Ausführung dieselbe Antwort zurück, z. B. einen HITL-Schritt, der immer genehmigt wird, oder ein Tool, das immer die gleiche Ausgabe zurückgibt. Pseudo-Objekte sind präzise und kostengünstig, also verwenden Sie sie, wenn eine feste Antwort ausreicht.
• Generierte Antwort. Sie beschreiben die Antwort, die der Agent sehen soll, und bei jeder Ausführung der Bewertung wird eine neue generiert. Verwenden Sie diese Option, wenn der Agent unterschiedliche Antworten verarbeiten muss.

Wird bei jeder Änderung und nach einem Zeitplan ausgeführt

Sie können eine Auswertungsausführung nach Bedarf oder nach einem Zeitplan starten.

• Bei Bedarf: Führen Sie Ihre Datasets nach jeder Änderung an etwas aus, von dem der Agent abhängt, z. B. das Modell, der Prompt, ein Tool oder ein verbundenes System, um eine Regression abzufangen, bevor sie sich ausbreitet. Verwenden Sie dieselben Datasets zur Entwurfszeit und zur Laufzeit und führen Sie sie zuerst zur Entwurfszeit aus.
• Nach einem Zeitplan: Eine wiederkehrende Ausführung erfasst die Drift. Die richtige Häufigkeit hängt davon ab, wie schnell sich Ihre Eingaben und Abhängigkeiten ändern. Ein Agent mit hohem Volumen, der sich ändernde Systeme erfasst, benötigt eine höhere Kadenz als einer, der dies nicht tut.

Planen Sie eine Auswertung

Ein Zeitplan führt ein ganzes Dataset aus. So erstellen Sie eines:

1. Wählen Sie unter Agenteninstanzverwaltung die Option Agents.
2. Wählen Sie den bereitgestellten Agent aus.
3. Wählen Sie die Registerkarte Bewertungen .
4. Wählen Sie in der Ansicht Zeitpläne die Option Neuer Zeitplan aus.
5. Legen Sie das Startdatum und das Enddatum fest. Die Zeiten werden in Ihrer lokalen Zeitzone angezeigt.
6. Legen Sie die Wiederholungsfrequenz fest, d. h. wie oft das Dataset ausgeführt wird.
7. Wählen Sie das auszuführende Dataset aus. Das erste Dataset des Agents ist standardmäßig ausgewählt.
8. Speichern Sie den Zeitplan.

Jede geplante Ausführung verwendet das Dataset so, wie es zu Beginn der Ausführung vorliegt. Wenn Sie Datenpunkte hinzufügen, bearbeiten oder entfernen, werden die Änderungen bei der nächsten Ausführung automatisch übernommen, sodass Sie keine Neuplanung durchführen müssen.

Nachdem Sie einen Zeitplan erstellt haben, können Sie ihn anhalten und fortsetzen, die Häufigkeit der Ausführung ändern oder löschen. In der Ansicht Zeitpläne werden nur die Zeitpläne im Ordner des bereitgestellten Agents aufgeführt.

Lesen Sie die Ergebnisse

Öffnen Sie eine Ausführung in der Ansicht „Evaluierungsausführungen“, um Folgendes anzuzeigen:

• Der Status und die Gesamtpunktzahl der Ausführung
• Wie viele Datenpunkte übergeben wurden
• Der Status und die Punktzahl jedes Datenpunkts

Eine Gesamtpunktzahl zeigt Ihnen, ob sich etwas geändert hat. Ich sagt Ihnen nichts. Die Auswahl eines Datenpunkts zeigt:

• Rechtfertigung: Warum der Bewerter diese Punktzahl abgegeben hat.
• Eingabe, Erwartete Ausgabe und Erwartete im Vergleich zu tatsächlicher Ausgabe: Die Werte des Datenpunkts neben dem, was der Agent tatsächlich erzeugt hat.
• Trace: Was der Agent während der Ausführung getan hat. Die Ablaufverfolgung beginnt in der Ausführungsspanne des Evaluierungssatzes und umfasst die Ausführung des Agents, die Agent-Ausgabe und eine Auswerterspanne für jeden Evaluierer.

Wenn die Punktzahl eines Datenpunkts fällt, ist entweder der Agent falsch oder die erwartete Ausgabe ist falsch. Wenn der Agent falsch liegt, ist das eine Regression. Wenn die erwartete Ausgabe falsch ist, muss der Datenpunkt korrigiert werden, damit das Dataset vertrauenswürdig bleibt.

Wo Runtime-Auswertungen live sind

Öffnen Sie Agent Registry > Agents und wählen Sie einen bereitgestellten Agent. Die Registerkarte Bewertungen verfügt über vier Ansichten:

Ansicht	Verwendungszweck
Datasets	Erstellen und verwalten Sie Datenpunkte und sehen Sie sich die verknüpften Auswerter und die letzte Aktualisierung jedes Datasets an.
Auswerter	Wählen Sie aus, wie jeder Datenpunkt bewertet wird. Wenn Ihr Agent keine hat, werden Standardauswerter erstellt und das Standard-Dataset ist nur mit dem LLM-Judge-Auswerter verknüpft.
Auswertungsausführungen	Überprüfen Sie frühere Ausführungen, einschließlich Bewertung und Ablaufverfolgung.
Zeitpläne	Führen Sie Datasets wiederkehrend aus.

Was Sie auf der Registerkarte Bewertungen tun können, hängt von Ihren Berechtigungen im Ordner des bereitgestellten Agents ab. Ohne sie sind Bearbeitungs- und Ausführungsaktionen ausgeblendet oder nicht verfügbar und die Registerkarte ist schreibgeschützt.

Runtime-Auswertungen werden separat vom Agent-Paket gespeichert. Sie können Datasets, Datenpunkte und Evaluierer ändern, ohne den Agent erneut zu veröffentlichen. Dateien, die an Datenpunkte angehängt sind, befinden sich in Orchestrator Speicher-Buckets, und Sie verwalten sie über die Registerkarte Auswertungen und nicht über die Seite Orchestrator -Buckets .

Fügen Sie einem Dataset eine Produktionsausführung hinzu

Sie können eine abgeschlossene Ausführung Ihres bereitgestellten Agents in einen Datenpunkt umwandeln. Die Ausgabe der Ausführung wird zur erwarteten Ausgabe des Datenpunkts. Überprüfen Sie also, ob sie korrekt ist, bevor Sie ihn hinzufügen. Eine falsche Antwort, die hier gespeichert wird, wird zur Antwort, gegen die zukünftige Ausführungen bewertet werden.

Bevor Sie beginnen

• Erstellen Sie mindestens ein Dataset in der Ansicht Datasets der Registerkarte Evaluierungen .
• Stellen Sie sicher, dass der Agent mindestens eine abgeschlossene Ausführung hat.

Schritte

1. Wählen Sie unter Agenteninstanzverwaltung die Option Agents.
2. Wählen Sie den bereitgestellten Agent aus.
3. Wählen Sie die Registerkarte Überprüfungsausführungen aus.
4. Wählen Sie in der Ausführungszeile das Symbol in der Spalte Zum Dataset hinzufügen aus. Wenn das Feedback-Dialogfeld der Ausführung geöffnet ist, wählen Sie stattdessen dort zum Dataset hinzufügen aus.
5. Wählen Sie unter Dataset ein Dataset aus. Die erste Option ist standardmäßig ausgewählt.
6. Geben Sie optional einen Datenpunktnamen ein. Wenn Sie dies leer lassen, wird der Datenpunkt nach der Ablaufverfolgung benannt, z. B. Trace 083869d6.
7. Überprüfen Sie die Werte Eingabe und Erwartete Ausgabe .
8. Wählen Sie Datenpunkt hinzufügen.

Eine Bestätigungsmeldung benennt das Dataset und der Datenpunkt wird darin auf der Registerkarte Bewertungen angezeigt.

Einschränkungen

• Geplante Ausführungen unterstützen den LLM-Judge-Trajectory- Auswerter noch nicht.
• Online-Auswertungen sind nicht verfügbar.
• Maestro-Runtime-Auswertungen sind nicht verfügbar.