Evaluieren Sie den Agent

Führen Sie Evaluierungsablaufverfolgungen lokal aus und überprüfen Sie die Ergebnisse, die in Studio Web einfließen.

Schritt 8 – Erstellen von Auswertungstests

Evaluierungen testen, wie gut Ihr Agent bei einer Reihe von Eingaben abschneidet, einschließlich, ob er Ihr neues Tool im richtigen Moment aufruft. Die Fähigkeit uipath-agents enthält die vollständige Referenz des Auswertungsframeworks: Auswertertypen, Auswertungssatzschema, Konventionen für die Verzeichnisstruktur und bewährte Methoden wie die Verwendung von gpt-4.1 (nicht mini) für LLM-Judge-Auswerter. Ihr Codierungs-Agent verwendet dies, um aus einer kurzen Eingabeaufforderung korrekte Auswerterkonfigurationen und Testsätze zu erstellen.

Fragen Sie Ihren Programmier-Agent:

Create an evaluation set for the intake classifier agent with 5 test cases:

1. A clearly trivial request (e.g., deliver a letter) - no creature named, get_challenge_rating should not be called
2. A standard request (e.g., escort a caravan) - no creature named, get_challenge_rating should not be called
3. A heroic request naming a goblin (e.g., clear a goblin stronghold) - get_challenge_rating should be called exactly once, querying for a goblin, and no other creature
4. A legendary request naming a dragon (e.g., slay a dragon) - get_challenge_rating should be called exactly once, querying for a dragon, and no other creature
5. An edge case that's ambiguous on difficulty but also names no specific creature - get_challenge_rating should not be called; this tests that the agent doesn't over-call the tool just because a case is hard to classify

Use both a semantic similarity evaluator (to check the output) and a trajectory evaluator (to check whether get_challenge_rating was called, and with what search term, matching the expectations above).

Include evaluator config files in evaluations/evaluators/ and the eval set, named smoke-test.json, in evaluations/eval-sets/. Use gpt-4.1-2025-04-14 as the model in the evaluator configs. Each evaluator config must include a populated defaultEvaluationCriteria - use {"expectedOutput": {}} for the semantic evaluator and {"expectedAgentBehavior": ""} for the trajectory evaluator. Empty {} fails schema validation.

---

Schritt 9 – Ausführen von Bewertungen

Führen Sie den Auswertungssatz lokal aus:

uip codedagent eval agent evaluations/eval-sets/smoke-test.json --workers 3 --output-file eval-results.json

Das Auswertungsframework führt jeden Testfall über Ihren Agent aus und bewertet die Ergebnisse.

Bewertung	Was gemessen wird
Semantische Ähnlichkeit	Wie genau die Ausgabe des Agents der erwarteten Ausgabe entspricht
Agent-Verlauf	Ob der Agent get_challenge_rating aufgerufen hat (und nur wann er dies haben sollte).

Hinweis:

Verlaufspfad bedeutet jetzt etwas. Wenn das Tool vorhanden ist, können Sie mit einer Trajektorie-Scores von nahe 1,0 für alle fünf Fälle rechnen: keinen Toolaufruf für die Triviale-, Standard- und Mehrdeutigkeitsfälle und genau einen korrekt ausgerichteten Toolaufruf für die Gobin- und Dragan-Fälle. Eine niedrige Punktzahl teilt Ihnen mit, dass der Agent das Tool aufgerufen hat, wenn er nicht stattgefunden hat, einen Aufruf übersprungen hat, den er machen sollte, oder das falsche Roboter gesucht hat – nicht nur, ob die letzte Stufe gerade richtig ist.

Für die semantische Ähnlichkeit sind Werte über 0,8 im Allgemeinen solide; Dasselbe gilt für die Trajektorie, da sie etwas Bestimmtes verfolgt. Überprüfen Sie eval-results.json, um zu sehen, wie Ihr Agent ausgeführt wurde.

Nachdem Sie im nächsten Schritt eine Verbindung mit Studio Web hergestellt haben, werden die Ergebnisse durch uip codedagent eval run über die CLI automatisch in Studio Web hochgeladen; Sie werden auf der Registerkarte Evaluierungssätze unter Ausführungen angezeigt.

Hinweis:

Die Schaltfläche „Evals ausführen“ in Studio Web ist nicht dasselbe. Diese Schaltfläche löst eine Cloud Robot-Ausführung aus, die Python-Laufzeitunterstützung erfordert – ein aufwendigeres Setup außerhalb des Rahmens dieses Projekts. Verwenden Sie stattdessen uip codedagent eval run aus der CLI; Die Ergebnisse werden in beiden Versionen in Studio Web angezeigt.

---

Wenn die lokalen Auswertungsergebnisse bestätigt wurden, können Sie das Projekt im nächsten Abschnitt mit Studio Web verbinden.