評価

Set up evaluations for a workflow: datasets, evaluation targets, and evaluators, then run them and use the results during development.

評価は、ワークフローの出力に対する自動化された品質チェックです。期待される結果はデータセットにグループ化され、各実行はデータセットにアタッチされた評価器によってスコアリングされます。[実行] パネルの [ データセット]、[ 評価器]、[ 評価の実行 ] の各タブには、3 つの部分があります。

概念

• データセット: 評価ターゲットと一連の評価器を共有するデータ ポイントの名前付きのコレクションです。データセットには、その評価ターゲット、評価器、および項目数が一覧表示されます。
• データ ポイント: 入力値と、それらの入力に対する期待される出力で構成される 1 つのケースです。データ ポイントは、手動で書き込むことも、「 実行からデータ ポイントをキャプチャする」 で説明するように、実際の実行からキャプチャすることもできます。
• 評価器: 実際の出力と期待される出力を比較してスコアを生成するチェック。ブール値の評価器は、成功または失敗を報告します。
• 評価の実行: データセットを 1 回実行し、選択した評価器ですべてのデータ ポイントをスコアリングします。
• スコア: 評価器がデータ ポイントについて報告する結果です。

評価対象

データセットには 1 つの評価ターゲットがあります。評価ターゲットはワークフロー全体または 1 つのノードのいずれかです。

• プロセス全体: 開始から終了までのパスをテストします。これは推奨されるターゲットです。データセットではエントリ ポイントと「 手動トリガー」などのトリガーに名前を付け、各データ ポイントはトリガーの入力とワークフローの期待される出力を提供します。
• エージェント ノード: 1 つのエージェント ノードを単独でテストします。
• ドキュメント処理: ドキュメント処理ノードを評価します。

エージェント ノードまたはドキュメント処理ノードのないワークフローではノード ターゲットを利用できません。単一のデータセットでターゲットを混在させることはできません。

評価器

[評価器] タブの [新しい評価器] ボタンに、評価器の種類が 3 つのグループに一覧表示されます。各種類には、ワークフロー全体のターゲットの場合は [フロー] またはエージェント ノード ターゲットの場合は [ エージェント]、あるいはその両方がタグ付けされます。

出力の検証

これらの評価器は、AI モデルは関与せず、出力を期待される出力と正確に比較します。ワークフロー全体とエージェント ノードのターゲットをサポートします。

• テキストを含む: 出力に指定したテキストが含まれる場合に渡されます。
• 完全一致: 出力が完全一致の場合に合格します。
• JSON の類似性: JSON 構造が類似している場合に合格します。

LLM の審査員

これらの評価器は、大規模言語モデル (LLM) を使用して、期待される出力に照らして出力を判断します。ワークフロー全体とエージェント ノードのターゲットをサポートします。

• LLM による出力の評価: AI モデルが、出力が意味的に期待される出力に一致するかどうかを判断します。
• LLM による厳密な JSON の評価: AI モデルが JSON の構造の厳密な一致を判断します。
• LLM による評価の軌跡: AI モデルが、実行が期待される動作 (実行中に実行されたステップ) に従っていたかどうかを判断します。
• LLM による評価のシミュレーション: AI モデルが、シミュレートされた実行のパスを判断します。

ツールの呼び出し

これらの評価器は、エージェントがツールをどのように呼び出したかを確認します。エージェント ノードのターゲットのみをサポートします。

• ツールの呼び出しの引数: ツールが正しい引数で呼び出されたことを確認します。
• ツールの呼び出し回数: 各ツールが呼び出された回数を確認します。
• ツールの呼び出し順序: ツールが正しい順序で呼び出されたことを確認します。
• ツールの呼び出しの出力: ツールの出力が期待される値に一致することを確認します。

データセットを作成する

[データセット] タブの [追加] メニューには、[データセットを追加]、[データセットをインポート]、[ウィザードでデータ ポイントを追加] の 3 つのエントリがあります。

[ データセットを追加] パネルでは、名前と任意の説明、評価ターゲット、そしてプロセス全体のターゲットの場合はエントリ ポイントの入力を求められます。また、評価器も一覧表示されます。各評価器には [LLM ジャッジの軌跡]、[ 完全一致]、[ LLM ジャッジの評価器] のトグルがあります。[ 既定のシミュレーション] セクションでは、すべてのデータ ポイントが継承する既定値が設定され、個々のデータ ポイントで既定値を上書きできます。

[評価用にデータ ポイントを追加] ウィザードは、評価対象、シナリオの入力、シミュレーション、評価基準の 4 つの手順で構成されます。次の 4 つの手順は次のとおりです。

1. 評価対象: ターゲット、任意のデータ ポイント名 (空白のままにすると生成)、およびデータ ポイントを追加するデータセット
2. シナリオ入力: トリガーがワークフローに送信する入力です。トリガーの入力ごとに 1 つのフィールドがあります。 JSON ビューまたは ビジュアル ビューで表示されます。きらめくアイコン [ AI で生成] をクリックすると 指示ボックスが 開き、[ 生成 ] によって指示から入力が作成されます。
3. シミュレーション: 評価の実行中に選択したノードの出力を上書きします。各ノードには、チェックボックスとモックタイプ( 静的モックなど)があり、 出力モック がノードで提供するのと同じオプションで、ノードの実際の出力を置き換える出力値があります。このステップでは、上書きでは LLM の指示またはルールベースのシミュレーションが使用されることが示されます。
4. 評価基準: 有効化されている評価器と、各評価器がこのデータ ポイントをどのようにスコアリングするかを示します。LLM の評価の軌跡などの LLM の評価の場合、期待される動作はテキスト フィールドで記述 されます。[ 評価を開始 ] チェックボックスは、データ ポイントが追加されると評価を実行します。

評価器を設定する

[ 評価器] タブに評価器が一覧表示され、[ 新しい評価器 ] ボタンがあります。すべての評価器には名前、説明、およびターゲット出力キーがあります。このキーは、ワークフローのすべての出力に * されるか、1 つのノード (例: httpRequest1) の出力です。

• [完全一致] には、[大文字と小文字を区別] トグルと [否定] トグルがあります。無効にすると、出力が一致しない場合、評価は成功します。既定の評価基準では、 JSON ビューまたは ビジュアル ビューに入力される期待される出力が保持されます。対象の出力キーが設定されている場合、期待値はそのキーの下に入れ子になります。
• LLM Judge Evaluator には、 anthropic.claude-sonnet-5などのモデルと、出力の類似性をスコアリングし、スコアを説明するようモデルに求めるプロンプトがあります。この設定には [ 詳細設定 ] セクションも含まれています。

評価を実行する

[ 評価を実行 ] ボタンをクリックすると、[ 評価の実行を設定 ] パネルが開きます。このパネルで、データセット、任意のタグによるフィルター、および使用する評価器を確認するメッセージが表示されます。実行の設定 では、任意の実行名、バッチ サイズ (既定では 10)、およびタイムアウト (既定では 20 分) があります。[保存して実行] を選択すると、実行が開始されます。

データセットのライフサイクル

データセットは、評価ターゲット、データ ポイント、評価器を中心に構築されます。対象は、トリガーを介して入力された単一のノードまたはワークフロー全体です。各データ ポイントは入力値と期待される出力を提供し、各評価器は実行結果のスコアリング方法を定義します。

データセットを実行すると、各データ ポイントに対してターゲットが実行され、評価器ごとのスコアが [ 評価の実行 ] タブに表示されます。

実行からデータ ポイントをキャプチャする

データ ポイントを手書きで記述する必要はありません。下部のツールバーにある [ 評価を実行 ] アイコンの横にある矢印をクリックすると [ データ ポイントを追加] が開き、同じウィザードが開始されます。デバッグ実行の詳細の [評価に追加 ] ボタンと [ デバッグ実行 ] リストの各行にあるフラスコ アイコンは、その実行をキャプチャし、その入力と出力がデータ ポイントの入力と期待される出力になります。実行をキャプチャすると、すでに観測された実際の動作からデータセットがシードされます。

開発での評価の使用

評価は、以下の状況で最も役立ちます。

• ワークフローで AI エージェントが起動され、デプロイ前にエージェントの出力が品質の期待値を満たす必要があります。
• 回帰カバレッジが必要である: 変更のたびに評価を実行することで、既存の動作が壊れていないことを確認します。
• 現在、同じワークフローの 2 つのバージョンで評価を実行して、2 つの代替実装を比較しています。

評価結果

結果は [ 評価の実行 ] タブに保存され、データセットの実行が完了するまで [評価の実行はまだありません。] と表示されます。これにより、いつでも確認できます。各実行は、実行番号、データセット、ステータス (完了など、実行中の 0/1 など)、データ ポイントの数、各評価器のスコア (パーセンテージ)、開始時刻、期間を含む 1 つの行です。表の上には検索フィールド、フィルター、列セレクターがあり、[ 評価を実行] によって 新しい実行が開始されます。実行の [アクション] 列には、[再生] ボタン、[ この実行から新しい実行を開始]、および 3 点リーダー メニューがあります。各実行には、評価器ごとのスコア、個々のデータ ポイントの結果、および各データ ポイントの実際の値と期待値が表示されます。

実際の例

ワークフローで AI エージェントを使用してカスタマー サポート メールを分類します。デプロイする前に、10 個のデータ ポイントを持つデータセットが設定されます。

• "billing"として分類すべきメール 5 件
• として分類すべきメール 3 "technical"
• 2 エッジ ケース (あいまいなメール)

各データ ポイントは、期待される classification 出力値を定義します。分類の 完全一致 評価器によって各結果がスコアリングされ、評価の実行により、ワークフローが運用環境に移行する前に、エージェントがどのケースを間違えたかが示されます。

よくある間違い

• データセットを 1 回だけ実行する: データセットは、AI エージェントを呼び出すワークフローに大きな変更を加えるたびに最も役に立ちます。ワークフローが変更されていなくても、モデルの更新に伴ってエージェントの動作が変化する可能性があります。
• 予期されるケースのデータ ポイントのみを書き込む: 評価は、エッジ ケースと失敗モードで最も役に立ちます。強力なデータ ポイントには、あいまいな入力、形式が正しくない入力、または予期される範囲の境界にある入力が含まれます。
• すべて合格のスコアをテストを中止する理由として扱う: 3 つの合格データ ポイントは信頼度ではありません。より大きなセット、特に実際の生産インプットを反映するセットは、より強力なカバレッジを提供します。

次のステップ

• 出力モック: デバッグ実行のノード出力を修正しました。
• 実行の監視: 実行履歴と各実行のトレース。
• 自律型エージェント ノード: AI エージェントを実行するノード。
• ワークフローに AI エージェントを追加する: ワークフローでエージェントを実行するビルド ガイド。
• コミュニティ: UiPath フォーラムで質問したり、他のビルダーとワークフローを共有したりできます。