評価

フロー ワークフローの出力を自動で品質チェックします。評価セットにグループ化され、各実行にアタッチした評価器に対してスコアが付けられます。

評価により、フロー ワークフローの出力に対する自動品質チェックを定義できます。期待される結果を評価セットにグループ化すると、フローは、アタッチした評価器に対して各実行をスコアリングします。

概念

• 評価セット — 同じ被験者を対象とするデータ ポイントのコレクション。セットを実行して、すべてのデータ ポイントに対してワークフローを一度にスコアリングします。
• データ ポイント — 1 つのケース: 一連の入力値と、それらの入力の期待される出力です。データ ポイントは手動で作成するか、実際の実行からキャプチャします (「 実行からデータ ポイントをキャプチャする」を参照)。
• データセット — 評価セットを構成するデータ ポイントです。
• 評価器 — 実際の出力と期待される出力を比較し、スコアを生成するチェックです。ブール値の評価器は、評価器ごとに [成功] または [失敗] を生成します。
• スコア — 評価器がデータ ポイントについて報告する結果です。

ノードレベルの評価セットとフローレベルの評価セット

評価セットの対象は、単一のノードまたはフロー全体のいずれかです。

• ノード レベル — 1 つのノードにピン留めされます。各データ ポイントは、そのノードの入力と期待される出力を提供します。
• フロー レベル — トリガーのエントリ ポイントにピン留めされます。各データ ポイントは、トリガーの入力とフローの期待される出力を提供します。

同じ評価セット内でノード レベルのデータ ポイントとフロー レベルのデータ ポイントを混在させることはできません。

評価器

フローは、評価器を 3 つのファミリにグループ化します。

決定論的

出力を期待される出力と正確に比較します。ループにはモデルが含まれていません。

• 次の値を含む — 出力に予期される部分文字列が含まれていることを確認します。
• 完全一致 — 出力が期待値と等しいことを確認します。
• JSON の類似性 — 出力と期待される出力を JSON として比較します。

LLM による評価

モデルを使用して、期待される出力に照らして出力を判断します。

• 出力の意味的類似性 — 出力が期待される出力と同じ意味を持つかどうかを判断します。
• 出力: 厳密な JSON の類似性 — JSON 出力を期待される JSON に照らして判断します。
• 軌跡の類似性 — エージェントが実行したステップを、予期される軌跡に照らして判断します。
• 軌跡シミュレーション — シミュレートされた軌跡を判断します。

ツールコール

ノードがツールをどのように呼び出したかを確認します。これらの評価器は ノード レベル専用です。

• 引数の一致 — ツールの呼び出しに渡される引数を確認します。
• 呼び出し回数 — ツールが呼び出された回数を確認します。
• 呼び出し順序 — ツールが呼び出された順序を確認します。
• 出力の一致 — ツールの呼び出しの出力を確認します。

評価セットのライフサイクル

評価セットは、サブジェクト、データ ポイント、評価器を中心に構築されます。サブジェクトは、シングル ノードまたはトリガー エントリ ポイントのいずれかです。各データ ポイントは入力値と期待される出力を提供し、各評価器は Flow による実行結果のスコアリング方法を定義します。

評価セットを実行すると、Flow は各データ ポイントについて被験者を実行し、評価履歴に評価器ごとのスコアを表示します。

実行からデータ ポイントをキャプチャする

すべてのデータ ポイントを手動で作成する必要はありません。実際の実行をインポートして構築できます。デバッグ実行をキャプチャすると、その入力と出力がデータ ポイントの入力と期待される出力になります。これにより、すでに確認済みの実際の動作から評価セットを素早くシードできます。

開発での評価の使用

評価は次の場合に最も役に立ちます。

• AI エージェントを呼び出すワークフローを構築しており、パブリッシュ前にエージェントの出力が品質の期待値を満たしていることを確認する必要があります。
• 回帰カバレッジが必要な場合 — 変更のたびに評価を実行することで、既存の動作が壊れていないことを確認します。
• 同じワークフローの 2 つのバージョンで評価を実行して、代替の実装を比較する場合を考えます。

評価結果

結果は評価履歴に保存され、いつでも確認できます。各実行には、評価器ごとのスコア、個々のデータ ポイントの結果、および各データ ポイントの実際の値と期待値が表示されます。

実際の例

AI エージェントを使用してカスタマー サポート メールを分類するワークフロー。パブリッシュする前に、10 個のデータ ポイントを持つ評価セットを設定します。

• "billing"として分類すべきメール 5 件
• として分類すべきメール 3 "technical"
• 2 エッジ ケース (あいまいなメール)

各データ ポイントは、期待される classification 出力値を定義します。分類の 完全一致 評価器によって各結果がスコアリングされ、評価の実行により、ワークフローが運用環境に移行する前に、エージェントがどのケースを間違えたかが示されます。

よくある間違い

• 評価セットを 1 回だけ実行する — 評価セットは、AI エージェントを呼び出すワークフローに大きな変更を加えるたびに最も役に立ちます。ワークフローが変更されていなくても、モデルの更新に伴ってエージェントの動作が変化する可能性があります。
• ハッピー パスに対してのみデータ ポイントを記述 する — 評価は、エッジ ケースと失敗モードで最も役に立ちます。強力なデータ ポイントには、あいまいな入力、形式が正しくない入力、または予期される範囲の境界にある入力が含まれます。
• すべて合格のスコアをテストを中止するためのシグナルとして扱 う — 3 つの合格データ ポイントは信頼度ではありません。より大きなセット、特に運用環境からの実際の入力を反映するセットは、より強力なカバレッジを提供します。

関連ページ

• 出力モック
• 実行の監視
• エージェント ノード
• AI エージェントをオーケストレーションする