実行時の評価を管理する (プレビュー)

デプロイ済みのエージェントをデータセットに対してオンデマンドで、または定期的なスケジュールで検証します。

設計時にテストに合格したエージェントは、運用環境で失敗する可能性があります。モデルが更新され、入力がドリフトされ、エージェントが呼び出すツールが警告なしに変更されます。出荷前にのみ評価すると、これらの失敗を見つけるのはユーザーです。

実行時の評価はデプロイされたエージェント自体に対して実行されるため、結果には設計時のコピーではなく運用環境の内容が反映されます。変更のたびにスケジュールに従って実行し、ユーザーよりも先に回帰を検出します。

エージェントの構築中にエージェントを評価するには、「 評価」をご覧ください。

出力だけでなく、エージェントが行った処理を評価する

エージェントは、使用すべきではないツールを呼び出したり、実行すべきステップをスキップしたり、そこに到達する前に 3 回ループしたりするなど、間違ったルートで正しい答えを返す可能性があります。最終出力をチェックしてもそのどれもキャッチできず、本番環境では、これらの失敗がコストを犠牲にします。

各データ ポイントは、そのデータセットにリンクされている評価器によってスコアリングされます。[ 評価器 ] ビューで評価器を追加します。それらは 3 つのカテゴリに分かれており、それぞれが異なる種類の失敗をキャッチするため、複数のカテゴリを組み合わせます。

出力検証 評価器は、決定論的なチェックを実行します。安価で、毎回同じ結果が得られます。

• テキストを含む: 指定したテキストが出力に含まれる場合に合格します。
• 完全一致: 出力が期待される出力に完全に一致する場合に合格します。
• JSON の類似性: 出力の JSON 構造が期待される構造と類似している場合に合格します。

LLM の審査員 の評価器は、LLM を使用して実行をスコアリングするため、正解であっても表現が異なる回答を受け入れます。

• LLM の審査員の出力: 出力が期待される出力に意味が一致するかどうかを判断します。既定の LLM 評価器評価器 ではこの型が使用されます。
• LLM による厳密な JSON: 出力が予期される JSON 構造に厳密に一致するかどうかを判断します。
• LLM の審査員の軌跡: 実行が期待される動作に従っているかどうかを判断します。まだスケジュールされた実行では使用できません。
• LLM の審査員のシミュレーション: シミュレートされたコンポーネントを使用する実行の実行パスを判断します。

ツールの呼び出しの 評価器は、エージェントがツールをどのように使用したかを確認します。

• ツール呼び出しの引数: エージェントが正しい引数でツールを呼び出したことを確認します。
• ツールの呼び出し回数: エージェントが各ツールを呼び出した回数を確認します。
• ツールの呼び出し順序: エージェントが期待された順序でツールを呼び出したことを確認します。
• ツールの呼び出しの出力: ツールの出力が期待される値に一致していることを確認します。

すべての評価器の結果にはスコアと完全な実行トレースが付属しているため、実行のどこが問題だったかを確認できます。LLM の評価員の評価器は、妥当性を付けてスコアについても説明します。結果をエージェントを改善するための To Do リストとして扱います。実行をエクスポートし、CLI スキルを使用して分析します。たとえば、以下を行うことができます。

• 最も重要な失敗をランク付けして、最も影響の大きい問題を最初に修正します。
• データセットがエージェントのプロンプトのすべての指示を網羅しているかどうかを確認し、見逃している指示にはデータ ポイントを追加します。
• エージェントが運用環境で処理するユース ケースのうち、データセットではまだテストしていないユース ケースを見つけます。

実際のトラフィックからデータセットを構築する

データセットはデータ ポイントのセットです。それぞれのファイルには、エージェントに送信する入力と、返されることを期待する出力が格納されています。データ ポイントを手書きで書き込むことはできますが、その必要はありません。他にも 3 つのソースがありますが、テストするとは思わなかった入力が含まれているため、運用環境の実行が最も代表的です。

• 運用環境の実行。デプロイ済みのエージェントの完了した実行は、データセットに直接入力できます。失敗や奇妙なエッジ ケースは、防止すべきケースであるため、最初に追加する価値があります。「 データセットに運用環境での実行を追加する」をご覧ください。
• 生成された例CLI スキルを使用して、エージェントがまだ確認していないカバレッジが必要な場合にデータ ポイントを生成します。『Coding Agents ガイド』の 「エージェント 」をご覧ください。
• ビジネス チームCLI スキルを使用して、正解の内容を知っているユーザーからテスト ケース (JSON または CSV) をインポートします。判断力が多いタスクの場合は、期待される出力、軌跡、またはエスカレーションのパスを定義する必要があります。

データ ポイントを利用する前に、その期待される出力を確認してください。データ ポイント フォームは、エージェントの入力スキーマと期待される出力スキーマと一致し、期待される出力がエージェントの出力のキーと一致しない場合は警告を表示します。

副作用のあるツールのシミュレーション

評価の実行により、各データ ポイントをデプロイ済みのエージェントに送信します。エージェントのツールが稼働している場合は、実行によってツールがトリガーされます。つまり、メールを送信し、レコードを書き込み、人間が処理するエスカレーションを作成します。このような下流の影響を運用環境で使用したくない場合は、エージェントの外部で何かを変更するすべてのツールとエスカレーションをシミュレートします。これには人間参加型 (HITL) のステップが含まれているため、評価によって作業がユーザーのキューに入れられることはありません。

シミュレートされた各コンポーネントは、その出力スキーマが入力された状態で開始します。次の 2 つの方法でシミュレートできます。

• 静的モック。コンポーネントは実行ごとに同じ応答を返します。たとえば、常に承認する HITL ステップや、常に同じ出力を返すツールなどです。モックは正確で安価なので、固定された応答で十分な場合はいつでも使用します。
• 生成された応答。エージェントに表示する応答を説明すると、評価が実行されるたびに新しい応答が生成されます。エージェントが多様な応答を処理する必要がある場合に使用します。

すべての変更に対して、スケジュールに従って実行する

評価の実行は、オンデマンドで、またはスケジュールから開始できます。

• オンデマンド:モデル、プロンプト、ツール、接続されたシステムなど、エージェントが依存する要素を変更するたびにデータセットを実行し、回帰が拡大する前に回帰をキャッチします。設計時と実行時に同じデータセットを使用し、最初に設計時に実行します。
• スケジュールに従う 繰り返し実行するとドリフトがキャッチされます。適切な頻度は、入力と依存関係の変化の速さによって異なります。変化するシステムに触れる大量のエージェントには、触れないエージェントよりもタイトな周期が必要です。

評価のスケジュールを設定する

スケジュールはデータセット全体を実行します。作成するには、次の手順を実行します。

1. [ エージェント インスタンスの管理] で [ エージェント] を選択します。
2. デプロイ済みのエージェントを選択します。
3. [ 評価 ] タブを選択します。
4. [ スケジュール] ビューで [ 新しいスケジュール] を選択します。
5. 開始日と終了日を設定します。時刻はローカル タイム ゾーンで表示されます。
6. 繰り返し (データセットの実行頻度) を設定します。
7. 実行するデータセットを選択します。エージェントの最初のデータセットが既定で選択されています。
8. スケジュールを保存します。

スケジュールされた各実行では、実行開始時のデータセットがそのまま使用されます。データ ポイントを追加、編集、削除すると、次回の実行で変更が自動的に反映されるため、スケジュールを変更する必要はありません。

スケジュールを作成した後は、スケジュールを一時停止および再開したり、実行頻度を変更したり、スケジュールを削除したりできます。[スケジュール] ビューには、デプロイ済みエージェントのフォルダー内のスケジュールのみが一覧表示されます。

結果を読む

実行を 評価 ビューで開き、以下を確認します。

• 実行のステータスと総合スコア
• 合格したデータ ポイントの数
• 各データ ポイントのステータスとスコア

総合スコアは、何かが変更されたかどうかを示します。それはあなたに何を教えてくれません。データ ポイントを選択すると、以下の情報が表示されます。

• 妥当性: 評価者がそのスコアを与えた理由。
• 入力、 期待される出力、 期待される出力と実際の出力: エージェントが実際に生成した値の横にあるデータ ポイントの値です。
• トレース: 実行中にエージェントが行った動作トレースは 評価セットの実行 範囲から始まり、エージェントの実行、エージェントの出力、および各評価器の評価 器 の範囲が含まれます。

データ ポイントのスコアが低下した場合は、エージェントが間違っているか、期待される出力が間違っています。エージェントが間違っている場合、それは回帰です。期待される出力が間違っている場合は、データセットの信頼性を維持するためにデータ ポイントを修正する必要があります。

実行時の評価が存在する場所

エージェント レジストリ > Agents を開き、デプロイ済みのエージェントを選択します。[ 評価 ] タブには、次の 4 つのビューがあります。

表示	目的
データセット	データ ポイントを作成および管理し、各データセットにリンクされている評価器と最終更新を確認します。
評価器	各データ ポイントのスコアリング方法を選択します。エージェントに評価器がない場合は、既定の評価器が作成され、既定のデータセットは LLM 評価器にのみリンクされます。
評価の実行	スコアやトレースなど、過去の実行を確認します。
スケジュール	データセットを定期的に実行する。

[ 評価 ] タブで実行できる操作は、デプロイされたエージェントのフォルダーでの権限によって異なります。これらの操作が設定されていないと、編集操作と実行操作が非表示になるか利用できなくなり、タブは読み取り専用になります。

実行時の評価は、エージェント パッケージとは別に保存されます。エージェントを再パブリッシュすることなく、データセット、データ ポイント、評価器を変更できます。データ ポイントに添付されたファイルは Orchestrator のストレージ バケットに存在し、ユーザーは Orchestrator の [バケット] ページではなく [評価] タブから管理します。

データセットに運用環境での実行を追加する

デプロイ済みのエージェントの完了した実行をデータ ポイントに変換できます。実行の出力はデータ ポイントの期待される出力になるため、追加する前にデータ ポイントが正しいことを確認してください。ここで保存した間違った回答は、今後の実行のスコアリング対象となる回答になります。

開始する前に

• [評価] タブの [ データセット ] ビューで、データセット を 少なくとも 1 つ作成します。
• エージェントの実行が少なくとも 1 回完了していることを確認します。

手順

1. [ エージェント インスタンスの管理] で [ エージェント] を選択します。
2. デプロイ済みのエージェントを選択します。
3. [実行を 確認 ] タブを選択します。
4. 実行の行の [ データセットに追加 ] 列の アイコンを選択します。実行のフィードバック ダイアログが開いている場合は、代わりに [ データセットに追加 ] を選択します。
5. [ データセット] で、データセットを選択します。1 つ目は既定で選択されています。
6. 任意で、 データ ポイント名を入力します。空白のままにすると、データ ポイントにトレースにちなんで名前が付けられます (例: Trace 083869d6)。
7. [入力] 値と [期待される出力] 値を確認します。
8. [ データ ポイントを追加] を選択します。

確認メッセージでデータセットに名前が付けられ、そのデータセット内のデータ ポイントが [ 評価 ] タブに表示されます。

制限事項

• スケジュールされた実行はまだ LLM のジャッジ軌跡 評価器をサポートしていません。
• オンライン評価は利用できません。
• Maestro ランタイムの評価は利用できません。