ワークフローを評価する

ワークフローとそのエージェントが期待どおりに動作することを証明する評価のプラクティス: デプロイ前および変更後に使用します。

AI エージェントは、入力が同じであっても、実行するたびに異なる回答を出すことができます。評価とは、ワークフローがまだ本来あるべき機能を果たしていることを証明する方法です。つまり、期待する結果をサンプル入力に対してワークフローを実行し、評価器が各ワークフローをスコアリングします。これらの慣行により、評価に時間を費やす価値があります。評価の設定方法については、「評価」をご覧ください。

実際の実行から開始する

データセットを構築するには、すでに実行した実行から構築するのが最も簡単です。デバッグ実行の 実行トレース で、[ 評価に追加 ] を選択して、実行の入力と出力をデータ ポイントに変換します。出力が正しい場合は、期待される結果のままにします。間違っていたら、まず修正してください。

最初にワークフロー全体をテストする

データセットは、ワークフロー全体または単一のエージェント ノードのいずれかをテストします。

• トリガーから最後まで、ワークフロー全体でユーザーが何を得るかをチェックします。入門ドキュメント:
• 単一のエージェント ノードは、そのエージェントの指示やモデルを変更し、その効果を単独で確認したい場合に役立ちます。

ワークフロー全体のデータセットはトリガーから開始され、そのエントリ ポイントはトリガーのノード ID です (例: Studio Web の場合は manualTrigger1 、デスクトップ版の Studio の場合は start )。トリガーの [ 詳細設定 ] タブで ID を確認します。

チェックする内容の評価器を選択します

確認する内容	エバリュエーターの種類
固定値 (注文ステータスやカテゴリなど)	出力の検証 (完全一致やテキストを含むなど)
たとえ言葉遣いが異なっていても、その答えは正しいことを意味するということ	LLM Judge Output などの大規模言語モデル (LLM) の評価
エージェントがどのようにしてそこに到達したか (どのツールを、どのような順序で呼び出したかなど)	LLM による評価軌跡、またはツールによる評価器の呼び出し

固定小切手は安価で常に同じスコアが与えられるため、期待される結果が正確な場合に使用します。複数の回答が正しくなる可能性がある場合は、LLM による評価を使用します。

想定される以上のケースをカバーする

• エッジ ケースと失敗を追加します。拒否する必要がある入力、不完全な入力、通常とは異なる入力を含めます。そこでエージェントが間違っています。
• プレースホルダーではなく実際のデータを使用します。プレースホルダー テキストを渡すチェックでは、エージェントが実際の入力を確認したことがないため、何も証明されません。
• 許容できる最大サイズでテストします。一般的な入力だけでなく、ワークフローが受け入れる必要がある最大の入力を含めます。

適切なタイミングで実行する

• デプロイする前に。評価に合格するまでリリースを保留します。
• エージェントの指示、モデル、ツールを変更するたびに。あるケースを改善する変更によって、別のケースが動作しなくなる可能性があります。

次のステップ

• 評価: データセット、評価器、評価の実行。
• 出力モック: デバッグ実行でノードの出力をサンプル データに置き換えます。
• デバッグの基本: 実行を読み、何が問題だったかを確認します。
• コミュニティ: UiPath フォーラムで質問したり、他のビルダーとワークフローを共有したりできます。