会話型エージェントのオブザーバビリティ

オブザーバビリティにより、会話型エージェントのパフォーマンス、ユーザー満足度、改善できる領域についてのインサイトが得られます。以下のツールを使用して運用環境での動作を監視し、エージェントの設計を反復処理します。

ダッシュボード

インスタンスの管理では、会話型エージェントの主要なメトリックとパフォーマンス インジケーターを監視するためのダッシュボード ビューが提供されています。

ダッシュボードにアクセスする

1. UiPath Automation Cloud ポータルに移動します。
2. [Agents] > [デプロイ済みのエージェント] に移動します。
3. 会話型エージェントを選択します。
4. [ダッシュボード] タブを選択します。

利用可能なメトリック

このダッシュボードでは以下が可視化されます。

• 使用状況メトリック: 会話の量とユーザー エンゲージメント
• パフォーマンス インジケーター: ツールの使用状況とアクティブなユーザー
• ユーザーからのフィードバック: いいね/不満の評価の概要

注:

消費メトリックは更新中であり、今後のリリースで利用可能になる予定です。

ユーザー フィードバック

ユーザーからのフィードバックは、エージェントのパフォーマンスが良好である領域と改善が必要な領域を特定するのに役立ちます。

フィードバックの仕組み

1. エージェントの応答後にユーザーが「いいね」または「不満」を選択します。
2. 必要に応じて、フィードバックについて説明するコメントを追加できます。
3. フィードバックはトレースにアタッチされ、インスタンスの管理で確認できます。

フィードバックを確認する

インスタンスの管理からユーザー フィードバックにアクセスします。

1. [Agents] > [デプロイ済みのエージェント] に移動します。
2. 会話型エージェントを選択します。
3. [フィードバック] メニューに移動します。
4. フィードバックのエントリ、およびユーザーの評価とコメントを確認します。

このフィードバックを使用して、改善できる領域を特定したり、エージェントの応答に対するユーザー満足度を把握したりします。

トレース ログ

トレース ログは、エージェントの実行の詳細な記録を提供します。これにより、問題をデバッグしたり、エージェントの動作を把握したりできます。

トレースにアクセスする

1. インスタンスの管理でエージェントを選択します。
2. [ランタイム] セクションに移動します。
3. 会話を選択してトレースを表示します。

トレースに表示される内容

各トレースには以下が含まれます。

• LLM の呼び出し: モデルに送信されたプロンプトと受信した応答です。
• ツールの呼び出し: 呼び出されたツールと、入力および出力です。
• タイミングの情報: 各ステップの実行時間です。
• トークンの使用状況: 各呼び出しで消費されたトークン数です。

デバッグにトレースを使用する

問題を調査する際に、以下の手順を実行します。

1. インスタンスの管理または Orchestrator のジョブで会話を見つけます。
2. トレースを開いて完全な実行パスを確認します。
3. エージェントが期待される動作から逸脱している箇所を特定します。
4. インサイトを利用して、システム プロンプトやツールの設定を改良します。

エージェントを反復処理する

エージェントのライフサイクルのフィードバック ループは、オブザーバビリティで完成します。運用環境から得られたインサイトを使用してエージェントの設計を改善します。

反復処理のプロセス

1. 問題を特定する: ダッシュボード、フィードバック、トレースで問題がないかどうかを確認します。
2. 根本原因を診断する: トレースを使用して、問題が発生する理由を把握します。
3. 設計を更新する: システム プロンプト、ツール、または設定を変更します。
4. 変更をテストする: 特定された問題をカバーする評価テストを作成します。
5. 更新をデプロイする: 改善したエージェントをパブリッシュします。
6. 結果を監視する: オブザーバビリティによって改善内容を検証します。

オブザーバビリティに基づく一般的な改善

確認された内容	考えられる改善
特定のトピックについてネガティブなフィードバックが寄せられている	コンテキスト グラウンディングのインデックスを追加または改善する
ツールの障害	ツールの設定とエラー処理を確認する
応答時間が長い	ツールの選択を最適化するか、モデルを切り替える
利用できない機能をユーザーが求めている	システム プロンプトを更新して期待値を設定する

監査とコンプライアンス

AI Trust Layer による監査

AI Trust Layer は、コンプライアンスとガバナンスのために、LLM の呼び出しとエージェントの動作の完全な監査証跡を提供します。

管理ポータルから AITL の監査ログにアクセスすることで、以下が可能です。

• 完全なモデルの対話履歴の確認
• 入力と出力
• データ所在地とコンプライアンスの検証

詳しくはこちらをご覧ください。

次のステップ

• 設計: インサイトに基づいてエージェントを更新する
• 評価: 運用シナリオからテストを作成する
• エージェントのトレース: トレースの詳細なドキュメント
• エージェント スコア: エージェントのヘルス スコアを理解する