オブザーバビリティ

インスタンスの管理ダッシュボードを使用して、デプロイ済みのチャット エージェントのパフォーマンス、ユーザー満足度、運用環境での動作を監視します。

このページでは、 Agent Builder または Maestro Flowで構築されたデプロイ済みのチャット エクスペリエンスのオブザーバビリティについて説明します。音声会話型エージェントの場合は、「 音声のオブザーバビリティ」をご覧ください。

以下のツールを使用して運用環境での動作を監視し、エージェントの設計を反復処理します。

ダッシュボード

インスタンスの管理では、デプロイ済みの会話型エクスペリエンスの主要なメトリック、パフォーマンス インジケーター、ユーザーからのフィードバックを監視するためのダッシュボード ビューが提供されています。

ダッシュボードにアクセスする

1. UiPath Automation Cloud ポータルに移動します。
2. [ 会話型] > [エージェント] に移動します。
3. 会話 型エージェント ( Agent Builder に構築) または 会話型フロー ( Maestro Flowに構築) を選択します
4. [ダッシュボード] タブを選択します。

重要:

インスタンスの管理 (管理者の監視とパワー ユーザー向け) のみが、 Agent Builder エージェントを 会話型エージェントとしてラベル付けし、 フローで構築されたエージェント を会話型フローとしてラベル付けすることによって、構築パスを区別します。他のすべてのデプロイ チャネルでは、両方の種類が 会話型エージェント としてエンド ユーザーに表示されます。

利用可能なメトリック

このダッシュボードでは以下が可視化されます。

• 使用状況メトリック: 会話の量とユーザー エンゲージメント
• パフォーマンス インジケーター: ツールの使用状況とアクティブなユーザー
• ユーザーからのフィードバック: いいね/不満の評価の概要

ユーザー フィードバック

ユーザーからのフィードバックは、エージェントのパフォーマンスが良好である領域と改善が必要な領域を特定するのに役立ちます。

フィードバックの仕組み

1. エージェントの応答後にユーザーが「いいね」または「不満」を選択します。
2. 必要に応じて、フィードバックについて説明するコメントを追加できます。
3. フィードバックはトレースにアタッチされ、インスタンスの管理で確認できます。

フィードバックを確認する

インスタンスの管理からユーザー フィードバックにアクセスします。

1. [ 会話型] > [エージェント] に移動します。
2. 会話 型エージェント ( Agent Builder で構築) または 会話型フロー ( Maestro Flowで構築) を選択します。
3. [フィードバック] メニューに移動します。
4. フィードバックのエントリ、およびユーザーの評価とコメントを確認します。

このフィードバックを使用して、改善できる領域を特定したり、エージェントの応答に対するユーザー満足度を把握したりします。

トレース ログ

トレース ログは、エージェントの実行の詳細な記録を提供します。これにより、問題をデバッグしたり、エージェントの動作を把握したりできます。

Agent Builder エージェントのトレースにアクセスする

1. 会話 型エージェント ( Agent Builder で構築) を選択します。
2. [ 実行を確認 ] セクションに移動します。
3. ジョブを選択すると、そのトレースが表示されます。会話に関連付けられているジョブには、会話全体のトレースが表示されます。

会話型フローのトレースにアクセスする

1. 会話型フロー (Maestro Flowで構築) を選択します。
2. [ Open in Maestro] を選択します。
3. 任意の実行を選択して、そのトレース、ステータス、ノードの実行を表示します。

トレースに表示される内容

各トレースには以下が含まれます。

• 会話のやり取り: 会話のすべての前後のターン。
• エージェントの実行: 各取引所でのエージェントの実行で、入力と出力が含まれます。
• LLM の呼び出し: モデルに送信されたプロンプトと受信した応答です。
• ツールの呼び出し: 呼び出されたツールと、入力および出力です。
• タイミングの情報: 各ステップの実行時間です。
• トークンの使用状況: 交換ごとに消費されるトークン。

デバッグにトレースを使用する

問題を調査する際に、以下の手順を実行します。

1. インスタンスの管理または Orchestrator のジョブで会話を見つけます。
2. トレースを開いて完全な実行パスを確認します。
3. エージェントが期待される動作から逸脱している箇所を特定します。
4. インサイトを利用して、システム プロンプトやツールの設定を改良します。

エージェントを反復処理する

エージェントのライフサイクルのフィードバック ループは、オブザーバビリティで完成します。運用環境から得られたインサイトを使用してエージェントの設計を改善します。

反復処理のプロセス

1. 問題を特定する: ダッシュボード、フィードバック、トレースで問題がないかどうかを確認します。
2. 根本原因を診断する: トレースを使用して、問題が発生する理由を把握します。
3. 設計を更新する: システム プロンプト、ツール、または設定を変更します。
4. 変更をテストする: 特定された問題をカバーする評価テストを作成します。
5. 更新をデプロイする: 改善したエージェントをパブリッシュします。
6. 結果を監視する: オブザーバビリティによって改善内容を検証します。

オブザーバビリティに基づく一般的な改善

確認された内容	考えられる改善
特定のトピックについてネガティブなフィードバックが寄せられている	コンテキスト グラウンディングのインデックスを追加または改善する
ツールの障害	ツールの設定とエラー処理を確認する
応答時間が長い	ツールの選択を最適化するか、モデルを切り替える
利用できない機能をユーザーが求めている	システム プロンプトを更新して期待値を設定する

監査とコンプライアンス

AI Trust Layer による監査

AI Trust Layer は、コンプライアンスとガバナンスのために、LLM の呼び出しとエージェントの動作の完全な監査証跡を提供します。

管理ポータルから AITL の監査ログにアクセスすることで、以下が可能です。

• 完全なモデルの対話履歴の確認
• 入力と出力
• データ所在地とコンプライアンスの検証

詳しくはこちらをご覧ください。

次のステップ

• Build in Maestro Flow: インサイトに基づいて会話フローを更新します
• Agent Builder で構築する: インサイトに基づいて Agent Builder でエージェントを更新します
• エージェントのトレース: トレースの詳細なドキュメント