エージェントのスコア

エージェントのスコアを確認および解釈して、最適化の機会を特定し、エージェントの信頼性の経時的な向上を追跡します。

注:

IXP にツールとしてアクセスできるかどうかは、使用するクラウド プラットフォームによって異なります。詳しくは「Agents の機能の可用性」をご覧ください。

エージェントのスコアは、エージェントの最適化や追加のトレーニングが必要な領域を特定するために使用する客観的なスコアです。

このスコアは、UiPath® のエージェントの構築に関する一連のベスト プラクティスに基づきます。詳しくは、「ベスト プラクティス」セクションをご覧ください。

注:

エージェントのスコアはプレビュー機能です。

エージェントのスコアを使用する

1. 右側のパネルから [ヘルス スコアを開く] を選択して、エージェントのスコアを表示します。 エージェントのコンポーネント (プロンプト、ツール、入力スキーマ、評価) ごとに個別のスコアが利用可能です。

2. コンポーネントを選択すると、スコアがどのように計算されたかについての詳細な内訳が表示されます。

   図 1. エージェント ツールのエージェントのスコアの計算方法

   

3. 各コンポーネントで [改善提案を表示] を選択し、Autopilot の機能を使用して提案を行います。

4. [再計算] を選択して分析を再実行します。

注:

エージェントのスコアの要件は、Automation Ops のガバナンス ポリシーで定義できます。詳しくは、「Studio Web のポリシーの設定」をご覧ください。

スコアリング システム

スコアでは以下の要素が考慮されます。

• プロンプトの構造、目的、長さ
• ツール、コンテキスト、人間の参加 (ヒューマン イン ザ ループ) の使用状況
• 入力/出力引数
• 評価セット
• 評価スコア

各要素は複数の観点から調べられ、重み付けされた 1 つのスコアに結合されます。分析は、LLM (補完と埋め込みの両方) と、レート制限に対応するための自動リトライ メカニズムを使用して並列に実行されます。

各要素について以下が得られます。

• 0 から 100 のスコア
• 改善できる領域を示す詳細な根拠の説明

最終的なスコア レポートでは以下が提供されます。

• すべての要素のスコアの加重平均
• トークンの使用状況と LLM 呼び出しの追跡
• 総合スコアと主な結果を説明する、AI によって生成された概要