エージェントに最適なモデルを選択する

適切なモデルを選択することで、エージェントが実際のシナリオでどのように動作するかが定義されます。モデルは、精度、安定性、速度、コストに影響します。

エージェントのモデルの選択は反復的なプロセスであり、一度決定したら終わりではありません。設計時に初期モデルを選択して、エージェントを構築およびテストできるようにします。その後、評価を実施して各モデルがプロンプト、ツール、データ、失敗のシナリオでどのように動作するかが明らかになったら、モデルの選択を調整します。評価の結果、低コストのモデルがより高価なオプションと同じ品質要件を満たすことがわかったり、特定のエッジ ケースでは別のモデルの方が安定して動作することが判明したりすることがよくあります。

このセクションは、モデルの設定を理解し、ベスト プラクティスを適用するのに役立つほか、ユース ケースに最も効果的で費用対効果の高いモデルを選択するのに必要な手順を実行するのにも役立ちます。

モデルの設定を理解する

モデルの設定では、基になる AI モデルがどのように出力を生成するかを制御します。エージェントのパフォーマンスに最も影響する設定は、モデルと温度の 2 つです。

モデルの選択は、機能、待機時間、コスト、および専門的な能力に影響します。推論、コーディング、要約など、得意とするタスクはモデルによって異なります。どのモデルがエージェントのワークロードに適しているかを理解するには、以降のセクションで説明するように、実際のプロンプトとシナリオを使用して各モデルのパフォーマンスを比較する評価を実行します。

温度は、モデルの応答のランダム性と創造性を制御します。一般的な範囲には以下があります。

• 低い温度 (0.0 - 0.3): より決定論的で焦点を絞った応答が得られ、事実に基づくタスクに適しています。
• 中程度の温度 (0.4 - 0.7): 創造性と一貫性のバランスが取れており、ほとんどの会話型エージェントに適しています。
• 高い温度 (0.8 - 2.0): より創造的で多様な応答が得られ、創作的な文章の作成に適しています。

設計時には初期モデルから始める

設計時には、エージェントのワークロードに大まかに適合するモデルを選択します。この初期モデルは、プロンプトの作成、ツールとの連携、およびフローのテストに使用するベースラインとして機能します。ベスト プラクティスとして、汎用モデルまたは低コストのモデルから始めて、評価後にこの選択を再検討することをお勧めします。

温度を控えめに設定する

温度は、モデルの応答がどの程度決定論的または変動的であるかを制御します。ほとんどのエンタープライズ エージェントでは、創造性よりも一貫性が重要です。

• 低い温度では、再現性のある安定した出力が生成される
• 高い温度では、バリエーションと創造性が増加する

ヒント:

ベスト プラクティス: ほとんどの運用志向エージェントには温度 0.0 を使用します。品質の問題が発生する場合は、温度を上げる前にモデルまたはプロンプトを変更します。

温度は控えめに調整し、常に評価を実施して検証する必要があります。

評価を使用してモデルの選択を検証および修正する

評価により、モデルの選択が証拠に基づくものになります。

まず、動作するエージェントから始めます。このエージェントを、さまざまな入力を使用して重要なシナリオでデバッグ モードで実行し、フロー全体が期待どおりに動作することを確認します。エージェントがエンドツーエンドで動作するようになったら、実際の実行から評価セットを構築します。そのためには、デバッグ実行から直接 [評価セットに追加] を使用するか、実行時の実行をダウンロードして評価セットにインポートします。

以下を使用して評価セットを構築します。

• 一般的なユーザー入力
• エッジ ケース
• 既知の失敗ケース

合成ケースや自動生成ケースのみに依存しないようにしてください。これらのケースでは、実際のパフォーマンスが過大評価される可能性があります。

さまざまなモデルを構成する

同じ評価セットを複数のモデルと構成で実行します。この段階で、品質の違いがコスト、遅延、または安定性の違いの正当な理由になるかどうかを判断できます。同じシナリオを複数の構成で実行することで、これらのトレードオフが可視化されます。評価結果を確認したら、選択したモデルを変更するのが一般的であり、そうする必要があります。

評価セット内で異なるモデルの設定を構成して比較するには、以下の手順を実行します。

1. Agent Builder の [エクスプローラー] パネルから [評価セット] を選択します。

2. 評価セットを選択します。

3. Select the gear icon to open Evaluation settings.

   

4. [評価セットのプロパティ] パネルで、温度とモデルの複数の組み合わせを追加します。以下に例を示します。

   • 温度 0.2、モデル A
   • 温度 0.5、モデル A
   • 温度 0.7、モデル A
   • 温度 0.5、モデル B

   組み合わせごとに別個の評価の実行が作成され、構成をわずかに変えると動作にどのように影響するかを比較できます。

   

   

5. [セットを評価] を選択して、すべての設定を実行します。実行が完了したら、[結果] タブを開いて結果を比較します。

   

モデルを比較して結果を分析する

公平に比較するために、以下の点に注意してください。

• プロンプト、ツール、コンテキストを同一に保つ
• [評価セットのプロパティ] パネルで、複数のモデルと温度の構成を追加する
• 各構成に対して同じ評価セットを実行する

評価セットにモデルを追加するたびに新しい実行がトリガーされ、[結果] の表で各実行の結果を確認できます。結果を確認するときは、単に最高スコアを探すのではなく、どのトレードオフがエージェントにとって最も重要であるかを判断します。

評価結果を確認して、各構成のパフォーマンスを理解します。以下を確認します。

• 評価器のスコア: 正確で高品質の出力が生成される設定を特定します。
• タイム パフォーマンス: 複数の構成間で応答時間を比較します。

平均スコアだけに基づいてモデルを選択しないでください。評価結果を確認する際には、以下の点を考慮してください。

• エラーが発生する場所と状況
• シナリオ間での一貫性
• 待機時間と実行時間
• 品質向上に関連するコスト

スコアがわずかに低いモデルであっても、コストが大幅に低く安定性が高ければ、そのモデルの方が望ましい場合があります。

推奨されるワークフロー

以下の手順は、このセクションで説明されている中心的なプロセスをまとめたものです。エージェントのモデルを選択および改良する際のクイック リファレンスとしてご利用ください。

1. エージェントの設計時には初期モデルから始めます。
2. 低い温度を使用して一貫性を優先します。
3. 動作するエージェントを構築し、エンドツーエンドの動作を検証します。
4. 実際のエージェントの実行から評価セットを作成します。
5. 同じ評価セットを使用して複数のモデルを比較します。
6. 一貫して品質基準を満たす、最もコストが低いモデルを選択します。
7. エージェントが進化したり、新しいモデルが利用可能になったりしたら、評価を再実行します。