Choix du meilleur modèle pour votre agent

La sélection du bon modèle définit le comportement de votre agent dans des scénarios réels. Le modèle influence la précision, la stabilité, la vitesse et le coût.

Le choix d'un modèle pour un agent est un processus itératif, et non une décision ponctuelle. Vous choisissez un modèle initial pendant la conception afin de pouvoir créer et tester l'agent, puis affiner ce choix ultérieurement une fois que les évaluations montrent comment différents modèles se comportent avec vos invites, outils, données et scénarios d'échec. Les évaluations montrent souvent qu'un modèle à coût inférieur répond aux mêmes exigences de qualité qu'une option plus coûteuse ou qu'un modèle différent fonctionne de manière plus fiable dans des incidents limites spécifiques.

Cette section vous aide à comprendre les paramètres du modèle, à appliquer les meilleures pratiques et à exécuter les étapes nécessaires pour choisir le modèle le plus efficace et le plus économique pour votre incident d'utilisation.

Comprendre les paramètres du modèle

Les paramètres du modèle contrôlent la façon dont le modèle d'IA sous-jacent produit des sorties. Deux paramètres ont le plus d'impact sur les performances de l'agent : le modèle et la température.

Le choix du modèle affecte les fonctionnalités, la latence, le coût et les points forts spécialisés. Différents modèles excellent dans des tâches telles que le raisonnement, le codage ou la récapitulation.Pour comprendre lequel convient à la charge de travail de votre agent, exécutez des évaluations qui comparent le fonctionnement des modèles avec vos invites et scénarios réels, comme décrit dans les sections suivantes.

La température contrôle le caractère aléatoire et la créativité des réponses du modèle. Les plages typiques incluent :

• Basse température (0,0 - 0,3) : réponses plus déterministes et concentrées, meilleures pour les tâches factuelles.
• Température moyenne (0,4 - 0,7) : créativité et cohérence équilibrées, bonnes pour la plupart des agents conversationnels.
• Haute température (0,8 - 2,0) : réponses plus créatives et diversifiées, meilleures pour l'écriture créative.

Commencer avec un modèle initial pendant la conception

Lors de la conception, sélectionnez un modèle qui correspond globalement à la charge de travail de votre agent. Ce modèle initial sert de référence que vous utilisez pour créer des invites, intégrer des outils et tester des flux. Comme meilleure pratique, nous vous recommandons de commencer par un modèle polyvalent ou de moindre coût et de revisiter ce choix après les évaluations.

Définir la température de manière conservative

La température contrôle le caractère déterministe ou variable des réponses d'un modèle.Dans la plupart des agents Enterprise, la cohérence est plus importante que la créativité.

• La basse température produit des sorties répétables stables
• Une température plus élevée augmente la variation et la créativité

Astuce :

Meilleure pratique : utilisez la température 0,0 pour la plupart des agents orientés vers la production.Si des problèmes de qualité apparaissent, modifiez le modèle ou l'invite avant d'augmenter la température.

La température doit être ajustée avec parcimonie et toujours validée via des évaluations.

Utiliser des évaluations pour valider et réviser le choix du modèle

Les évaluations sont l'endroit où la sélection du modèle devient basée sur des preuves.

Commencez d'abord par un agent de travail.Exécutez-le en mode débogage avec différentes entrées dans vos scénarios clés pour confirmer que le flux complet se comporte comme prévu.Une fois que l'agent fonctionne de bout en bout, créez votre ensemble d'évaluation à partir d'exécutions réelles soit en utilisant Ajouter à l'ensemble d'évaluation directement depuis une exécution de débogage, soit en téléchargeant les exécutions de runtime et en les important dans votre ensemble d'évaluation.

Créez des ensembles d'évaluation à l'aide :

• Entrées utilisateur typiques
• Cas extrêmes
• Incidents d'échec connus

Évitez de vous fier uniquement à des incidents synthétiques ou générés automatiquement qui peuvent surestimer les performances en situation réelle.

Configurer différents modèles

Exécutez le même ensemble d'évaluations dans plusieurs modèles et configurations.À ce stade, vous pouvez décider si les différences de qualité justifient des différences de coût, de latence ou de stabilité. L'exécution des mêmes scénarios dans toutes les configurations rend ces compromis visibles.Il est courant et attendu de modifier le modèle sélectionné après avoir passé en revue les résultats de l'évaluation.

Pour configurer et comparer différents paramètres de modèle dans un ensemble d'évaluations :

1. Dans le panneau Explorateur Agent Builder, sélectionnez Ensembles d'évaluation.

2. Sélectionnez un ensemble d'évaluation.

3. Select the gear icon to open Evaluation settings.

   

4. Dans le panneau Propriétés de l'ensemble d'évaluation, ajoutez plusieurs combinaisons de température et de modèle.Par exemple :

   • Température 0,2, modèle A
   • Température 0,5, modèle A
   • Température 0,7, modèle A
   • Température 0,5, modèle B

   Chaque combinaison crée une exécution d’évaluation distincte, ce qui vous permet de comparer la façon dont de petites modifications de configuration affectent le comportement.

   

   

5. Sélectionnez Évaluer l'ensemble pour exécuter toutes les configurations. Une fois les exécutions terminées, ouvrez l'onglet Résultats pour les comparer.

   

Comparer des modèles et analyser les résultats

Pour rendre les comparaisons équitables :

• Gardez les invites, les outils et le contexte identiques.
• Ajoutez plusieurs modèles et configurations de température dans le panneau Propriétés de l'ensemble d'évaluation.
• Exécutez le même ensemble d'évaluation pour chaque configuration.

Chaque modèle ajouté à votre ensemble d'évaluations déclenche une nouvelle exécution et vous pouvez passer en revue les résultats de chaque exécution dans la table Résultats. Lorsque vous passez en revue les résultats, vous ne recherchez pas seulement le score le plus élevé, vous décidez quels compromis comptent le plus pour votre agent.

Examinez les résultats de l'évaluation pour comprendre le fonctionnement de chaque configuration. Recherchez :

• Scores de l'évaluateur : identifiez les paramètres qui produisent des sorties précises de haute qualité.
• Performance de temps : comparez les temps de réponse entre les configurations.

Ne sélectionnez pas un modèle en fonction uniquement d'un score moyen. Lors de l'examen des résultats de l'évaluation, considérez ce qui suit :

• Où et comment les échecs se produisent
• Cohérence entre les scénarios
• Latence et temps d'exécution
• Coût par rapport aux gains de qualité

Un modèle à score légèrement inférieur peut être préférable s'il est considérablement moins cher et plus stable.

Workflow recommandé

Les étapes ci-dessous résument le processus de base décrit dans cette section. Utilisez-les comme référence rapide lors de la sélection et de l'affinage d'un modèle pour votre agent :

1. Commencez par un modèle initial pendant la conception de l'agent.
2. Utilisez une température basse pour prioriser la cohérence.
3. Générez un agent de travail et validez le comportement de bout en bout.
4. Créez des ensembles d'évaluations à partir d'exécutions d'agent réelles.
5. Comparez plusieurs modèles à l'aide du même ensemble d'évaluation.
6. Sélectionnez le modèle le plus économique qui répond systématiquement à votre barre de qualité.
7. Réexécutez les évaluations à mesure que l'agent évolue ou que de nouveaux modèles deviennent disponibles.