Configurer les simulations des outils d’agent

Remarque : cette fonctionnalité est disponible en version d'évaluation.

Les simulations d’outils permettent aux agents de tester le comportement à l’aide d’entrées et de sorties synthétiques au lieu d’appels d’API réels, ce qui assure la sécurité, la rapidité et la reproductibilité du développement. Définies lors de la conception, les simulations utilisent des exemples d’entrées/sorties JSON pour imiter des interactions réalistes tout en préservant les garde-fous et les contraintes d’exécution.

Comment configurer des simulations d’outils

Lorsque vous ajoutez un outil à votre agent, vous pouvez choisir comment l’agent interagit avec lui :

• Simuler l’appel de l’outil : l’agent utilise des entrées/sorties synthétiques générées par le moteur de simulation (aucun appel d’API réel).
• Appeler le véritable outil : l’agent effectue des requêtes d’API actives telles que configurées.

Ce paramètre est défini lors de la conception et persiste automatiquement dans les exécutions d’évaluation.

Pour configurer les paramètres de simulation d’un outil :

1. Ajoutez l’outil à la définition de votre agent.
2. Sélectionnez le nœud d’outil dans le canevas de l’agent.
3. Dans le panneau Propriétés, localisez la section Paramètres de simulation.
4. Saisissez des exemples de valeurs d’entrée et de sortie au format JSON. Ces exemples aident la simulation LLM à imiter des interactions réalistes avec les outils en se conformant au schéma et à la logique attendus de votre outil.
5. (Facultatif) Ajoutez plusieurs exemples pour améliorer la variété des simulations. Fournir des exemples permet d’améliorer la précision et la pertinence des sorties simulées lors des exécutions de tests.

Vous pouvez également configurer des simulations lors de la configuration des évaluations. Pour plus de détails, consultez la section Configuration des simulations dans les évaluations.

Figure 1. Ajouter un exemple d’entrée de simulation d’outil

Garde-fous et comportement d’exécution en mode simulation

Les exécutions d’outils simulées conservent les garde-fous d’outils et les contraintes d’exécution existants, comme dans les exécutions réelles. Cela garantit les éléments suivants :

• Le comportement simulé reflète les conditions de sécurité réelles.
• Les agents ne peuvent pas contourner l’application de politiques ou les restrictions d’invocation pendant les tests.

Les exécutions de simulation sont étiquetées de manière transparente et faciles à inspecter, avec les comportements intégrés suivants :

• Étiquetage des traçages : chaque simulation est clairement indiquée dans la vue de l’exécution en continu et dans les journaux de traçage persistant.
• Métadonnées uniques : chaque traçage simulé inclut des métadonnées qui l’identifient comme étant simulé, ce qui permet :

  • Débogage facile

  • Filtrage fiable
  • Classification précise des exécutions

Vous pouvez ainsi différencier le comportement simulé du comportement réel et la logique de l’agent de traçage pour reproduire les résultats en toute cohérence.

Vous pouvez facilement ajouter des exécutions simulées aux ensembles d’évaluation, ce qui permet d’étendre la couverture des tests sans appeler de points de terminaison réels. Les principales caractéristiques de cette fonctionnalité sont les suivantes :

• Les exécutions simulées sont clairement indiquées comme Simulées dans les ensembles d’évaluation.

• Leurs traçages correspondants conservent la balise de simulation tout au long de la procédure.

• Les ensembles d’évaluation peuvent contenir des exécutions réelles et simulées, ce qui permet de réaliser des tests comparatifs et de valider des scénarios plus larges.

Tester la configuration avec des simulations

Vous pouvez également configurer des simulations lorsque vous lancez des exécutions de tests à l’aide du panneau Configuration de test.

Pour activer les simulations dans la configuration de test :

1. Finalisez la définition de votre agent et la configuration de l’évaluation.
2. Sélectionnez la liste déroulante Tester dans le cloud.
3. Sélectionnez Configuration du test.
4. Dans le panneau Configuration de test, sélectionnez l’onglet Arguments du projet. Vous pouvez procéder comme suit :
   • Générer les données d’entrée de votre exécution de test.
   • Activer le mode de simulation des outils et/ou des escalades sélectionnés.
   • Fournir des exemples d’entrée/sortie ou des instructions de simulation qui définissent le comportement des outils.
5. Démarrez le test pour simuler la trajectoire de l’agent à l’aide de la configuration fournie.

Figure 2. Configuration des simulations d’outils dans la fenêtre Configuration de test

Quel que soit l’endroit où les simulations sont lancées (évaluations ou configurations de test), toutes les exécutions simulées s’exécutent :

• Sont clairement labellisés dans les journaux de traçage de streaming et persistants.
• Conserver les métadonnées pour les distinguer des exécutions réelles.
• Conservez les mêmes garde-fous d’outils et la même logique de validation que les exécutions réelles d’outils.
• Sont entièrement traçables, ce qui vous aide à déboguer en toute confiance et à éviter toute confusion lors des tests.