Configurer les simulations des outils d’agent

Paramètres de simulation d'outils pour les agents, couvrant la configuration d'entrée et de sortie synthétiques pour un développement sûr et reproductible.

Remarque :

Cette fonctionnalité est disponible en version d'évaluation.

Les simulations d’outils permettent aux agents de tester le comportement à l’aide d’entrées et de sorties synthétiques au lieu d’appels d’API réels, ce qui assure la sécurité, la rapidité et la reproductibilité du développement. Définies lors de la conception, les simulations utilisent des exemples d’entrées/sorties JSON pour imiter des interactions réalistes tout en préservant les garde-fous et les contraintes d’exécution.

Comment configurer des simulations d’outils

Lorsque vous ajoutez un outil à votre agent, vous pouvez choisir comment l’agent interagit avec lui :

• Simuler l’appel de l’outil : l’agent utilise des entrées/sorties synthétiques générées par le moteur de simulation (aucun appel d’API réel).
• Appeler le véritable outil : l’agent effectue des requêtes d’API actives telles que configurées.

Ce paramètre est défini lors de la conception et persiste automatiquement dans les exécutions d’évaluation.

Pour configurer les paramètres de simulation d’un outil :

1. Ajoutez l’outil à la définition de votre agent.
2. Sélectionnez le nœud d’outil dans le canevas de l’agent.
3. Dans le panneau Propriétés, localisez la section Paramètres de simulation.
4. Saisissez des exemples de valeurs d’entrée et de sortie au format JSON. Ces exemples aident la simulation LLM à imiter des interactions réalistes avec les outils en se conformant au schéma et à la logique attendus de votre outil.
5. (Facultatif) Ajoutez plusieurs exemples pour améliorer la variété des simulations. Fournir des exemples permet d’améliorer la précision et la pertinence des sorties simulées lors des exécutions de tests.

Vous pouvez également configurer des simulations lors de la configuration des évaluations. Pour des détails, reportez-vous à Configurer les simulations dans les évaluations.

Figure 1. Ajouter un exemple d’entrée de simulation d’outil

Garde-fous et comportement d’exécution en mode simulation

Les exécutions d’outils simulées conservent les garde-fous d’outils et les contraintes d’exécution existants, comme dans les exécutions réelles. Cela garantit les éléments suivants :

• Le comportement simulé reflète les conditions de sécurité réelles.
• Les agents ne peuvent pas contourner l’application de politiques ou les restrictions d’invocation pendant les tests.

Les exécutions de simulation sont étiquetées de manière transparente et faciles à inspecter, avec les comportements intégrés suivants :

• Étiquetage des traçages : chaque simulation est clairement indiquée dans la vue de l’exécution en continu et dans les journaux de traçage persistant.
• Métadonnées uniques : chaque traçage simulé inclut des métadonnées qui l’identifient comme étant simulé, ce qui permet :
  • Débogage facile
  • Filtrage fiable
  • Classification précise des exécutions

Vous pouvez ainsi différencier le comportement simulé du comportement réel et la logique de l’agent de traçage pour reproduire les résultats en toute cohérence.

Vous pouvez facilement ajouter des exécutions simulées aux ensembles d’évaluation, ce qui permet d’étendre la couverture des tests sans appeler de points de terminaison réels. Les principales caractéristiques de cette fonctionnalité sont les suivantes :

• Les exécutions simulées sont clairement indiquées comme Simulées dans les ensembles d’évaluation.
• Leurs traçages correspondants conservent la balise de simulation tout au long de la procédure.
• Les ensembles d’évaluation peuvent contenir des exécutions réelles et simulées, ce qui permet de réaliser des tests comparatifs et de valider des scénarios plus larges.

Debug configuration with simulations

You can also configure simulations when initiating test runs using the Debug configuration panel.

To enable simulations in debug configuration:

1. Finalisez la définition de votre agent et la configuration de l’évaluation.
2. Select the arrow next to Debug.
3. Select Debug configuration.
4. In the Debug configuration panel, select the Project arguments tab. Here you can:
   • Générer les données d’entrée de votre exécution de test.
   • Activer le mode de simulation des outils et/ou des escalades sélectionnés.
   • Fournir des exemples d’entrée/sortie ou des instructions de simulation qui définissent le comportement des outils.
5. Démarrez le test pour simuler la trajectoire de l’agent à l’aide de la configuration fournie.

Figure 2. Configuring tool simulations in the Debug configuration window

Quel que soit l’endroit où les simulations sont lancées (évaluations ou configurations de test), toutes les exécutions simulées s’exécutent :

• Sont clairement labellisés dans les journaux de traçage de streaming et persistants.
• Conserver les métadonnées pour les distinguer des exécutions réelles.
• Conservez les mêmes garde-fous d’outils et la même logique de validation que les exécutions réelles d’outils.
• Sont entièrement traçables, ce qui vous aide à déboguer en toute confiance et à éviter toute confusion lors des tests.