Meilleures pratiques pour la publication et le déploiement d’agents

Pour vous assurer que votre agent est solide, prêt pour la production et conforme aux normes de l’entreprise, suivez ces meilleures pratiques préalablement à la publication et au déploiement sur Orchestrator. Ces étapes couvrent la validation, la gouvernance et la préparation tout au long du cycle de vie de l’agent.

Étapes essentielles au démarrage rapide

Avant la publication, assurez-vous que ces vérifications fondamentales ont été accomplies :

Tableau 1. Étapes essentielles de validation pour la publication de l’agent

Étape essentielle	Éléments à vérifier	Où procéder
Invites et exemples finalisés	L’invite système/utilisateur inclut le rôle, les contraintes, 3 à 5 exemples associés aux entrées	Agent Builder → Invite de système et utilisateur
Outils décrits et associés	Tous les outils ont un nom, une description et un schéma d’entrée/sortie	Agent Builder → Outils
Journalisation de garde-fous activée (facultatif)	Les appels d’outils sont enregistrés à des fins d’audit/de débogage (activation dans la configuration de la limite de sécurité)	Outils → Constructeur de garde-fous
Sources de contexte connectées	Au moins une base de connaissances pertinente est connectée	Ancrage dans le contexte → Sources
≥ 30 tests interactifs effectués	Les tests manuels couvrent les entrées typiques, limites et incorrectes	Agent Builder → Lancement de test
Ensemble(s) d’évaluation créé(s)	≥ 30 cas de test organisés, couvrant une utilisation réelle	Agent Builder → Onglet Évaluations
Performance de l’évaluation validée	Score des ensembles d’évaluation ≥ 70 % sans régression	Agent Builder → Onglet Évaluations

Conseil : vous pouvez utiliser ces étapes comme liste de contrôle préalable au déploiement et les intégrer dans votre propre processus de publication.

Finaliser la définition de votre agent

Préalablement à la publication, assurez-vous que votre agent est entièrement mis à l’échelle, aligné sur les invites du système et contextualisé.

• Définissez la portée et les limites : répertoriez les intentions incluses et exclues dans l’invite du système. Assurez-vous que les outils et les chemins d’escalade correspondent à ces limites pour éviter toute dérive de l’étendue.
• Affinez les invites et les arguments : rédigez des invites structurées pour le système et l’utilisateur. Utilisez des exemples réalistes associés aux arguments d’entrée. Validez les entrées pour éviter les données malformées ou conflictuelles.
• Appliquez le principe du moindre contexte : transmettez uniquement le contexte essentiel au LLM. Utilisez l’ancrage dans le contexte pour éviter les charges utiles gonflées.
• Descriptions et garde-fous détaillés des outils : pour chaque outil, définissez un nom, un objectif, un schéma et des impacts secondaires. Ajoutez une journalisation, des filtres, des nouvelles tentatives et un comportement d’escalade.
• Normalisez la sortie de l’outil : assurez-vous que tous les outils renvoient des réponses structurées de manière cohérente pour éviter les problèmes de runtime.
• Connectez des sources de contexte pertinentes : ajouter des index nécessaires et optimiser les seuils en fonction de la pertinence et de la fraîcheur.

Validation par des tests et des évaluations

Vous devez valider les performances, la résilience et la qualité du raisonnement.

• Exécutez des tests interactifs : testez au moins 30 scénarios variés, y compris des cas limites, des entrées incorrectes et des exemples multilingues.
• Évaluez avec des ensembles de tests organisés : créer au moins 30 scénarios de test avec des évaluateurs décisifs. Utilisez des méthodes telles que LLM-as-a-judge (LLM en tant que juge), la correspondance exacte ou la notation de la trajectoire.
• Assurez la stabilité des performances : suivez les scores en fonction des changements d’invites ou d’outils. Cibler un score d’évaluation cohérent ≥ 70 % avant de procéder au déploiement.

Préparer le déploiement en production

Validez les intégrations en aval et l’état de préparation de l’infrastructure.

• Exécutez des tests de fumée à partir de workflows : déclenchez l’agent depuis Studio ou Maestro pour vérifier le flux de données de bout en bout et la gestion des réussites.

• Vérifiez la préparation de la plateforme : confirmez les identifiants, les dossiers, le contrôle d’accès basé sur les rôles (RBAC) et la configuration du locataire dans Orchestrator.

• Inspectez les traçages et les journaux : analysez les traçages d’exécution pour détecter les invites longues, l’utilisation inefficace des outils ou le contexte récupéré de façon excessive.

• Activez l’escalade avec intervention humaine : configurez les applications d’escalade et vérifiez le traitement des résultats. Envoyez les transcriptions et les mises à jour de la mémoire pertinentes.

Mettre en œuvre la gouvernance et les contrôles de publication

Traitez vos agents comme des logiciels d’entrepris  : versionnés, examinés et attribués.

• Assurez la maintenance de la version et des journaux de modification : utilisez le contrôle de version sémantique et suivez les modifications pour les audits de comportement et les restaurations.
• Suivez les workflows d’approbation : obtenez l’approbation des équipes de sécurité, d’opérations et de produit avant le déploiement en production.
• Rédigez une documentation opérationnelle : créez un guide de démarrage rapide et un manuel d’exécution. Incluez les entrées/sorties, la rotation des informations d’identification et les étapes de récupération.
• Formez les équipes d’assistance : expliquez la logique des agents, la gestion des escalades et les procédures de secours.

Surveiller et itérer après le déploiement

La qualité de l’agent ne s’arrête pas au lancement. Concentrez-vous sur l’amélioration continue.

• Planifiez un déploiement progressif : utilisez des déploiements pilotes ou le fractionnement du trafic pour valider le comportement à faible volume.
• Planifiez l’évaluation continue : réexécutez périodiquement les ensembles d’évaluation. Surveiller les traces pour détecter les dérives et les performances dégradées.
• Procédez sur une base trimestrielle à un examen des invites, des outils et du contexte pour refléter les modifications des règles métier ou des sources de données.