Quand arrêter l'entraînement de votre modèle

Grâce aux nombreuses fonctionnalités de validation de la plateforme, notamment la fonctionnalité d’évaluation du modèle , il est désormais relativement simple de comprendre quand arrêter l’entraînement de votre modèle.

Le niveau de performances requis pour votre modèle s'élèvera à vous et à votre entreprise, mais l'évaluation du modèle de la plateforme vous donne une grande idée de l'impact de votre modèle sur les performances, et vous explique comment l'améliorer si nécessaire.

Un modèle avec un score de 70 ou plus est classé comme Bonne, tandis qu’un score de 90 est requis pour qu’un modèle soit classé comme Excellent.

Quel que soit le cas d'utilisation, il est recommandé de vous assurer d'appliquer les éléments suivants avant d'arrêter l'entraînement :

• Que votre modèle ait au moins un score global fournissant une note globale adéquate , car cela signifie que la plate-forme considère que le modèle est globalement sain.
• Que chacun des facteurs individuels a également une note d’au moins Bon.
• Qu'aucun de vos libellés importants ne comporte d'avertissements de performance en rouge ou en orange.

Pour un modèle axé sur l'analyse, au-delà des facteurs listés précédemment, il doit déterminer la mesure dans laquelle il souhaite optimiser les performances de son modèle. Le prérequis de performances peut dépendre de divers facteurs, notamment les objectifs du cas d’utilisation et la capacité du système d’entraînement du modèle à poursuivre l’entraînement.

Si vous créez un modèle qui est destiné à activer les automatisations, il est recommandé que votre modèle ait une note Excellente et que le modèle soit testé sur des données en direct avant d'être déployé en production.

Vérifications de performances facultatives supplémentaires

Bien que l’ évaluation du modèle soit une évaluation complète des performances, vous souhaiterez peut-être effectuer quelques vérifications supplémentaires pour vous assurer que vous êtes entièrement à l’aise avec les performances de votre modèle.

Si tel est le cas, voici quelques vérifications utiles que vous pouvez effectuer avec les actions recommandées. Il est intéressant de noter que si la plate-forme estime qu'il est important que vous effectuiez l'une de ces actions, elle les recommandons également dans Validation.

Vérifier (Check)	Processus (Process)	Actions à effectuer
L’examen des prévisions sur une période de deux jours	Examiner les prédictions sur 1 à 2 jours de données récentes : utilisez le filtre temporel et sélectionnez « récents » dans la liste déroulante pour choisir 2 jours récents de données. Examinez les prédictions et assurez-vous que chaque message a une prédiction de confiance raisonnablement élevée. En examinant les prévisions d'un à deux jours de données, elle devrait s'assurer que tous les concepts potentiels sont couverts	S’il y a des messages sans prédictions ou avec un niveau de confianceinsuffisant, annotez-les comme normal
Mélanger	Examinez les prédictions dans Mélanger pendant au moins 5 pages. Chaque message doit avoir un libellé prédit avec un niveau de confiance raisonnablement élevé	S’il y a des messages sans prédictions ou avec un niveau de confianceinsuffisant, annotez-les comme normal
Niveau de confiance faible	Le mode Niveau de confiance faible affiche les messages qui ne sont pas bien couverts par les prédictions de libellés informatives. Ces messages n'auront soit aucune prédiction, soit des prédictions très peu fiables pour les libellés que la plate-forme comprend être informatifs.	– Si des messages n'ont pas été couverts, ajoutez-y un nouveau libellé et entraînez-le comme d'habitude ; lorsque vous trouvez un message pour un libellé existant, appliquez-le comme d'habitude
Redécouvrir	Revenir à Découvrir peut vous montrer de nouveaux clusters potentiels où la probabilité qu'un libellé soit appliqué est faible. Cette option doit être utilisée pour s'assurer que vous n'avez manqué aucun libellé potentiel ou pour fournir des libellés existants avec des exemples plus variés, à la manière de l'option Niveau de confiance faible.	S'il existe des clusters sans prédiction, annotez alors le cluster avec un nouveau libellé ou un libellé existant, le cas échéant. Entraînez tout nouveau libellé comme d'habitude

Redécouvrir

Redécouvrir est une étape qui peut être reprise à tout moment pendant le processus d'entraînement, mais qui peut également être utile pour vérifier si vous avez terminé suffisamment d'entraînement.

Cette vérification consiste essentiellement à revenir à la page Découvrir en mode Cluster et à examiner les clusters qu’elle contient pour vérifier leurs prédictions et pour voir si Découvrir a trouvé des clusters qui peuvent avoir été omis par votre entraînement.

En tant que clusters dans Discover, le réentraînement après qu'une quantité importante d'entraînement a été terminée dans la plate-forme (180 annotations) ou une quantité importante de données a été ajoutée à l'ensemble de données (1 000 messages ou 1 %, selon le plus élevé, et au moins 1 annotation ), elles doivent être régulièrement mises à jour tout au long du processus de formation.

Découvrir essaie de trouver les clusters qui ne sont pas bien couverts par les prédictions de libellé. Si certains clusters dans Discover devraient avoir certains libellés prévus, mais pas, vous savez que vous devez effectuer un entraînement supplémentaire pour ces libellés. Pour plus de détails sur l'annotation des clusters dans Découvrir, consultez Entraîner à l'aide de clusters.

Si votre modèle est bien entraîné, Découvrir aura du mal à trouver des clusters avec un niveau de confiance faible ou sans prédictions. Si vous remarquez que chacun des clusters dans Découvrir a un niveau de confiance élevé et des prédictions correctes, c'est un bon indicateur que votre modèle couvre bien l'ensemble de données.