Quand arrêter l'entraînement de votre modèle

Grâce aux fonctionnalités de validation complètes de la plate-forme, y compris la fonctionnalité de notation de modèle, il est désormais relativement simple de savoir quand arrêter l’apprentissage de votre modèle.

Le niveau de performances requis pour votre modèle dépendra de vous et de votre entreprise, mais la notation du modèle de la plate-forme vous donne une grande idée du niveau de performance de votre modèle et indique comment l'améliorer si nécessaire.

Un modèle avec une note de 70 ou plus est classé comme «Bon », tandis qu’un score de 90 est nécessaire pour qu’un modèle soit classé comme «Excellent ».

Quel que soit le cas d'utilisation, nous recommandons de toujours vérifier les éléments suivants avant d'interrompre l'apprentissage :

• Que votre modèle ait au moins un score global qui fournit une note de « Bon », car cela signifie que la plate-forme considère que le modèle est globalement relativement sain
• Que chacun des facteurs individuels ait également une note d’au moins «Bon » (comme indiqué ci-dessous)

• Qu’aucun de vos libellés importants ne comported’avertissements de performances chaîne

Pour un modèle axé sur l' analyse , au-delà des facteurs énumérés ci-dessus, il devrait être laissé à la discrétion de l'entraîneur du modèle de déterminer dans quelle mesure il souhaite optimiser les performances de son modèle. L'exigence de performances peut dépendre de divers facteurs, notamment les objectifs du cas d'utilisation et la capacité du formateur de modèle à poursuivre la formation.

Si vous créez un modèle destiné à activer les automatisations, il est recommandé que votre modèle ait lanote« Excellent» et qu’il soit également testé sur des données dynamiques avant d’être déployé en production.

Exemple de notation de modèle pour un modèle extrêmement sain

Vérifications de performances facultatives supplémentaires

Bien que l'évaluation du modèle soit une évaluation complète des performances, vous souhaiterez peut-être effectuer certaines vérifications supplémentaires pour vous assurer que vous êtes entièrement à l'aise avec les performances de votre modèle.

Si tel est le cas, voici quelques vérifications utiles que vous pouvez effectuer avec les actions recommandées. Il convient de noter que si la plate-forme trouve qu'il est important pour vous de prendre l'une de ces actions, elle les recommandons également dans le cadre de la validation.

Vérifier (Check)	Processus (Process)	Actions à effectuer
Examen de la prédiction de la période de 2 jours	Examiner les prédictions sur 1 à 2 jours de données récentes : utilisez le filtre temporel et sélectionnez « récents » dans la liste déroulante pour choisir 2 jours récents de données. Examinez les prédictions et assurez-vous que chaque message a une prédiction de confiance raisonnablement élevée. En examinant les prévisions d'un à deux jours de données, elle devrait s'assurer que tous les concepts potentiels sont couverts	S'il y a des messages sans prédictions ou avec un niveau de confiance insuffisant, annotez-les comme d'habitude Entraînez- en davantage dans les modes Stable et Faible confiance
Mélanger	Passez en revue les prédictions dans Mélanger pendant au moins 5 pages. Chaque message doit avoir un libellé prédit avec un niveau de confiance raisonnablement élevé	S'il y a des messages sans prédictions ou avec un niveau de confiance insuffisant, annotez-les comme d'habitude Entraînez- en davantage dans les modes Stable et Faible confiance
Niveau de confiance faible	Le mode Basse confiance (Low Confidence) vous affiche les messages qui ne sont pas bien couverts par les prédictions de libellé informatives. Ces messages n'auront aucune prédiction ou n'auront que très peu de confiance pour les libellés que la plate-forme comprend comme étant informatifs.	* S'il y a des messages qui n'ont pas été couverts, ajoutez-leur une nouvelle étiquette et entraînez-les comme d'habitude * Lorsque vous trouvez un message pour une étiquette existante, appliquez-le comme d'habitude
'Re-découvrir( voir ci-dessous)	Revenir à Découvrir (Discover) peut vous montrer de nouveaux clusters potentiels où la probabilité d'application d'une étiquette est faible. Cela doit être utilisé pour s'assurer que vous n'avez oublié aucun libellé potentiel ou pour fournir des libellés existants avec des exemples plus divers, de manière similaire à Faible confiance (Low Confidence)	S'il y a des clusters sans prédictions (ou très bas), annotez le cluster avec une nouvelle étiquette ou une étiquette existante le cas échéant * Entraînez tout nouveau libellé comme d'habitude

'Re-découvrir'

« Re-Discover » est une étape qui peut être réexécutée à tout moment pendant le processus d'entraînement, mais qui peut également être utile pour vérifier si vous avez terminé un entraînement suffisant.

Cette vérification implique simplement de revenir à la page Découvrir (Discover) en mode « Cluster » et d' examiner les clusters qu'elle contient pour vérifier leurs prédictions et pour voir si Découvrir a trouvé des clusters qui peuvent avoir omis par votre entraînement.

À mesure que les clusters dans Découvrir se réentraînent, une fois qu’une quantité importante d’entraînement a été effectuée dans la plate-forme (180 annotations) ou qu’une quantité importante de données a été ajoutée à l’ensemble de données (1 000 messages ou 1 %, selon la valeur la plus élevée, et au moins 1 annotation ), elles doivent être régulièrement mises à jour tout au long du processus de formation.

Découvrir (Discover) essaie de trouver des clusters qui ne sont pas bien couverts par les prédictions de libellé. S'il existe des clusters dans Découvrir qui devraient avoir certains libellés prédits, mais qui n'en ont pas, vous savez que vous devez effectuer un entraînement supplémentaire pour ces libellés. Cliquez ici pour savoir comment annoter les clusters dans Découvrir.

Si votre modèle est bien entraîné, Discovery aura du mal à trouver des clusters avec une faible confiance ou aucune prédiction. Si vous constatez que chacun des clusters de Découvrir a un niveau de confiance raisonnablement élevé et que les prédictions sont correctes, c'est un bon indicateur pour que votre modèle couvre bien l'ensemble de données.