Entraînement à l'aide du libellé Vérifier (Check label) et du libellé Manqué (Missed Label)

Autorisations utilisateur requises : « Afficher les sources » ET « Réviser et annoter ».

Remarque :

Auparavant, la fonction «Ensemble », lorsqu'elle était filtrée sur les messages révisés, affichait les messages où la plate-forme estimait que le libellé sélectionné avait peut-être été mal appliqué ou omis. «Vérifier le libellé » et «Libellé manquant » les divisent en deux vues distinctes, avec « Vérifier le libellé » (Check label) qui affiche des messages avec le libellé potentiellement mal appliqué, et « Libellé manquant » (Missed label) qui peut ne pas comporter le libellé sélectionné.

Introduction à l'utilisation de « Vérifier le libellé » et « Libellé manquant »

L'utilisation des modes d'entraînement « Vérifier le libellé » (Check label) et « Libellé manquant » (Missed label) fait partie de la phase Raffiner (Reaffiner) au cours de laquelle vous essayez d'identifier les incohérences ou les libellés manquants dans les messages qui ont déjà été examinés. Ceci est différent de l'étape « Ensemble des libellés », qui porte sur les messages non examinés qui ont des prédictions faites par la plateforme, plutôt que des libellés attribués.

« Vérifier le libellé » vous montre des messages où la plate-forme suppose que le libellé sélectionné a peut-être été mal appliqué - c'est-à-dire qu'il n'aurait potentiellement pas dû être appliqué.

Mode « Vérifier le libellé » avec le libellé « Claim > Raison de la perte > Incendie » sélectionné

« Libellé manquant » (Missed label) vous affiche des messages indiquant que la plate-forme suppose que le libellé sélectionné peut être manquant - c'est-à-dire qu'il aurait potentiellement dû être appliqué, mais ne l'a pas été. Ici, le libellé sélectionné apparaîtra généralement comme une suggestion, comme illustré dans l'image ci-dessous.

Mode « Libellé manquant » avec le libellé « Paiement (Payment) > Erreur » (Error)

Les suggestions de la plate-forme dans l'un ou l'autre mode ne sont pas nécessairement correctes, il s'agit uniquement des cas où la plate-forme est incertaine en fonction de l'entraînement terminé jusqu'à présent. Vous pouvez choisir de les ignorer si vous n'êtes pas d'accord avec les suggestions de la plate-forme après les avoir examinées.

L'utilisation de ces modes d'entraînement est un moyen très efficace de trouver des occurrences où l'utilisateur n'a peut-être pas été cohérent dans l'application des libellés. En les utilisant, vous êtes en mesure de corriger ces occasions et donc d’améliorer les performances de l’étiquette.

Quand utiliser les options « Vérifier le libellé » et « Libellé manquant » ?

La réponse la plus simple pour indiquer quand utiliser l'un ou l'autre des modes d'entraînement est lorsqu'il s'agit de l'une des «Actions recommandées » dans la section Notation du modèle (Model Assessment ) ou d'une vue de libellé spécifique sur la page de validation (Validation) (voir ici).

En règle générale, tout libellé comportant un nombre important d'exemples épinglés mais ayant une précision moyenne faible (qui peut être indiquée par des avertissements de libellé rouge dans la page Validation (Validation) ou dans les barres de filtre des libellés) bénéficiera probablement d'un entraînement correctif dans les deux cas suivants : Mode «Vérifier le libellé » et «Libellé manquant ».

Lors de la validation des performances d'un modèle, la plateforme déterminera si une étiquette a souvent été appliquée de manière incorrecte, ou si elle a été régulièrement oubliée, et accordera la priorité à l'action corrective qui serait la plus utile pour améliorer les performances d'une étiquette.

Le « libellé manquant » est également un outil très utile si vous avez ajouté un nouveau libellé à une taxonomie existante comportant de nombreux exemples révisés. Une fois que vous avez fourni quelques exemples initiaux pour le nouveau concept d'étiquette, « Étiquetage manquant » peut rapidement vous aider à identifier tous les exemples dans les messages précédemment examinés où il devrait également s'appliquer. Voir ici pour plus de détails.

Comment utiliser les options « Vérifier le libellé » et « Libellé manquant » :

Pour accéder à l'un ou l'autre de ces modes d'entraînement, il existe deux options principales :

1. S'il s'agit d'une action recommandée dans Validation pour un libellé, la fiche d'action agira comme un lien qui vous mènera directement à ce mode d'entraînement pour le libellé sélectionné

2. Vous pouvez également sélectionner l'un ou l'autre des modes d'entraînement dans le menu déroulant en haut de la page d'exploration, puis sélectionner un libellé à trier (voir l'image ci-dessus par exemple)

Remarque : vous devez d'abord sélectionner un libellé avant que « Vérifier le libellé » (Check label) ou « Libellé manquant » (Missed label) apparaisse dans le menu déroulant. Ces deux modes désactivent également la possibilité de filtrer entre les messages révisés et non révisés , car ils sont exclusivement destinés aux messages révisés.

Dans chaque mode, la plate-forme vous montrera jusqu'à 20 exemples par page de messages examinés dans lesquels elle suppose que le libellé sélectionné a été appliqué de manière incorrecte ('Check label') ou peut manquer le libellé sélectionné ('Missed label').

'Vérifier le libellé'

Dans « Vérifier le libellé », examinez chacun des exemples de la page pour confirmer qu'ils sont de vrais exemples du libellé sélectionné. Si c'est le cas, passez à la suite sans prendre de mesures. Si ce n'est pas le cas, supprimez le libellé (en cliquant sur le « X » lorsque vous le survolez) et assurez-vous d'appliquer le ou les libellés corrects à la place.

Examinez autant de pages de messages révisés que nécessaire pour identifier les incohérences dans l'ensemble révisé et améliorer la compréhension du libellé par le modèle. La correction des étiquettes ajoutées par erreur peut avoir un impact majeur sur les performances d'une étiquette, en garantissant que le modèle dispose d'exemples corrects et cohérents à partir desquels réaliser des prédictions pour cette étiquette.

« Libellé manquant »

Dans « Libellé manquant », examinez chacun des exemples de la page pour voir si le libellé sélectionné a bien été oublié. Le cas échéant, cliquez sur la suggestion de libellé (comme indiqué dans l'image ci-dessus) pour appliquer le libellé. Si ce n'est pas le cas, ignorez la suggestion et passez à autre chose.

Ce n’est pas parce que la plate-forme « suggère » un libellé pour un message examiné que le modèle le considère comme une prédiction, et qu’il ne le comptera pas dans les statistiques sur le nombre de libellés dans un ensemble de données. Si une suggestion est erronée, vous pouvez simplement l’ignorer.

Passez en revue autant de pages de messages révisés que nécessaire pour identifier les exemples dans l'ensemble révisé qui devraient avoir le libellé sélectionné, mais n'en ont pas. Les messages partiellement annotés peuvent être très incompatibles avec la capacité du modèle à prédire une étiquette, car lorsque vous n'appliquez pas d'étiquette à un message, vous dites essentiellement au modèle « ce n'est pas un exemple de ce concept d'étiquette ». Si c'est en fait un exemple correct, cela peut être très déroutant pour le modèle, surtout s'il existe d'autres exemples très similaires dans lesquels l'étiquette est appliquée.

L'ajout d'étiquettes qui ont été oubliées peut donc avoir un impact majeur sur les performances d'une étiquette, en garantissant que le modèle dispose d'exemples corrects et cohérents à partir desquels réaliser des prédictions pour cette étiquette.

Une fois que le modèle a eu le temps de se réentraîner après votre entraînement correctif dans ces modes, vous pouvez revérifier dans la validation pour voir l'impact positif que vos actions ont eu sur l'évaluation du modèle et les performances des libellés spécifiques que vous avez entraînés.