Entraînement à l'aide du libellé Vérifier (Check label) et du libellé Manqué (Missed Label)

Remarque : vous devez avoir attribué les autorisations Source - Lecture et Ensemble de données - Révision en tant qu'utilisateur d'Automation Cloud, ou les autorisations Afficher les sources et Réviser et annoter en tant qu'utilisateur hérité.

Remarque : auparavant, la fonction Saisir , lorsqu'elle était filtrée sur les messages examinés, affichait les messages pour lesquels la plate-forme pensons que le libellé sélectionné a pu avoir été mal appliqué ou omis. Vérifier le libellé et Libellé manquant sont divisés en deux vues distinctes, avec l'option Vérifier le libellé affichant des messages avec le libellé potentiellement mal appliqué, et le Libellé Manqué affichant les messages qui peuvent ne pas contenir le libellé sélectionné.

Introduction

L'utilisation des modes d'entraînement Vérifier le libellé et Libellé manquant fait partie de la phase Affiner où vous essayez d'identifier les incohérences ou les libellés manquants dans les messages qui ont déjà été examinés. Il s'agit d'une étape différente de l'étape Apprendre au libellé , qui se concentre sur les messages non examinés dont les prédictions sont faites par la plate-forme, plutôt que sur des libellés attribués.

Vérifier le libellé affiche les messages pour lesquels la plate-forme suppose que le libellé sélectionné a peut-être été mal appliqué, c’est-à-dire qu’il n’ aurait potentiellement pas dû être appliqué.

Libellé manquant affiche des messages qui, selon la plate-forme, peuvent manquer le libellé sélectionné, c'est-à-dire qu'il aurait potentiellement dû être appliqué, mais pas. Dans ce cas, le libellé sélectionné apparaîtra généralement sous forme de suggestion, comme illustré dans l'image suivante.

Les suggestions de la plate-forme dans l'un ou l'autre mode ne sont pas nécessairement correctes, il s'agit uniquement des cas où la plate-forme est incertaine en fonction de l'entraînement terminé jusqu'à présent. Vous pouvez choisir de les ignorer si vous n'êtes pas d'accord avec les suggestions de la plate-forme après les avoir examinées.

L'utilisation de ces modes d'entraînement est un moyen très efficace de trouver des occurrences où l'utilisateur n'a peut-être pas été cohérent dans l'application des libellés. En les utilisant, vous êtes en mesure de corriger ces occasions et donc d’améliorer les performances de l’étiquette.

Quand utiliser le libellé Vérifier et le libellé Manqué

The simplest answer of when to use either training mode is when they are one of the recommended actions in the Model Rating section or specific label view in the Validation page. For more details, check Understanding and improving model performance.

En règle générale, tout libellé disposant d'un nombre important d'exemples épinglés mais ayant une précision moyenne faible, ce qui peut être indiqué par des avertissements de libellé rouge sur la page Validation ou dans les barres de filtre de libellé, bénéficiera probablement d'un entraînement corrective dans l'un ou l'autre des processus Vérifiez le libellé et le mode de libellé Manqué .

Lors de la validation des performances d'un modèle, la plate-forme déterminera si un libellé a souvent été appliqué de manière incorrecte, ou l'endroit où il pensez qu'il a été régulièrement omis, et hiérarchise l'action corrective qui selon elle serait la plus utile afin d'améliorer les performances d'un libellé.

Missed label is also a very useful tool if you have added a new label to an existing taxonomy with lots of reviewed examples. Once you've provided some initial examples for the new label concept, Missed label can quickly help you identify any examples in the previously reviewed messages where it should also apply. For more details, check Adding new labels to existing taxonomies.

Utilisation du libellé Vérifier et du libellé Manqué

Pour atteindre l'un de ces modes d'entraînement, il existe les options principales suivantes :

1. If it is a recommended action in Validation for a label, the action card acts as a link that takes you directly to that training mode for the selected label.

2. Vous pouvez également sélectionner l'un des deux modes d'entraînement dans le menu déroulant en haut de la page d'Exploration, puis sélectionner un libellé à trier. Vous pouvez trouver un exemple dans l'image précédente.

Remarque : vous devez d'abord sélectionner un libellé avant que le libellé Vérifier le libellé ou Libellé manquant n'apparaisse dans le menu déroulant. Ces deux modes désactivent également la possibilité de filtrer entre les messages examinés et non examinés, car ils s'appliquent exclusivement aux messages examinés.

Dans chaque mode, la plate-forme vous montrera jusqu’à 20 exemples par page de messages examinés pour lesquels elle suppose que le libellé sélectionné a peut-être été appliqué de manière incorrecte, Vérifier le libellé, ou peut être manquant le libellé sélectionné, Libellé manquant.

Vérifier le libellé

Dans Vérifier le libellé, examinez chacun des exemples sur la page pour confirmer qu'il s'agit de véritables exemples du libellé sélectionné. Si c'est le cas, poursuivez sans effectuer d'action. Si ce n'est pas le cas, supprimez le libellé en sélectionnant le bouton X lorsque vous le survolez et assurez-vous d'appliquer les libellés appropriés à la place.

Remarque : examinez autant de pages de messages examinés que nécessaire pour identifier les incohérences dans l'ensemble examiné et améliorer la compréhension du libellé par le modèle.

La correction des libellés ajoutés en cas d'erreur peut avoir un impact majeur sur les performances d'un libellé, en veillant à ce que le modèle dispose d'exemples corrects et cohérents à partir desquels faire des prédictions pour ce libellé.

Libellé manquant

Dans Libellé manquant, examinez chacun des exemples de la page pour voir si le libellé sélectionné a bien été manquant. Si c'est le cas, sélectionnez la suggestion de libellé, comme illustré dans l'image précédente, pour appliquer le libellé. Si ce n'est pas le cas, ignorez la suggestion et passez à autre chose.

Ce n’est pas parce que la plate-forme suggère un libellé sur un message examiné que le modèle la considère comme une prédiction, ni qu’il prendra en compte les statistiques relatives au nombre de libellés d’un ensemble de données. Si une suggestion est erronée, vous pouvez simplement l’ignorer.

Remarque : examinez autant de pages de messages examinés que nécessaire pour identifier les exemples de l'ensemble examiné qui devraient avoir le libellé sélectionné, mais pas.

Les messages partiellement annotés peuvent être très importants pour la capacité du modèle à prévoir un libellé, car lorsque vous n’appliquez pas de libellé à un message, vous informez essentiellement le modèle que ce n’est pas un exemple de ce concept de libellé. S'il s'agit en fait d'un exemple correct, cela peut être très déroutant pour le modèle, surtout s'il existe d'autres exemples très similaires pour lesquels le libellé a été appliqué.

L'ajout d'étiquettes qui ont été oubliées peut donc avoir un impact majeur sur les performances d'une étiquette, en garantissant que le modèle dispose d'exemples corrects et cohérents à partir desquels réaliser des prédictions pour cette étiquette.

Remarque : une fois que le modèle a eu le temps de s'entraîner après votre entraînement corrective dans ces modes, vous pouvez revenir à la validation pour voir l'impact positif que vos actions ont eu sur la notation du modèle et les performances des libellés spécifiques que vous avez entraînés.