Comment fonctionne la validation

Remarque : vous devez avoir attribué les autorisations Source - Lecture et Ensemble de données - Lecture en tant qu'utilisateur d'Automation Cloud, ou les autorisations Afficher les sources et Afficher les libellés en tant qu'utilisateur hérité.

Dans le cadre de la validation, la plate-forme évalue les performances des modèles de libellé et de champ général associés à un ensemble de données.

Pour le modèle de libellé plus précisément, il calcule une évaluation globale du modèle en testant un certain nombre de facteurs de performance différents, notamment :

• Dans quelle mesure est-il capable de prédire chaque libellé dans la taxonomie à l'aide d'un sous-ensemble de données d'entraînement provenant de cet ensemble de données ?
• La mesure dans laquelle l’ensemble de données est bien couverts par les prédictions informatives des libellés.
• La façon dont les données d'entraînement sont équilibrées, au regard de la façon dont elles ont été attribuées et de la façon dont elles représentent l'ensemble de données dans son ensemble.

Évaluer la performance du libellé

Pour évaluer l’efficacité de la prédiction de chaque libellé, la plate-forme divise d’abord les messages examinés, c’est-à-dire les messages annotés, dans l’ensemble de données, en groupes suivants :

• un ensemble majorité de données d’entraînement.
• un ensemble mineur de données de test.

Dans l’image suivante, les points colorés représentent les messages annotés dans un ensemble de données. Ce fractionnement est déterminé par l'ID de message lorsque les messages sont ajoutés à l'ensemble de données et reste cohérent pendant toute la durée de vie de l'ensemble de données.

La plate-forme s'entraîne ensuite à l'aide de l'ensemble d'entraînement comme données d'entraînement.

Sur la base de cet entraînement, il tente ensuite de prédire les libellés devant s'appliquer aux messages de l'ensemble de tests et évalue les résultats à la fois pour la précision et pour le rappel par rapport aux libellés réels appliqués par un utilisateur humain.

Par ailleurs, la plate-forme prend également en compte la manière dont les libellés ont été attribués, c’est-à-dire les modes d’entraînement utilisés lors de l’application des libellés afin de déterminer s’ils ont été annotés de manière biaisée ou équilibrée.

Validation publie ensuite des statistiques en direct sur les performances des libellés pour la dernière version du modèle, mais vous pouvez également afficher les statistiques de performances historiques pour les versions de modèle précédemment épinglées.

Évaluation de la couverture

Pour comprendre comment votre modèle couvre vos données, la plate-forme examine toutes les données non révisées de l'ensemble de données et les prédictions que la plate-forme a faites pour chacun de ces messages non révisés.

Il évalue ensuite la pourcentage du total des messages pour lesquels au moins un libellé informatif est prédit.

Les libellés informatifs sont ces libellés que la plate-forme comprend être utiles en tant que libellés autonomes, en examinant la fréquence à laquelle ils sont attribués avec d'autres libellés. Des libellés toujours attribués avec un autre libellé. Par exemple, les libellés parents qui ne sont jamais attribués eux-mêmes ou qui sont toujours attribués avec un autre libellé sont pondérés lors du calcul du score.

Évaluation de l'équilibre

Lorsque la plate-forme évalue l'équilibrage de votre modèle, elle recherche essentiellement les biais d'annotation qui peuvent provoquer un équilibre entre les données d'entraînement et l'ensemble de données dans son ensemble.

Pour ce faire, il utilise un modèle de biais d'annotation qui compare les données examinées et non examinées pour garantir que les données annotées sont représentatives de l'ensemble des données. Si les données ne sont pas représentatives, les mesures de performances du modèle peuvent être trompeurs et potentiellement peu fiables.

Les biais d’annotation sont généralement le résultat d’un déséquilibrage des modes d’entraînement utilisés pour attribuer des libellés, en particulier si trop de « recherche de texte » est utilisé et pas assez de « mélanger ».

Le mode d’entraînement Rééquilibrer affiche les messages sous-représentés dans l’ensemble examiné. L'annotation d'exemples dans ce mode permettra de corriger rapidement les flux de l'ensemble de données.

Lorsque la validation a lieu

Chaque fois que vous terminez un entraînement dans un ensemble de données, le modèle se met à jour et fournit de nouvelles prédictions pour chaque message. En parallèle, il réévalue également les performances du modèle. Cela signifie qu'au moment où les nouvelles prédictions seront prêtes, de nouvelles statistiques de validation devraient également être disponibles ( bien qu'un processus puisse parfois prendre plus de temps que l'autre), y compris la dernière.

Remarque : la plate-forme vous affichera toujours par défaut les dernières statistiques de validation qui ont été calculées et vous indiquera si le calcul de nouvelles statistiques n’est pas encore terminé.