Sélection des seuils de confiance des libellés

Définissez des seuils de confiance des libellés pour contrôler le moment où les prédictions du modèle sont acceptées lors du traitement automatisé dans Communications Mining sur Automation Cloud.

Introduction

La plate-forme est généralement utilisée dans l'une des premières étapes d'un processus automatisé : l'ingestion, l'interprétation et la structuration d'une communication entrante, telle qu'un e-mail de client, un peu comme le ferait un humain lorsque cet e-mail est arrivé dans sa boîte de réception.

Lorsque la plate-forme prévoit quels libellés ou balises s’appliquent à une communication, elle attribue à chaque prédiction un score de confiance (%) pour indiquer dans quelle mesure le libellé s’applique.

Si ces prédictions doivent être utilisées pour classer automatiquement la communication, il doit cependant y avoir une décision binaire, en d’autres termes, si ce libellé s’applique ou non. C'est là qu'interviennent les seuils de confiance .

Qu’est-ce qu’un seuil de confiance

Un seuil de confiance est le score de confiance (%) à ou au-dessus duquel un bot RPA ou un autre service d’automatisation prendra la prédiction de la plate-forme comme binaire Oui, ce libellé s’applique, et en dessous, il prendra la prédiction comme binaire Non , ce libellé ne s'applique pas.

Assurez-vous de bien comprendre les seuils de confiance et de savoir comment sélectionner celui qui vous convient, afin d'atteindre le bon équilibre de précision et de rappel pour ce libellé.

Sélection d'un seuil pour un libellé

• Pour sélectionner un seuil pour un libellé, procédez comme suit :
  1. Accédez à la page Validation et sélectionnez le libellé dans la barre de filtre des libellés.
  2. Faites glisser le curseur du seuil ou saisissez un chiffre de % dans la zone indiquée dans l’image suivante afin d’afficher les différentes statistiques de précision et de rappel qui seraient obtenues pour ce seuil
  3. Le graphique Précision par rapport au rappel vous donne une indication visuelle des seuils de confiance qui maximiseraient la précision ou le rappel, ou fourniraient un équilibre entre les deux :
     • Dans l'image 1, le seuil de confiance sélectionné (68,7 » maximisera la précision (100 %. Autrement dit, la plate-forme ne devrait généralement se tromper sur aucune prédiction à ce seuil, mais aurait pour effet une valeur de rappel plus faible (85 %.
     • Dans l’image 2, le seuil de confiance sélectionné (39,8 % ) fournit un bon équilibre entre précision et rappel (92 %.
     • Dans l'image 3, le seuil de confiance sélectionné (17) maximiserait le rappel (100 %. C'est-à-dire que la plate-forme devrait identifier chaque instance pour laquelle ce libellé devrait s'appliquer, mais aurait une valeur de précision plus faible (84 %.

Figure 1. Validation du libellé avec seuil de confiance défini sur 68,7 %. Validation du libellé avec seuil de confiance défini sur 68,7 %

Figure 2. Validation des libellés avec un seuil de confiance défini sur 39,8 %. Validation du libellé avec seuil de confiance défini sur 39,8 %

Figure 3. Validation des libellés avec un seuil de confiance défini sur 17 %. Validation du libellé avec seuil de confiance défini sur 17 %

Choisir le bon seuil

En fonction de votre cas d'utilisation et du libellé spécifique en question, vous souhaiterez peut-être maximiser la précision ou le rappel, ou trouver le seuil qui donne le meilleur équilibre possible entre ces deux éléments.

Lorsque vous réfléchissez au seuil requis, tenez compte des résultats potentiels, par exemple le coût potentiel ou les conséquences potentielles pour votre entreprise si un libellé est mal appliqué ou s’il est omis.

Pour chaque libellé, votre seuil doit être choisi en fonction du meilleur résultat obtenu pour l'entreprise en cas de problème, c'est-à-dire que quelque chose a été classé de manière incorrecte ( faux positif), ou que quelque chose est manquant ( faux négatif).

Exemple: maximisation du rappel

Par exemple, si vous souhaitiez classer automatiquement les communications entrantes dans différentes catégories, mais que vous disposiez également d'un libellé pour Urgent qui achemine les demandes vers une file d'attente de travail de haute priorité, vous pouvez maximiser le rappel de ce libellé afin de vous assurer qu'aucune demande urgente n'est manqué et accepter une précision inférieure en conséquence.

En effet, il peut ne pas être très préjudiciable pour l'entreprise que des requêtes moins urgentes soient placées dans la file d'attente prioritaire. En revanche, il pourrait être très préjudiciable pour l'entreprise de manquer une requête urgente et sensible au temps.

Exemple: maximisation de la précision

Autre exemple, si vous automatisiez un type de demande de bout en bout constituant une transaction monétaire ou de grande valeur, vous choisiriez probablement un seuil qui maximise la précision, afin d'automatiser uniquement de bout en bout mettre fin aux transactions sur lesquelles la plateforme était la plus sûre. Les prédictions avec des niveaux de confiance inférieurs au seuil étaient ensuite examinées manuellement.

En effet, le coût d'une prédiction erronée (un faux positif) est potentiellement très élevé si une transaction est traitée de manière incorrecte.

Seuils automatiques

Une fois qu'un libellé a été suffisamment entraîné, Communications Mining™ vous suggère automatiquement des seuils, qui incluent les éléments suivants :

• Rappel élevé: optimise le rappel de votre libellé tout en maintenant une précision raisonnable du modèle.
• Précision élevée: maximiser la précision de votre libellé avec un compromis minimal sur le rappel du modèle.
• Équilibré: établit un équilibre même entre précision et rappel, sans hiérarchiser l’un par rapport à l’autre.