Sélection des seuils de confiance des libellés

Introduction

La plate-forme est généralement utilisée dans l'une des premières étapes d'un processus automatisé : l'ingestion, l'interprétation et la structuration d'une communication entrante, telle qu'un e-mail de client, un peu comme le ferait un humain lorsque cet e-mail est arrivé dans sa boîte de réception.

Lorsque la plate-forme prévoit quels libellés ou balises s’appliquent à une communication, elle attribue à chaque prédiction un score de confiance (%) pour indiquer dans quelle mesure le libellé s’applique.

Si ces prédictions doivent être utilisées pour classer automatiquement la communication, il doit cependant y avoir une décision binaire, en d’autres termes, si ce libellé s’applique ou non. C'est là qu'interviennent les seuils de confiance .

Un seuil de confiance est le score de confiance (%) à ou au-dessus duquel un bot RPA ou un autre service d’automatisation prendra la prédiction de la plate-forme comme binaire Oui, ce libellé s’applique, et en dessous, il prendra la prédiction comme binaire Non , ce libellé ne s'applique pas.

Assurez-vous de bien comprendre les seuils de confiance et de savoir comment sélectionner celui qui vous convient, afin d'atteindre le bon équilibre de précision et de rappel pour ce libellé.

Sélection d'un seuil pour un libellé

• Pour sélectionner un seuil pour un libellé, procédez comme suit :
  1. Accédez à la page Validation et sélectionnez le libellé dans la barre de filtre des libellés.
  2. Faites glisser le curseur du seuil ou saisissez un chiffre de % dans la zone indiquée dans l’image suivante afin d’afficher les différentes statistiques de précision et de rappel qui seraient obtenues pour ce seuil
  3. Le graphique Précision par rapport au rappel vous donne une indication visuelle des seuils de confiance qui maximiseraient la précision ou le rappel, ou fourniraient un équilibre entre les deux :
     • Dans l'image 1, le seuil de confiance sélectionné (68,7 » maximisera la précision (100 %. Autrement dit, la plate-forme ne devrait généralement se tromper sur aucune prédiction à ce seuil, mais aurait pour effet une valeur de rappel plus faible (85 %.
     • Dans l’image 2, le seuil de confiance sélectionné (39,8 % ) fournit un bon équilibre entre précision et rappel (92 %.
     • Dans l'image 3, le seuil de confiance sélectionné (17) maximiserait le rappel (100 %. C'est-à-dire que la plate-forme devrait identifier chaque instance pour laquelle ce libellé devrait s'appliquer, mais aurait une valeur de précision plus faible (84 %.

Figure 1. Validation du libellé avec seuil de confiance défini sur 68,7 %. Validation des libellés avec seuil de confiance défini à 68,7 %

Figure 2. Validation des libellés avec un seuil de confiance défini sur 39,8 %. Validation du libellé avec seuil de confiance défini à 39,8 %

Figure 3. Validation des libellés avec un seuil de confiance défini sur 17 %. Validation du libellé avec seuil de confiance défini à 17 %

Choisir le bon seuil

En fonction de votre cas d'utilisation et du libellé spécifique en question, vous souhaiterez peut-être maximiser la précision ou le rappel, ou trouver le seuil qui donne le meilleur équilibre possible entre ces deux éléments.

Lorsque vous réfléchissez au seuil requis, tenez compte des résultats potentiels, par exemple le coût potentiel ou les conséquences potentielles pour votre entreprise si un libellé est mal appliqué ou s’il est omis.

Pour chaque libellé, votre seuil doit être choisi en fonction du meilleur résultat pour l'entreprise en cas de problème - c'est-à-dire que quelque chose est mal classé ( faux positif), ou que quelque chose manque ( faux négatif).

Par exemple, si vous souhaitiez classer automatiquement les communications entrantes dans différentes catégories, mais que vous aviez également un libellé pour les demandes Urgentes ayant acheminé des demandes vers une file d'attente de travail de haute priorité, vous pouvez maximiser le rappel pour ce libellé afin de vous assurer qu'aucune demande Urgent n'est envoyée. omis et acceptez une précision inférieure en conséquence. En effet, cela peut ne pas être très décourageant pour l'entreprise d'avoir des requêtes moins urgentes placées dans la file d'attente prioritaire, mais cela pourrait être très décourageant pour l'entreprise de passer à côté d'une demande urgente qui est sensible au temps.

Autre exemple, si vous automatisiez un type de requête de bout en bout qui était une forme de transaction monétaire ou de haute valeur, vous choisiriez probablement un seuil qui maximiser la précision, afin d'automatiser uniquement de bout en bout mettre fin aux transactions sur lesquelles la plate-forme était la plus fiable. Les prédictions avec des confiances inférieures au seuil étaient alors examinées manuellement. En effet, le coût d'une prédiction erronée (faux positif) est potentiellement très élevé si une transaction est ensuite traitée de manière incorrecte.

Seuils automatiques

Une fois qu'un libellé a été suffisamment entraîné, Communications Mining™ vous suggère automatiquement des seuils, qui incluent les éléments suivants :

• Rappel élevé (High Recall) : maximiser le rappel de votre libellé tout en conservant une précision raisonnable pour le modèle.
• Haute précision: maximiser la précision de votre libellé avec un minimum de compromis sur le rappel du modèle.
• Équilibré (Balanced) : trouve même un équilibre entre précision et rappel, sans avoir pour priorité l'un par rapport à l'autre.