- Démarrage
- Équilibre
- Clusters
- Dérive de concept
- Couverture
- Jeux de données
- Champs généraux (anciennement entités)
- Libellés (prédictions, niveaux de confiance, hiérarchie, etc.)
- Modèles
- Flux
- Évaluation du modèle
- Projets
- Précision
- Rappel
- Messages examinés et non examinés
- Sources
- Taxonomies
- Apprentissage
- Prédictions positives et négatives vraies et fausses
- Validation
- Messages
- Administration
- Gérer les sources et les jeux de données
- Comprendre la structure des données et les autorisations
- Create or delete a data source in the GUI
- Téléchargement d’un fichier CSV dans une source
- Préparation des données en vue du téléchargement du fichier .CSV
- Créer un nouveau jeu de données
- Sources et jeux de données multilingues
- Activation des sentiments sur un ensemble de données
- Modifier les paramètres d’un jeu de données
- Supprimer des messages via l'interface utilisateur
- Supprimer un jeu de données
- Exporter un jeu de données
- Utilisation des intégrations Exchange
- Entraînement et maintenance du modèle
- Comprendre les libellés, les champs généraux et les métadonnées
- Hiérarchie des libellés et bonnes pratiques
- Définition de vos objectifs de taxonomie
- Cas d'utilisation d'analyse vs d'automatisation
- Transformer vos objectifs en libellés
- Construire votre structure de taxonomie
- Meilleures pratiques de conception de taxonomie
- Importation de votre taxonomie
- Présentation du processus d'entraînement du modèle
- Annotation générative (New)
- Statut du jeu de données
- Entraînement des modèles et annotation des meilleures pratiques
- Entraînement avec l'analyse des sentiments des libellés activée
- Comprendre les exigences de données
- Entraîner
- Vue d'ensemble (Overview)
- Examen des prédictions de libellé
- Entraînement à l'aide de la classification par glisser-déposer
- Entraînement à l'aide de l'option Enseigner le libellé (Explore)
- Entraînement à l'aide d'une confiance faible
- Entraînement à l'aide de la recherche (Explorer)
- Réduction et réorganisation de votre taxonomie
- Introduction à affiner
- Précision et rappel expliqués
- Précision et rappel
- Comment fonctionne la validation ?
- Comprendre et améliorer les performances du modèle
- Pourquoi un libellé peut-il avoir une précision moyenne faible ?
- Entraînement à l'aide du libellé Vérifier (Check label) et du libellé Manqué (Missed Label)
- Entraînement à l'aide du libellé En savoir plus (Affiner)
- Entraînement à l'aide de la recherche (affiner)
- Comprendre et augmenter la couverture
- Amélioration de l'équilibre et utilisation du rééquilibrage
- Quand arrêter l'entraînement de votre modèle
- Utilisation de champs généraux
- Extraction générative
- Utilisation des analyses et de la surveillance
- Automatisations et Communications Mining
- Sélection des seuils de confiance des libellés
- Créer un flux
- Mettre à jour ou supprimer un flux
- Informations de licence
- FAQ et plus encore
Guide de l'utilisateur de Communications Mining
Sélection des seuils de confiance des libellés
La plate-forme est généralement utilisée dans l'une des premières étapes d'un processus automatisé : l'ingestion, l'interprétation et la structuration d'une communication entrante, telle qu'un e-mail de client, un peu comme le ferait un humain lorsque cet e-mail est arrivé dans sa boîte de réception.
Lorsque la plate-forme prévoit quels libellés (ou balises) s'appliquent à une communication, elle attribue à chaque prédiction un score de confiance (%) pour indiquer la confiance avec laquelle le libellé s'applique.
Si ces prédictions doivent être utilisées pour classer automatiquement la communication, cependant, il doit y avoir une décision binaire - c'est-à-dire, est-ce que ce libellé s'applique ou non ? C'est là qu'interviennent les seuils de confiance .
Un seuil de confiance correspond au score de confiance (%) égal ou supérieur à lequel un bot RPA ou un autre service d'automatisation prendra la prédiction de la plate-forme comme binaire 'Oui, ce libellé s'applique' et au-dessous duquel il prendra la prédiction comme binaire « Non, ce libellé ne s’applique pas ».
Il est donc très important de comprendre les seuils de confiance et de savoir comment sélectionner celui qui convient, afin d'atteindre le bon équilibre entre précision et rappel pour ce libellé.
- Pour sélectionner un seuil pour un libellé, accédez à la page Validation et sélectionnez le libellé dans la barre de filtre des libellés
- Ensuite, faites simplement glisser le curseur de seuil ou saisissez un chiffre en % dans la zone (comme indiqué ci-dessous), pour voir les différentes statistiques de précision et de rappel qui seraient obtenues pour ce seuil
- Le graphique précision vs rappel vous donne une indication visuelle des seuils de confiance qui maximiseraient la précision ou le rappel, ou fourniraient un équilibre entre les deux :
- Dans la première image ci-dessous, le seuil de confiance sélectionné (68,7 %) maximiserait la précision (100 %) - c'est-à-dire que la plate-forme ne devrait généralement se tromper sur aucune prédiction à ce seuil - mais aurait donc une valeur de rappel inférieure (85 %)
- Dans la deuxième image, le seuil de confiance sélectionné (39,8 %) offre un bon équilibre entre la précision et le rappel (tous deux)
- Dans la troisième image, le seuil de confiance sélectionné (17 %) maximiserait le rappel (100 %) - c'est-à-dire que la plateforme devrait identifier chaque instance où cette étiquette doit s'appliquer - mais aurait en conséquence une valeur de précision inférieure (84 %)
Alors, comment choisissez-vous le seuil qui vous convient ? La réponse simple est : cela dépend.
En fonction de votre cas d'utilisation et de l'étiquette spécifique en question, vous souhaiterez peut-être maximiser la précision ou le rappel, ou trouver le seuil qui donne le meilleur équilibre entre les deux.
Lorsque vous définissez le seuil requis, il est utile de penser aux résultats potentiels : quel(s) est le coût potentiel ou les conséquences sur votre entreprise si une étiquette est incorrectement appliquée ? Et si c'était oublié ?
Pour chaque libellé, votre seuil doit être choisi en fonction du meilleur résultat pour l'entreprise en cas de problème - c'est-à-dire que quelque chose est mal classé ( faux positif), ou que quelque chose manque ( faux négatif).
Par exemple, si vous souhaitiez classer automatiquement les communications entrantes dans différentes catégories, mais que vous aviez également un libellé « Urgent » qui acheminait les demandes vers une file d'attente de travail à priorité élevée, vous pouvez maximiser le rappel de ce libellé pour vous assurer qu'aucun message urgent des requêtes sont manquées, et acceptent par conséquent une précision inférieure. En effet, cela peut ne pas être très préutile pour l'entreprise d'avoir des requêtes moins urgentes placées dans la file d'attente prioritaire, mais cela peut être très préutile pour l'entreprise de manquer une requête urgente sensible au temps.
Autre exemple, si vous automatisiez un type de requête de bout en bout qui était une forme de transaction monétaire ou de haute valeur, vous choisiriez probablement un seuil qui maximiser la précision, afin d'automatiser uniquement de bout en bout mettre fin aux transactions sur lesquelles la plate-forme était la plus fiable. Les prédictions avec des confiances inférieures au seuil étaient alors examinées manuellement. En effet, le coût d'une prédiction erronée (faux positif) est potentiellement très élevé si une transaction est ensuite traitée de manière incorrecte.
