- Démarrage
- Équilibre
- Clusters
- Dérive de concept
- Couverture
- Jeux de données
- Champs généraux (anciennement entités)
- Libellés (prédictions, niveaux de confiance, hiérarchie, etc.)
- Modèles
- Flux
- Évaluation du modèle
- Projets
- Précision
- Rappel
- Messages annotés et non annotés
- Extraction des champs
- Sources
- Taxonomies
- Apprentissage
- Prédictions positives et négatives vraies et fausses
- Validation
- Messages
- Administration
- Gérer les sources et les jeux de données
- Comprendre la structure des données et les autorisations
- Créer ou supprimer une source de données dans le graphique
- Téléchargement d’un fichier CSV dans une source
- Préparation des données en vue du téléchargement du fichier .CSV
- Créer un nouveau jeu de données
- Sources et jeux de données multilingues
- Activation des sentiments sur un ensemble de données
- Modifier les paramètres du jeu de données
- Supprimer des messages via l'interface utilisateur
- Supprimer un jeu de données
- Exporter un jeu de données
- Utilisation des intégrations Exchange
- Entraînement et maintenance du modèle
- Comprendre les libellés, les champs généraux et les métadonnées
- Hiérarchie de libellés et meilleures pratiques
- Définition de vos objectifs de taxonomie
- Cas d'utilisation d'analyse vs d'automatisation
- Transformer vos objectifs en libellés
- Construire votre structure de taxonomie
- Meilleures pratiques de conception de taxonomie
- Importation de votre taxonomie
- Présentation du processus d'entraînement du modèle
- Annotation générative (New)
- Statut du jeu de données
- Entraînement des modèles et annotation des meilleures pratiques
- Entraînement avec l'analyse des sentiments des libellés activée
- Comprendre les exigences de données
- Entraîner
- Vue d'ensemble (Overview)
- Examen des prédictions de libellé
- Entraînement à l'aide de la classification par glisser-déposer
- Entraînement à l'aide de l'option Enseigner le libellé (Explore)
- Entraînement à l'aide d'une confiance faible
- Entraînement à l'aide de la recherche (Explorer)
- Réduction et réorganisation de votre taxonomie
- Introduction à affiner
- Précision et rappel expliqués
- Précision et rappel
- Comment fonctionne la validation ?
- Comprendre et améliorer les performances du modèle
- Pourquoi un libellé peut-il avoir une précision moyenne faible ?
- Entraînement à l'aide du libellé Vérifier (Check label) et du libellé Manqué (Missed Label)
- Entraînement à l'aide du libellé En savoir plus (Affiner)
- Entraînement à l'aide de la recherche (affiner)
- Comprendre et augmenter la couverture
- Amélioration de l'équilibre et utilisation du rééquilibrage
- Quand arrêter l'entraînement de votre modèle
- Utilisation de champs généraux
- Extraction générative
- Vue d'ensemble (Overview)
- Filtrage par type de champ d’extraction
- Génération de vos extractions
- Valider et annoter les extractions générées
- Meilleures pratiques et considérations
- Comprendre la validation des extractions et des performances d'extraction
- FAQ
- Utilisation des analyses et de la surveillance
- Automatisations et Communications Mining
- Informations de licence
- FAQ et plus encore

Guide de l'utilisateur de Communications Mining
Comprendre la validation des extractions et des performances d'extraction
La page Validation affiche un aperçu des performances des extractions et vous aide à explorer les performances individuelles de chaque extraction.
Vous pouvez accéder à la page de validation à partir de l’onglet Extractions dans Validation et n’est disponible que si vous avez des champs d’extraction définis sur votre ensemble de données.
La page par défaut de la page Validation des extractions (Extractions Validation) est la page de vue d'ensemble « Tout », qui fournit les statistiques récapitulatives suivantes sur les performances globales des extractions dans l'ensemble de données :
- Score F1 moyen des extractions
- Précision moyenne des extractions
- Rappel moyen des extractions
Cliquez sur dans les libellés individuels pour voir les performances des extractions individuelles, c'est-à-dire le libellé et ses champs d'extraction associés.
Pour chaque extraction, vous pouvez voir les valeurs suivantes :
- Score F1
- Précision
- Rappel
Pour tous les champs d'extraction du libellé, vous pouvez voir les valeurs suivantes :
- Score F1 moyen
- Précision moyenne
- Rappel moyen
Pour chaque champ d'extraction individuel, vous pouvez voir les valeurs suivantes :
- Score F1
- Précision
- Rappel
Le fonctionnement des niveaux de confiance varie en fonction du modèle LLM sous-jacent que vous utilisez.
Si vous utilisez le LLM de CommPath, le modèle attribue un ensemble de scores de confiance pour chaque prédiction (%).
CommPath calcule et renvoie les éléments suivants :
-
Confiance d'occurrence : la occurrence détectée correspond au libellé de probabilité attribué.
-
Confiance d’ extraction : confiance dans l’exactitude du contenu extrait.
Ces valeurs de confiance permettent aux automatisations en aval de filtrer les extractions avec des niveaux de confiance inférieurs à un seuil de libellé défini. Si vous définissez un seuil approprié, vous pouvez vous assurer que seules les prédictions qui répondent à un niveau de confiance souhaité sont utilisées dans les workflows.
L Preview LLM pour l'extraction générative fournit une valeur de confiance d'occurrence de libellé unique pour chaque extraction, remplaçant à la fois la confiance d'occurrence et la confiance d'extraction. Cette approche diffère de CommPath, qui renvoie des valeurs de confiance distinctes pour chaque extraction.
Le renvoi de la confiance de libellé aide à filtrer les extractions en aval si nécessaire, permettant aux utilisateurs d'améliorer la précision de certains résultats.
Cette section décrit les sorties de l'activité get stream results . Consultez la page Infrastructure du répartiteur Communications Mining pour plus de détails.
Pour automatiser avec l'extraction générative, il est important de comprendre le contenu des sorties de vos extractions.
Confiance d' occurrence (Occurrence confidence) : fait référence à la confiance du modèle par rapport au nombre d'instances où une requête peut se produire sur un message (c'est-à-dire, combien de fois une extraction peut se produire).
Par exemple : pour traiter un relevé de comptes dans un système en aval, vous avez toujours besoin d'un ID de compte, d'un numéro de bon de commande, du montant du paiement et de la date d'échéance.
Consultez ci-dessous l'exemple de confiance d'occurrence . Il montre comment le modèle peut identifier en toute confiance qu'il existe 2 occurrences potentielles où vous devez faciliter ce processus en aval.
La confiance d'extraction est la confiance du modèle concernant ses prédictions. Cela inclut sa précision lors de la prédiction de l'instance d'une étiquette et de ses champs associés. Il inclut également la confiance du modèle dans la prédiction correcte si un champ est manquant.
Retenez le même exemple qu'auparavant. Pour traiter un relevé de comptes dans un système en aval, vous avez toujours besoin d'un ID de compte, d'un numéro de bon de commande, du montant du paiement et de la date d'échéance.
Cependant, cette fois, le numéro de bon de commande n'est pas présent sur le message, ni la date d'échéance (uniquement la date de début).
La confiance d'extraction de cet exemple est la confiance du modèle permettant d'identifier si les valeurs de chaque champ associé à l'étiquette sont présentes. Il inclut également la confiance du modèle dans la prédiction correcte si un champ est manquant.
Dans ce cas ici, vous n'avez pas tous les champs nécessaires pour pouvoir extraire complètement tous les champs requis.
Consultez ci-dessous un exemple de sortie de ce que renvoie l'activité get stream response.
Le flux fait référence au seuil que vous définissez dans Communications Mining, et si le message dépasse ce seuil.
Au lieu de filtrer les prédictions en fonction des seuils, cet itinéraire renvoie la confiance de prédiction qui respecte les seuils.
En d’autres termes, si vos seuils ont été atteints, le flux est renvoyé. Sinon, cette valeur est vide.
De plus, en cas d'extractions multiples, il est conditionnel aux extractions qui précèdent.
Pour les libellés sans champs d'extraction, la confiance d'occurrence équivaut à la confiance d'étiquette que vous pouvez voir dans l'interface utilisateur.