- Introduction
- Configuration de votre compte
- Équilibre
- Clusters
- Dérive de concept
- Couverture
- Jeux de données
- Champs généraux
- Libellés (prédictions, niveaux de confiance, hiérarchie des libellés et sentiment des libellés)
- Modèles
- Flux
- Évaluation du modèle
- Projets
- Précision
- Rappel
- Messages annotés et non annotés
- Extraction des champs
- Sources
- Taxonomies
- Apprentissage
- Prédictions positives et négatives vraies et fausses
- Validation
- Messages
- Contrôle et administration de l'accès
- Gérer les sources et les jeux de données
- Comprendre la structure des données et les autorisations
- Créer ou supprimer une source de données dans l'interface graphique
- Téléchargement d’un fichier CSV dans une source
- Préparation des données en vue du téléchargement du fichier .CSV
- Création d'un ensemble de données
- Sources et jeux de données multilingues
- Activation des sentiments sur un ensemble de données
- Modification des paramètres du jeu de données
- Supprimer un message
- Supprimer un jeu de données
- Exporter un ensemble de données
- Utilisation d'intégrations Exchange
- Entraînement et maintenance du modèle
- Comprendre les libellés, les champs généraux et les métadonnées
- Hiérarchie de libellés et meilleures pratiques
- Comparer les cas d’utilisation des analyses et des automatisations
- Transformer vos objectifs en libellés
- Présentation du processus d'entraînement du modèle
- Annotation générative
- Statut du jeu de données
- Entraînement des modèles et annotation des meilleures pratiques
- Entraînement avec l'analyse des sentiments des libellés activée
- Entraînement des données de chat et d'appels
- Comprendre les exigences de données
- Entraîner
- Vue d'ensemble (Overview)
- Examen des prédictions de libellé
- Entraînement à l'aide de la classification par glisser-déposer
- Entraînement à l'aide de l'option Enseigner le libellé (Explore)
- Entraînement à l'aide d'une confiance faible
- Entraînement à l'aide de la recherche (Explorer)
- Affiner et réorganiser votre taxonomie
- Introduction à affiner
- Précision et rappel expliqués
- Précision et rappel
- Comment fonctionne la validation
- Comprendre et améliorer les performances du modèle
- Raisons de la faible précision moyenne des libellés
- Entraînement à l'aide du libellé Vérifier (Check label) et du libellé Manqué (Missed Label)
- Entraînement à l'aide du libellé En savoir plus (Affiner)
- Entraînement à l'aide de la recherche (affiner)
- Comprendre et augmenter la couverture
- Amélioration de l'équilibre et utilisation du rééquilibrage
- Quand arrêter l'entraînement de votre modèle
- Utilisation de champs généraux
- Extraction générative
- Vue d'ensemble (Overview)
- Configurer des champs
- Filtrage par type de champ d’extraction
- Génération de vos extractions
- Validation et annotation des extractions générées
- Meilleures pratiques et considérations
- Comprendre la validation des extractions et des performances d'extraction
- Questions fréquemment posées (FAQ)
- Utilisation des analyses et de la surveillance
- Automations et Communications Mining™
- Développeur
- Charger des données
- Téléchargement de données
- Intégration avec l'utilisateur du service Azure
- Intégration avec l'authentification d'application Azure
- Intégration d’Exchange avec l’authentification et le graphique d’application Azure
- Récupérer des données pour Tableau avec Python
- Intégration d'Elasticsearch
- Extraction de champ général
- Intégration avec Exchange auto-hébergée
- Infrastructure d’automatisation UiPath®
- Activités officielles UiPath®
- Comment les machines apprennent à comprendre les mots : guide d'intégration dans NLP
- Apprentissage basé sur des invites avec des Transformers
- Efficient Transformers II : Dilarisation des connaissances et affinement
- Transformateurs efficaces I : mécanismes d'attention
- Modélisation de l'intention hiérarchique profonde non supervisée : obtenir de la valeur sans données d'entraînement
- Correction des biais d’annotation avec Communications Mining™
- Apprentissage actif : de meilleurs modèles d'ML en moins de temps
- Tout est dans les chiffres : évaluer les performances du modèle avec des métriques
- Pourquoi la validation du modèle est importante
- Comparaison de Communications Mining™ et de Google AutoML pour l’information sur des données conversationnelles
- Licences
- FAQ et plus encore

Guide de l’utilisateur de Communications Mining
La page Validation affiche un aperçu des performances des extractions et vous aide à explorer les performances individuelles de chaque extraction.
Vous pouvez accéder aux détails de la validation dans l'onglet Extractions depuis Validation. L’onglet Extractions n’est disponible que si vous avez des champs d’extraction définis sur votre ensemble de données.
La page par défaut de l'onglet Extractions de Validation est une vue d'ensemble utilisant le filtre Tout . Cette page fournit les statistiques récapitulatives suivantes sur les performances globales des extractions de l'ensemble de données :
- Score F1 moyen des extractions
- Précision moyenne des extractions
- Rappel moyen des extractions
Sélectionnez des libellés individuels pour afficher les performances des extractions individuelles, c'est-à-dire le libellé et ses champs d'extraction associés.
Pour chaque extraction, vous pouvez remarquer les valeurs suivantes :
- Score F1
- Précision
- Rappel
Pour tous les champs d’extraction du libellé, vous pouvez remarquer les valeurs suivantes :
- Score F1 moyen
- Précision moyenne
- Rappel moyen
Pour les champs d'extraction individuels, vous pouvez remarquer les valeurs suivantes :
- Score F1
- Précision
- Rappel
Le fonctionnement des niveaux de confiance varie en fonction du modèle LLM sous-jacent que vous utilisez.
Si vous utilisez CommPath LLM
Si vous utilisez le LLM de CommPath, le modèle attribue un ensemble de scores de confiance pour chaque prédiction (%).
CommPath calcule et renvoie les éléments suivants :
-
Confiance d'occurrence : la occurrence détectée correspond au libellé de probabilité attribué.
-
Confiance d’ extraction : confiance dans l’exactitude du contenu extrait.
Ces valeurs de confiance permettent aux automatisations en aval de filtrer les extractions avec des niveaux de confiance inférieurs à un seuil de libellé défini. Si vous définissez un seuil approprié, vous pouvez vous assurer que seules les prédictions qui répondent à un niveau de confiance souhaité sont utilisées dans les workflows.
Si vous utilisez l' Aperçu LLM (Preview LLM)
L Preview LLM pour l'extraction générative fournit une valeur de confiance d'occurrence de libellé unique pour chaque extraction, remplaçant à la fois la confiance d'occurrence et la confiance d'extraction. Cette approche diffère de CommPath, qui renvoie des valeurs de confiance distinctes pour chaque extraction.
Le renvoi de la confiance de libellé aide à filtrer les extractions en aval si nécessaire, permettant aux utilisateurs d'améliorer la précision de certains résultats.
Cette section décrit les sorties de l’activité Obtenir les résultats de flux . Pour de plus amples informations, consultez la section Infrastructure de Communications Mining™ pour le répartiteur.
Pour automatiser avec l’extraction générative, vous devez d’abord comprendre le contenu des sorties de vos extractions.
La confiance d’occurrence fait référence à la confiance du modèle concernant le nombre d’instances où une requête peut se produire sur un message, c’est-à-dire le nombre de fois où une extraction peut se produire.
Par exemple, pour traiter un relevé de comptes dans un système en aval, vous avez toujours besoin d'un ID de compte, d'un numéro de bon de commande, du montant du paiement et de la date d'échéance.
Consultez l’exemple de confiance d’occurrence dans l’image suivante. Il montre comment le modèle peut identifier en toute confiance qu’il existe deux occurrences potentielles pour lesquelles vous devez faciliter ce processus en aval.
Confiance de l'extraction
La confiance d’extraction correspond à la confiance du modèle concernant ses prédictions. Cela comprend la précision même dans la prédiction de l'instance d'un libellé et de ses champs associés. Cela inclut également la confiance du modèle dans la prédiction correcte si un champ est manquant.
Prenons le même exemple qu’avant. Pour traiter un relevé de comptes dans un système en aval, vous avez toujours besoin d'un ID de compte, d'un numéro de bon de commande, du montant du paiement et de la date d'échéance.
Cependant, cette fois, le numéro de bon de commande n'est pas présent sur le message, ou la date d'échéance, mais uniquement la date de début.
La confiance d’extraction de cet exemple est la confiance du modèle concernant l’identification si les valeurs de chaque champ associé au libellé sont présentes. Cela inclut également la confiance du modèle dans la prédiction correcte si un champ est manquant.
Dans ce cas ici, vous ne disposez pas de tous les champs dont vous avez besoin pour pouvoir extraire entièrement tous les champs requis.
Exemple de charge utile
Le flux fait référence au seuil que vous définissez dans Communications Mining, et si le message dépasse ce seuil.
Au lieu de filtrer les prédictions en fonction de seuils, cette route renvoie la confiance de prédiction qui a atteint les seuils.
En d’autres termes, si vos seuils ont été atteints, le flux est renvoyé. Si ce n’est pas le cas, cette valeur est vide.
- L'image précédente contient un exemple d'extrait pour expliquer les différents composants, et non le résultat complet d'une réponse d'extraction générative. De plus, lorsqu’il y a plusieurs extractions, elle est conditionnelle aux extractions qui la précèdent. Pour les libellés sans champs d'extraction, la confiance d'occurrence équivaut à la confiance de libellé que vous pouvez afficher dans l'interface utilisateur.
- Si le modèle n’a pas réussi à extraire tous les champs d’un message parce qu’il y a trop de champs, il renverra une extraction dans la réponse du flux qui a un niveau de confiance d’occurrence et un niveau de confiance d’extraction avec des valeurs de zéro.