Comprendre la validation des extractions et des performances d'extraction

Remarque : la page Validation des extractions est en aperçu public.

La page Validation affiche un aperçu des performances des extractions et vous aide à explorer les performances individuelles de chaque extraction.

Vous pouvez accéder à la page de validation à partir de l’onglet Extractions dans Validation et n’est disponible que si vous avez des champs d’extraction définis sur votre ensemble de données.​

Aperçu des performances

La page par défaut de la page Validation des extractions (Extractions Validation) est la page de vue d'ensemble « Tout », qui fournit les statistiques récapitulatives suivantes sur les performances globales des extractions dans l'ensemble de données :

• Score F1 moyen des extractions
• Précision moyenne des extractions
• Rappel moyen des extractions

Figure 1. Page de validation des extractions

Remarque : Un score F1 moyenne d'extraction (Extraction Average F1 ) est un signe de faibles performances d'extraction​.

Extractions individuelles

Cliquez sur dans les libellés individuels pour voir les performances des extractions individuelles, c'est-à-dire le libellé et ses champs d'extraction associés.

Pour chaque extraction, vous pouvez voir les valeurs suivantes :

• Score F1
• Précision
• Rappel

Pour tous les champs d'extraction du libellé, vous pouvez voir les valeurs suivantes :

• Score F1 moyen
• Précision moyenne
• Rappel moyen

Pour chaque champ d'extraction individuel, vous pouvez voir les valeurs suivantes :

• Score F1
• Précision
• Rappel

Figure 2. Validation individuelle des extractions.

Niveaux de confiance et LLM

Le fonctionnement des niveaux de confiance varie en fonction du modèle LLM sous-jacent que vous utilisez.

Si vous utilisez CommPath LLM

If you use the CommPath LLM, themodel assigns a set of confidence scores for each prediction (%).

CommPath calculates and returns the following:

• Confiance d'occurrence : la occurrence détectée correspond au libellé de probabilité attribué.

• Confiance d’ extraction : confiance dans l’exactitude du contenu extrait.

These confidence values enable downstream automations to filter out extractions with confidence levels below a set label threshold. If you set an appropriate threshold, you can ensure that only predictions that meet a desired confidence level are used in workflows.

Si vous utilisez l' Aperçu LLM (Preview LLM)

L Preview LLM pour l'extraction générative fournit une valeur de confiance d'occurrence de libellé unique pour chaque extraction, remplaçant à la fois la confiance d'occurrence et la confiance d'extraction. Cette approche diffère de CommPath, qui renvoie des valeurs de confiance distinctes pour chaque extraction.

Remarque :

Returning the label confidence helps filtering out extractions downstream if needed, allowing users to improve the precision of some results.

Automatisation avec Extraction générative

Remarque : si vous avez déjà créé des automatisations avec des entités: si vous prévoyez de créer des automatisations à l'aide de l' Extraction générative, le point de terminaison de l'API et les activités requises pour le créer sont différents de ce que vous avez précédemment utilisé.​

Cette section décrit les sorties de l'activité get stream results . Consultez la page Infrastructure du répartiteur Communications Mining pour plus de détails.​

Pour automatiser avec l'extraction générative, il est important de comprendre le contenu des sorties de vos extractions.​

Confiance d' occurrence (Occurrence confidence) : fait référence à la confiance du modèle par rapport au nombre d'instances où une requête peut se produire sur un message (c'est-à-dire, combien de fois une extraction peut se produire). ​

Par exemple : pour traiter un relevé de comptes dans un système en aval, vous avez toujours besoin d'un ID de compte, d'un numéro de bon de commande, du montant du paiement et de la date d'échéance.

Consultez ci-dessous l'exemple de confiance d'occurrence . Il montre comment le modèle peut identifier en toute confiance qu'il existe 2 occurrences potentielles où vous devez faciliter ce processus en aval​.

Confiance de l'extraction

La confiance d'extraction est la confiance du modèle concernant ses prédictions. Cela inclut sa précision lors de la prédiction de l'instance d'une étiquette et de ses champs associés. Il inclut également la confiance du modèle dans la prédiction correcte si un champ est manquant.

Retenez le même exemple qu'auparavant. Pour traiter un relevé de comptes dans un système en aval, vous avez toujours besoin d'un ID de compte, d'un numéro de bon de commande, du montant du paiement et de la date d'échéance.

Cependant, cette fois, le numéro de bon de commande n'est pas présent sur le message, ni la date d'échéance (uniquement la date de début).

La confiance d'extraction de cet exemple est la confiance du modèle permettant d'identifier si les valeurs de chaque champ associé à l'étiquette sont présentes. Il inclut également la confiance du modèle dans la prédiction correcte si un champ est manquant.

Dans ce cas ici, vous n'avez pas tous les champs nécessaires pour pouvoir extraire complètement tous les champs requis.

Exemple de charge utile

Consultez ci-dessous un exemple de sortie de ce que renvoie l'activité get stream response.

Le flux fait référence au seuil que vous définissez dans Communications Mining, et si le message dépasse ce seuil.

Au lieu de filtrer les prédictions en fonction des seuils, cet itinéraire renvoie la confiance de prédiction qui respecte les seuils.

En d’autres termes, si vos seuils ont été atteints, le flux est renvoyé. Sinon, cette valeur est vide.​

Remarque : il s'agit d'un exemple d'extrait pour expliquer les différents composants, et non la sortie complète d'une réponse d'extraction générative. ​

De plus, en cas d'extractions multiples, il est conditionnel aux extractions qui précèdent.​

Pour les libellés sans champs d'extraction, la confiance d'occurrence équivaut à la confiance d'étiquette que vous pouvez voir dans l'interface utilisateur.​

Remarque : si le modèle n'a pas réussi à extraire tous les champs d'un message en raison d'un trop grand nombre de champs, il renverra une extraction dans la réponse du flux qui a une confiance d'occurrence ET une confiance d'extraction avec des valeurs de 0.