ixp

latest

false

Guide de l’utilisateur de Communications Mining

Dernière mise à jour 7 oct. 2025

Utilisation de champs généraux

Un guide de configuration et d'entraînement des champs généraux dans la plate-forme.

Définir et configurer vos champs

Il est important de définir les points de données clés (c'est-à-dire champs) que vous souhaitez extraire de vos données Communications Mining™. Ceux-ci facilitent généralement l'automatisation en aval, mais peuvent également être utiles pour l'analyse, notamment pour évaluer le taux de réussite potentiel et les avantages des opportunités d'automatisation.

Les définitions ci-dessous vous aident à comprendre la différence entre les champs généraux et les champs d’extraction :

Les champs généraux sont des champs que vous souhaitez extraire, qui peuvent être trouvés dans plusieurs sujets/libellés différents dans un ensemble de données.
Les champs d'extraction sont les champs conditionnés et créés sur une étiquette spécifique. En d'autres termes, elle est liée à un libellé spécifique que vous souhaitez automatiser.

Remarque : si l’extraction générative est disponible dans votre région, il est recommandé d’utiliser les champs généraux comme sauvegarde des champs d’extraction, s’il n’y a pas de prédictions de libellé fiables pour un message. Utilisez des champs d’extraction, liés à des libellés spécifiques, pour faciliter l’automatisation de bout en bout, ainsi que des champs généraux pour le tri automatisé.

Consultez la documentation officielle pour en savoir plus sur l ' Extraction générative et les champs Général vs extraction. Si l’extraction générative n’est pas disponible dans votre région, continuez à utiliser les champs généraux comme d’habitude. Le reste de cette section fournit des conseils sur l’utilisation des champs généraux.

Au final, les prédictions de champ général, combinées à des libellés, peuvent faciliter l'automatisation en fournissant les points de données structurés nécessaires pour terminer une tâche ou un processus spécifique. Il est beaucoup plus efficace d'entraîner des champs généraux dans votre ensemble de données conjointement avec des libellés, plutôt que de se concentrer sur l'un et l'autre (c'est-à-dire entraîner des champs généraux après avoir entraîné une taxonomie complète de libellés).

Remarque : si vous souhaitez automatiser les demandes de changement d’adresse , un libellé sera utilisé pour capturer le type de demande, tandis que les champs généraux captureront les différents composants de l’adresse (c.-à-d., adresse e-mail, ville, code postal/code postal, etc.). Chaque prédiction est rendue disponible via l'API, ce qui permet d'agir en fonction de chaque message.

Comprendre les champs généraux

Pour plus de détails, consultez Extraction générative et Champs généraux et champs d’extraction. Si l’extraction générative n’est pas disponible dans votre région, continuez à utiliser les champs généraux comme d’habitude. Le reste de cette section fournit des conseils sur l’utilisation des champs généraux.

Les champs généraux sont des éléments supplémentaires de données structurées qui peuvent être extraits des messages de votre ensemble de données. Les champs généraux comprennent des points de données tels que les quantités monétaires, les dates, les codes de devise, les adresses e-mail, les URL, ainsi que de nombreuses autres catégories spécifiques au secteur d'activités.

La plate-forme peut prédire la plupart des champs généraux, dès qu’ils sont activés, à l’exception de ceux entraînés à partir de zéro, car elle peut les identifier en fonction de leur format typique, ou dans certains cas très spécifiques, et un ensemble d’entraînement de champs généraux similaires.

Comme pour les libellés, vous pouvez accepter ou rejeter les champs généraux correctement ou incorrectement prévus, améliorant ainsi la capacité du modèle à les identifier à l’avenir.

Types de champs généraux

Les champs généraux peuvent appartenir aux types suivants :

Champs généraux pré-entraînés, qui reposent sur un ensemble de règles standard ou personnalisées, par exemple la quantité monétaire, l'URL et la date.
Champs généraux entraînés à partir de zéro, qui sont basés sur l’apprentissage automatique. Vous pouvez entraîner ces champs comme vous le feriez pour entraîner des libellés.

Champs généraux entraînables et non entraînables

Champs généraux pouvant être entraînés

Tous les champs généraux :

peuvent être entraînables par nature lorsqu'ils sont entraînés à partir de zéro.
peuvent être rendus entraînables lorsqu’ils sont activés, qui sont tous les autres types de champs généraux.

Les champs généraux entraînables sont ceux qui seront mis à jour en direct sur la plate-forme en fonction de l’entraînement fourni par les utilisateurs. Pour plus de détails sur l’entraînement des champs généraux, consultezRéviser et appliquer les champs généraux.

Si vous activez l’entraînement sur un champ général pré-entraîné basé sur un ensemble de règles standard ou personnalisées, vous pourrez affiner la compréhension de la plate-forme de ce champ général selon ces règles. De manière générale, une formation complémentaire sur ces éléments permettra de réduire l’étendue de ce que la plate-forme peut prendre en compte ce champ général, mais ne l’augmentera pas.

En effet, beaucoup de ces champs généraux, comme les dates de demain et les quantités monétaires, telles que 20 $, doivent être normalisés dans un format de données structuré pour les systèmes en aval. De plus, pour les champs généraux, tels que les IIN ou les CUSIP, ceux-ci doivent avoir un format défini, de sorte que la plate-forme ne doit pas être apprise à prédire tout ce qui ne se conforme pas à leurs formats définis.

Lorsque des champs généraux entraînables sont attribués, la plate-forme examine à la fois le texte du champ général et le contexte du champ général dans le reste de la communication, c’est-à-dire ce qui se passe avant et après la valeur du champ général dans le même paragraphe et celui qui l’accompagne. Elle apprend à mieux prédire le champ général en fonction des valeurs elles-mêmes, ainsi que la façon dont la valeur apparaît dans le contexte de la communication.

Champs généraux non entraînables

Si un champ général pré-entraîné n’est pas défini comme entraînable, vous pouvez toujours accepter ou rejeter les prédictions de champ général que vous identifiez dans votre ensemble de données. Ceux-ci sont mis à jour et affinés hors ligne à l'aide de ces commentaires d'utilisateurs sur plate-forme.

Il vous est utile d’accepter ou de rejeter ces champs généraux lors de la révision de messages.

Pour en savoir plus sur la façon d’activer les champs généraux dans un ensemble de données, consultez la page Activation, désactivation, mise à jour et création de champs généraux .

Modèles prédéfinis pour les champs généraux

Remarque : vous pouvez activer tous les champs généraux comme entraînables, afin d’affiner leur compréhension de la plate-forme via un entraînement et réduire l’étendue de ce que la plate-forme considère comme un champ général de ce type.

Types de champ de modèle standard pour les champs généraux

Lors de la configuration des types de champ général, vous pouvez choisir l’une des options prédéfinies suivantes, via l’option modèle lors de la sélection du type de données pour le type de champ :

Type de champ général	Description
E-mail (Email)	Une adresse e-mail.
Devise	Un code de devise, tel queGB, CHF ou USD.
URL	Un localisateur de ressources uniformes, c'est-à-dire une adresse Web.
SEDOL	Un identifiant de sécurité financière, court pour Stock Exchange Daily Official List, qui comprend 7 caractères.
Code BIC	Un code d'identification commerciale (BIC) est une norme mondiale ISO 9362 pour le routage des transactions commerciales et l'identification des parties commerciales. Le code BIC comprend 8 à 11 caractères.
LEI	Un identificateur d’entité juridique (LeI) est un identifiant global unique des entités juridiques participant à des transactions financières. LEI est formaté en tant que code alphanumérique de 20 caractères.
est dans	Un numéro d'identification des valeurs sécurisées (IIN) identifie de manière unique une sécurité financière. L'ISIN est un code alphanumérique à 12 caractères.
Marquer sur le marché (MTM ou M2M)	Marquer par rapport au marché fait référence à la juste valeur d'une ressource ou d'une responsabilité. La valeur de marché (Mark to Market) est basée sur le cours actuel, le prix d'actifs et de passifs similaires ou sur une autre valeur juste obsédée**.
CUSIP	Un CUSIP est un nombre à 9 chiffres ou un code alphanumérique à 9 caractères qui identifie une sécurité financière nord-ancienne

Gestion des champs généraux

Remarque :

You must have assigned the IXP Viewer or IXP Analyst, and IXP Project Admin roles as an Automation Cloud user, or the View sources and Modify Datasets, or Datasets Admin, permissions as a legacy user.
Vous avez un quota par défaut de 25 champs généraux par ensemble de données. Si vous avez besoin de plus de 25 champs généraux, demandez une augmentation de quota via l’équipe relative au compte.

Activation des champs généraux sur un nouvel ensemble de données

Pour activer les champs généraux sur un nouvel ensemble de données que vous souhaitez créer, sélectionnez-les pendant le processus de configuration.

Sélectionnez le bouton plus + dans la case indiquée ci-dessous, et vous verrez un menu déroulant contenant tous les champs généraux que vous pouvez activer pour cet ensemble de données. Sélectionnez tous les champs généraux que vous souhaitez activer avant de créer l’ensemble de données. Si vous ajoutez une erreur, vous pouvez sélectionner l’icône X à côté du nom du champ général afin de la supprimer.

Pour comprendre plus sur la création d’un nouvel ensemble de données, consultez la section Créer un nouvel ensemble de données.

Activation, mise à jour et désactivation des champs généraux sur un ensemble de données existant

Si vous souhaitez activer, mettre à jour ou désactiver les champs généraux pour un ensemble de données existant, vous pouvez le faire à partir de l'onglet des paramètres de la barre de navigation supérieure, puis en sélectionnant l'onglet Libellés et champs d'extraction (Labels and extraction fields).

Paramètres (Settings) > onglet Libellés et champs d’extraction (Labels and extraction fields)

Activation des champs généraux

Pour activer les champs généraux existants, sélectionnez dans la zone Champs généraux et sélectionnez les champs généraux que vous souhaitez activer dans le menu déroulant. Une fois que vous êtes satisfait de vos sélections, sélectionnez Mettre à jour les champs généraux (comme indiqué ci-dessous).

Ces champs généraux auront leurs paramètres présélectionnés pour vous. Vous pouvez ensuite les mettre à jour, y compris en les rendant entraînables, comme indiqué ci-dessous.

Onglet Champs généraux

Mise à jour des champs généraux

Pour mettre à jour un champ général activé, sélectionnez le champ général dans la zone de champ général comme indiqué dans les images précédentes et le modal Modifier le champ général apparaîtra comme indiqué dans l’image suivante.

Ici, vous pouvez mettre à jour le champ général de base, le titre du champ général et le nom de l'API (ces concepts sont décrits en détail ci-dessous), ainsi que rendre le champ général « entraînable ».

Si vous avez déjà examiné les champs généraux pour un type de champ général qui n'a pas été défini sur « entraînable », ces informations sont toujours stockées.

Modifier le modal du champ général

Désactivation des champs généraux

Pour supprimer tous les champs généraux sélectionnés, sélectionnez simplement l’icône « X » à côté du nom du champ général, puis sélectionnez Mettre à jour les champs généraux.

Remarque :

Si vous supprimez un champ général et sélectionnez Mettre à jour les champs généraux, cela supprimera également les données d’entraînement de ce champ général pour cet ensemble de données. Si vous avez choisi de réactiver le champ général, vous devrez le réentraîner.

Si vous faites une erreur lors de la mise à jour des champs généraux, sélectionnez « Réinitialiser » avant de sélectionner Mettre à jour les champs généraux ; vos modifications ne seront pas appliquées.

Créer de nouveaux champs généraux

Les sections précédentes comprenaient comment activer et mettre à jour les champs généraux pré-entraînés existants pour les ensembles de données nouveaux et existants. Dans chaque instance, pour un ensemble de données nouveau ou existant, vous pouvez également créer de nouveaux champs généraux.

Les champs généraux nouvellement créés peuvent être basés sur un champ général pré-entraîné existant ou peuvent être entraînés à partir de zéro comme un nouveau libellé.

Vous pouvez le faire en sélectionnant l’icône plus + dans la zone de champ général, soit dans le flux Créer un ensemble de données , soit sur la page des paramètres de l’ensemble de données, comme indiqué précédemment.

Cela affichera la fenêtre modale Ajouter un nouveau champ général, comme indiqué ci-dessous.

Ici, vous pouvez définir les types de champ, le titre et le nom de l’API, ainsi que choisir si le champ général peut ou non être entraîné. Ceux-ci peuvent être mis à jour ultérieurement, comme indiqué précédemment.

Lorsque vous avez rempli chacun des champs, sélectionnez simplement «Créer ».

Créer un modal de champ général

Field types

Cela servira d'état initial à votre nouveau champ général, et la liste déroulante contiendra une liste de tous les champs généraux pré-entraînés à votre disposition
- Par exemple, si vous sélectionnez « Date » comme champ général de base, tous les champs généraux prédits pour ce type seront des dates, et vous pourrez alors entraîner la plate-forme à ne reconnaître que des dates spécifiques
Si vous souhaitez entraîner un champ général entièrement à partir de zéro, vous pouvez sélectionner « Aucun - Entraîner à partir de zéro », puis commencer essentiellement par une zone de dessin vierge lors de l'entraînement du champ général. Les prédictions de la plateforme pour ce domaine général seront entièrement basées sur les exemples de formation que vous fournissez

Titre du champ général

Le titre du champ général est le nom du champ général qui s’affichera dans l’interface utilisateur de la plate-forme

ApiName

Le nom de l'API du champ général est ce qui sera renvoyé via l'API lorsqu'il fournit des prédictions pour les messages
Le nom de l’API ne peut contenir ni espaces ni ponctuations, à l’exception des tirets ( - ) et des traits de soulignement ( _ )

========================================== ====================

Activation des champs généraux sur un nouvel ensemble de données

Pour activer les champs généraux sur un nouvel ensemble de données que vous souhaitez créer, sélectionnez-les pendant le processus de configuration.

Pour comprendre plus sur la création d'un nouvel ensemble de données, consultez Créer un nouvel ensemble de données.

Gestion des champs généraux sur un ensemble de données existant

Pour activer, mettre à jour ou désactiver les champs généraux d’un ensemble de données existant, procédez comme suit :

Ouvrez l'ensemble de données existant.
Sélectionnez l'onglet Paramètres (Settings).
Sélectionnez Taxonomie, puis Libellés et champs d’extraction.

Filtrage des champs généraux

Note: You must have assigned the IXP Viewer or IXP Analyst roles as an Automation Cloud user, or the View sources and View general fields permissions as a legacy user.

Comme pour les libellés, vous pouvez filtrer les messages selon qu’ils ont des champs généraux prévus ou attribués, à la fois dans Parcourir et dans Rapports.

Vous pouvez appliquer toute combinaison de filtres ET (AND), TOUT (ANY) et PAS lors de l’application de plusieurs filtres de champ général. Ces filtres peuvent vous offrir une plus grande flexibilité lors de l'entraînement et de l'interprétation de vos données, et peuvent fournir des informations beaucoup plus détaillées sur ce qui se passe dans vos canaux de communication.

Que pouvez faire lorsque vous filtrez par prédictions de champ général :

Appliquer plusieurs filtres de champ général à la fois, à la fois dans Parcourir et Rapports
Filtrer sur les messages qui ont l’un des nombres de champ général sélectionné prévu. Par exemple, TOUT (ON) du champ général X ET du champ général Y ET (Y) et ainsi de suite.
Filtrer en fonction des messages pour lesquels plusieurs champs généraux différents sont prévus. Par exemple, le champ général X ET le champ général Y ET (Y) et ainsi de suite.
Filtrez les messages pour lesquels certains champs généraux ne sont pas prévus. Par exemple, PAS le champ général Y.
Rechercher des champs généraux contenant des termes de recherche spécifiques, tout en appliquant des filtres de champ général.

Tous les champs généraux que vous avez activés dans votre ensemble de données apparaîtront comme indiqué ci-dessous dans la barre de filtre. L’attribution de champs généraux est couverte en détail dans la section Révision et application de champs généraux.

Application de filtres de prédiction avancés

Il existe maintenant deux façons d’appliquer des filtres de champ général, et vous pouvez les utiliser en combinaison pour créer le bon type de requête.

L'état par défaut est celui où aucun filtre n'est appliqué et où tous les messages sont affichés, sauf si un autre filtre est appliqué.

Pour mettre à jour le filtre de champ général, utilisez les boutons expliqués dans le tableau suivant, qui changent également de couleur lorsqu’ils sont sélectionnés :

	Afficher les messages contenant tout champ général annoté.
	Afficher les messages censés contenir un champ général

Si vous souhaitez filtrer les messages qui ont des champs généraux annotés ou qui sont censés contenir un champ général, utilisez les boutons en haut comme indiqué dans le tableau précédent. Si vous souhaitez filtrer les messages avec des champs généraux spécifiques annotés ou prévus, pointez le champ général dans la question et les deux mêmes boutons apparaîtront à droite.

Si vous souhaitez filtrer vers un champ général attribué ou prévu, sélectionnez le nom du champ général afin qu’il affiche les messages contenant l’un ou l’autre.

Pour supprimer votre sélection, sélectionnez à nouveau le bouton, puis pour supprimer plusieurs sélections, sélectionnez Tout. Vous pouvez également sélectionner Tout effacer dans la barre de filtre, mais cela effacera tous les filtres que vous avez sélectionnés, pas seulement les filtres de champ général.

La barre du champ général

La taxonomie des champs généraux fonctionne comme une barre de filtre normale et vous permet de sélectionner plusieurs champs généraux à la fois avec une seule sélection pour chacun.

La sélection de plusieurs champs généraux dans la liste crée une requête de type TOUT (ANY) ) .

Si vous avez sélectionné Champ général A, Champ général B et Champ général C dans la barre de champ général, cela crée une requête Afficher les messages avec le champ général A, le champ général B ou le champ général C.

Lorsque vous filtrez des champs généraux spécifiques, vous pouvez effectuer plusieurs sélections. Par exemple, vous pouvez filtrer pour voir les messages auxquels un champ général de ligne d’adresse est attribué OU un champ général de ville prévu comme illustré dans l’image suivante.

Ajouter un filtre de champ général

La deuxième option de filtre est le bouton + Ajouter un champ général .

Cela active une barre de champ général déroulant qui vous permet de sélectionner des filtres plus complexes, tels que l’exclusion de certains champs généraux de la prise en compte.

Dans cette liste déroulante, vous pouvez sélectionner plusieurs champs généraux à inclure ou à exclure en sélectionnant le nom du champ général (pour les champs attribués et prévus), ou les boutons individuels (y compris les boutons lorsque ce champ général n’est ni attribué ni prévu).

Le résultat ressemble à cet exemple, qui renvoie des messages censés avoir le champ général ID de facture (Invoice ID), mais pas le champ général ID de produit (Prod ID) attribué ou prévu :

Vous pouvez sélectionner + Ajouter un filtre de champ général, plusieurs fois pour ajouter des couches supplémentaires à votre requête. Deux filtres de champ général distincts créent une requête de type ET (AND) , tandis que plusieurs champs généraux sélectionnés dans le même filtre de champ général créent une requête de type TOUT (ANY) .

Dans l’exemple ci-dessous, plusieurs filtres de champ général ont été appliqués individuellement. Cela crée un filtre qui renverra les messages censés contenir l’un des trois champs généraux dans le premier filtre, mais qui ont également le champ général Numéro de politique (Policy Number) et n’ont pas de champ général Code postal du Royaume-Uni (Customer Postcode) prévu ou attribué.

Un conseil utile est qu’en sélectionnant le signe & dans un filtre individuel contenant plusieurs champs généraux, vous pouvez automatiquement les diviser en filtres individuels. Cela modifierait la requête de TOUT (ANY), c'est-à-dire de tous ces champs généraux prédits sur ET (AND), c'est-à-dire de tous ces champs généraux prévus.

Combinaison de filtres de barre de champ généraux et de filtres de champ généraux ajoutés

Vous pouvez combiner les filtres de la barre de champ général et les filtres de champ général ajoutés individuellement. Les filtres appliqués dans la barre de champ général sont traités comme une requête ET (AND) avec tous les filtres de champ général appliqués individuellement.

Par exemple, dans l'image ci-dessous, cette requête combinée renverra tous les messages pour lesquels un ID de commande ou un ID de PROD a été prédit.

Combiner le filtre de champ général à l’aide de la barre de champ général et des filtres de champ général ajoutés individuellement.

Combinaison des filtres de champ général et du tri par champ général pour l'entraînement

Ce que ces filtres signifient également, c’est que vous pouvez désormais appliquer des filtres de champ général et trier par un champ général spécifique pour un mode d’entraînement.

Exemple de page Parcourir (Explore) affichant le mode Vérifier le champ général (Check général field) pour un champ général spécifique, avec un filtre d'exclusion de champ général supplémentaire appliqué :

Réviser et appliquer des champs généraux

Remarque : vous devez avoir attribué les autorisations Source - Lecture et Ensemble de données - Révision en tant qu'utilisateur d'Automation Cloud, ou les autorisations Afficher les sources et Révision et labelliser en tant qu'utilisateur hérité.

Identification des prédictions de champ général

Les champs généraux prévus s’affichent sous forme de texte surligné par une couleur, comme dans la première ligne du message illustré dans l’image suivante, avec une couleur différente pour chaque type de champ général différent. Une fois que vous avez confirmé un champ général, soit en l’appliquant manuellement, soit en acceptant une prédiction, le champ général apparaîtra sous forme de texte mis en surbrillance avec un contour gras et plus foncé, comme illustré dans l’image suivante.

Si un paragraphe comporte des champs généraux attribués, rejetés ou appliqués, il apparaîtra en surbrillance en gris, comme indiqué dans le corps du message de l’image suivante.

Faire des prédictions de champ général pour les champs généraux entraînables

Lors de la révision des champs généraux entraînables, la plate-forme apprendra à partir des valeurs de champ général que vous attribuez, ainsi que du contexte où elles apparaissent dans les communications, c’est-à-dire l’autre langue utilisée autour des valeurs elles-mêmes.

La plate-forme prendra en compte le contexte de la langue dans le même paragraphe que la valeur du champ général, ainsi que les paragraphes uniques, définis par une nouvelle ligne séparée, directement avant et après le paragraphe dans lequel se trouve le champ général.

Remarque : pour les champs généraux qui ne sont pas définis sur « training », les prédictions de la plate-forme sont entièrement basées sur les règles définies dans la plate-forme pour ce champ général. Cela peut être utile lorsqu’un champ général doit absolument suivre un format défini pour une automatisation en aval, avec des valeurs incorrectes pouvant entraîner un échec ou une exception.

Score de confiance des champs généraux

Lorsque la plate-forme prédit quels champs généraux s'appliquent à une communication, elle attribue à chaque prédiction un score de confiance (%) pour montrer la confiance que le champ général s'applique à la plage de texte mise en surbrillance. Vous pouvez afficher le score de confiance d'un champ général en pointant sur le champ général.

Ce score de confiance est également mis à disposition via l'API afin qu'il puisse informer les actions automatisées entreprises en aval.

Accepter et rejeter les prédictions de champ général

Une fois les champs généraux activés, la plate-forme commencera automatiquement à les prédire dans les messages de tout votre ensemble de données. Pour plus de détails, consultez la section Examiner et appliquer des champs généraux. Vous pouvez alors accepter les prédictions qui sont correctes ou les rejeter lorsqu’elles sont incorrectes. Chacune de ces actions envoie des signaux d’entraînement qui seront utilisés pour améliorer la compréhension de la plate-forme de ce champ général.

Pour les champs généraux pré-entraînés qui sont entraînés hors ligne, tels que la quantité monétaire, l’URL, etc., il est plus important d’un point de vue d’amélioration pour vous de rejeter ou de corriger les prédictions erronées, plutôt que d’accepter les prédictions correctes.

Pour les champs généraux qui s’entraînent en direct sur la plate-forme, il est important tout aussi d’accepter les prédictions correctes que de rejeter les prédictions incorrectes. Cependant, vous n’avez pas besoin de continuer à accepter de nombreux exemples corrects de chaque champ général unique pour ces types si vous ne trouvez pas les prédictions incorrectes. Par exemple, l’exemple de Bank encore, est un champ général d’organisation unique.

Remarque : la plus grande mise en garde à ce sujet si vous passez en revue un champ général dans un paragraphe, vous devez passer en revue tous les autres champs généraux de ce paragraphe.

Pour examiner une prédiction de champ général, pointez la souris sur la prédiction et le modal de révision de champ général apparaîtra, comme illustré dans l’exemple de l’image suivante. Pour l'accepter, sélectionnez Confirmer; pour le rejeter, sélectionnez Ignorer.

Vous pouvez entraîner des champs généraux et des libellés indépendamment les uns des autres. La révision des libellés d’un message ne signifie pas que vous devez examiner les champs généraux de ce même message. Cependant, il est recommandé de faire les deux en même temps, afin d’utiliser le plus efficacement votre temps pendant l’entraînement du modèle.

Attention : lors de l’entraînement des champs généraux, veillez à prendre en compte les bonnes pratiques expliquées dans cette section. La meilleure pratique la plus importante consiste à ne pas annoter partiellement les paragraphes.

Pour comprendre comment la plate-forme peut prédire correctement chaque champ général activé dans le cadre d’un ensemble de données, notamment les champs entraînables, consultez la section Validation des champs généraux.

Remarque : veillez à rejeter les prédictions de champ général incorrectes, mais si le texte mis en surbrillance était en fait un champ général différent, vous devriez appliquer la bonne prédiction. Pour plus de détails sur l’application des champs généraux, consultez la section suivante.

Appliquer des champs généraux

Pour appliquer un champ général à un texte où la plateforme ne l'a peut-être pas prédit, les utilisateurs doivent simplement mettre en surbrillance la section de test comme vous le feriez si vous alliez le copier.

Un menu déroulant apparaîtra, comme illustré dans l’image suivante, contenant tous les champs généraux que vous avez activés pour votre ensemble de données. Sélectionnez la bonne zone pour l’appliquer ou appuyez sur le raccourci clavier correspondant.

Le raccourci clavier par défaut pour chaque champ général est la lettre par laquelle il commence. Si plusieurs champs généraux commencent par la même lettre, un sera attribué de manière aléatoire à l’autre.

Une fois qu’un champ général a été appliqué, il sera surligné en couleur avec un cadre gras, comme illustré dans l’image suivante. Chaque type de champ général disposera de sa propre couleur spécifique.

Remarque : une valeur pour un type de champ général donné ne peut pas être divisée sur plusieurs paragraphes. La valeur complète doit être contenue dans un paragraphe pour être extraite en tant que valeur de champ général.

Meilleures pratiques

Voici quelques-unes des bonnes pratiques les plus importantes à prendre en compte lors de l’acceptation, du rejet ou de l’application de champs généraux dans les messages :

Ne fractionnez pas les mots.
N’annotez pas partiellement les paragraphes.

Ne pas fractionner les mots

Assurez-vous de ne pas fractionner les mots, car le champ général mis en surbrillance doit couvrir l’ensemble du mot, ou plusieurs, dans la question, et pas seulement une partie de celui-ci. Consultez les images suivantes pour obtenir un exemple d’application incorrecte.

Ne pas annoter partiellement les paragraphes

Lors de l'annotation, si un utilisateur attribue un libellé à un message, il doit appliquer tous les libellés qui pourraient s'appliquer à ce message, sinon vous apprenez le modèle que ces autres libellés ne devraient pas s'appliquer. Pour les champs généraux, le même est vrai, sauf que les champs généraux sont examinés ou appliqués au niveau du paragraphe, plutôt que du message entier.

Les paragraphes d'un message sont séparés par de nouvelles lignes. La ligne d'objet d'un message électronique est considérée comme son propre paragraphe unique.

Assurez-vous de passer en revue ou d’appliquer tous les champs généraux d’un paragraphe sur tous les types de champ général si vous examinez ou appliquez l’un d’eux. L’application, l’acceptation ou le rejet des champs généraux dans un paragraphe signifie que le paragraphe est traité comme examiné par la plate-forme dans une perspective de champ général. Par conséquent, assurez-vous d'accepter ou de rejeter toutes les prédictions de ce paragraphe.

L'exemple suivant montre les différents paragraphes qui ont été examinés dans le message électronique.

Le message illustré dans l’image suivante montre le même exemple où l’utilisateur n’a pas accepté ou rejeté toutes les prédictions de champ général en un seul paragraphe. Ceci est incorrect, car le modèle traitera faussement le champ général de la quantité monétaire comme une prédiction incorrecte.

Validation pour les champs généraux

Introduction

La plate-forme affiche les statistiques de validation, les avertissements et les actions recommandées pour les champs généraux activés sur la page Validation (Validation), comme pour chaque libellé de votre taxonomie.

Pour les afficher, accédez à la page Validation (Validation) et sélectionnez l'onglet Champs généraux ( General fields ) en haut, comme indiqué dans l'image ci-dessous.

Comment fonctionne la validation de champ général

Le processus dans lequel la plate-forme valide sa capacité à prédire correctement les champs généraux est très similaire à ce qu'il fait pour les libellés.

Les messages sont divisés (80:20) en un ensemble d'apprentissage et un ensemble de test (déterminé de manière aléatoire par l'ID de message de chaque message) lorsqu'ils sont ajoutés pour la première fois à l'ensemble de données. Tous les champs généraux qui ont été attribués (prédictions acceptées ou corrigées) seront inclus dans l’ensemble d’entraînement ou dans l’ensemble de test, en fonction de l’ensemble auquel le message dans lequel ils se trouvent a été attribué à l’origine.

Comme il peut parfois y avoir un très grand nombre de champs généraux dans un message et aucune garantie qu'un message se trouve dans l'ensemble d'apprentissage ou dans l'ensemble de test, vous pouvez voir une grande différence entre le nombre de champs généraux dans chaque ensemble.

Il peut également y avoir des cas où tous les champs généraux attribués rentrent dans l'ensemble d'apprentissage. Comme au moins un exemple est requis dans l’ensemble de tests pour calculer les scores de validation, ce champ général nécessitera davantage d’exemples attribués jusqu’à ce que certains d’entre eux soient présents dans l’ensemble de tests.

Calculer les scores

Les statistiques individuelles de précision et de rappel de chaque champ général avec des données d'apprentissage suffisantes sont calculées d'une manière très similaire à celle des libellés :

Précision = Nombre de champs généraux correspondants/Nombre de champs généraux prédits

Rappel = Nombre de champs généraux correspondants/Nombre de champs généraux réels

Un « champ général correspondant » correspond à l'endroit où la plateforme a prédit exactement le champ général (c'est-à-dire pas de correspondances partielles)

Le score F1 est simplement la moyenne Utiliser la précision et le rappel.

Champs généraux pouvant être entraînés

Il convient de noter que les statistiques de précision et de rappel présentées sur cette page sont les plus utiles pour les champs généraux qui peuvent être entraînés en direct sur la plate-forme, comme indiqué dans la deuxième colonne ci-dessus, car tous les champs généraux examinés pour ces types de champs généraux auront un impact direct la capacité de la plate-forme à prévoir ces champs généraux.

Par conséquent, accepter les bons champs généraux et corriger ou rejeter les mauvais champs généraux doit être fait dans la mesure du possible.

Champs généraux pré-entraînés

Pour les champs généraux pré-entraînés via des types de champ modèle, afin que les statistiques de validation fournissent une représentation précise des performances, les utilisateurs doivent s’assurer qu’ils acceptent un nombre considérable de prédictions correctes, ainsi que pour corriger les prédictions erronées.

S'ils ne devaient corriger que les prédictions erronées, les ensembles d'entraînement et de test seraient artificiellement remplis uniquement avec les instances où la plate-forme a du mal à prédire un champ général, et non avec celles où elle est le mieux capable de les prédire. Comme la correction des prédictions erronées pour ces champs généraux ne conduit pas à une mise à jour en temps réel de ces champs généraux (ils sont mis à jour périodiquement hors ligne), les statistiques de validation peuvent ne pas changer pendant un certain temps et peuvent être artificiellement faibles.

Accepter beaucoup de prédictions correctes n’est pas toujours pratique, car ces champs généraux sont prédits correctement plus souvent que pas. En revanche, si la majorité des prédictions sont correctes pour ces champs généraux, il est probable que vous n’ayez pas à vous soucier de leur précision et de leurs statistiques de rappel sur la page Validation .

Comprendre les statistiques récapitulatives

Les statistiques récapitulatives (précision moyenne, rappel moyen et score F1 moyen) sont simplement des moyennes de chacun des scores de champ général individuels.

Comme pour les libellés, seuls les champs généraux qui ont des données d'entraînement suffisantes sont inclus dans les scores moyens. Ceux qui n'ont pas suffisamment de données d'entraînement à inclure ont une icône d'avertissement à côté de leur nom.

Remarque : les statistiques récapitulatives intègrent tous les champs généraux avec des données d'entraînement suffisantes, à la fois celles qui peuvent être entraînées en direct et celles qui sont pré-entraînées. Les prédictions pour les champs généraux pré-entraînés ne sont souvent corrigées que lorsqu'elles sont erronées, et ne sont pas toujours acceptées lorsqu'elles sont correctes. Cela signifie que leurs statistiques de précision et de rappel peuvent souvent être artificiellement faibles, ce qui réduirait les scores moyens.

Métriques

La pageValidation des champs généraux affiche les statistiques moyennes des performances des champs généraux, ainsi qu’un graphique montrant le score F1 moyen de chaque champ général par rapport à la taille de leur ensemble d’entraînement. Le graphique signale également les champs généraux qui présentent des avertissements de performance en rouge ou en rouge.

Les statistiques générales sur les performances des champs indiquées sont les suivantes :

Score F1 moyen (Average F1 Score) : moyenne des scores F1 dans tous les champs généraux avec des données suffisantes pour estimer avec précision les performances. Ce score tient compte du rappel et de la précision. Un modèle avec un score F1 élevé produit moins de faux positifs et négatifs.
Précision moyenne (Average Précision) : moyenne des scores de précision dans tous les champs généraux avec des données suffisantes pour estimer avec précision les performances. Un modèle avec une haute précision produit moins de faux positifs.
Rappel moyen (Average Recall) : moyenne des scores de rappel dans tous les champs généraux avec des données suffisantes pour estimer avec précision les performances. Un modèle avec un rappel élevé produit moins de faux négatifs.

Comprendre les performances générales

Le graphique de performances du champ général présenté dans l’onglet Métriques de la page Validation donne une indication visuelle immédiate des performances de chaque champ général. Pour plus de détails, consultez la section précédente.

Pour qu’un champ général apparaisse sur ce graphique, il doit avoir au moins 20 exemples épinglés présents dans l’ensemble d’entraînement utilisé par la plate-forme lors de la validation. Pour s’assurer que cela se produise, les utilisateurs doivent s’assurer de fournir au moins 25 exemples épinglés par champ général provenant de 25 messages différents.

Chaque champ général sera tracé comme l'une des trois couleurs, en fonction de la compréhension par le modèle des performances du champ général. Nous expliquons ci-dessous ce que cela signifie :

Indicateurs de performance de champ généraux

Bleu : les champs généraux marqués en bleu sur le graphique ont un niveau de performance satisfaisant. Cela est basé sur de nombreux facteurs contributeurs, notamment le nombre et la variété d’exemples, ainsi que la précision moyenne de ce champ général
Ombre : les champs généraux marqués en forme d’ administrateur sont légèrement inférieurs à des performances performantes. Ils peuvent avoir une précision moyenne faible ou pas assez d'exemples d'entraînement. Ces champs généraux nécessitent un peu d’entraînement/de correction pour améliorer leurs performances
Rouge : les champs généraux marqués en rouge sont des champs généraux mal performants. Ils peuvent avoir une précision moyenne très faible ou pas assez d'exemples d'entraînement. Ces champs généraux peuvent nécessiter considérablement plus d’entraînement/réparation pour porter leurs performances à un niveau satisfaisant

Remarque : les indicateurs de performance orange et rouge apparaissent dans les barres de filtre des champs généraux dans Parcourir (Explore), Rapports (Reports) et Validation (Validation). Cela vous aide à vous informer rapidement sur les champs généraux qui ont besoin d'aide, et également sur les prédictions des champs généraux sur lesquelles vous ne devez pas vous fier (sans travailler pour les améliorer) lors de l'utilisation des fonctionnalités d'analyse.

Performances individuelles dans un champ général

Les utilisateurs peuvent sélectionner des champs généraux individuels dans la barre de filtre des champs généraux afin d’afficher les statistiques de performances des champs généraux.

L’affichage du champ général spécifique affichera également les avertissements de performances et les suggestions d’action recommandées afin de vous aider à améliorer ses performances.

La vue du champ général affichera le score F1 moyen du champ général, ainsi que sa précision et son rappel.

Exemple de carte de champ général avec les actions recommandées.

Amélioration des performances générales

Note: You must have assigned the IXP Model Trainer role as an Automation Cloud user, or the Review and annotate permission as a legacy user.

Vue d'ensemble (Overview)

Comme les libellés d'entraînement, l'entraînement des champs généraux constitue le processus par lequel un utilisateur apprend à la plateforme quels champs généraux s'appliquent à un message donné en utilisant différents modes d'entraînement.

Comme avec les libellés, les modes En savoir plus, Vérifier et Manqué sont disponibles pour aider à entraîner et améliorer les performances des champs généraux et sont accessibles soit 1) sur la page Explorer à l'aide de la liste déroulante de l'entraînement, soit 2) en suivant les actions recommandées sur la Onglet Champs généraux de la page Validation .

L'image suivante illustre le menu déroulant contenant les modes d'entraînement des champs généraux dans Explore:

Actions recommandées dans le champ général

Si un champ général spécifique comporte un avertissement en matière de performances, la plate-forme recommande la prochaine action qui, selon elle, permettra de remédier à cet avertissement, dans l’ordre de priorité. Cela s’affichera lorsque vous sélectionnerez un champ général spécifique dans la taxonomie ou dans le graphique Tous les champs généraux.

Les suggestions d’actions suivantes agissent comme des liens que vous pouvez sélectionner pour vous rediriger directement vers la vue d’entraînement suggérée par la plate-forme afin d’améliorer les performances des champs généraux. Les suggestions sont classées intelligemment avec l’action de priorité la plus élevée pour améliorer le champ général répertorié en premier.

Il s’agit de l’outil le plus important pour vous aider à comprendre les performances de vos champs généraux, et il doit régulièrement être utilisé comme guide lorsque vous essayez d’améliorer les performances des champs généraux.

Découvrez cet exemple de carte de champ général avec les actions recommandées :

Modes d'entraînement des champs généraux

Le tableau suivant récapitule les cas où la plate-forme recommande chaque mode d'entraînement des champs généraux :

Apprendre au champ général	Vérifier le champ général	Champ général manquant
Affiche les prédictions d'un libellé dont le modèle ne sait pas s'il s'applique ou non. Pour l’entraînement des champs généraux sur les messages non examinés.	Affiche les messages pour lesquels la plate-forme suppose que le champ général a pu être mal appliqué. Pour l’entraînement des champs généraux sur les messages examinés, afin d’essayer de trouver et de corriger les incohérences.	Affiche les messages qui, selon la plate-forme, peuvent ne pas contenir le champ général sélectionné. Pour l’entraînement des champs généraux sur les messages examinés, afin d’essayer de trouver et de corriger les incohérences.

Utilisation du champ Apprendre Général

L’utilisation de Apprendre au champ général améliore les performances du champ général, car le modèle reçoit de nouvelles informations sur les messages dont il n’est pas sûr, par opposition à ceux pour lesquels il dispose déjà de prédictions très fiables.

La plate-forme recommande l’apprentissage des champs généraux lorsque :

Un avertissement de performances s’affiche en regard d’un champ général, comme illustré dans l’image suivante. Cela se produit lorsque le minimum de 25 exemples n’a pas été fourni.
Le score F1 d’un champ général donné est faible.
Il n’est pas toujours évident d’être évident dans le texte pour un champ général, ou il y a beaucoup de variations dans les valeurs du champ général pour un type donné.

L’image suivante contient un exemple d’entraînement d’un champ général en mode Apprendre aux champs généraux :

Utilisation des champs de vérification généraux

L'utilisation de vérifier le champ général permet d'identifier les incohérences dans l'ensemble révisé, tout en améliorant la compréhension du champ général par le modèle, en garantissant que le modèle dispose d'exemples corrects et cohérents pour faire des prédictions. Cela améliorera le rappel d'un champ général.

La plate-forme recommande de Vérifier les champs généraux lorsque :

Le rappel est faible, mais la précision est élevée.
Les prédictions de la plate-forme sont très précises, mais beaucoup de temps où le champ général a été appliqué, ces exemples ne sont pas détectés.

Voici un exemple d’entraînement d’un champ général en mode Vérifier les champs généraux :

Pour plus de détails sur les calculs de la validation du champ général, consultez Validation du champ général.

Utilisation du champ général manquant

L'utilisation du champ général manqué permet de trouver des exemples dans l'ensemble révisé qui devraient avoir le champ général sélectionné, mais qui n'en a pas. Cela aidera également à identifier les messages partiellement annotés, ce qui peut empêcher le modèle de prédire un champ général. Cela améliorera la précision d'un champ général et garantira que le modèle dispose d'exemples corrects et cohérents pour faire des prédictions.

La plate-forme recommande le champ général manquant lorsque :

Le rappel est élevé, mais le niveau de précision est faible.
Vous prédisez beaucoup les champs généraux de façon incorrecte, mais vous devez capturer de nombreux exemples qui devraient s’y trouver.

L’image suivante contient un exemple d’entraînement d’un champ général en mode Champ général manquant :

Pour plus de détails sur les calculs aux fins de la validation des champs généraux, consultez la page Validation pour les champs généraux .

Création de champs généraux de regex personnalisés

Remarque :

You must have assigned the IXP Project Admin role as an Automation Cloud user or the Modify datasets permission as a legacy user.
You can build custom Regex general fields through the Dataset settings or the Manage general fields option in the Generative Extraction field annotation experience, as explained in detail in the Generative extraction page.

Champs généraux Regex personnalisés

Utilisez les champs généraux Regex personnalisés pour extraire et formater des étendues de texte qui ont une structure répétitive connue, telle que des identifiants ou des numéros de référence.

This is a useful option for simple, structured general fields with little variation. In case of general fields with significant variation and where the context has a big influence on predictions, a machine-learning-based general field is the right choice. You can use combinations of the two in any dataset within Communications Mining™.

A broader Regex, that is, a set of rules to define the general field, can also be used as the base of a custom general field. This combines the rules with contextual, machine learning based refinement through training within Communications Mining to create sophisticated, custom general fields. This provides the most optimal performance as well as the necessary restrictions on values extracted for automation.

Modèle de RegEx personnalisés

Un champ général Regex personnalisé est constitué d'un type de champ avec le type de données Regex, qui à son tour a un ou plusieurs modèles Regex personnalisés. Chaque modèle exprime une façon d’extraire (et de formater) le champ général.

Combinés ensembles, ces modèles offrent un moyen flexible et puissant de couvrir plusieurs représentations du même type de champ général.

Un modèle est constitué des éléments suivants :

L'expression régulière (regex), qui décrit les contraintes devant être respectées par une période de texte à extraire en tant que champ général.
Le formatage, qui exprime comment normaliser la chaîne extraite dans un format plus standard.

Par exemple, si votre ID client est le mot d'ID , suivi de 7 chiffres, ou une chaîne alphanumérique de 9 caractères. L'image suivante montre à quoi ressembleront vos deux modèles :

Validation par saisie

When typing into the text box for either the Regex or the Formatting, the interface will provide immediate feedback on the validity of the input. For instance, the invalid input Regex ID\d{} will display a message that you should fix any issues with your template to view general field extractions:

Aperçu de l’extraction

Le modèle d'expression régulière personnalisée peut être testé sur le texte pour s'assurer qu'il se comporte comme prévu. Tout champ général qui serait extrait avec le modèle s'affichera dans une liste, avec sa valeur, ainsi que la position des caractères de début et de fin.

Par exemple, si l'expression régulière est \d{4} et le formatage ID-{$}, la chaîne de test suivante affichera une extraction :

Regex

L’expression régulière est le modèle utilisé pour extraire les champs généraux du texte. Consultez la documentation relative à la syntaxe.

Les groupes de capture nommés peuvent être utilisés pour identifier une section spécifique de la chaîne extraite en vue d'un formatage ultérieur. Les noms des groupes de capture doivent être uniques dans tous les modèles et ne doivent contenir que des lettres ou des chiffres minuscules.

Formatting

Le formatage peut être fourni pour post-traiter le champ général extrait.

Par défaut, aucun formatage n'est appliqué et la chaîne renvoyée par la plateforme sera la chaîne extraite par l'expression régulière. Cependant, si nécessaire, des transformations plus complexes peuvent être définies, en utilisant les règles suivantes.

Variables

Tout groupe de capture nommé défini dans l'expression régulière pourra être utilisé dans la logique de formatage en tant que variable préfixée avec le symbole $ . Notez que le symbole $ représente à lui seul la correspondance complète de l'expression régulière.

Les variables peuvent ensuite être utilisées dans la chaîne de formatage pour insérer la portée extraite correspondante dans la valeur renvoyée par la plateforme ; le nom de la variable doit être entouré d'accolades { et } .

Par exemple, si nous voulons extraire sept chiffres comme ID et renvoyer ces sept chiffres avec le préfixe ID- , l'expression régulière et le formatage seraient :

Ou, en utilisant un groupe de capture nommé :

Plus tard, si la plate-forme reçoit le texte Mon numéro d' identification est 1234567 (My identification number is 1234567 ), elle renverra un champ général : ID-1234567

Opérations de chaînes

Des chaînes brutes peuvent être utilisées, et les chaînes peuvent être concaténées à l'aide du symbole & .

Regex	(?P<id1>\b\d{3}\b)\|(?P<id2>\b\d{4}\b)
Formatting	{$id1 & "-" & $id2}
Texte	Le premier identifiant est 123 et le second est 4567
Champ général renvoyé par la plateforme	123-4567

Fonctions

Certaines fonctions peuvent également être utilisées dans le formatage pour transformer la chaîne extraite. Les noms des fonctions et leurs signatures sont basés sur Excel.