Diagnostic du jeu de données

L’entraînement d’un nouveau modèle à partir de zéro peut parfois être une tâche très exigeante.

Dataset Diagnostics feature helps you build effective datasets by providing feedback and hints of the steps needed to achieve good accuracy for the trained model.

Situé dans la barre de gestion du gestionnaire de documents, Dataset Diagnostics fournit des conseils visuels et écrits tout au long du processus d’apprentissage d’un nouveau modèle.

Il existe trois niveaux d’état de l’ensemble de données affichés dans la barre de gestion :

• Red - More labelled training data is required.
• Orange - More labelled training data is recommended.
• Green - The needed level of labelled training data is achieved.

Si aucun champ n’est créé dans la session, le niveau d’état de l’ensemble de données est grisé.

Vous trouverez de plus amples informations sur chaque statut dans le menu contextuel Diagnostics des ensembles de données. Sélectionnez le bouton Diagnostics des ensembles de données pour ouvrir la fenêtre correspondante.

Diagnostic du jeu de données

Dataset tab

Fournit des informations sur les documents utilisés pour l'entraînement du modèle, le nombre total de pages importées et le nombre total de pages labellisées.

La séparation sur la barre d'état des couleurs est déterminée par le nombre recommandé de pages labellisées nécessaires à l'apprentissage du modèle et par l'état réel de votre ensemble de données, y compris les données labellisées et non labellisées. Le survol de chaque couleur de la barre d’état fournit des informations supplémentaires, dans une info-bulle, sur chaque état.

Les nombres disponibles dans l’onglet Ensemble de données sont calculés en fonction du nombre de champs standard et de champs d’élément de la session d’entraînement.

• Red - The dataset requires more labelled data for training the model.
• Orange - For an increased level of accuracy on the trained model, more labelled data is recommended. You can choose to proceed further with the actual data, but the level of accuracy is not as high as wanted.
• Green - The labelled data is enough for the dataset to be trained accordingly and to receive accurate information.

Fields tab

Fournit des informations sur chaque champ étiqueté, plus précisément le nombre total de pages d’entraînement sur lesquelles l’étiquette est étiquetée, le nombre total de documents évalués avec le champ étiqueté et son statut pour l’ensemble d’entraînement actuel.

• Field - The name of the labelled field.
• Training Pages - The number of pages in the Training+Validation set on which the field is labelled.
• Evaluation Documents - The number of documents in the Evaluation set on which this field is labelled.
• Status - The status of each field, marked by three options, Red, Orange, and Green.

Here are all the options available for the Status bar:

• Red - There is insufficient data about the field, more labels being required.

  

• Orange - More pages need to be labelled for the results to be relevant.

  

• Green - There are enough labelled pages for the results to be relevant.

  

Refresh and Close buttons are applicable for both tabs, meaning that if the Refresh button is selected on the Dataset tab, the Fileds tab is also refreshed.

• Refresh - Use the refresh option after alterations have been made to the dataset, whether on the number of total pages or the number of labelled pages. The popup menu automatically refreshes every few minutes and it takes place on both tabs, simultaneously. Use this function when a refresh is needed outside the automatic window.
• Close - Once all the needed information is gathered, close the menu by using the Close button. The entire popup menu is closed, no matter the tab from which the button is selected.

Onglet Calculatrice

L'onglet Calculatrice (Calculator) fournit les mêmes informations que celles que vous avez déjà ajoutées lors de la création d'un nouveau type de document.

Vous pouvez utiliser le calculateur d'ensemble de données pour modifier des parties des informations ajoutées initialement, lors de la création du type de document.

Vous pouvez modifier les champs suivants à l'aide du calculateur d'ensemble de données :

• Type de document prêt à l’emploi
• Nombre de langues
• Nombre de mises en page

Les champs suivants de l'onglet Calculatrice (Calculator) sont en lecture seule et leurs valeurs sont déterminées par l'intersection du type de document prêt à l'emploi utilisé et des champs du schéma actuel :

• Champs réguliers prêts à l’emploi
• Champs de colonne prêts à l’emploi
• Champs de classification prêts à l'emploi

La modification de l'un des champs mentionnés a un impact sur la taille recommandée de l'ensemble de données. L'onglet Ensemble de données (Dataset) de la fenêtre contextuelle actuellement ouverte est mis à jour et passe au statut vert/jaune/rouge en fonction de la nouvelle taille recommandée. Une fois les modifications enregistrées, l'indicateur global de Diagnostic de l'ensemble de données (Dataset Diagnosis) prend en compte le nouvel état de santé de l'onglet Ensemble de données (Dataset).

Supposons que, lors de la création initiale du type de document, vous ayez sélectionné Factures (Invoices) dans le champ Type de document prêt à l'emploi (Out-of-the-box document type). Si vous changez votre choix initial pour quelque chose d'autre, les reçus par exemple, alors l'ensemble de données assimile les informations pour les deux types de documents et affiche les informations qui recoupent les deux types (factures et reçus) que vous avez sélectionnés.

Si certains champs ne sont présents que dans l'un des modèles, ils apparaissent dans les champs réguliers personnalisés ou les champs de colonnes personnalisés, car ces modifications s'appliquent aux champs réguliers et aux champs de classification.