Exporter des documents

La boîte de dialogue Exporter les fichiers (Export files) vous permet d'exporter facilement des données pour l'entraînement de modèles ML.

Cliquez sur le bouton Exporter (Export) de la barre de gestion.

La boîte de dialogue contient trois onglets :

• Exporter maintenant
• Planification
• Journaux (Logs)
  
  

  

  
  

Exporter maintenant

L'onglet Exporter maintenant (Export now) vous permet de :

• Télécharger les données localement à l'aide du bouton Télécharger (Download).
• Exporter les données vers AI Center à l'aide du bouton Exporter (Export). Les dossiers exportés se situent dans AI Center sous le dossier d'exportation (export) (Ensembles de données (Datasets) > nom_de_l'ensemble de données (dataset_name) > Exportation (Export)).

Si vous téléchargez d'abord et que vous souhaitez ensuite télécharger cet ensemble de données sur AI Center, assurez-vous de décompresser l'ensemble de données avant de le télécharger.

Si aucun schéma n'est défini, toutes les options d'exportation sont désactivées.

Si un schéma est défini, il est obligatoire de saisir un nom pour votre exportation, sinon les boutons Télécharger (Download) et Exporter (Export) sont désactivés. Un nom valide peut comporter jusqu'à 24 caractères et ne doit pas contenir de caractères spéciaux.

Vous pouvez choisir d'exporter une des options suivantes :

• Résultats de la recherche actuelle - Les documents labellisés filtrés par un mot clé prédéfini/lot nommé ou par une requête textuelle. Si aucun filtre n'est appliqué, tous les documents labellisés affichés sont exportés.
• Tous labellisés (All labelled) - tous les documents avec au moins un champ labellisé, de quelque nature que ce soit ; plus précisément, les documents du filtre labelled.
• Schéma (Schema) - Un fichier zip contenant les champs et leurs configurations qui peuvent être importés dans une autre session de Data Manager.

La case à cocher Exportation rétrocompatible (Backwards-compatible export) vous permet d'appliquer le comportement d'exportation hérité, qui consiste à exporter chaque page en tant que document distinct. Essayez cette option si le modèle entraîné à l’aide de l’exportation par défaut est inférieur aux attentes. Laissez cette option décochée pour exporter les documents dans leur forme originale de plusieurs pages.

Important :

À partir de la version 2021.10, Data Manager prend en charge la labellisation des documents de plusieurs pages. Il s'agit d'un changement majeur par rapport aux versions précédentes où chaque page était labellisée séparément. La labellisation et l'exportation de documents de plusieurs pages supposent que chaque document représente un seul document logique. Par exemple, un document de six pages peut contenir une seule facture de six pages, mais il ne doit pas contenir trois factures différentes de deux pages chacune. Ceci est particulièrement important pour les ensembles d'évaluation.

Cette exigence ne concerne pas les exportations rétrocompatibles.

Validation des exportations

Pour exporter un ensemble de données, tous les champs doivent être labellisés dans au moins 10 documents différents. Sinon, l'exportation échoue avec les messages suivants :

Pour les champs de classification, il existe une exigence supplémentaire : chaque option doit être labellisée dans au moins un document. Sinon, l'exportation échoue avec le message suivant :

Lors de l'exportation uniquement des données d'ensemble d'évaluation, toutes les validations sont désactivées.

Format d'ensemble de données

Un dossier contenant l'ensemble de données exporté provenant de Data Manager. Cela comprend :

• schema.json : un fichier contenant les champs à extraire et leurs types
• split.csv : un fichier contenant le fractionnement pour chaque document qui sera utilisé soit pour ENTRAÎNER (TRAIN), soit pour VALIDER (VALIDATE) pendant le Pipeline d'entraînement
• images : un dossier contenant les images de toutes les pages labellisées
• latest : un dossier contenant des fichiers .json avec les données labellisées de chaque page
  
  

  

  
  

Planifier un aperçu public

La fonctionnalité Planifier l'exportation (Schedule Export) est documentée ici.

Journaux (Logs)

L'onglet Journaux (Logs) affiche le dernier journal lors de l'exportation.

En cas d'exportation réussie, le journal indique le nombre de documents traités et la durée de l'exportation.

En cas d'exportation de schémas réussie, le journal indique la durée de l'exportation.

Pendant l'exportation du fichier, vous pouvez vérifier le statut de l'exportation. Ceci est particulièrement utile pour les exportations de grande ampleur.

Les messages d'erreur sont également affichés dans les Journaux (Logs), par exemple :

En cas de réentraînement automatique réussi, les journaux d'importation du dossier fine-tune de l'ensemble de données sont également affichés :