Importer des documents

La boîte de dialogue Importer des données (Import data) vous permet d'importer facilement de nouveaux documents à labelliser ou à réviser.

Click the Import button from the management bar.

La boîte de dialogue contient les contrôles suivants :

• Champ de texte du nom du lot (batch name) - il est obligatoire d'entrer un nom pour votre exportation, sinon la section Parcourir ou déposer des fichiers (Browse or drop files) est désactivée ; un nom valide peut comporter jusqu'à 24 caractères et ne doit pas contenir de caractères spéciaux.

• Make this an evaluation set checkbox - if selected, the dataset is used for evaluation purposes.

• Case à cocher Activer les documents volumineux (Enable large documents) - si elle est sélectionnée, vous pouvez télécharger des documents de plus de 150 pages.

• Section Parcourir ou déposer des fichiers (Browse or drop files) - cliquez sur Parcourir les fichiers à télécharger (Browse files to upload) pour naviguer dans votre répertoire ou faites simplement glisser et déposez les fichiers à l'intérieur du cadre.

• Section Statut (Status) - cliquez sur (charger le journal d'importation précédent) (load previous import log) pour vérifier l'état de la dernière importation ; lors du téléchargement des données, dans la section Statut (Status), vous recevez un aperçu de vos fichiers et vous êtes invité à poursuivre l'importation en cliquant sur OUI (YES) ou à abandonner l'importation en cliquant sur ANNULER (CANCEL).

  

  Important :

  À partir de la version 2021.10, Data Manager prend en charge la labellisation des documents de plusieurs pages. Il s'agit d'un changement majeur par rapport aux versions précédentes où chaque page était labellisée séparément. La labellisation et l'exportation de documents de plusieurs pages supposent que chaque document représente un seul document logique. Par exemple, un document de six pages peut contenir une seule facture de six pages, mais il ne doit pas contenir trois factures différentes de deux pages chacune. Ceci est particulièrement important pour les ensembles d'évaluation.

  Cette exigence ne concerne pas les exportations rétrocompatibles.

Types d'importation

Il existe 4 types d'importation pris en charge dans Data Manager :

• Importation de schémas
• Raw documents import (max 2000 or 2GB pages per import)
• Data Manager dataset import (max 2000 or 2GB pages per import)
• Validation Station dataset import (max 2000 or 2GB pages per import)

Importation de schémas

Si vous souhaitez lancer une nouvelle session Data Manager en utilisant le même schéma que dans une session existante, vous pouvez suivre ces étapes :

1. Cliquez sur le bouton Exporter (Export) de la barre de gestion.
2. Dans la boîte de dialogue Exporter les fichiers (Export Files), cochez l'option Schéma.
3. Cliquez sur le bouton Exporter (Exporter) dans la boîte de dialogue. Un fichier .zip est exporté.
4. Click the Import button from the management bar.
5. Upload or drag & drop the .zip file directly into the new Data Manager session (do not unzip). In this step, you can also upload a predefined schema.
6. Cliquez sur OUI (YES) dans la section Statut (Status) pour procéder à l'importation. Le schéma est importé.

You could also use one of the predefined schemas provided in the Use a Predefined Schema page.

Importation de documents bruts

Les types de documents pouvant être importés pour la labellisation sont : .pdf, .tiff, .png, .jpg.

• Les fichiers .zip ne sont pas pris en charge pour l'importation de documents bruts.
• Les paramètres OCR doivent être configurés avant l'importation.

Suivez les étapes ci-dessous :

1. Click the Import button . The Import data dialog box is displayed.

2. Indiquez un nom de lot dans le champ Nom du lot (Batch name). Cela vous permet de filtrer et de retrouver ultérieurement facilement ces documents à l'aide de la liste déroulante Rechercher (Search).

   • Si vous souhaitez utiliser ce lot de documents pour entraîner un modèle ML, laissez décochée la case En faire un ensemble d'évaluation (Make this an evaluation set).
   • Si vous souhaitez utiliser ce lot de documents pour évaluer un modèle ML (c'est-à-dire pour mesurer ses performances), cochez la case En faire un ensemble d'évaluation (Make this an evaluation set). Cela garantit que les données sont ignorées par les pipelines d'entraînement.

3. Si vous avez des documents de plus de 150 pages, cochez la case Activer les documents volumineux (Enable large documents). Sinon, laissez la case décochée.

4. Téléchargez ou glissez-déposez un fichier ou un ensemble de fichiers dans la section Parcourir ou déposer des fichiers (Browse or drop files).

5. Cliquez sur OUI (YES). Le fichier ou l'ensemble de fichiers est importé.

   

Importation d’un ensemble de données du Data Manager

Pour importer un ensemble de données qui a été labellisé précédemment sur une autre session de Data Manager, vous devez obtenir le fichier .zip qui a été exporté à l'origine et l'importer directement dans la nouvelle instance de Data Manager.

Si votre nouvelle instance de Data Manager est complètement vide (aucune donnée et aucun champ définis), les documents avec labels et le schéma sont importés.

Si votre nouvelle instance Data Manager a déjà des champs définis, l'ensemble de données nouvellement importé doit avoir les mêmes champs, ou un sous-ensemble de ces champs. Dans le cas contraire, l'importation est rejetée.

Fractionner de grands ensembles de données

To import Data Manager datasets larger than 1GB or that have more than 1500 files, we recommend you to use this script which splits the .zip files into multiple .zip files that are smaller than 1GB and that have less than 1500 files.

Importation d'ensembles de données de la Station de validation

Étant donné que votre workflow RPA traite les documents à l'aide d'un modèle ML existant, certains documents peuvent nécessiter une validation humaine à l'aide de l'activité Station de validation (Validation Station) (disponible sur les robots surveillés ou dans le navigateur à l'aide d'Action Center Orchestrator).

The validated data generated in Validation Station can be exported using Machine Learning Extractor Trainer activity and can be used to train ML models using the feature described below.

Remarque :

Pour l'importation d'un ensemble de données de la station de validation, il est obligatoire d'avoir défini un schéma.

Suivez les étapes ci-dessous :

1. Configurez le Machine Learning Extractor Trainer pour générer des données dans un dossier avec le chemin d'accès <Trainer/Output/Folder> (utilisez n'importe quel chemin d'accès au dossier vide).
2. Exécutez le workflow RPA, y compris la station de validation (Validation Station) et le Machine Learning Extractor Trainer.
3. Le Machine Learning Extractor Trainer crée trois sous-dossiers : documents, métadonnées et prédictions à l'intérieur du dossier de sortie.
4. Compressez le <Trainer/Output/Folder> pour obtenir un fichier .zip, par exemple TrainerOutputFolder.zip.
5. Importez le fichier .zip dans Data Manager qui détecte que l'importation contient des données produites par Machine Learning Extractor Trainer et importe les données en conséquence.

S'il manque des champs requis par l'ensemble de données, un message d'erreur s'affiche dans la boîte de dialogue d'importation.