Importer des documents

La boîte de dialogue Importer des données (Import data) vous permet d'importer facilement de nouveaux documents à labelliser ou à réviser.

Cliquez sur le bouton Importer (Import) de la barre de gestion.

La boîte de dialogue contient les contrôles suivants :

• Champ de texte du nom du lot (batch name) - il est obligatoire d'entrer un nom pour votre exportation, sinon la section Parcourir ou déposer des fichiers (Browse or drop files) est désactivée ; un nom valide peut comporter jusqu'à 24 caractères et ne doit pas contenir de caractères spéciaux.
• Case à cocher En faire un ensemble d'évaluation (Make this an evaluation set) - si elle est sélectionnée, l'ensemble de données est utilisé à des fins d'entraînement.
• Case à cocher Activer les documents volumineux (Enable large documents) - si elle est sélectionnée, vous pouvez télécharger des documents de plus de 150 pages.
• Section Parcourir ou déposer des fichiers (Browse or drop files) - cliquez sur Parcourir les fichiers à télécharger (Browse files to upload) pour naviguer dans votre répertoire ou faites simplement glisser et déposez les fichiers à l'intérieur du cadre.
• Section Statut (Status) - cliquez sur (charger le journal d'importation précédent) (load previous import log) pour vérifier l'état de la dernière importation ; lors du téléchargement des données, dans la section Statut (Status), vous recevez un aperçu de vos fichiers et vous êtes invité à poursuivre l'importation en cliquant sur OUI (YES) ou à abandonner l'importation en cliquant sur ANNULER (CANCEL).
  
  

  

  
  
  Important :

  À partir de la version 2021.10, Data Manager prend en charge la labellisation des documents de plusieurs pages. Il s'agit d'un changement majeur par rapport aux versions précédentes où chaque page était labellisée séparément. La labellisation et l'exportation de documents de plusieurs pages supposent que chaque document représente un seul document logique. Par exemple, un document de six pages peut contenir une seule facture de six pages, mais il ne doit pas contenir trois factures différentes de deux pages chacune. Ceci est particulièrement important pour les ensembles d'évaluation.

  Cette exigence ne concerne pas les exportations rétrocompatibles.

Types d'importation

Il existe 4 types d'importation pris en charge dans Data Manager :

• Importation de schémas
• Importation de documents bruts (Raw documents import) (max 2 000 ou 2 Go de pages par importation)
• Importation d'un ensemble de données de Data Manager (Data Manager dataset import) (maximum 2 000 ou 2 Go de pages par importation)
• Importation d'un ensemble de données de la station de validation (Validation Station dataset import) (max 2 000 ou 2 Go de pages par importation)

Importation de schémas

Si vous souhaitez lancer une nouvelle session Data Manager en utilisant le même schéma que dans une session existante, vous pouvez suivre ces étapes :

1. Cliquez sur le bouton Exporter (Export) de la barre de gestion.
2. Dans la boîte de dialogue Exporter les fichiers (Export Files), cochez l'option Schéma.
3. Cliquez sur le bouton Exporter (Exporter) dans la boîte de dialogue. Un fichier .zip est exporté.
4. Cliquez sur le bouton Importer (Import) de la barre de gestion.
5. Importez ou glissez et déposez le fichier .zip directement dans la nouvelle session de Data Manager (ne le décompressez pas). Lors de cette étape, vous pouvez également téléverser un schéma prédéfini (predefined schema).
6. Cliquez sur OUI (YES) dans la section Statut (Status) pour procéder à l'importation. Le schéma est importé.

Vous pouvez également utiliser l'un des schémas prédéfinis fournis à la page Utiliser un schéma prédéfini (Use a Predefined Schema).

Importation de documents bruts

Les types de documents pouvant être importés pour la labellisation sont : .pdf, .tiff, .png, .jpg.

• Les fichiers .zip ne sont pas pris en charge pour l'importation de documents bruts.
• Les paramètres OCR doivent être configurés avant l'importation.

Suivez les étapes ci-dessous :

1. Cliquez sur le bouton Importer (Import) . La boîte de dialogue Importer des données (Import data) s'affiche.
2. Indiquez un nom de lot dans le champ Nom du lot (Batch name). Cela vous permet de filtrer et de retrouver ultérieurement facilement ces documents à l'aide de la liste déroulante Rechercher (Search).
   • Si vous souhaitez utiliser ce lot de documents pour entraîner un modèle ML, laissez décochée la case En faire un ensemble d'évaluation (Make this an evaluation set).
   • Si vous souhaitez utiliser ce lot de documents pour évaluer un modèle ML (c'est-à-dire pour mesurer ses performances), cochez la case En faire un ensemble d'évaluation (Make this an evaluation set). Cela garantit que les données sont ignorées par les pipelines d'entraînement.
3. Si vous avez des documents de plus de 150 pages, cochez la case Activer les documents volumineux (Enable large documents). Sinon, laissez la case décochée.
4. Téléchargez ou glissez-déposez un fichier ou un ensemble de fichiers dans la section Parcourir ou déposer des fichiers (Browse or drop files).
5. Cliquez sur OUI (YES). Le fichier ou l'ensemble de fichiers est importé.
   
   

   

   
   

Importation d’un ensemble de données du Data Manager

Pour importer un ensemble de données qui a été labellisé précédemment sur une autre session de Data Manager, vous devez obtenir le fichier .zip qui a été exporté à l'origine et l'importer directement dans la nouvelle instance de Data Manager.

Si votre nouvelle instance de Data Manager est complètement vide (aucune donnée et aucun champ définis), les documents avec labels et le schéma sont importés.

Si votre nouvelle instance Data Manager a déjà des champs définis, l'ensemble de données nouvellement importé doit avoir les mêmes champs, ou un sous-ensemble de ces champs. Dans le cas contraire, l'importation est rejetée.

Fractionner de grands ensembles de données

Pour importer des ensembles de données Data Manager supérieurs à 1 Go ou contenant plus de 1 500 fichiers, nous vous recommandons d'utiliser ce script qui fractionne les fichiers .zip en plusieurs fichiers .zip inférieurs à 1 Go et contenant moins de 1 500 fichiers.

Importation d'ensembles de données de la Station de validation

Étant donné que votre workflow RPA traite les documents à l'aide d'un modèle ML existant, certains documents peuvent nécessiter une validation humaine à l'aide de l'activité Station de validation (Validation Station) (disponible sur les robots surveillés ou dans le navigateur à l'aide d'Action Center Orchestrator).

Les données validées générées dans la Station de validation (Validation Station) peuvent être exportées à l'aide de l'activité Machine Learning Extractor Trainer et peuvent être utilisées pour entraîner les modèles ML à l'aide de la fonctionnalité décrite ci-dessous.

Remarque : pour l'importation d'un ensemble de données de la station de validation, il est obligatoire d'avoir défini un schéma.

Suivez les étapes ci-dessous :

1. Configurez le Machine Learning Extractor Trainer pour générer des données dans un dossier avec le chemin d'accès <Trainer/Output/Folder> (utilisez n'importe quel chemin d'accès au dossier vide).
2. Exécutez le workflow RPA, y compris la station de validation (Validation Station) et le Machine Learning Extractor Trainer.
3. Le Machine Learning Extractor Trainer crée trois sous-dossiers : documents, métadonnées et prédictions à l'intérieur du dossier de sortie.
4. Compressez le <Trainer/Output/Folder> pour obtenir un fichier .zip, par exemple TrainerOutputFolder.zip.
5. Importez le fichier .zip dans Data Manager qui détecte que l'importation contient des données produites par Machine Learning Extractor Trainer et importe les données en conséquence.

S'il manque des champs requis par l'ensemble de données, un message d'erreur s'affiche dans la boîte de dialogue d'importation.