Gestion des données d’entrée

Vous pouvez configurer les tables d'entrée directement à partir des transformations de données pour vous assurer que vos données d'entrée répondent aux exigences de votre application de processus. L'option Gérer les paramètres de données d'entrée (Manage input data settings) vous permet de configurer facilement les tables d'entrée existantes ou de créer de nouvelles tables d'entrée à partir de fichiers nouvellement téléchargés.

Suivez ces étapes pour gérer les paramètres de données d'entrée.

1. Dans la section Entrée (Input) , localisez le dossier Tables (Tables ).

2. Localisez la table pour laquelle vous souhaitez gérer les fichiers et sélectionnez l'icône du menu contextuel pour ouvrir le panneau Modifier la table (Edit table) pour la table sélectionnée.

La page Tables (Tables) s'affiche, indiquant les tables source déjà présentes pour votre application de processus.

Mappage et configuration des tables d'entrée

Lorsque vous téléchargez un ou plusieurs fichiers, une nouvelle table est automatiquement ajoutée dans la section Tables sources (Source tables) pour chaque fichier téléchargé, et une table d'entrée correspondante est créée dans la section Tables cibles (Target tables) . Par défaut, le nom de fichier du fichier téléchargé est utilisé comme nom des tables. Un message d'avertissement s'affiche indiquant que la table doit être configurée avant que des données puissent être téléchargées pour la table.

Mappage des tables d'entrée

Vos données d'entrée doivent respecter le modèle de données défini pour votre application. Si nécessaire, vous pouvez mapper une table source à une table cible différente.

Configuration des tables d'entrée

Les paramètres de la table d'entrée cible sont automatiquement détectés et il vous suffit de les vérifier.

Suivez ces étapes pour modifier les paramètres d'une table d'entrée.

1. Localisez la table que vous souhaitez configurer et sélectionnez l'icône Modifier la table pour ouvrir le panneau Modifier la table pour la table sélectionnée.

2. Modifiez les paramètres comme vous le souhaitez et sélectionnez Enregistrer (Save).

Le tableau suivant décrit les paramètres de la table.

Paramètre	Description
Nom de la table	Le nom de la table d'entrée dans les transformations de données.
Obligatoire	Option pour définir la table comme obligatoire. Si TRUE, la table sera requise ultérieurement lors de la publication ou de l'importation de l'application de processus. Si la table n'est pas téléchargée, une erreur est générée. Si FALSE, la table est considérée comme Facultatif (Optional), lors de la publication ou de l'importation de l'application. Si la table n'est pas téléchargée, une table vide sera créée de sorte que les requêtes SQL ultérieures n'échoueront pas.
Encodage	L'encodage utilisé dans le fichier.
Délimiteur	Le délimiteur séparant les différents champs.
FinLigne	Le caractère utilisé pour indiquer la fin d'une ligne et le début d'une nouvelle.
Guillemet	Le guillemet utilisé dans le cas où les champs sont encapsulés entre guillemets.
Type de charge	Le type de charge de la table. Remarque : Si vous sélectionnez Incrémental comme type de charge, vous devez spécifier des paramètres supplémentaires pour configurer la charge incrémentielle de la table.

Charge de données incrémentielle

Avec une charge complète, toutes les données sont extraites de la source et chargées dans le système cible, que les données aient changé ou soient restées les mêmes depuis le dernier chargement. Une charge incrémentielle extrait uniquement les données qui ont changé (ajoutées ou mises à jour) depuis le dernier chargement. Une charge incrémentielle est généralement plus rapide et moins gourmande en ressources qu'une charge complète, surtout lorsqu'il s'agit de grands volumes de données où seul un petit sous-ensemble peut changer fréquemment.

Pour activer le chargement de données incrémentiel pour une table, vous devez définir le type de chargement de la table sur Incrémental. La charge incrémentielle nécessite un identifiant unique pour garantir que les données sont chargées correctement, et un champ (comme un horodatage ou une version) pour suivre les modifications dans les données sources.

Le tableau suivant décrit les paramètres supplémentaires requis pour la charge incrémentielle .

Paramètre	Description
Clés primaires	Le ou les champs de clé primaire ou les champs qui identifient de manière unique chaque enregistrement dans la source de données.
Champ Horodatage	Le champ utilisé pour suivre la dernière mise à jour ou ajout de chaque enregistrement.
Format d’horodatage	Le format de la valeur d'horodatage utilisée dans le champ Horodatage .

Important :

La méthode d'extraction utilisée pour charger les données peut nécessiter une configuration supplémentaire ou spécifique pour l'extraction incrémentielle.

Consultez Chargement des données à l'aide de CData Sync pour plus d'informations sur la configuration de l'extraction incrémentielle pour CData Sync.

Consultez Charger des données en utilisant DataUploader pour plus d'informations sur la configuration de DataUploader pour une extraction incrémentielle.

Attention : Si vous basculez le type de charge sur Complète ( Full), assurez-vous de configurer la méthode d'extraction utilisée en conséquence.

Suppression d'un fichier source

Si vous avez sélectionné accidentellement un fichier source lors du téléchargement des données sources, vous pouvez le supprimer de l'écran Données d'entrée (Input data).

Remarque : un fichier source ne peut être supprimé que si aucune donnée n'a été téléchargée pour lui.

Suivez ces étapes pour supprimer un fichier source.

1. Localisez le fichier source que vous souhaitez supprimer dans la liste Tables sources .
2. Pointez votre souris sur la table et sélectionnez Supprimer le fichier.

Le fichier d’entrée a été supprimé.

Mappage et configuration des champs d'entrée

Lorsque vous avez terminé de configurer les tables d'entrée, vous pouvez mapper et configurer les champs d'entrée pour les tables.

1. Sélectionnez Suivant sur la page Tables . La page Champs (Fields) s'affiche.

Pour chaque table, les champs du fichier source sont automatiquement détectés et mappés aux champs correspondants dans la table cible.

Mappage des champs d'entrée

Vos données d'entrée doivent respecter le modèle de données défini pour votre application. Si nécessaire, vous pouvez mapper un champ source à un champ cible différent.

Configuration des champs d'entrée

Les paramètres des champs d'entrée cibles sont automatiquement détectés et il vous suffit de les vérifier.

Suivez ces étapes pour modifier les paramètres d'un champ d'entrée.

1. Localisez le champ que vous souhaitez configurer et sélectionnez l'icône Modifier le champ pour ouvrir le panneau Modifier le champ pour le champ sélectionné.

2. Modifiez les paramètres comme vous le souhaitez et sélectionnez Enregistrer (Save).

Le tableau suivant décrit les paramètres de la table.

Paramètre	Description
Nom	Le nom du champ. Remarque : Nom est un champ obligatoire.
Saisie de texte	Le type de données du champ. Texte Entier Décimale Booléen Date DateTime Remarque : Selon le type de champ, vous devez spécifier des paramètres d'analyse pour configurer le champ.
Obligatoire	Option pour définir le champ comme obligatoire. Si cette option est sélectionnée, le champ est requis lors de la publication ou de l'importation de l'application de processus. Une erreur est alors générée si le champ est manquant. S'il n'est pas sélectionné, le champ est considéré comme facultatif. Lorsqu'il est manquant, le champ sera ajouté avec des valeurs NULL, de sorte que les requêtes SQL ultérieures n'échoueront pas.
Unique	L'option permettant de définir la valeur du champ a une valeur distincte ou unique pour chaque enregistrement.
Non NULL	Option permettant de définir que le champ doit avoir une valeur pour chaque enregistrement. Le champ ne peut pas être laissé vide ou rempli avec une valeur NULL.

Paramètres d'analyse pour les types de champ

Le tableau suivant décrit les paramètres d'analyse disponibles pour les différents types de champs.

Type de champ	Paramètres d’analyse
Entier	Séparateur pour les milliers Aucun (None) Point (.) Virgule (,)
Décimale	Séparateur décimal Point (.) Virgule (,) Séparateur pour les milliers Aucun (None) Point (.) Virgule (,)
Booléen	Valeur Vrai : TRUE ou 1 Valeur False FALSE ou 0 Remarque : Valeur Vrai (True Value) et Valeur Faux (False Value) sont des paramètres obligatoires et doivent être différents.
Date	Format de date
DateTime	Format de date et heure

Ajuster les applications de processus existantes pour utiliser l'écran Gérer les données d'entrée (Manage input data)

Introduction

Remarque :

Bien que les applications de processus existantes restent entièrement fonctionnelles, vous pouvez ajuster les applications de processus pour utiliser l'écran Gérer les données d'entrée (Manage input data) dans Process Mining. Avec l'écran Gérer les données d'entrée (Manage input data) , vous pouvez facilement ajouter de nouvelles tables d'entrée et de nouveaux champs d'entrée. Par conséquent, il est recommandé d'ajuster les applications de processus pour lesquelles la structure des données d'entrée est susceptible de changer. Si vous ne prévoyez pas de nombreux changements dans la structure des données d'entrée, vous pouvez envisager de ne pas ajuster l'application.

Si vous souhaitez commencer à utiliser l'écran Gérer les données d'entrée (Manage input data) pour charger les tables et les champs d'une application de processus existante, vous devez effectuer manuellement les étapes décrites sur cette page.

Prérequis

Avant de commencer à ajuster votre application :

1. Assurez-vous que toutes les modifications apportées à l'application de processus ont été publiées.

2. Exportez ou clonez l'application de processus pour enregistrer une sauvegarde.

Étapes

Astuce :

Les requêtes d'entrée sont les fichiers SQL qui font référence à une table définie dans la section sources . Ces modèles ont tendance à être situés dans le dossier 1_input.

Suivez ces étapes pour chacune des requêtes d'entrée.

1. Assurez-vous que le fichier SQL d'entrée contient uniquement des changements de nom et des conversions de type. Déplacez l'autre logique (filtrage, colonnes dérivées, etc.) vers les fichiers SQL suivants.

   L'illustration suivante montre un exemple de fichier Event_log_input.sql qui contient uniquement des changements de nom et des conversions de types.

   
   

   

   
   

2. Accédez à Gérer les données d’entrée (Manage input data) et ajustez les propriétés de champ pour chaque champ. Reportez-vous au Mappage et configuration des champs d'entrée pour plus de détails.

   1. Définissez le type de données et les noms à l'aide de l'option Gérer les paramètres des données d'entrée (Manage input data settings) dans Transformations de données (Data transformations).

   2. Vérifiez les attributs de champ (Mandatory, Unique, pas NULL) dans le panneau Propriétés de champ et assurez-vous qu'ils sont correctement définis.

   
   

   

   
   
3. Vérifiez tous les fichiers SQL pour qu'il y ait de référence à la table d'entrée : {{ ref('table_name') }}, et mettez à jour ces références pour utiliser la nouvelle table :
   Remplacez chaque occurrence de {{ ref('table_name') }} par {{ source('sources', 'source_table_name') }}. Par exemple : remplacez {{ ref('Event_log_input') }} qui pointait vers vos fichiers SQL par {{ source('sources', 'Event_log_raw') }} pour pointer directement vers la table source.

   
   

   

   
   
   Remarque :

   Ces références peuvent apparaître dans n'importe quel fichier SQL.

4. Étant donné que le fichier SQL d'entrée d'origine n'est plus utilisé, vous pouvez désormais le supprimer en toute sécurité.

Important :

Si vos transformations contiennent un paramètre de format qui n'est pas encore disponible dans Gérer les paramètres de données d'entrée (Manage input data settings), le transtypage du type doit rester dans les transformations dbt . Par exemple, les dates SAP ne sont pas disponibles (AAAA).

Résolution des problèmes

Question

Le fichier que j’ai téléchargé auparavant ne peut pas être correctement chargé.

Solution possible

Inspectez l'encodage et la fin des lignes des fichiers pour vérifier s'ils correspondent aux paramètres de la table. Reportez-vous au Mappage et configuration des tables d'entrée pour plus d'informations.