Gestion des données d’entrée

Vous pouvez configurer les tables d'entrée directement à partir de Transformations de données pour vous assurer que vos données d'entrée répondent aux exigences de votre application de processus. L’option Gérer les paramètres des données d’entrée vous permet de configurer facilement les tables d’entrée existantes ou de créer de nouvelles tables d’entrée à partir de fichiers récemment téléchargés.

Suivez ces étapes pour gérer les paramètres de données d'entrée.

1. Dans la section Entrée , localisez le dossier Tables .
2. Localisez la table pour laquelle vous souhaitez gérer les fichiers et sélectionnez l’icône du menu contextuel pour ouvrir le panneau Modifier la table pour la table sélectionnée.

La page Tables s'affiche, indiquant les tables sources déjà présentes pour votre application de processus.

Mappage et configuration des tables d'entrée

Lorsque vous téléchargez un ou plusieurs fichiers, une nouvelle table est automatiquement ajoutée dans la section Tables sources pour chaque fichier téléchargé et une table d'entrée correspondante est créée dans la section Tables cibles . Par défaut, le nom de fichier du fichier téléchargé est utilisé comme nom des tables. Un message d'avertissement s'affiche indiquant que la table doit être configurée avant que les données puissent être téléchargées pour elle.

Mappage des tables d'entrée

Vos données d'entrée doivent répondre au modèle de données défini pour votre application. Si nécessaire, vous pouvez mapper une table Source à une autre table Cible .

Configuration des tables d'entrée

Les paramètres de la table d'entrée cible sont automatiquement détectés et il vous suffit de les vérifier.

Suivez ces étapes pour modifier les paramètres d'une table d'entrée.

1. Localisez la table que vous souhaitez configurer et sélectionnez l'icône Modifier la table pour ouvrir le panneau Modifier la table pour la table sélectionnée.
2. Modifiez les paramètres comme vous le souhaitez et sélectionnez Enregistrer.

Le tableau suivant décrit les paramètres de la table.

Paramètre	Description
Nom de la table	Le nom de la table d'entrée dans les transformations de données.
Obligatoire	Option permettant de définir la table comme obligatoire. Si TRUE, la table sera requise ultérieurement lors de la publication ou de l'importation de l'application de processus. Si la table n’est pas téléchargée, une erreur est générée. Si FALSE, la table est considérée comme Facultatif lors de la publication ou de l'importation de l'application. Si la table n'est pas téléchargée, une table vide sera créée de sorte que les requêtes SQL ultérieures n'échouent pas.
Détection automatique	Vous permet d’identifier les types de champ dans le fichier d’entrée et d’appliquer automatiquement les types de champ détectés aux champs correspondants dans le tableau cible.
Encodage	L'encodage utilisé dans le fichier.
Délimiteur	Le délimiteur séparant les différents champs.
FinLigne	Le caractère utilisé pour indiquer la fin d'une ligne et le début d'une nouvelle.
Guillemet	Le guillemet utilisé dans le cas où les champs sont encapsulés entre guillemets.
Caractère d’échappement	Le caractère d’échappement utilisé pour interpréter correctement les caractères qui seraient sinon traités comme des caractères de contrôle spéciaux ( tels que des guillemets ou des délimiteurs). Remarque : par défaut, le caractère de guillemet sélectionné est utilisé comme caractère d'échappement. Vous pouvez également sélectionner la barre oblique inverse (\) comme caractère d’échappement.
Type de charge	Type de charge de la table. Remarque : si vous sélectionnez Incrémental comme type de charge, vous devez spécifier des paramètres supplémentaires afin de configurer le chargement incrémentiel pour la table.

Charge de données incrémentielle

Avec une charge complète, toutes les données sont extraites de la source et chargées dans le système cible, que les données aient changé ou soient restées les mêmes depuis le dernier chargement. Une charge incrémentielle extrait uniquement les données qui ont changé (ajoutées ou mises à jour) depuis le dernier chargement. Une charge incrémentielle est généralement plus rapide et moins gourmande en ressources qu'une charge complète, surtout lorsqu'il s'agit de grands volumes de données où seul un petit sous-ensemble peut changer fréquemment.

Pour activer le chargement de données incrémentiel pour une table, vous devez définir le Type de charge pour la table sur Incrémental. Un chargement incrémentiel nécessite un identifiant unique pour garantir que les données sont chargées correctement, et un champ (comme un horodatage ou une version) pour suivre les modifications apportées aux données sources.

Le tableau suivant décrit les paramètres supplémentaires requis pour le chargement incrémentiel .

Paramètre	Description
Clés primaires	Le ou les champs de clé primaire ou les champs qui identifient de manière unique chaque enregistrement dans la source de données.
Champ Horodatage	Le champ utilisé pour suivre la dernière mise à jour ou ajout de chaque enregistrement.
Format d’horodatage	Format de la valeur d'horodatage utilisée dans le champ Horodatage .

Important :

La méthode d’extraction utilisée pour charger les données peut nécessiter une configuration supplémentaire ou spécifique pour l’extraction incrémentielle. Consultez Chargement des données à l'aide de CData Sync pour plus d'informations sur la configuration de l'extraction incrémentielle pour CData Sync. Consultez la section Charger des données à l'aide de Theobald Xtract Universal pour plus d'informations sur la configuration de l'extraction incrémentielle pour Theobald Xtract Universal. Consultez la section Charger les données à l'aide de DataUploader pour plus d'informations sur la configuration de DataUploader pour une extraction incrémentielle. Si vous revenez au type de charge sur Complète, veillez à configurer la méthode d’extraction utilisée en conséquence.

Suppression d'un fichier source

Si vous avez sélectionné accidentellement un fichier source lors du téléchargement des données sources, vous pouvez le supprimer de l'écran Données d'entrée (Input data).

Remarque :

Un fichier source ne peut être supprimé que si aucune donnée n'a été téléchargée pour celui-ci.

Suivez ces étapes pour supprimer un fichier source.

1. Localisez le fichier source à supprimer dans la liste Tables sources .
2. Pointez votre souris sur la table et sélectionnez Supprimer le fichier.

Le fichier d’entrée a été supprimé.

Suppression d'une table d'entrée

Vous pouvez supprimer une table d'entrée que vous avez précédemment téléchargée directement à partir de la page des tables de mappage dans l'écran Données d'entrée. La suppression d'une table d'entrée supprimera les données de votre application de processus. Si vous souhaitez utiliser ultérieurement les données de votre application de processus, vous devez charger à nouveau la table d'entrée.

Important :

La suppression d’une table peut entraîner l’échec des transformations de données.

Suivez les étapes suivantes pour supprimer une table.

1. Localisez la table que vous souhaitez supprimer et sélectionnez l'icône Supprimer la table. Un message de confirmation s’affiche.
2. Sélectionnez Supprimer.

Mappage et configuration des champs d'entrée

Lorsque vous avez terminé de configurer les tables d'entrée, vous pouvez mapper et configurer les champs d'entrée pour les tables. Sélectionnez Suivant sur la page Tables . La page Champs s’affiche.

Pour chaque table, les champs du fichier source sont automatiquement détectés et mappés aux champs correspondants dans la table cible.

Mappage des champs d'entrée

Vos données d'entrée doivent répondre au modèle de données défini pour votre application. Si nécessaire, vous pouvez mapper un champ Source à un champ Cible différent.

L'option Détection automatique identifie les types de champ dans le fichier d'entrée et applique automatiquement les types de champ détectés aux champs correspondants de la table cible.

Configuration des champs d'entrée

Les paramètres des champs d'entrée cibles sont automatiquement détectés et il vous suffit de les vérifier.

Suivez ces étapes pour modifier les paramètres d'un champ d'entrée.

1. Localisez le champ que vous souhaitez configurer et sélectionnez l’icône Modifier le champ pour ouvrir le panneau Modifier le champ pour le champ sélectionné.
2. Modifiez les paramètres comme vous le souhaitez et sélectionnez Enregistrer.

Le tableau suivant décrit les paramètres de la table.

Paramètre	Description
Nom	Le nom du champ. Remarque : le champ Nom est obligatoire.
Détection automatique	Permet d'identifier le type de champ dans le fichier d'entrée et d'appliquer automatiquement le type de champ détecté pour le champ de la table cible.
Saisie de texte	Le type de données du champ. > Texte > Entier > Décimale * Booléen • Date > Date et heure Remarque : en fonction du type de champ, vous devez spécifier les paramètres d'analyse pour configurer le champ.
Obligatoire	Option permettant de définir le champ comme obligatoire. Si cette option est sélectionnée, le champ est requis lors de la publication ou de l'importation de l'application de processus. Une erreur est alors générée si le champ est manquant. Si elle n'est pas sélectionnée, le champ est considéré comme facultatif. Lorsqu’il est manquant, le champ est ajouté avec des valeurs NULLES, de sorte que les requêtes SQL ultérieures n’échouent pas.
Unique	L'option permettant de définir la valeur du champ a une valeur distincte ou unique pour chaque enregistrement.
Non NULL	Option permettant de définir que le champ doit avoir une valeur pour chaque enregistrement. Le champ ne peut pas être laissé vide ou rempli avec une valeur NULL.

Paramètres d'analyse pour les types de champ

Le tableau suivant décrit les paramètres d'analyse disponibles pour les différents types de champs.

Type de champ	Paramètres d’analyse
Entier	Séparateur pour les milliers > Aucune > Point (.) - Virgule (,)
Décimale	> Séparateur décimal     > Point (.)     - Virgule (,) > Séparateur de milliers     > Aucune     > Point (.)     - Virgule (,)
Booléen	- Valeur Vrai : TRUE ou 1 > Valeur False : FALSE ou 0 Remarque : Valeur Vrai et Valeur Faux sont des paramètres obligatoires et doivent être différents.
Date	Format de date (consultez l' Exemple de paramètres d'analyse pour les formats de date).
DateTime	Format de date et heure Format de date (Date et heure des paramètres d'analyse pour les formats Datetime.)

Exemple de paramètres d'analyse pour les formats de date

Format	Exemple
yyyy-mm-dd	2025-04-05 2025-4-5
mm/dd/yy	04/05/25 4/5/25
mm/dd/yyyy	04/05/2025 4/5/2025
mm-dd-yyyy	04-05-2025 4-5-2025
dd-mm-yyyy	05-04-2025 5-4-2025
yyyy/mm/dd	2025/04/05

Exemple de paramètres d'analyse pour les formats DateTime

Format	Exemple
yyyy-mm-dd hh:mm:ss[.nnn]	2025-04-05 14:30:45.123 2025-4-5 14:30:45.123
yyyy/mm/dd hh:mm:ss[.nnn]	2025/04/05 14:30:45.123 2025/4/5 14:30:45.123
mm/dd/yyyy hh:mm:ss[.nnn]	04/05/2025 14:30:45.123 4/5/2025 14:30:45.123 04/05/2025 14:30:45 4/5/2025 14:30:45
yyyy-mm-ddThh:mm:ss[.nnn]	2025-04-05T14:30:45.123 2025-4-5T14:30:45.123
mm-dd-yyyy hh:mm:ss[.nnn]	04-05-2025 14:30:45.123 4-5-2025 14:30:45.123 04-05-2025 14:30:45 4-5-2025 14:30:45
dd-mm-yyyy hh:mm:ss[.nnn]	05-04-2025 14:30:45.123 5-4-2025 14:30:45.123 05-04-2025 14:30:45 5-4-2025 14:30:45
yyyy-mm-ddThh:mm:ss[.nnn]+00:00*	2025-04-05T14:30:45.123+02:00 2025-04-05T14:30:45-03:00 2025-04-05T14:30:45 2025-4-5T14:30:45.123+02:00 2025-4-5T14:30:45-03:00 2025-4-5T14:30:45Z
yyyy-mm-ddThh:mm:ss[.nnn]+0000*	2025-04-05T09:30:00+0000 2025-04-05T09:30:00.123+0000
yyyy-mm-dd hh:mm:ss[.nnn]+00:00*	2025-04-05 09:30:00+00:00 2025-04-05 09:30:00.123+00:00
yyyy-mm-dd hh:mm:ss[.nnn]+0000*	2025-04-05 09:30:00+0000 2025-04-05 09:30:00.123+0000
dd/mm/yyyy hh:mm:ss[.nnn]	05/04/2025 14:30:45.123 5/4/2025 14:30:45.123
mm/dd/yy hh:mm:ss[.nnn] AM/PM	04/05/25 02:30:45 PM 4/5/25 02:30:45 PM

** Les horodatages qui incluent des informations de fuseau horaire sont automatiquement convertis en UTC lors de l’ingestion des données.

Ajuster les applications de processus existantes pour utiliser l'écran Gérer les données d'entrée (Manage input data)

Introduction

Remarque :

Bien que les applications de processus existantes restent entièrement fonctionnelles, vous pouvez ajuster les applications de processus pour utiliser l'écran Gérer les données d'entrée dans Process Mining. Avec l'écran Gérer les données d'entrée , vous pouvez facilement ajouter de nouvelles tables d'entrée et de nouveaux champs d'entrée. Par conséquent, il est recommandé d'ajuster les applications de processus pour lesquelles la structure des données d'entrée est susceptible d'être modifiée. Si vous ne prévoyez pas de nombreux changements au niveau de la structure des données d'entrée, vous pouvez envisager de ne pas ajuster l'application.

Si vous souhaitez commencer à utiliser l'écran Gérer les données d'entrée pour charger les tables et les champs d'une application de processus existante, vous devez effectuer manuellement les étapes décrites sur cette page.

Prérequis

Avant de commencer à ajuster votre application :

1. Assurez-vous que toutes les modifications apportées à l'application de processus ont été publiées.
2. Exportez ou clonez l'application de processus pour enregistrer une sauvegarde.

Étapes

Astuce :

Les requêtes d'entrée sont les fichiers SQL qui font référence à une table définie dans la section sources . Ces modèles ont tendance à être situés dans le dossier 1_input.

Suivez les étapes suivantes pour chacune des requêtes d'entrée.

1. Assurez-vous que le fichier SQL d'entrée contient uniquement des changements de nom et des conversions de type. Déplacez l'autre logique (filtrage, colonnes dérivées, etc.) vers les fichiers SQL suivants.

L'illustration suivante montre un exemple de fichier Event_log_input.sql qui contient uniquement des changements de nom et des conversions de types.

2. Accédez à Gérer les données d'entrée et ajustez les propriétés du champ pour chaque champ. Reportez-vous à Mappage et configuration des champs d'entrée pour plus de détails.

1. Définissez le type de données et les noms à l'aide de l'option Gérer les paramètres des données d'entrée dans Transformations de données.
2. Vérifiez les attributs de champ (Obligatoire, Unique, non NULL) dans le panneau Propriétés du champ et assurez-vous qu'ils sont correctement définis.

3. Consultez tous les fichiers SQL pour obtenir les références de la table d'entrée : {{ ref('table_name') }}, et mettez à jour ces références pour utiliser la nouvelle table :

Remplacez chaque occurrence de {{ ref('table_name') }} par {{ source('sources', 'source_table_name') }}. Par exemple : remplacez {{ ref('Event_log_input') }} qui pointait vers vos fichiers SQL par {{ source('sources', 'Event_log_raw') }} pour pointer directement vers la table source.

Remarque :

Ces références peuvent apparaître dans n'importe quel fichier SQL.

4. Étant donné que le fichier SQL d'entrée d'origine n'est plus utilisé, vous pouvez désormais le supprimer en toute sécurité.
   Important :

   Si vos transformations contiennent un paramètre de format qui n'est pas encore disponible dans Gérer les paramètres des données d'entrée, le transtypage doit rester dans les transformations dbt . Par exemple, les dates SAP ne sont pas disponibles (AAAAAA).

Résolution des problèmes

Question

Le fichier que j’ai téléchargé auparavant ne peut pas être correctement chargé.

Solution possible

Inspectez l'encodage et les fin de ligne des fichiers pour vérifier s'ils correspondent aux paramètres du tableau. Reportez-vous à Mappage et configuration des tables d'entrée pour de plus amples informations.