Transformations de données

Liens utiles

• Journaux des événements

• Tips for writing SQL

• Exemples de configuration de balises SQL

• Exemples SQL pour la configuration des dates d'échéance

Modification locale des transformations

Lorsque vous créez une application de processus à partir d'un modèle d'application, vous voulez vous assurer que les données utilisées dans l'application de processus reflètent correctement votre processus métier. Avec les transformations de données, vous pouvez personnaliser les données utilisées pour Process Mining.

Vous pouvez soit personnaliser les transformations depuis Process Mining à l'aide de Transformations de données (Data transformations), soit les modifier localement sur votre bureau, voir Modification des transformations de données dans un environnement local (Editing Data Transformations in a Local Environment)

Cette page explique comment personnaliser les transformations de données dans Process Mining. Les Transformations de données (Data transformations) sont intégrées à l'éditeur de tableau de bord. Voir Travailler avec l'éditeur de tableau de bord (Working with the dashboard editor).

Les transformations de données vous permettent de :

• ajouter de nouveaux champs pour group by et les filtres. Par exemple, Type de Contrôle qualité.

• ajouter des événements. Par exemple, Contrôle qualité de la facture effectué.

• ajouter des balises. Par exemple, Échec de la réalisation des objectifs SLA, Violation des quatre yeux.

• ajouter une logique métier pour calculer les ICP. Par exemple : Case_has_maverick_buying.

Prérequis

Lorsque vous commencez à modifier des transformations de données, il est fortement recommandé de :

• avoir une connaissance approfondie de SQL ;

• connaissent le système source utilisé pour l’extraction des données.

Ouverture des transformations de données

1. Sélectionnez le bouton Transformations de données (Data transformations) dans le coin supérieur droit de l'éditeur de tableau de bord pour ouvrir la page Transformations de données (Data transformations).

Remarque :

Si vous ouvrez l'éditeur en ligne pour la première fois, son chargement prendra un certain temps.

L'éditeur de transformations de données en ligne s'affiche.

Input data

Le panneau des données d'entrée affiche les tables d'entrée qui ont été chargées dans l'application de processus sous forme de données brutes. Sélectionnez une table pour voir les champs et les contenus de données dans l’aperçu des données. L'aperçu des données vous permet de vérifier si les données d'entrée s'affichent correctement.

Remarque :

L'aperçu affiche 1 000 enregistrements de données. Si vous souhaitez filtrer des données spécifiques, créez une requête de débogage temporaire, consultez Transformations de données (Data Transformations).

Remarque :

Le panneau Aperçu (Preview) affiche les données de la dernière exécution de données dans laquelle cette table a été recalculée. Si vous avez apporté des modifications récentes, puis démarrez une nouvelle exécution de données pour afficher ses résultats, voir Modification et test des transformations de données.

Transformations

1. Sélectionnez Transformations pour afficher la structure des transformations et pour afficher les fichiers .sql.

Consultez Structure des transformations pour plus d'informations sur la structure des transformations.

Chaque fichier .sql définit une nouvelle table dans le modèle de données. Si vous sélectionnez un fichier .sql dans le panneau Transformations, la requête SQL s'affiche dans Transformations et un aperçu du fichier de données que vous modifiez s'affiche dans le panneau Aperçu (Preview).

Lors de la modification d'une requête, vous pouvez voir un aperçu des données de la dernière exécution de la requête dans le panneau Aperçu (Preview).

Important :

S'il y a des modifications non enregistrées dans les transformations, le bouton Enregistrer (Save) est activé. Sélectionnez Enregistrer (Save) pour enregistrer les modifications. Le statut de la transformation sera défini sur À jour (Up to date).

Affichage et modification du modèle de données

Important :

Assurez-vous toujours que votre modèle de données respecte les exigences. Voir Exigences du modèle de données.

1. Sélectionnez Modèle de données (Data model) pour afficher le modèle de données de votre application de processus.

Voir Modification et test des transformations de données pour plus d'informations sur la façon de modifier le modèle de données.

Vérification de validation

Une notification s'affiche si votre modèle de données ne répond pas aux exigences.

Voir Exigences du modèle de données.

Ajouter une table

1. Sélectionnez + Ajouter une table. La boîte de dialogue Ajouter une table (Add table) s'affiche.

2. Sélectionnez la table qui définit la nouvelle table de sortie.

3. Sélectionnez la clé primaire de la table, puis sélectionnez Terminé ( Done).

Voir Ajout de tables pour plus d'informations sur la façon d'ajouter une table dans les transformations.

Ajout de relations

1. Sélectionnez la table que vous souhaitez associer à une autre table.

   Le panneau Modifier la table (Edit table) s'affiche.

2. Dans le panneau Modifier la table (Edit table), sélectionnez + Ajouter nouveau (Add new) pour créer une relation.

3. Sélectionnez le champ à utiliser dans cette table dans la liste Clé .

4. Sélectionnez la table à laquelle vous souhaitez vous connecter et sélectionnez le champ qui utilise pour se connecter dans la liste des clés .

5. Sélectionnez Appliquer(Apply).

Modifier la clé d'une table

1. Sélectionnez la table dont vous souhaitez modifier la clé.

   Le panneau Modifier la table (Edit table) s'affiche.

2. Dans le panneau Modifier la table (Edit table), localisez la relation dont vous souhaitez modifier la clé.

3. Sélectionnez le nouveau champ qui doit être utilisé comme clé pour joindre les tables.

4. Sélectionnez Appliquer (Apply).

Remarque :

Si vous modifiez la clé primaire, le champ que vous sélectionnez comme nouvelle clé primaire est dupliqué dans la table. Vous pouvez supprimer le champ d'origine dans le Data Manager.

Supprimer une relation

1. Sélectionnez la table pour laquelle vous souhaitez supprimer une relation sortante.

   Le panneau Modifier la table (Edit table) s'affiche.

2. Dans le panneau Modifier la table (Edit table), localisez la relation que vous souhaitez supprimer et sélectionnez Supprimer la relation ( Delete relation).

3. Sélectionnez Appliquer(Apply).

Supprimer une table

1. Sélectionnez la table que vous souhaitez supprimer dans l'éditeur de modèle de données.

   Le panneau Modifier la table (Edit table) s'affiche.

2. Sélectionnez Supprimer la table (Delete table).

   Un message de confirmation s’affiche.

3. Sélectionnez Supprimer ( Delete) pour continuer.

La table et les relations sont supprimées du modèle de données.

Rendre le nouveau modèle de données disponible pour une utilisation dans les tableaux de bord

1. Sélectionnez Enregistrer ( Save ) pour enregistrer le modèle de données.

2. Sélectionnez Appliquer aux tableaux de bord (Apply to dashboards) pour exécuter les transformations et rendre la nouvelle table disponible pour une utilisation dans les tableaux de bord.

   Remarque :

   Cela peut prendre plusieurs minutes. Si l'exécution se termine avec succès, les modifications apportées au modèle de données s'afficheront dans le gestionnaire de données.

Remarque :

L'option Enregistrer (Save) n'est activée qu'après avoir apporté des modifications au modèle de données.

Affichage du journal des transformations

Le panneau Journal (Log) affiche ce qui se passe en arrière-plan. Le panneau Journal (Log) est actualisé automatiquement toutes les deux secondes. Consultez l'illustration ci-dessous pour voir un exemple.

Niveaux de journalisation

Le journal contient différents niveaux de journalisation pour indiquer la gravité du message :

Niveau de journalisation	Description	Statut d'exécution des données
Information	Un message d' information contient des informations utiles sur la progression du datarun.	Réussite
Avertissement	Un avertissement fait référence à un problème potentiel dans vos données qui pourrait affecter ce qui sera affiché sur un graphique dans l'application de processus publiée. Il est conseillé de résoudre tous les avertissements pour éviter tout problème potentiel futur.	Réussite
Erreur	Une erreur fait référence à une erreur dans vos données qui empêche l'application de processus de charger les données ou d'exécuter les transformations. Vous devez résoudre toutes les erreurs pour permettre une exécution des données réussie.	Échec

Filtrage des journaux

Vous pouvez utiliser le menu Filtre (Filter) pour modifier le niveau de journalisation. Consultez l'illustration ci-dessous pour voir un exemple.

Enregistrement du fichier journal

Vous pouvez sélectionner le pour copier le contenu du fichier journal et coller, par exemple, un fichier Bloc-notes que vous pouvez enregistrer sur votre ordinateur. Cela permet d'afficher les messages lorsque vous travaillez à la résolution des problèmes provoquant des erreurs ou des avertissements.

Remarque :

Cela vous permet également de partager le contenu du fichier journal, par exemple si vous avez besoin d'assistance.

Modification et test des transformations de données

Editing transformations

Reportez-vous aux pages ci-dessous pour plus d'informations sur la modification des transformations de données.

• Structure of transformations

• Designing an event log

• Tips for writing SQL

Exécution des requêtes

Attention :

Pour les versions antérieures à 2023.10.3, l'exécution tout est limitée à 10 minutes. À partir de la version 2023.10.4, l'exécution tout est limitée à 1 heure. Par conséquent, il est fortement recommandé d'utiliser un petit ensemble de données pour le développement et le test des transformations de données, afin de s'assurer que vos transformations ne dépassent pas cette limite de temps. Voir aussi : Portail Process Mining.

Lorsque vous modifiez des transformations, vous pouvez sélectionner Exécuter des requêtes (Run queries) pour tester vos modifications et voir un aperçu. Cette option exécute les requêtes qui ont été modifiées ainsi que toutes les requêtes associées. Par exemple, si cases_input.sql a été modifié, la commande Exécuter des requêtes (Run queries) exécuterait cases_input.sql et cases.sql, qui utilise les résultats de cases_input.sql.

Les données résultantes seront uniquement disponibles dans l'éditeur de transformations de données, pas dans l'éditeur de tableau de bord.

Il existe deux types d'exécutions :

• Exécuter des requêtes ( Run queries) : permet de démarrer une exécution de données en recalculant toutes les requêtes modifiées et leurs dépendances.

• Exécuter le fichier(Run file) : démarre une exécution pour recalculer uniquement le fichier SQL actuellement sélectionné et ses requêtes parent. Cette option vous permet de tester et de déboguer les personnalisations de fichiers SQL spécifiques.

Astuce :

Vous pouvez sélectionner Annuler l'exécution ( Cancel run ) à tout moment pour annuler l'exécution des transformations.

Les résultats sont affichés dans le panneau Aperçu (Preview).

Remarque :

L'option Exécuter des requêtes (Run queries) est généralement beaucoup plus rapide que l'option Appliquer aux tableaux de bord (Apply to dashboards) qui lance une exécution complète des données.

Remarque :

Exécuter des requêtes (Run queries) n'affecte pas les données dans l'application de processus publiée.

Ajout de dossiers et de fichiers

Vous pouvez créer de nouveaux dossiers et ajouter de nouveaux fichiers dans vos transformations.

Conventions d'affectation de noms

• Pour les noms de fichiers, dossiers, champs et tables :

  • vous ne pouvez utiliser que des caractères minuscules (az), des caractères majuscules (AZ) et des nombres (0-9) ;

  • vous ne pouvez pas utiliser les caractères spéciaux |*:?"<>\/ pour les noms de fichiers, de dossiers, de champs et de tables.
• Pour les noms de fichiers, vous ne pouvez utiliser que _:. comme caractères spéciaux.
• Un nom de fichier ne peut pas commencer par _ (point de soulignement).

Création d'un nouveau dossier ou fichier à partir du menu transformations

Suivez ces étapes pour créer un nouveau dossier ou fichier.

Étapes	Action
1	Accédez à l'emplacement dans les transformations où vous souhaitez ajouter un nouveau fichier ou dossier.
2	Accédez au panneau Transformations et sélectionnez le menu icône pour ouvrir le menu transformations.
3	Sélectionnez l'option applicable dans le menu.
4	Saisissez un nom descriptif pour le nouveau dossier ou fichier et sélectionnez Entrée.

Le nouveau dossier ou fichier est créé dans le dossier sélectionné.

Création d'un dossier ou d'un fichier à partir du menu contextuel

Suivez ces étapes pour créer un nouveau dossier ou fichier à partir du menu contextuel.

Étapes	Action
1	Cliquez avec le bouton droit sur le dossier dans les transformations où vous souhaitez ajouter un nouveau fichier ou dossier.
2	Sélectionnez l'option applicable dans le menu.
3	Saisissez un nom descriptif pour le nouveau dossier ou fichier et sélectionnez Entrée.

Le nouveau dossier ou fichier est créé dans le dossier sélectionné.

Modifications non enregistrées dans les fichiers

Lorsque vous modifiez un fichier .sql , il est indiqué dans la structure du dossier Transformations qu'il y a des modifications non enregistrées.

Dans l'exemple ci-dessus, il y a des modifications non enregistrées dans le fichier Tags.sql qui se trouve dans le dossier modèles -> 5_Business_logic .

Renommer un dossier ou un fichier

Suivez ces étapes pour créer un nouveau dossier ou fichier.

Étapes	Action
1	Cliquez avec le bouton droit sur le dossier ou le fichier que vous souhaitez renommer pour ouvrir le menu contextuel.
2	Sélectionnez Renommer.
3	Modifiez le nom comme vous le souhaitez et sélectionnez Entrée.

Le dossier ou le fichier est renommé.

Suppression d'un dossier ou d'un fichier

Suivez ces étapes pour créer un nouveau dossier ou fichier.

Étapes	Action
1	Cliquez avec le bouton droit sur le dossier ou le fichier que vous souhaitez supprimer pour ouvrir le menu contextuel.
2	Sélectionnez Supprimer (Delete). Un message de confirmation s’affiche.
3	Sélectionnez Supprimer ( Delete) pour confirmer la suppression.

Le dossier ou le fichier est supprimé.

Ajout de commentaires aux fichiers

Si vous souhaitez inclure des commentaires dans vos fichiers de transformation SQL ou commenter des parties de fichiers, il est fortement recommandé d'utiliser la syntaxe de commentaire jinja qui est définie par défaut sur {# ... #}. Cela vous permet également de commenter les macros.

SQL

{# {{ pm_utils.optional(ref('Cases_base'), '"Case_status"') }} as "Case_status", #}

{# case
    when {{ pm_utils.optional(ref('Cases_base'), '"Case_value"', 'double') }} >= 1000000 
      then {{ pm_utils.as_varchar('>= 1M') }}
    when {{ pm_utils.optional(ref('Cases_base'), '"Case_value"', 'double') }} >= 0 
     then {{ pm_utils.as_varchar('0 - 1M') }}
   when {{ pm_utils.optional(ref('Cases_base'), '"Case_value"', 'double') }} is not null
     then {{ pm_utils.as_varchar('< 0') }}
  end as "Case_value_group", #}

Rechercher/remplacer dans les fichiers

Dans l'éditeur Transformations de données (Data Transformations ), vous pouvez rechercher et remplacer du texte dans un seul fichier.

Rechercher un texte (Find Text)

Pour trouver du texte dans l'éditeur de transformation de données :

1. Cliquez sur un endroit aléatoire dans l'éditeur de code, ou sélectionnez le texte pour lequel vous souhaitez rechercher d'autres occurrences.

2. Appuyez sur CTRL+F.

3. Saisissez le test que vous souhaitez rechercher dans le champ Rechercher.

   Toutes les occurrences de texte dans le fichier actuel sont mises en surbrillance.

4. Sélectionnez ENTER pour passer à l'occurrence suivante.

Rechercher et remplacer

Pour trouver du texte dans l'éditeur de transformation de données :

1. Cliquez sur un endroit aléatoire dans l'éditeur de code, ou sélectionnez le texte pour lequel vous souhaitez rechercher d'autres occurrences.

2. Appuyez sur CTRL+H.

3. Saisissez le test que vous souhaitez rechercher dans le champ Rechercher (Find) et saisissez le nouveau test dans le champ Remplacer (Replace).

   Toutes les occurrences de texte dans le fichier actuel sont mises en surbrillance.

4. Sélectionnez ENTER pour remplacer le texte et passer à l'occurrence suivante.

Pour trouver du texte dans l'éditeur de transformation de données :

1. Cliquez sur l' éditeur de code.

2. Appuyez sur CTRL+H.

3. Saisissez le test que vous souhaitez rechercher dans le champ Rechercher (Find) et saisissez le nouveau test dans le champ Remplacer (Replace).

   Toutes les occurrences de texte dans le fichier actuel sont mises en surbrillance.

4. Appuyez sur Crtl+Alt+Enter.

Astuce :

Vous pouvez également utiliser les icônes Remplacer (Replace) ou Tout remplacer (Replace all).

Rechercher/remplacer dans plusieurs fichiers

Si vous souhaitez rechercher/remplacer des textes dans plusieurs fichiers, vous ne pouvez le faire que dans un éditeur externe.

Suivez ces étapes pour rechercher/remplacer des textes dans plusieurs fichiers :

1. Exportez les transformations à partir de votre application de processus.

   Remarque :

   Si vous avez des modifications en attente dans l'éditeur de transformations de données, utilisez d'abord l'option Appliquer aux tableaux de bord (Apply to dashboards) et exportez les transformations une fois l'analyse des données terminée.

2. Décompressez les transformations.

3. Ouvrez les transformations dans votre éditeur de code favori, par exemple, Notepad++ ou Visual Studio Code.

4. Utilisez la fonctionnalité de ces outils pour rechercher ou remplacer des textes dans plusieurs fichiers.

5. Enregistrez les fichiers.

6. Ajouter les fichiers de transformation à un fichier .zip .

7. Importez les transformations dans votre application de processus.

Remarque :

Lorsqu'il vous est demandé quelles données utiliser pour une exécution des données, sélectionnez Annuler (Cancel) si vous souhaitez continuer à modifier les transformations avant d'effectuer une nouvelle exécution des données.

Modification des fichiers de configuration de projet dbt

Vous pouvez également ouvrir les fichiers de configuration de projet dbt dans l'éditeur de transformations de données, par exemple dbt_project.yml.

Avertissement :

Il est fortement conseillé de ne modifier que la section vars, si nécessaire. Les autres parties de dbt_project.yml ne doivent pas être modifiées pour garantir le bon fonctionnement des transformations.

Pour des informations détaillées sur dbt, consultez la documentation officielle de dbt.

Rendre les transformations disponibles dans les tableaux de bord

Pour que les modifications soient disponibles dans les tableaux de bord, vous devez démarrer une exécution de données complète pour charger les données et exécuter les transformations. Sélectionnez le bouton Appliquer aux tableaux de bord (Apply to dashboards) pour démarrer une analyse des données.

Remarque :

Selon la taille de votre ensemble de données, cela peut prendre un certain temps.

Après une exécution des données réussie, les nouvelles transformations deviennent disponibles dans l'éditeur de tableau de bord et peuvent être utilisées pour ajuster les tableaux de bord.

Attention :

Si vous disposez d'une version publiée de l'application de processus, les utilisateurs professionnels verront instantanément les nouvelles données. Si vous voulez vous assurer que votre application publiée continue de fonctionner correctement lors de la modification des transformations, il est fortement conseillé d'utiliser une application de développement.

Suivez ces étapes.

1. Clonez votre application pour créer une application de développement.

2. Modifiez et testez les transformations.

3. Exportez les transformations à partir de l'application de développement.

4. Importez les transformations dans votre application de processus publiée.

Fusion des journaux d'événements

Si votre journal des événements est réparti sur plusieurs fichiers journaux d'événements, vous pouvez fusionner les journaux d'événements en un seul journal d'événements dans les transformations de données.

Remarque :

Pour fusionner plusieurs journaux d'événements, ID_Cas (Case_ID) doit désigner le même objet pour tous les fichiers. Par exemple, tous les ID d'incidents pointent vers les ID de commande client, de sorte que ID_Cas pointe vers la même table pour tous les journaux d'événements.

1. Créez une nouvelle application basée sur le modèle d' application du journal des événements . Voir Modèles d'applications.

2. Utilisez l'option Télécharger des données ( Upload data ) dans l'étape Sélection de la source de données (Selecting the Data Source ) et sélectionnez les fichiers du journal des événements que vous souhaitez fusionner.

3. Continuez l'assistant Créer une nouvelle application (Create new app ) pour créer l'application et transformer les données.

   L'analyse des données échouera et le statut de l'application affichera Échec de l'exécution ( Run failed).

4. Sélectionnez Afficher le journal ( View log) pour afficher le fichier journal.

   Un message d'erreur s'affiche indiquant que le fichier Event_log_raw.sql attendu est introuvable.

   

5. Accédez à l' éditeur de transformations de données .

6. Pour chaque fichier d'entrée :

   1. Créez un fichier .sql avec le même contenu que le Event_log_input.sql déjà disponible.

      

   2. Ajustez le fichier pour sélectionner les champs d'entrée requis et tapez-les correctement.

   3. Ajoutez le nom des nouvelles tables sources à sources.yml.

      Désormais, tous les nouveaux fichiers d'entrée peuvent être combinés en un seul journal d'événements.

      Attention :

      Assurez-vous que les fichiers d’entrée ont tous exactement le même ensemble de champs.

7. Sélectionnez le fichier Event_log_input.sql et remplacez le contenu par :

   -- The following code merges 3 input tables.
   select * from {{ ref('Event_log_input_1') }}
   union all
   select * from {{ ref('Event_log_input_2') }}
   union all
   select * from {{ ref('Event_log_input_3') }}

   
   Remarque : ajustez le code pour qu'il corresponde aux noms des tables d'entrée nécessaires.

8. Sélectionnez Appliquer aux tableaux de bord (Apply to dashboards) pour exécuter les transformations de données et rendre la table qui en résulte disponible pour une utilisation dans les tableaux de bord.