Modification et test des transformations de données

Editing transformations

Reportez-vous aux pages ci-dessous pour plus d'informations sur la modification des transformations de données.

• Structure of transformations

• Designing an event log

• Tips for writing SQL

Exécution des requêtes

Attention :

L'exécution des requêtes est limitée à 10 minutes. Par conséquent, il est fortement recommandé d'utiliser un petit ensemble de données pour le développement et le test des transformations de données, afin de s'assurer que vos transformations ne dépassent pas cette limite de temps. Voir aussi : Portail Process Mining.

Lorsque vous modifiez des transformations, vous pouvez sélectionner Exécuter des requêtes (Run queries) pour tester vos modifications et voir un aperçu. Cette option exécute les requêtes qui ont été modifiées ainsi que toutes les requêtes associées. Par exemple, si cases_input.sql a été modifié, la commande Exécuter des requêtes (Run queries) exécuterait cases_input.sql et cases.sql, qui utilise les résultats de cases_input.sql.

Les données résultantes seront uniquement disponibles dans l'éditeur de transformations de données, pas dans l'éditeur de tableau de bord.

Il existe deux types d'exécutions :

• Exécuter des requêtes ( Run queries) : permet de démarrer une exécution de données en recalculant toutes les requêtes modifiées et leurs dépendances.

• Exécuter le fichier(Run file) : démarre une exécution pour recalculer uniquement le fichier SQL actuellement sélectionné et ses requêtes parent. Cette option vous permet de tester et de déboguer les personnalisations de fichiers SQL spécifiques.

Astuce :

Vous pouvez sélectionner Annuler l'exécution ( Cancel run ) à tout moment pour annuler l'exécution des transformations.

Les résultats sont affichés dans le panneau Aperçu (Preview).

Remarque :

L'option Exécuter des requêtes (Run queries) est généralement beaucoup plus rapide que l'option Appliquer aux tableaux de bord (Apply to dashboards) qui lance une exécution complète des données.

Remarque :

Exécuter des requêtes (Run queries) n'affecte pas les données dans l'application de processus publiée.

Ajout de dossiers et de fichiers

Vous pouvez créer de nouveaux dossiers et ajouter de nouveaux fichiers dans vos transformations.

Conventions d'affectation de noms

• Pour les noms de fichiers, dossiers, champs et tables :

  • vous ne pouvez utiliser que des caractères minuscules (az), des caractères majuscules (AZ) et des nombres (0-9) ;

  • vous ne pouvez pas utiliser les caractères spéciaux |*:?"<>\/ pour les noms de fichiers, de dossiers, de champs et de tables.
• Pour les noms de fichiers, vous ne pouvez utiliser que _:. comme caractères spéciaux.
• Un nom de fichier ne peut pas commencer par _ (point de soulignement).

Création d'un nouveau dossier ou fichier à partir du menu transformations

Suivez ces étapes pour créer un nouveau dossier ou fichier.

Étapes	Action
1	Accédez à l'emplacement dans les transformations où vous souhaitez ajouter un nouveau fichier ou dossier.
2	Accédez au panneau Transformations et sélectionnez le menu icône pour ouvrir le menu transformations.
3	Sélectionnez l'option applicable dans le menu.
4	Saisissez un nom descriptif pour le nouveau dossier ou fichier et sélectionnez Entrée.

Le nouveau dossier ou fichier est créé dans le dossier sélectionné.

Création d'un dossier ou d'un fichier à partir du menu contextuel

Suivez ces étapes pour créer un nouveau dossier ou fichier à partir du menu contextuel.

Étapes	Action
1	Cliquez avec le bouton droit sur le dossier dans les transformations où vous souhaitez ajouter un nouveau fichier ou dossier.
2	Sélectionnez l'option applicable dans le menu.
3	Saisissez un nom descriptif pour le nouveau dossier ou fichier et sélectionnez Entrée.

Le nouveau dossier ou fichier est créé dans le dossier sélectionné.

Modifications non enregistrées dans les fichiers

Lorsque vous modifiez un fichier .sql , il est indiqué dans la structure du dossier Transformations qu'il y a des modifications non enregistrées.

Dans l'exemple ci-dessus, il y a des modifications non enregistrées dans le fichier Tags.sql qui se trouve dans le dossier modèles -> 5_Business_logic .

Renommer un dossier ou un fichier

Suivez ces étapes pour créer un nouveau dossier ou fichier.

Étapes	Action
1	Cliquez avec le bouton droit sur le dossier ou le fichier que vous souhaitez renommer pour ouvrir le menu contextuel.
2	Sélectionnez Renommer.
3	Modifiez le nom comme vous le souhaitez et sélectionnez Entrée.

Le dossier ou le fichier est renommé.

Suppression d'un dossier ou d'un fichier

Suivez ces étapes pour créer un nouveau dossier ou fichier.

Étapes	Action
1	Cliquez avec le bouton droit sur le dossier ou le fichier que vous souhaitez supprimer pour ouvrir le menu contextuel.
2	Sélectionnez Supprimer (Delete). Un message de confirmation s’affiche.
3	Sélectionnez Supprimer ( Delete) pour confirmer la suppression.

Le dossier ou le fichier est supprimé.

Ajout de commentaires aux fichiers

Si vous souhaitez inclure des commentaires dans vos fichiers de transformation SQL ou commenter des parties de fichiers, il est fortement recommandé d'utiliser la syntaxe de commentaire jinja qui est définie par défaut sur {# ... #}. Cela vous permet également de commenter les macros.

SQL

{# {{ pm_utils.optional(ref('Cases_base'), '"Case_status"') }} as "Case_status", #}

{# case
    when {{ pm_utils.optional(ref('Cases_base'), '"Case_value"', 'double') }} >= 1000000 
      then {{ pm_utils.as_varchar('>= 1M') }}
    when {{ pm_utils.optional(ref('Cases_base'), '"Case_value"', 'double') }} >= 0 
     then {{ pm_utils.as_varchar('0 - 1M') }}
   when {{ pm_utils.optional(ref('Cases_base'), '"Case_value"', 'double') }} is not null
     then {{ pm_utils.as_varchar('< 0') }}
  end as "Case_value_group", #}

Rechercher/remplacer dans les fichiers

Dans l'éditeur Transformations de données (Data Transformations ), vous pouvez rechercher et remplacer du texte dans un seul fichier.

Rechercher un texte (Find Text)

Pour trouver du texte dans l'éditeur de transformation de données :

1. Cliquez sur un endroit aléatoire dans l'éditeur de code, ou sélectionnez le texte pour lequel vous souhaitez rechercher d'autres occurrences.

2. Appuyez sur CTRL+F.

3. Saisissez le test que vous souhaitez rechercher dans le champ Rechercher.

   Toutes les occurrences de texte dans le fichier actuel sont mises en surbrillance.

4. Sélectionnez ENTER pour passer à l'occurrence suivante.

Rechercher et remplacer

Pour trouver du texte dans l'éditeur de transformation de données :

1. Cliquez sur un endroit aléatoire dans l'éditeur de code, ou sélectionnez le texte pour lequel vous souhaitez rechercher d'autres occurrences.

2. Appuyez sur CTRL+H.

3. Saisissez le test que vous souhaitez rechercher dans le champ Rechercher (Find) et saisissez le nouveau test dans le champ Remplacer (Replace).

   Toutes les occurrences de texte dans le fichier actuel sont mises en surbrillance.

4. Sélectionnez ENTER pour remplacer le texte et passer à l'occurrence suivante.

Pour trouver du texte dans l'éditeur de transformation de données :

1. Cliquez sur l' éditeur de code.

2. Appuyez sur CTRL+H.

3. Saisissez le test que vous souhaitez rechercher dans le champ Rechercher (Find) et saisissez le nouveau test dans le champ Remplacer (Replace).

   Toutes les occurrences de texte dans le fichier actuel sont mises en surbrillance.

4. Appuyez sur Crtl+Alt+Enter.

Astuce :

Vous pouvez également utiliser les icônes Remplacer (Replace) ou Tout remplacer (Replace all).

Rechercher/remplacer dans plusieurs fichiers

Si vous souhaitez rechercher/remplacer des textes dans plusieurs fichiers, vous ne pouvez le faire que dans un éditeur externe.

Suivez ces étapes pour rechercher/remplacer des textes dans plusieurs fichiers :

1. Exportez les transformations à partir de votre application de processus.

   Remarque :

   Si vous avez des modifications en attente dans l'éditeur de transformations de données, utilisez d'abord l'option Appliquer aux tableaux de bord (Apply to dashboards) et exportez les transformations une fois l'analyse des données terminée.

2. Décompressez les transformations.

3. Ouvrez les transformations dans votre éditeur de code favori, par exemple, Notepad++ ou Visual Studio Code.

4. Utilisez la fonctionnalité de ces outils pour rechercher ou remplacer des textes dans plusieurs fichiers.

5. Enregistrez les fichiers.

6. Ajouter les fichiers de transformation à un fichier .zip .

7. Importez les transformations dans votre application de processus.

Remarque :

Lorsqu'il vous est demandé quelles données utiliser pour une exécution des données, sélectionnez Annuler (Cancel) si vous souhaitez continuer à modifier les transformations avant d'effectuer une nouvelle exécution des données.

Modification des fichiers de configuration de projet dbt

Vous pouvez également ouvrir les fichiers de configuration de projet dbt dans l'éditeur de transformations de données, par exemple dbt_project.yml.

Avertissement :

Il est fortement conseillé de ne modifier que la section vars, si nécessaire. Les autres parties de dbt_project.yml ne doivent pas être modifiées pour garantir le bon fonctionnement des transformations.

Pour des informations détaillées sur dbt, consultez la documentation officielle de dbt.

Rendre les transformations disponibles dans les tableaux de bord

Pour que les modifications soient disponibles dans les tableaux de bord, vous devez démarrer une exécution de données complète pour charger les données et exécuter les transformations. Sélectionnez le bouton Appliquer aux tableaux de bord (Apply to dashboards) pour démarrer une analyse des données.

Remarque :

Selon la taille de votre ensemble de données, cela peut prendre un certain temps.

Après une exécution des données réussie, les nouvelles transformations deviennent disponibles dans l'éditeur de tableau de bord et peuvent être utilisées pour ajuster les tableaux de bord.

Attention :

Si vous disposez d'une version publiée de l'application de processus, les utilisateurs professionnels verront instantanément les nouvelles données. Si vous voulez vous assurer que votre application publiée continue de fonctionner correctement lors de la modification des transformations, il est fortement conseillé d'utiliser une application de développement.

Suivez ces étapes.

1. Clonez votre application pour créer une application de développement.

2. Modifiez et testez les transformations.

3. Exportez les transformations à partir de l'application de développement.

4. Importez les transformations dans votre application de processus publiée.