Editing data transformations

Affichage et modification de fichiers

Les fichiers SQL et les fichiers d'entrée sont affichés dans des onglets. Lorsque vous ouvrez un fichier SQL ou un fichier d'entrée, un nouvel onglet s'ouvre dans l'éditeur de transformations de données. Cela vous permet d'ouvrir et de travailler avec plusieurs fichiers simultanément. S'il y a des modifications non enregistrées dans un fichier SQL, cela est indiqué par un point bleu dans l'onglet.

Astuce :

Vous pouvez ouvrir un fichier dans un onglet ancré. Cela vous permet d'accéder rapidement aux fichiers sans avoir à les rouvrir à plusieurs reprises. Une fois qu'un fichier est épinglé, il reste visible dans l'éditeur même lorsque vous ouvrez d'autres fichiers.

Vous pouvez soit double-cliquer sur le fichier, soit sélectionner Épingler (Pin) dans le menu contextuel de l'onglet pour épingler un onglet.

Remarque : s'il y a des modifications non enregistrées dans le fichier SQL actuellement ouvert, ces modifications resteront dans leur propre onglet lorsque le nouveau fichier sera ouvert. Lorsqu'il n'y a pas de modifications non enregistrées, le nouveau fichier SQL est ouvert dans l'onglet actuellement affiché.

Fermeture des fichiers

Vous pouvez fermer rapidement l'onglet actuel, tous les onglets ou tous les autres onglets à partir du menu contextuel de l'onglet.

Cliquez avec le bouton droit sur un nom d'onglet pour ouvrir le menu contextuel de l'onglet.

Exécution des requêtes

Attention :

Run all and Run file are limited to one hour. Therefore, it is strongly recommended to use a small dataset for the development and testing of data transformations, to make sure your transformations do not exceed this time limit. Refer to Process Mining portal for more information.

Lorsque vous modifiez des transformations, vous pouvez sélectionner Exécuter tout (Run all ) pour tester vos modifications et voir un aperçu. Cette option exécute les requêtes qui ont été modifiées ainsi que toutes les requêtes associées. Par exemple, si cases_input.sql a été modifié. la commande Exécuter tout (Run all) exécuterait cases_input.sql et cases.sql, qui utilise les résultats de cases_input.sql.

Les données résultantes seront uniquement disponibles dans l'éditeur de transformations de données, pas dans l'éditeur de tableau de bord.

Il existe deux types d'exécutions :

• Exécuter tout (Run all) : démarre une exécution de données, en recalculant toutes les requêtes modifiées et leurs dépendances.

• Exécuter le fichier(Run file) : démarre une exécution pour recalculer uniquement le fichier SQL actuellement sélectionné et ses requêtes parent. Cette option vous permet de tester et de déboguer les personnalisations de fichiers SQL spécifiques.

Astuce :

Vous pouvez sélectionner Annuler l'exécution ( Cancel run ) à tout moment pour annuler l'exécution des transformations.

Les résultats sont affichés dans le panneau Aperçu (Preview).

Remarque :

Exécuter tout (Run all ) n'affecte pas les données dans l'application de processus publiée.

Affichage de SQL compilé

Vous pouvez afficher une version compilée du code SQL après avoir exécuté les requêtes en activant l'option d'activation/désactivation SQL compilé . Ceci est utile lors du débogage des erreurs SQL, car les numéros de ligne signalés correspondent aux numéros de ligne dans le SQL compilé.

Remarque :

Seuls les fichiers SQL qui viennent d'être exécutés afficheront la bascule SQL compilé (Compiled SQL) .

Ajout de dossiers et de fichiers

Vous pouvez créer de nouveaux dossiers et ajouter de nouveaux fichiers dans vos transformations.

Conventions d'affectation de noms

• Pour les noms de fichiers, dossiers, champs et tables :

  • vous ne pouvez utiliser que des caractères minuscules (az), des caractères majuscules (AZ) et des nombres (0-9) ;

  • vous ne pouvez pas utiliser les caractères spéciaux |*:?"<>\/ pour les noms de fichiers, de dossiers, de champs et de tables.
• Pour les noms de fichiers, vous ne pouvez utiliser que _:. comme caractères spéciaux.
• Un nom de fichier ne peut pas commencer par _ (point de soulignement).

Création d'un nouveau dossier ou fichier à partir du menu transformations

Suivez ces étapes pour créer un nouveau dossier ou fichier.

Étapes	Action
1	Accédez à l'emplacement dans les transformations où vous souhaitez ajouter un nouveau fichier ou dossier.
2	Accédez au panneau Transformations et sélectionnez le menu icône pour ouvrir le menu transformations.
3	Sélectionnez l'option applicable dans le menu.
4	Saisissez un nom descriptif pour le nouveau dossier ou fichier et sélectionnez Entrée.

Le nouveau dossier ou fichier est créé dans le dossier sélectionné.

Création d'un dossier ou d'un fichier à partir du menu contextuel

Suivez ces étapes pour créer un nouveau dossier ou fichier à partir du menu contextuel.

Étapes	Action
1	Ouvrir les actions supplémentaires menu du dossier dans les transformations auxquelles vous souhaitez ajouter un nouveau fichier ou dossier.
2	Sélectionnez l'option applicable dans le menu.
3	Saisissez un nom descriptif pour le nouveau dossier ou fichier et sélectionnez Entrée.

Le nouveau dossier ou fichier est créé dans le dossier sélectionné.

Modifications non enregistrées dans les fichiers

Lorsque vous modifiez un fichier .sql , un point bleu indique dans la structure du dossier Transformations qu'il y a des modifications non enregistrées.

Déplacer des fichiers

Vous pouvez facilement faire glisser et déposer des fichiers afin de les déplacer vers un dossier différent ou pour les réorganiser dans un dossier. Un message de confirmation s’affiche pour éviter les migrations accidentelles de fichiers.

Renommer un dossier ou un fichier

Suivez ces étapes pour créer un nouveau dossier ou fichier.

Étapes	Action
1	Ouvrir les actions supplémentaires du dossier ou du fichier que vous souhaitez renommer pour ouvrir le menu contextuel.
2	Sélectionnez Renommer.
3	Modifiez le nom comme vous le souhaitez et sélectionnez Entrée.

Le dossier ou le fichier est renommé.

Suppression d'un dossier ou d'un fichier

Suivez ces étapes pour créer un nouveau dossier ou fichier.

Étapes	Action
1	Ouvrir les actions supplémentaires du dossier ou du fichier que vous souhaitez supprimer pour ouvrir le menu contextuel.
2	Sélectionnez Supprimer (Delete). Un message de confirmation s’affiche.
3	Sélectionnez Supprimer ( Delete) pour confirmer la suppression.

Le dossier ou le fichier est supprimé.

Dupliquer un fichier

La duplication d’un fichier SQL vous permet de réutiliser vos requêtes et d’apporter des modifications sans avoir besoin de créer un fichier complètement nouveau. Il peut également vous aider à apporter des modifications à vos requêtes sans changer ou écraser les requêtes d’origine.

La duplication d'un fichier crée une copie du fichier d'origine dans le même dossier directement sous le fichier dupliqué.

Suivez ces étapes pour dupliquer un fichier SQL.

Étapes	Action
1	Ouvrir les actions supplémentaires du fichier que vous souhaitez dupliquer pour ouvrir le menu contextuel.
2	Sélectionnez Dupliquer. Le fichier dupliqué est inséré au même emplacement que le fichier d’origine.

Copier-coller un fichier

Vous pouvez copier un fichier SQL et le coller à un emplacement différent. Copier et coller un fichier SQL vous permet de réutiliser vos requêtes et d'y apporter des modifications sans avoir besoin de créer un fichier complètement nouveau.

Suivez ces étapes pour copier-coller un fichier SQL.

Étapes	Action
1	Ouvrir les actions supplémentaires le menu du fichier que vous souhaitez copier pour ouvrir le menu.
2	Sélectionnez Copier.
3	Ouvrir les actions supplémentaires menu, sélectionnez Coller (Paste) dans le menu. Le fichier copié est inséré.
4	Faites glisser et déposer le fichier pour le déplacer vers l'emplacement souhaité.

Rechercher/remplacer dans les fichiers

Dans l'éditeur Transformations de données (Data Transformations ), vous pouvez rechercher et remplacer du texte dans un seul fichier.

Rechercher un texte (Find Text)

Pour trouver du texte dans l'éditeur de transformation de données :

1. Cliquez sur un endroit aléatoire dans l'éditeur de code, ou sélectionnez le texte pour lequel vous souhaitez rechercher d'autres occurrences.

2. Appuyez sur CTRL+F.

3. Saisissez le test que vous souhaitez rechercher dans le champ Rechercher.

   Toutes les occurrences de texte dans le fichier actuel sont mises en surbrillance.

4. Sélectionnez ENTER pour passer à l'occurrence suivante.

Rechercher et remplacer

Pour trouver du texte dans l'éditeur de transformation de données :

1. Cliquez sur un endroit aléatoire dans l'éditeur de code, ou sélectionnez le texte pour lequel vous souhaitez rechercher d'autres occurrences.

2. Appuyez sur CTRL+H.

3. Saisissez le test que vous souhaitez rechercher dans le champ Rechercher (Find) et saisissez le nouveau test dans le champ Remplacer (Replace).

   Toutes les occurrences de texte dans le fichier actuel sont mises en surbrillance.

4. Sélectionnez ENTER pour remplacer le texte et passer à l'occurrence suivante.

Pour trouver du texte dans l'éditeur de transformation de données :

1. Cliquez sur l' éditeur de code.

2. Appuyez sur CTRL+H.

3. Saisissez le test que vous souhaitez rechercher dans le champ Rechercher (Find) et saisissez le nouveau test dans le champ Remplacer (Replace).

   Toutes les occurrences de texte dans le fichier actuel sont mises en surbrillance.

4. Appuyez sur Crtl+Alt+Enter.

Astuce :

Vous pouvez également utiliser les icônes Remplacer (Replace) ou Tout remplacer (Replace all).

Rechercher/remplacer dans plusieurs fichiers

Si vous souhaitez rechercher/remplacer des textes dans plusieurs fichiers, vous ne pouvez le faire que dans un éditeur externe.

Suivez ces étapes pour rechercher/remplacer des textes dans plusieurs fichiers :

1. Exportez les transformations à partir de votre application de processus.

2. Décompressez les transformations.

3. Ouvrez les transformations dans votre éditeur de code favori, par exemple, Notepad++ ou Visual Studio Code.

4. Utilisez la fonctionnalité de ces outils pour rechercher ou remplacer des textes dans plusieurs fichiers.

5. Enregistrez les fichiers.

6. Ajouter les fichiers de transformation à un fichier .zip .

7. Importez les transformations dans votre application de processus.

Remarque :

Lorsqu'il vous est demandé quelles données utiliser pour une exécution des données, sélectionnez Annuler (Cancel) si vous souhaitez continuer à modifier les transformations avant d'effectuer une nouvelle exécution des données.

Ajout de commentaires aux fichiers

Si vous souhaitez inclure des commentaires dans vos fichiers de transformation SQL ou commenter des parties de fichiers, il est fortement recommandé d'utiliser la syntaxe de commentaire jinja qui est définie par défaut sur {# ... #}. Cela vous permet également de commenter les macros.

SQL

{# {{ pm_utils.optional(ref('Cases_base'), '"Case_status"') }} as "Case_status", #}

{# case
    when {{ pm_utils.optional(ref('Cases_base'), '"Case_value"', 'double') }} >= 1000000 
      then {{ pm_utils.as_varchar('>= 1M') }}
    when {{ pm_utils.optional(ref('Cases_base'), '"Case_value"', 'double') }} >= 0 
     then {{ pm_utils.as_varchar('0 - 1M') }}
   when {{ pm_utils.optional(ref('Cases_base'), '"Case_value"', 'double') }} is not null
     then {{ pm_utils.as_varchar('< 0') }}
  end as "Case_value_group", #}

Modification des fichiers de configuration de projet dbt

Vous pouvez également ouvrir les fichiers de configuration de projet dbt dans l'éditeur de transformations de données, par exemple dbt_project.yml.

Avertissement :

Il est fortement conseillé de ne modifier que la section vars, si nécessaire. Les autres parties de dbt_project.yml ne doivent pas être modifiées pour garantir le bon fonctionnement des transformations.

Pour des informations détaillées sur dbt, consultez la documentation officielle de dbt.