Modification des transformations de données dans un environnement local

Introduction

Lorsque vous créez une application de processus à partir d'un modèle d'application, vous voulez vous assurer que les données utilisées dans l'application de processus reflètent correctement votre processus métier. Avec les transformations de données, vous pouvez personnaliser les données utilisées pour Process Mining.

Les transformations de données vous permettent de :

• ajoutez de nouveaux champs pour group by et filters . Par exemple, Type de contrôle qualité.
• ajouter des événements. Par exemple, Contrôle qualité de la facture effectué.
• ajouter des balises. Par exemple, Échec du respect du SLA,Violation des quatre yeux.
• ajouter une logique métier pour le calcul des ICP. Par exemple, Case_has_maverick_buying .
• définir de nouveaux champs d'entrée pour les calculs.

Transformations de version

Actuellement, il n'y a pas de version du code de transformation dans le produit. Lorsque de nouvelles transformations sont importées, les précédentes sont écrasées. Il n'est pas possible de revenir à la version précédente des transformations.

Remarque : il est recommandé de conserver des copies locales des versions précédentes du code lors de toute modification. Pour suivre les modifications, les transformations sur votre machine locale peuvent être versionnées dans un système de contrôle de version tel que GIT ou SVN. De cette façon, vous pouvez revenir à une version précédente à l'aide du système de contrôle de version et importer ces transformations dans le produit si nécessaire.

Prérequis

Lorsque vous commencez à modifier des transformations de données, il est fortement recommandé de :

• avoir une connaissance approfondie de SQL ;
• connaissent le système source utilisé pour l’extraction des données.

Outils

Un éditeur de code est requis pour modifier les transformations de données. Visual Studio Code est l'éditeur de code recommandé pour la modification des transformations de données. Vous pouvez télécharger Visual Studio Code à partir de la page Web Télécharger le code Visual Studio.

Il est recommandé d'exécuter et de tester les transformations de données en dehors de Process Miningavant d'importer la transformation modifiée dans votre application de processus. Pour exécuter et tester les transformations de données, un environnement de test local est requis.

Voir Configuration d'un environnement de test local.

Customizing the transformations

Chaque application de processus a un ensemble de transformations de données correspondant. La personnalisation des transformations de données nécessite plusieurs étapes.

1. Exportez les transformations à partir de l'application de processus.

2. Ouvrez les transformations dans Visual Studio Code.

3. Exécutez les transformations*.

4. Modifiez les transformations.

5. Testez les transformations dans un environnement de test local.*

6. Importez et testez les transformations dans une application de processus de test dans Process Mining.

7. Importez les transformations dans l'application de processus.

* L'exécution et le test des transformations sur un environnement de test local sont des étapes facultatives.

1. Export the transformations from the process app

Suivez ces étapes pour exporter les transformations à partir de l'application de processus.

Étape	Action
1	Ouvrez le portail Process Mining.
2	Accédez à l'onglet Applications de processus et localisez l'application pour laquelle vous souhaitez exporter les transformations.
3	Cliquez sur dans la colonne Actions de l'application de processus pour laquelle vous souhaitez exporter les transformations et sélectionnez Exporter les transformations (Export transformations).

Les transformations sont exportées et téléchargées dans votre dossier de téléchargement par défaut en tant que fichier .zip .

2. Open the transformations in Visual Studio Code

Suivez ces étapes pour ouvrir les transformations dans Visual Studio Code.

Étape	Actions
1	Dans l'Explorateur Windows, créez un dossier pour les transformations exportées dans le dossier où se trouve votre environnement virtuel. Par exemple : C:\My_transformations\TemplateOne-MultiFiles.
2	Décompressez le fichier .zip des transformations exportées dans le dossier.

L'illustration suivante montre un exemple.

Étape	Action
3	Dans Visual Studio Code, accédez à Fichier -> Ouvrir le dossier... et sélectionnez le dossier qui contient les transformations décompressées.

L'illustration suivante montre un exemple.

Le projet dbt est interprété.

Date and time formats

Important :

Snowflake utilise des formats de date et d'heure différents de SQL Server. Si des variables de date et d'heure sont définies pour les transformations de votre application de processus, vous devez remplacer les formats de date et d'heure dans dbt_project.yml par le format requis par SQL Server. Avant de créer le fichier .zip avec les nouvelles transformations, vous devez rétablir les formats de date et d'heure au format requis par Snowflake.

Si les formats de date et d'heure ne sont pas définis dans votre fichier dbt_project.yml , les valeurs par défaut sont utilisées.

Pour SQL Server, les formats de date et d'heure sont définis par des entiers et pour Snowflake par des chaînes.

Vous trouverez ci-dessous un aperçu des différents formats (par défaut) pour SQL Server et Snowflake.

variable	Format SQL Server	Format flocon de neige
date_format	23	'YYYY-MM-DD'
time_format	14	'hh24:mi:ss.ff3'
datetime_format	21	'YYYY-MM-DD hh24:mi:ss.ff3'

Pour plus d'informations, consultez :

• La documentation officielle de Snowflake sur les formats de date et d'heure dans les conversions à l'aide de Snowflake.

• La documentation officielle de Microsoft SQL Server sur les conversions de date et d'heure à l'aide de SQL Server.

3. Run the transformations

Important : l'exécution des transformations n'est applicable que si vous souhaitez tester les transformations en dehors de Process Mining sur un environnement de test local.

Il est recommandé d'exécuter les transformations avant de commencer à modifier les transformations. Cela vous permet de vérifier si la configuration est correcte et si les données sont chargées correctement.

Avant de commencer

Pour exécuter les transformations, vous devez :

• créer un nouveau schéma de base de données pour l'application de processus. Vous pouvez le faire dans Microsoft SQL Server Management Studio. Suivez ces étapes.

  Étape	Action
  1	Dans l' Explorateur d'objets de Microsoft SQL Server Management Studio, accédez au dossier de votre base de données dans le dossier Bases de données.
  2	Cliquez avec le bouton droit sur Sécurité et sélectionnez Nouveau -> Schéma...

L'illustration suivante montre la fenêtre Authentification de SQL Server (SQL Server authentication).

Reportez-vous à la documentation officielle de Microsoft pour en savoir plus.

• chargez les données dans le nouveau schéma et assurez-vous que les tables d'entrée requises sont disponibles dans le schéma. Vous pouvez soit charger des données à l'aide d'un extracteur, soit charger des données directement à partir des fichiers .csv dans Microsoft SQL Server Management Studio. Suivez ces étapes

  Étape	Action
  1	Dans l' Explorateur d'objets de Microsoft SQL Server Management Studio, localisez votre base de données dans le dossier Bases de données.
  2	Cliquez avec le bouton droit sur le nom de votre base de données et sélectionnez Tâches -> Importer un fichier plat...

  Remarque : il est recommandé d'utiliser un petit ensemble de données pour tester les transformations de données. Plus le nombre d'enregistrements de l'ensemble de données est faible, plus les transformations seront exécutées rapidement.

Configurer Profiles.yml

Lorsque vous ouvrez un projet dbt dans Visual Studio Code pour la première fois, un message dbt s'affiche, indiquant que le profil correspondant à vos nouvelles transformations est introuvable. Voir l’illustration ci-dessous pour un exemple.

Remarque : si vous commencez à modifier des transformations, vous devez d'abord configurer un fichier profiles.yml connecté à votre base de données Microsoft SQL Server. Pour les nouvelles transformations, vous pouvez étendre le fichier profiles.yml en ajoutant une nouvelle entrée.

Vous trouverez ci-dessous un modèle pour le fichier profiles.yml , ou cliquez sur le lien pour télécharger le modèle : profiles.yml.

my-app-template:
  outputs:
    default:
      type: sqlserver
      driver: 'ODBC Driver 17 for SQL Server'
      server: 
      port: 
      user: 
      password: 
      database: 
      schema: 
      
  target: default

Étape	Action
1	Ouvrez un éditeur de texte. Par exemple, Bloc-notes++.
2	Copiez et collez le contenu du modèle ci-dessus.
3	Remplacez my-app-template par le nom de profile tel qu'affiché dans dbt_project.yml . Par exemple uipathTemplateOne. Voir l'illustration ci-dessous.
3	Modifiez le fichier, de sorte qu'il pointe vers le schéma qui vient d'être créé.
4	Enregistrez le fichier profiles.yml dans le dossier qui ne contient pas de projet dbt (voir la capture d'écran ci-dessous). Par exemple : C:\My_transformations.
5	Créez une variable d'environnement appelée DBT_PROFILES_DIR avec le chemin d'accès du dossier qui contient le fichier profiles.yml .

Remarque : par défaut, les données source sont stockées dans le schéma où les transformations s'exécutent. Si vos tables source se trouvent dans un schéma différent, vous pouvez définir ce schéma dans la variable schema_sources .

Consultez la documentation officielle de dbt pour plus d'informations sur la configuration de votre profil.

Running the transformations

Suivez ces étapes pour exécuter les transformations.

Étape	Action
1	Dans Visual Studio Code, cliquez avec le bouton droit sur le dossier models et sélectionnez Ouvrir dans un terminal intégré dans le menu contextuel.
2	Saisissez dbt build à l'invite de commande dans le terminal intégré.

4. Edit the transformations

Pour obtenir des instructions sur la modification de la transformation, consultez Modification des transformations et Conseils pour l'écriture de SQL.

5. Test the transformations on a local test environment

Important : Tester les transformations ne s'applique que si vous souhaitez tester les transformations en dehors de Process Mining sur un environnement de test local.

Suivez ces étapes pour tester les transformations.

Étape	Action
1	Entrez dbt build à l'invite de commande dans le terminal intégré de Visual Studio Code.
2	Vérifiez les données dans SQL Server Management Studio pour vérifier les valeurs. Cliquez avec le bouton droit sur une table et sélectionnez Sélectionner les 1000 premières lignes. Si nécessaire, modifiez la requête pour obtenir les résultats souhaités.

Modifiez et testez les transformations sur un environnement de test local jusqu'à ce que les transformations s'exécutent sans erreur et que les données soient correctes.

6. Import and test the transformations in a test process app in Process Mining

Il est fortement recommandé d'exécuter les nouvelles transformations dans une application de processus de test dans Process Mining avant d'importer les transformations dans l'application de processus d'origine. Étant donné que les transformations sont testées sur un environnement SQL Server local, des erreurs peuvent se produire lors de l'exécution des nouvelles transformations dans Snowflake.

Voir aussi 4. Modifier les transformations.

Important : Snowflake utilise des formats de date et d'heure différents de ceux de SQL Server. Si vous avez modifié les formats de date et d'heure dans dbt_project.yml pour tester les transformations SQL Server, vous devez rétablir les formats de date et d'heure au format requis par Snowflake avant de créer le fichier .zip avec les nouvelles transformations.

Suivez ces étapes pour importer et tester les transformations dans une application de processus de test dans Process Mining.

Étape	Action
1	Dans l'Explorateur Windows, accédez au dossier où sont stockées vos transformations Par exemple, C:\My_transformations\TemplateOne-MultiFiles et ajoutez les transformations à un nouveau fichier .zip .
2	Accédez au portail Process Mining et créez une nouvelle application de processus basée sur le même modèle d'application que votre application de processus.
3	Dans l’onglet Applications de processus ( Process apps ), localisez l’application de processus de test.
4	Cliquez sur dans la colonne Actions de l'application de processus pour laquelle vous souhaitez importer les transformations et sélectionnez Import transformations (Importer les transformations).
5	Sélectionnez le fichier .zip qui contient vos nouvelles transformations et cliquez sur OK.
6	Consultez les tableaux de bord pour voir si les données sont présentées correctement.

7. Import the transformations in the process app

Important :

Lorsque les transformations sont importées, les nouvelles transformations sont automatiquement exécutées. Cela affectera immédiatement les données affichées dans l'application de processus publiée. Il est fortement recommandé de tester les nouvelles transformations dans une application de processus de test distincte pour éviter toute erreur (voir Étape 4 : Importer et tester les transformations dans une application de processus de test dans Process Mining).

L'exécution d'une transformation erronée aura pour effet que l'application publiée ne sera pas visible pour les utilisateurs finaux.

Suivez ces étapes pour importer les transformations personnalisées dans l'application de processus.

Étape	Action
1	Ouvrez le portail Process Mining.
2	Accédez à l'onglet Applications de processus et localisez l'application pour laquelle vous souhaitez importer les transformations de données.
3	Remarque : si vous avez ajouté de nouvelles tables d'entrée ou de nouveaux champs d'entrée pour les tables existantes aux transformations de données, vous devez télécharger un nouvel ensemble de données avant d'importer les transformations de données. Cliquez sur dans la colonne Actions de l'application de processus pour laquelle vous souhaitez importer les transformations et sélectionnez Import transformations (Importer les transformations).

Les transformations sont importées et exécutées, et les nouvelles données sont affichées dans l'application de processus.