Modification des transformations de données dans un environnement local

Introduction

Lorsque vous créez une application de processus à partir d'un modèle d'application, vous voulez vous assurer que les données utilisées dans l'application de processus reflètent correctement votre processus métier. Grâce aux Transformations de données, vous pouvez personnaliser les données utilisées pour Process Mining.

Les transformations de données vous permettent de :

• add new fields for group by and filters. For example, Quality check type.
• add events. For example, Invoice quality check done.
• ajouter des balises. Par exemple, Échec de la réalisation des objectifs SLA, Violation des quatre yeux.
• ajouter une logique métier pour le calcul des ICP. Par exemple, Case_has_maverick_buying .
• définir de nouveaux champs d'entrée pour les calculs.

Transformations de version

Actuellement, il n'y a pas de version du code de transformation dans le produit. Lorsque de nouvelles transformations sont importées, les précédentes sont écrasées. Il n'est pas possible de revenir à la version précédente des transformations.

Remarque :

Il est recommandé de conserver des copies locales des versions précédentes du code lors de la modification. Pour suivre les modifications, les transformations sur votre machine locale peuvent être versionnées dans un système de gestion des versions tel que GIT ou SVN. De cette façon, vous pouvez revenir à une version précédente à l'aide du système de contrôle des versions et importer ces transformations dans le produit si nécessaire.

Prérequis

Lorsque vous commencez à modifier des transformations de données, il est fortement recommandé de :

• avoir une connaissance approfondie de SQL ;
• connaissent le système source utilisé pour l’extraction des données.

Outils

Un éditeur de code est requis pour modifier les transformations de données. Visual Studio Code est l'éditeur de code recommandé pour la modification des transformations de données. Vous pouvez télécharger Visual Studio Code à partir de la page Web Télécharger le code Visual Studio.

It is recommended to run and test the data transformations outside Process Mining, before you import the edited transformation in your process app. To run and test the data transformations, a local test environment is required.

Voir Configuration d'un environnement de test local.

Customizing the transformations

Chaque application de processus a un ensemble de transformations de données correspondant. La personnalisation des transformations de données nécessite plusieurs étapes.

1. Exportez les transformations à partir de l'application de processus.
2. Ouvrez les transformations dans Visual Studio Code.
3. Exécutez les transformations*.
4. Modifiez les transformations.
5. Testez les transformations dans un environnement de test local.*
6. Importez et testez les transformations dans une application de processus de test dans Process Mining.
7. Importez les transformations dans l'application de processus.

• L'exécution et le test des transformations sur un environnement de test local constituent des étapes facultatives.

1. Export the transformations from the process app

Suivez ces étapes pour exporter les transformations à partir de l'application de processus.

Étape	Action
1	Ouvrez le portail Process Mining.
2	Go to the Process apps tab and locate the app for which you want to export the transformations.
3	Cliquez sur dans la colonne Actions de l'application de processus pour laquelle vous souhaitez exporter les transformations et sélectionnez Exporter les transformations (Export transformations).

Les transformations sont exportées et téléchargées dans votre dossier de téléchargement par défaut en tant que fichier .zip .

2. Open the transformations in Visual Studio Code

Suivez ces étapes pour ouvrir les transformations dans Visual Studio Code.

Étape	Actions
1	Dans l'Explorateur Windows, créez un dossier pour les transformations exportées dans le dossier où se trouve votre environnement virtuel. Par exemple : C:\My_transformations\TemplateOne-MultiFiles.
2	Décompressez le fichier .zip des transformations exportées dans le dossier.

L'illustration suivante montre un exemple.

Étape	Action
3	In Visual Studio Code, go to File -> Open Folder... and select the folder that contains the unzipped transformations.

L'illustration suivante montre un exemple.

The dbt project is interpreted.

Date and time formats

Important :

Snowflake utilise des formats de date et d'heure différents de SQL Server. Si des variables de date et d'heure sont définies pour les transformations de votre application de processus, vous devez remplacer les formats de date et d'heure dans dbt_project.yml par le format requis par SQL Server. Avant de créer le fichier .zip avec les nouvelles transformations, vous devez rétablir les formats de date et d'heure au format requis par Snowflake.

Si les formats de date et d'heure ne sont pas définis dans votre fichier dbt_project.yml , les valeurs par défaut sont utilisées.

Pour SQL Server, les formats de date et d'heure sont définis par des entiers et pour Snowflake par des chaînes.

Le tableau suivant décrit les différents formats (par défaut) pour SQL Server et Snowflake.

variable	Format SQL Server	Format flocon de neige
date_format	23	'YYYY-MM-DD'
time_format	14	'hh24:mi:ss.ff3'
datetime_format	21	'YYYY-MM-DD hh24:mi:ss.ff3'

Pour plus d'informations, consultez :

• La documentation officielle de Snowflake sur les Formats de date et d’heure dans les conversions utilisant Snowflake.
• La documentation officielle de Microsoft SQL Server sur les conversions de date et d'heure à l'aide de SQL Server

3. Run the transformations

Important :

Running the transformations is only applicable if you want to test the transformations outside Process Mining on a local test environment.

Il est recommandé d'exécuter les transformations avant de commencer à modifier les transformations. Cela vous permet de vérifier si la configuration est correcte et si les données sont chargées correctement.

Avant de commencer

Pour exécuter les transformations, vous devez :

• créer un nouveau schéma de base de données pour l'application de processus. Vous pouvez le faire dans Microsoft SQL Server Management Studio. Suivez ces étapes.

  Étape	Action
  1	In the Object Explorer in Microsoft SQL Server Management Studio, go the folder of your database in the Databases folder.
  2	Right-click on Security and select New -> Schema...

L'illustration suivante montre la fenêtre Authentification de SQL Server (SQL Server authentication).

Reportez-vous à la documentation officielle de Microsoft pour en savoir plus.

• chargez les données dans le nouveau schéma et assurez-vous que les tables d'entrée requises sont disponibles dans le schéma. Vous pouvez soit charger des données à l'aide d'un extracteur, soit charger des données directement à partir des fichiers .csv dans Microsoft SQL Server Management Studio. Suivez ces étapes

  Étape	Action
  1	In the Object Explorer in Microsoft SQL Server Management Studio, locate your database in the Databases folder.
  2	Right-click on the name of your database and select Tasks -> Import Flat File...

  Remarque :

  It is recommended to use a small dataset for testing data transformations. The lower the record count of the dataset, the faster transformations will be executed.

Configurer Profiles.yml

When you open a dbt project in Visual Studio Code for the first time, a dbt message is displayed, indicating that the profile corresponding to your new transformations cannot be found. See the illustration below for an example.

Remarque :

If you start editing transformations, you must first set up a profiles.yml file that is connected to your Microsoft SQL Server database. For new transformations, you can extend the profiles.yml file by adding a new entry.

Vous trouverez ci-dessous un modèle pour le fichier profiles.yml , ou cliquez sur le lien pour télécharger le modèle: profils.yml.

my-app-template:
  outputs:
    default:
      type: sqlserver
      driver: 'ODBC Driver 17 for SQL Server'
      server:
      port:
      user:
      password:
      database:
      schema:

  target: default

Étape	Action
1	Ouvrez un éditeur de texte. Par exemple, Bloc-notes++.
2	Copiez et collez le contenu du modèle ci-dessus.
3	Remplacez my-app-template par le nom de profile tel qu'affiché dans dbt_project.yml . Par exemple uipathTemplateOne. Voir l'illustration ci-dessous.
3	Modifiez le fichier, de sorte qu'il pointe vers le schéma qui vient d'être créé.
4	Enregistrez le fichier profiles.yml dans le dossier qui ne contient pas de projet dbt (voir la capture d'écran ci-dessous). Par exemple : C:\My_transformations.
5	Créez une variable d'environnement appelée DBT_PROFILES_DIR avec le chemin d'accès du dossier qui contient le fichier profiles.yml .

Remarque :

By default, the source data is stored in the schema where the transformations run. If your source tables are in a different schema, you can define this schema in the schema_sources variable.

Consultez la documentation officielle de dbt pour plus d'informations sur la configuration de votre profil.

Running the transformations

Suivez ces étapes pour exécuter les transformations.

Étape	Action
1	In Visual Studio Code, right-click on the models folder and select Open in Integrated Terminal from the context menu.
2	Saisissez dbt build à l'invite de commande dans le terminal intégré.

4. Edit the transformations

Pour obtenir des instructions sur la modification de la transformation, reportez-vous à Modification des transformations et Conseils pour l'écriture de SQL.

5. Test the transformations on a local test environment

Important :

Test the transformations is only applicable if you want to test the transformations outside Process Mining on a local test environment.

Suivez ces étapes pour tester les transformations.

Étape	Action
1	Entrez dbt build à l'invite de commande dans le terminal intégré de Visual Studio Code.
2	Vérifiez les données dans SQL Server Management Studio pour vérifier les valeurs. Right-click on a table and select Select top 1000 rows. Si nécessaire, modifiez la requête pour obtenir les résultats souhaités.

Modifiez et testez les transformations sur un environnement de test local jusqu'à ce que les transformations s'exécutent sans erreur et que les données soient correctes.

6. Import and test the transformations in a test process app in Process Mining

It is strongly recommended to run the new transformations in a test process app in Process Mining before importing the transformations in the original process app. Since the transformations are tested on a local SQL Server environment, errors may occur when running the new transformations in Snowflake.

Voir aussi 4. Modifier les transformations.

Important :

Snowflake uses a different date and time formats than SQL Server. If you have changed the date and time formats in dbt_project.yml to to test the transformations SQL Server you must change the date and time formats back to the format required by Snowflake, before you create the .zip file with the new transformations.

Follow these steps to import and test the transformations in a test process app in Process Mining.

Étape	Action
1	Dans l'Explorateur Windows, accédez au dossier où sont stockées vos transformations Par exemple, C:\My_transformations\TemplateOne-MultiFiles et ajoutez les transformations à un nouveau fichier .zip .
2	Accédez au portail Process Mining et créez une nouvelle application de processus basée sur le même modèle d'application que votre application de processus.
3	On the Process apps tab and locate the test process app.
4	Cliquez sur dans la colonne Actions de l'application de processus pour laquelle vous souhaitez importer les transformations et sélectionnez Import transformations (Importer les transformations).
5	Select the .zip file that contains your new transformations, and click on OK.
6	Consultez les tableaux de bord pour voir si les données sont présentées correctement.

7. Import the transformations in the process app

Important :

Lorsque les transformations sont importées, les nouvelles transformations sont automatiquement exécutées. Cela affectera immédiatement les données affichées dans l'application de processus publiée. Il est fortement recommandé de tester les nouvelles transformations dans une application de processus de test distincte pour éviter toute erreur (voir Étape 4 : Importer et tester les transformations dans une application de processus de test dans Process Mining).

L'exécution d'une transformation erronée aura pour effet que l'application publiée ne sera pas visible pour les utilisateurs finaux.

Suivez ces étapes pour importer les transformations personnalisées dans l'application de processus.

Étape	Action
1	Ouvrez le portail Process Mining.
2	Go to the Process apps tab and locate the app for which you want to import the data transformations.
3	Si vous avez ajouté de nouvelles tables d’entrée ou de nouveaux champs d’entrée pour les tables existantes aux transformations de données, vous devez télécharger un nouvel ensemble de données avant d’importer les transformations de données. Cliquez sur dans la colonne Actions de l'application de processus pour laquelle vous souhaitez importer les transformations et sélectionnez Import transformations (Importer les transformations).

Les transformations sont importées et exécutées, et les nouvelles données sont affichées dans l'application de processus.