Modification des transformations de données dans un environnement local

Introduction

Remarque :

Il est fortement recommandé de personnaliser les transformations de données depuis Process Mining à l'aide de l'éditeur de transformations de données . Consultez Transformations de données pour plus d'informations sur la personnalisation des transformations de données dans Process Mining.

Cette page explique comment personnaliser les transformations de données en dehors de Process Mining.

Lorsque vous créez une application de processus à partir d'un modèle d'application, vous voulez vous assurer que les données utilisées dans l'application de processus reflètent correctement votre processus métier. Grâce aux Transformations de données, vous pouvez personnaliser les données utilisées pour Process Mining.

Les transformations de données vous permettent de :

• ajouter de nouveaux champs pour le regroupement et les filtres. Par exemple, Type de Contrôle qualité.
• add events. For example, Invoice quality check done.
• ajouter des balises. Par exemple, Échec de la réalisation des objectifs SLA, Violation des quatre yeux.
• ajouter une logique métier pour calculer les ICP. Par exemple, Case_has_maverick_acheting.
• définir de nouveaux champs d'entrée pour les calculs.

Éditeur de transformations de données

Vous pouvez soit personnaliser les transformations depuis Process Mining avec Transformations de données, soit exporter les transformations à partir de Process Mining et les modifier et les tester à l'aide d'un environnement de test local.

Remarque :

La modification des transformations à l'aide de l'éditeur Data Transformations dans Process Mining ne nécessite pas d'environnement de développement local.

Transformations de contrôle de version

Actuellement, il n'y a pas de version du code de transformation dans le produit. Lorsque de nouvelles transformations sont importées, les précédentes sont écrasées. Il n'est pas possible de revenir à la version précédente des transformations.

Remarque :

Il est recommandé de conserver des copies locales des versions précédentes du code lors de la modification. Pour suivre les modifications, les transformations sur votre machine locale peuvent être versionnées dans un système de gestion des versions tel que GIT ou SVN. De cette façon, vous pouvez revenir à une version précédente à l'aide du système de contrôle des versions et importer ces transformations dans le produit si nécessaire.

Prérequis

Lorsque vous commencez à modifier des transformations de données, il est fortement recommandé de :

• avoir une connaissance approfondie de SQL ;
• connaissent le système source utilisé pour l’extraction des données.

Autorisations

Vous avez besoin de l'autorisation Modifier les transformations pour l'application de processus pour personnaliser les transformations de données.

Consultez Gérer les accès pour les applications de processus.

Outils

Un éditeur de code est requis pour modifier les transformations de données. Visual Studio Code est l'éditeur de code recommandé pour la modification des transformations de données. Vous pouvez télécharger Visual Studio Code à partir de la page Web Télécharger le code Visual Studio.

It is recommended to run and test the data transformations outside Process Mining, before you import the edited transformation in your process app. To run and test the data transformations, a local test environment is required.

Consultez Configuration d'un environnement de test local.

Customizing the transformations

Chaque application de processus a un ensemble de transformations de données correspondant. La personnalisation des transformations de données nécessite plusieurs étapes.

1. Exportez les transformations à partir de l'application de processus.
2. Ouvrez les transformations dans Visual Studio Code.
3. Exécutez les transformations*.
4. Modifiez les transformations.
5. Testez les transformations dans un environnement de test local.*
6. Importez et testez les transformations dans une application de processus de test dans Process Mining.
7. Importez les transformations dans l'application de processus.

• L'exécution et le test des transformations sur un environnement de test local constituent des étapes facultatives.

1. Exporter les transformations à partir de l'application de processus

Reportez-vous à la section Exportation des transformations.

2. Open the transformations in Visual Studio Code

Suivez ces étapes pour ouvrir les transformations dans Visual Studio Code.

Étape	Actions
1	Dans l'explorateur Windows, créez un dossier pour les transformations exportées dans le dossier où se trouve votre environnement virtuel. Par exemple : C:\My_transformations\TemplateOne-MultiFiles.
2	Décompressez le fichier .zip des transformations exportées dans le dossier.

L'illustration suivante montre un exemple.

Étape	Action
3	In Visual Studio Code, go to File -> Open Folder... and select the folder that contains the unzipped transformations.

L'illustration suivante montre un exemple.

The dbt project is interpreted.

Date and time formats

Important :

Snowflake utilise des formats de date et d'heure différents de ceux de SQL Server. Si des variables de date et d'heure sont définies pour les transformations de votre application de processus, vous devez modifier les formats de date et d'heure dans dbt_project.yml au format requis par SQL Server. Avant de créer le fichier .zip avec les nouvelles transformations, vous devez modifier les formats de date et d'heure au format requis par Snowflake. Si les formats de date et d'heure ne sont pas définis dans votre fichier dbt_project.yml , les valeurs par défaut sont utilisées. Pour SQL Server, les formats de date et d'heure sont définis par des entiers et pour Snowflake, défini par des chaînes.

Le tableau suivant décrit les différents formats (par défaut) pour SQL Server et Snowflake.

variable	Format SQL Server	Format flocon de neige
date_format	23	'YYYY-MM-DD'
time_format	14	'hh24:mi:ss.ff3'
datetime_format	21	'YYYY-MM-DD hh24:mi:ss.ff3'

Pour plus d'informations, consultez :

• La documentation officielle de Snowflake sur les Formats de date et d’heure dans les conversions utilisant Snowflake.
• La documentation officielle de Microsoft SQL Server sur les conversions de date et d'heure à l'aide de SQL Server

3. Run the transformations

Important :

Running the transformations is only applicable if you want to test the transformations outside Process Mining on a local test environment.

Il est recommandé d'exécuter les transformations avant de commencer à modifier les transformations. Cela vous permet de vérifier si la configuration est correcte et si les données sont chargées correctement.

Avant de commencer

Pour exécuter les transformations, vous devez :

• créer un nouveau schéma de base de données pour l'application de processus. Vous pouvez le faire dans Microsoft SQL Server Management Studio. Suivez ces étapes.

  Étape	Action
  1	In the Object Explorer in Microsoft SQL Server Management Studio, go the folder of your database in the Databases folder.
  2	Right-click on Security and select New -> Schema...

L'illustration suivante montre la fenêtre Authentification de SQL Server (SQL Server authentication).

Reportez-vous à la documentation officielle de Microsoft pour en savoir plus.

• chargez les données dans le nouveau schéma et assurez-vous que les tables d'entrée requises sont disponibles dans le schéma. Vous pouvez soit charger des données à l'aide d'un extracteur, soit charger des données directement à partir des fichiers .csv dans Microsoft SQL Server Management Studio. Suivez ces étapes

  Étape	Action
  1	In the Object Explorer in Microsoft SQL Server Management Studio, locate your database in the Databases folder.
  2	Right-click on the name of your database and select Tasks -> Import Flat File...

  Remarque :

  It is recommended to use a small dataset for testing data transformations. The lower the record count of the dataset, the faster transformations will be executed.

Configurer Profiles.yml

Lorsque vous ouvrez un projet dbt dans Visual Studio Code pour la première fois, un message dbt s'affiche, indiquant que le profil correspondant à vos nouvelles transformations est introuvable. L'illustration suivante vous en fournit un exemple.

Remarque :

If you start editing transformations, you must first set up a profiles.yml file that is connected to your Microsoft SQL Server database. For new transformations, you can extend the profiles.yml file by adding a new entry.

Le bloc de code suivant contient un modèle pour le fichier profiles.yml , ou cliquez sur le lien pour télécharger le modèle : profile.yml.

my-app-template:
  outputs:
    default:
      type: sqlserver
      driver: 'ODBC Driver 17 for SQL Server'
      server: 
      port: 
      user: 
      password: 
      database: 
      schema: 
      encrypt:
      trust_cert:
      
  target: default

Étape	Action
1	Ouvrez un éditeur de texte. Par exemple, Bloc-notes++.
2	Copiez et collez le contenu du modèle ci-dessus.
3	Remplacez my-app-template par le nom profile tel qu'affiché dans le dbt_project.yml. Par exemple : uipathTemplateOne.
3	Modifiez le fichier, de sorte qu'il pointe vers le schéma qui vient d'être créé.
4	Enregistrez le fichier profiles.yml dans le dossier qui ne contient pas de projet dbt Par exemple, C:\My_transformations.
5	Créez une variable d'environnement appelée DBT_PROFILES_DIR avec le chemin d'accès du dossier qui contient le fichier profiles.yml .

Remarque :

By default, the source data is stored in the schema where the transformations run. If your source tables are in a different schema, you can define this schema in the schema_sources variable.

Reportez-vous à la documentation officielle de dbt pour plus d'informations sur la configuration de votre profil.

Running the transformations

Suivez ces étapes pour exécuter les transformations.

Étape	Action
1	In Visual Studio Code, right-click on the models folder and select Open in Integrated Terminal from the context menu.
2	Saisissez dbt build à l'invite de commande dans le terminal intégré.

4. Edit the transformations

Pour obtenir des instructions sur la modification de la transformation, reportez-vous aux sections Transformations et Conseils pour l'écriture de SQL.

5. Test the transformations on a local test environment

Important :

Test the transformations is only applicable if you want to test the transformations outside Process Mining on a local test environment.

Suivez ces étapes pour tester les transformations.

Étape	Action
1	Entrez dbt build à l'invite de commande dans le terminal intégré de Visual Studio Code.
2	Vérifiez les données dans SQL Server Management Studio pour vérifier les valeurs. Cliquez avec le bouton droit sur une table et sélectionnez Sélectionner les 1000 premières lignes . Si nécessaire, modifiez la requête pour obtenir les résultats souhaités.

Modifiez et testez les transformations sur un environnement de test local jusqu'à ce que les transformations s'exécutent sans erreur et que les données soient correctes.

6. Importation et test des transformations dans une application de processus de test dans Process Mining

Il est fortement recommandé d'exécuter les nouvelles transformations dans une application de processus de test dans Process Mining avant d'importer les transformations dans l'application de processus d'origine. Étant donné que les transformations sont testées sur un environnement SQL Server local, des erreurs peuvent se produire lors de l'exécution des nouvelles transformations dans Process Mining.

Consultez 4. Modifier les transformations.

Important :

Snowflake uses a different date and time formats than SQL Server. If you have changed the date and time formats in dbt_project.yml to to test the transformations SQL Server you must change the date and time formats back to the format required by Snowflake, before you create the .zip file with the new transformations.

Follow these steps to import and test the transformations in a test process app in Process Mining.

Étape	Action
1	Dans l'explorateur Windows, accédez au dossier où vos transformations sont stockées Par exemple, C:\My_transformations\TemplateOne-MultiFiles et ajoutez les transformations à un nouveau fichier .zip .
2	Accédez au portail Process Mining et créez une nouvelle application de processus basée sur le même modèle d'application que votre application de processus.
3	Importez les transformations dans l'application de processus de test.
4	Consultez les tableaux de bord pour voir si les données sont présentées correctement.

7. Importer les transformations dans l'application de processus

Important :

Lorsque les transformations sont importées, les nouvelles transformations sont automatiquement exécutées. Cela affectera immédiatement les données affichées dans l'application de processus publiée. Il est fortement recommandé de tester les nouvelles transformations dans une application de processus de test distincte afin d'éviter toute erreur (reportez-vous à l'étape 6 : Importez et testez les transformations dans une application de processus de test dans Process Mining). L'exécution d'une transformation erronée aura pour effet que l'application publiée ne sera pas visible par les utilisateurs finaux.

Consultez Importation des transformations.