Transformations

Structure des dossiers

Important :

Les informations de cette page s'appliquent uniquement aux modèles d'application qui ont des fichiers de configuration de dates d'échéance et un dossier seeds\ .

Les transformations d'une application de processus consistent en un projet dbt . Le tableau suivant décrit le contenu d'un dossier de projet dbt .

Dossier/Fichier	Contient
dbt_packages\	le package pm_utils et ses macros.
macros\	dossier facultatif pour les macros personnalisées
models\	.sql qui définissent les transformations.
models\schema\	.yml qui définissent des tests sur les données.
seeds	.csv avec les paramètres de configuration.
dbt_project.yml	les paramètres du projet dbt .

Remarque :

Les modèles d'application Journal des événements et Processus personnalisé ont une structure de transformation de données simplifiée. Les applications de processus créées avec ces modèles d'application n'ont pas cette structure de dossiers.

dbt_project.yml

Le fichier dbt_project.yml contient les paramètres du projet dbt qui définit vos transformations. La section vars contient des variables utilisées dans les transformations.

Format date/heure

Chaque modèle d'application contient des variables qui déterminent le format d'analyse des données de date/heure. Ces variables doivent être ajustées si les données d'entrée ont un format date/heure différent de celui prévu.

Transformations de données

Les transformations de données sont définies dans les fichiers .sql du répertoire models\ . Les transformations de données sont organisées dans un ensemble standard de sous-répertoires.

Consultez Structure des transformations pour plus d'informations.

The .sql files are written in Jinja SQL, which allows you to insert Jinja statements inside plain SQL queries. When dbt runs all .sql files, each .sql file results in a new view or table in the database.

En règle générale, les fichiers .sql ont la structure suivante : Select * from {{ ref('Table_A') }} Table_A.

Le code suivant montre un exemple de requête SQL.

select
    tableA."Field_1" as "Alias_1",
    tableA."Field_2",
    tableA."Field_3"
from {{ ref('tableA') }} as tableA

Remarque :

Dans certains cas, pour les applications de processus créées avec des versions antérieures des modèles d'application, les fichiers .sql ont la structure suivante :

1. Avec instructions: une ou plusieurs instructions avec des instructions pour inclure les sous-tables requises.

• {{ ref(‘My_table) }} fait référence à une table définie par un autre fichier .sql fichier.
• {{ source(var("schema_sources"), 'My_table') }} fait référence à une table d'entrée.

2. Requête principale: la requête qui définit la nouvelle table.

3. Requête finale: en général une requête comme Select * from table est utilisée à la fin. Cela facilite la sous-sélection lors du débogage.

   

Pour obtenir de plus amples conseils sur l'écriture efficace des transformations, consultez la section Conseils pour l'écriture de SQL.

Ajout de tables sources

Pour ajouter une nouvelle table source au projet dbt , elle doit être répertoriée dans models\schema\sources.yml. De cette façon, d'autres modèles peuvent s'y référer en utilisant {{ source(var("schema_sources"), 'My_table') }}. L'illustration suivante vous en fournit un exemple.

Important :

Each new source table must be listed in sources.yml.

Pour des informations plus détaillées, consultez la documentation officielle de dbt sur Sources.

Sortie de données

Les transformations de données doivent générer le modèle de données requis par l'application correspondante ; chaque table et chaque champ attendus doivent être présents.

Si vous souhaitez ajouter de nouveaux champs à votre application de processus, vous pouvez ajouter ces champs dans les transformations.

Avertissement d’obsolescence dbt

Les mises à jour de sécurité de Process Mining sur 2.2510 nécessitaient une mise à niveau vers une nouvelle version de dbt. Dans cette version, l'avertissement suivant d'obsolescence dbt peut apparaître lors de l'exécution d'une ingestion ou d'une exécution de données à partir de l'éditeur de transformations de données si vous utilisez une application de processus créée avec une version de Process Mining antérieure à 2024.10.6 :

[MissingArgumentsPropertyInGenericTestDeprecation]: Deprecated  functionality
Found top-level arguments to test `pm_utils.<function-name>`. Arguments to generic
tests should be nested under the `arguments` property.`

Remarque :

Pour les nouvelles applications de processus, ce message d'avertissement ne s'affichera pas. Cependant, l'avertissement peut toujours apparaître dans les applications de processus existantes. Dans de tels cas, assurez-vous que les arguments des tests sont spécifiés sous la nouvelle propriété arguments . Exemple : Ancienne version (obsolète) : affectation

- pm_utils.not_null:
severity: warn

Nouvelle (corrigée) : affectation

- pm_utils.not_null:
arguments:
severity: warn

Reportez-vous à la documentation officielle de dbt sur MissingArgumentsPropertyInGenericTestDeprecation ou plus d'informations et une description détaillée de la façon de résoudre ce problème.

Macros

Les macros facilitent la réutilisation des constructions SQL courantes. Pour des informations détaillées, consultez la documentation officielle de dbt sur les macros jinja.

pm_utils

Le package pm-utils contient un ensemble de macros qui sont généralement utilisées dans les transformations Process Mining. Pour plus d'informations sur les macros pm_utils , consultez ProcessMining-pm-utils.

L'illustration suivante montre un exemple de code jinja appelant la macro pm_utils.optional() .

Graines

Les référence sont des fichiers csv utilisés pour ajouter des tables de données à vos transformations. Pour des informations détaillées, consultez la documentation officielle de dbt sur les donnes jinja.

Dans Process Mining, elle est généralement utilisée pour faciliter la configuration des mappages dans vos transformations.

Après avoir modifié les fichiers de référence, exécutez le fichier en sélectionnant Exécuter le fichier ou Exécuter tout, pour mettre à jour la table de données correspondante.

Consultez Configuration de l'activité : Définition de l'ordre de l'activité et Simulation du potentiel d'automatisation pour obtenir des exemples d'utilisation de fichiers de référence.

Tests

Le dossier models\schema\ contient un ensemble de fichiers .yml qui définissent les tests. Ceux-ci valident la structure et le contenu des données attendues. Pour des informations détaillées, consultez la documentation officielle de dbt sur les tests.

Remarque :

When you edit transformations, make sure to update the tests accordingly. The tests can be removed if desired.

Projets dbt

Les Transformations de données sont utilisées pour transformer les données d'entrée en données adaptées à Process Mining. Les transformations dans Process Mining sont écrites sous forme de projets dbt .

Ces pages présentent une introduction à dbt. Pour des informations plus détaillées, consultez la documentation officielle de dbt.

pm-utils package

Les modèles d’application Process Mining sont fournis avec un package dbt appelé pm_utils. Ce package pm-utils contient des fonctions utilitaires et des macros pour les projets dbt Process Mining. Pour plus d'informations sur pm_utils , consultez ProcessMining-pm-utils.

Mise à jour de la version pm-utils utilisée pour votre modèle d'application

UiPath® améliore constamment le package pm-utils en ajoutant de nouvelles fonctions.

Lorsqu'une nouvelle version du paquet pm-utils est publiée, il est conseillé de mettre à jour la version utilisée dans vos transformations, pour vous assurer que vous utilisez les dernières fonctions et macros du paquet pm-utils .

Vous trouverez le numéro de version de la dernière version du package pm-utils dans le panneau Versions de ProcessMining-pm-utils.

Suivez ces étapes pour mettre à jour la version pm-utils dans vos transformations.

1. Téléchargez le code source (zip) à partir de la version pm-utils.
2. Extrayez le fichier zip et renommez-le dans le dossier pm_utils.
3. Exportez les transformations à partir de l'éditeur de transformations de données intégré et extrayez les fichiers.
4. Remplacez le dossier pm_utils des transformations exportées par le nouveau dossier pm_utils .
5. Compressez à nouveau le contenu des transformations et importez-les dans l' éditeur de transformations de données .