Transformationen

Folder structure

Wichtig: Die Informationen auf dieser Seite gelten nur für App-Vorlagen, die Konfigurationsdateien für Fälligkeitsdaten und einen Ordner seeds\ haben.

Die Transformationen einer Prozess-App bestehen aus einem dbt -Projekt. In der folgenden Tabelle wird der Inhalt eines dbt -Projektordners beschrieben.

Ordner/Datei	Enthält
dbt_packages\	das pm_utils -Paket und seine Makros.
macros\	optionaler Ordner für benutzerdefinierte Makros
models\	.sql -Dateien, die die Transformationen definieren.
models\schema\	.yml -Dateien, die Tests für die Daten definieren.
seeds	.csv -Dateien mit Konfigurationseinstellungen.
dbt_project.yml	die Einstellungen des dbt-Projekts.

Hinweis:

Die App-Vorlagen für Ereignisprotokoll und benutzerdefinierten Prozess haben eine vereinfachte Datentransformationsstruktur. Prozess-Apps, die mit diesen App-Vorlagen erstellt wurden, haben nicht diese Ordnerstruktur.

dbt_project.yml

Die Datei dbt_project.yml enthält Einstellungen des dbt -Projekts, das Ihre Transformationen definiert. Der Abschnitt vars enthält Variablen, die in den Transformationen verwendet werden.

Datums-/Uhrzeitformat

Jede App-Vorlage enthält Variablen, die das Format für die Analyse von Datums-/Uhrzeitdaten bestimmen. Diese Variablen müssen angepasst werden, wenn die Eingabedaten ein anderes Datums-/Uhrzeitformat als erwartet haben.

Datentransformationen

Die Datentransformationen werden in .sql -Dateien im Verzeichnis models\ definiert. Die Datentransformationen sind in einem Standardsatz von Unterverzeichnissen organisiert.

Check out Structure of transformations for more information.

Die .sql -Dateien sind in Jinja SQL geschrieben, sodass Sie Jinja-Anweisungen in einfache SQL-Abfragen einfügen können. Wenn dbt alle .sql -Dateien ausführt, führt jede .sql -Datei zu einer neuen Ansicht oder Tabelle in der Datenbank.

In der Regel haben die .sql -Dateien die folgende Struktur: Select * from {{ ref('Table_A') }} Table_A.

Der folgende Code zeigt eine SQL-Beispielabfrage.

select
    tableA."Field_1" as "Alias_1",
    tableA."Field_2",
    tableA."Field_3"
from {{ ref('tableA') }} as tableA

Hinweis:

In einigen Fällen haben die .sql -Dateien bei Prozess-Apps, die mit früheren Versionen der App-Vorlagen erstellt wurden, die folgende Struktur:

1. With-Anweisungen: Eine oder mehrere with-Anweisungen zum Einschließen der erforderlichen Untertabellen.

   • {{ ref(‘My_table) }} verweist auf eine Tabelle, die durch eine andere SQL-Datei definiert ist Datei.
   • {{ source(var("schema_sources"), 'My_table') }} verweist auf eine Eingabetabelle.
2. Hauptabfrage: Die Abfrage, die die neue Tabelle definiert.
3. Letzte Abfrage: Normalerweise wird eine Abfrage wie Select * from table am Ende verwendet. Dadurch ist es einfach, während des Debuggens Unterauswahlen zu treffen.

   

For more tips on how to write transformations effectively, refer to Tips for writing SQL.

Adding source tables

When you upload a new input file, a new source table is automatically added in the models\schema\sources.yml in the dbt project. This way, other models can refer to it by using {{ source(var("schema_sources"), 'My_table') }}. Check outManaging input data for more information on how to configure input tables.

Die folgende Abbildung zeigt ein Beispiel.

Ausführliche Informationen finden Sie in der offiziellen dbt-Dokumentation zu Quellen.

Data output

Die Datenumwandlungen müssen das Datenmodell ausgeben, das von der entsprechenden App benötigt wird. jede erwartete Tabelle und jedes Feld muss vorhanden sein.

Wenn Sie Ihrer Prozess-App neue Felder hinzufügen möchten, können Sie diese Felder in den Transformationen hinzufügen.

Makros

Makros machen es einfach, gängige SQL-Konstruktionen wiederzuverwenden. Ausführliche Informationen finden Sie in der offiziellen dbt-Dokumentation zuJinja-Makros.

pm_utils

Das pm-utils -Paket enthält eine Reihe von Makros, die typischerweise in Process Mining-Transformationen verwendet werden. Weitere Informationen zu den pm_utils -Makros finden Sie unter ProcessMining-pm-utils.

Die folgende Abbildung zeigt ein Beispiel für Minja-Code, der das Makro pm_utils.optional() aufruft.

Samen

Seeds sind csv -Dateien, die verwendet werden, um Ihren Transformationen Datentabellen hinzuzufügen. Ausführliche Informationen finden Sie in der offiziellen dbt-Dokumentation zu Chinsisch-Samen.

In Process Miningwird dies normalerweise verwendet, um die Konfiguration von Zuordnungen in Ihren Transformationen zu vereinfachen.

Führen Sie nach der Bearbeitung der Startdateien die Datei aus, indem Sie Datei ausführen oder Alle ausführen auswählen, um die entsprechende Datentabelle zu aktualisieren.

Check out Activity Configuration: Defining activity order and Configuring fields for Automation potential for examples of using seeds files.

Tests

Der Ordner models\schema\ enthält einen Satz von .yml -Dateien, die Tests definieren. Diese validieren die Struktur und den Inhalt der erwarteten Daten. Ausführliche Informationen finden Sie in der offiziellen dbt-Dokumentation zu Tests.

Dbt-Projekte

Datentransformationen werden verwendet, um Eingabedaten in Daten umzuwandeln, die für Process Mining geeignet sind. Die Transformationen in Process Mining werden als dbt- Projekte geschrieben.

Auf diesen Seiten wird dbt eingeführt. Ausführliche Informationen finden Sie in der offiziellen dbt-Dokumentation.

pm-utils package

Process Mining- App-Vorlagen enthalten ein dbt- Paket namens pm_utils. Dieses pm-utils -Paket enthält Dienstprogrammfunktionen und Makros für Process Mining- dbt- Projekte. Weitere Informationen zu pm_utils finden Sie unter ProcessMining-pm-utils.

Aktualisieren der PM-utils-Version, die für Ihre App-Vorlage verwendet wird

UiPath® verbessert das pm-utils -Paket ständig durch neue Funktionen.

Wenn eine neue Version des pm-utils -Pakets veröffentlicht wird, wird Ihnen empfohlen, die in Ihren Transformationen verwendete Version zu aktualisieren, um sicherzustellen, dass Sie die neuesten Funktionen und Makros des pm-utils -Pakets nutzen.

Sie finden die Versionsnummer der neuesten Version des Pakets pm-utils im Bereich Versionen der ProcessMining -pm-utils.

Führen Sie die folgenden Schritte aus, um die pm-utils -Version in Ihren Transformationen zu aktualisieren.

1. Laden Sie den Quellcode (ZIP) aus der Version von pm-utils herunter.
2. Extrahieren Sie die zip -Datei, und benennen Sie den Ordner in pm_utils um.

3. Exportieren Sie Transformationen aus dem Inline- Datentransformations -Editor und extrahieren Sie die Dateien.

4. Ersetzen Sie den Ordner pm_utils aus den exportierten Transformationen durch den neuen Ordner pm_utils .

5. Zippen Sie die Inhalte der Transformationen erneut und importieren Sie sie in den Datentransformations- Editor.