Editing transformations

Dbt-Projekte

Datentransformationen werden verwendet, um Eingabedaten in Daten umzuwandeln, die für Process Mining geeignet sind . Die Transformationen in Process Mining werden als dbt -Projekte geschrieben.

Auf dieser Seite wird eine Einführung in dbt angezeigt. Ausführliche Informationen finden Sie in der offiziellen dbt-Dokumentation.

pm-utils package

Process Mining- App-Vorlagen enthalten ein dbt- Paket mit dem Namen pm_utils. Dieses pm-utils -Paket enthält Dienstprogrammfunktionen und Makros für Process Mining- dbt- Projekte. Weitere Informationen zu pm_utils finden Sie unter ProcessMining-pm-utils.

Aktualisieren der PM-utils-Version, die für Ihre App-Vorlage verwendet wird

UiPath® verbessert das pm-utils -Paket ständig, indem neue Funktionen hinzugefügt werden.

Wenn eine neue Version des pm-utils -Pakets veröffentlicht wird, wird Ihnen empfohlen, die in Ihren Transformationen verwendete Version zu aktualisieren, um sicherzustellen, dass Sie die neuesten Funktionen und Makros des pm-utils -Pakets nutzen.

Sie finden die Versionsnummer der neuesten Version des pm-utils -Pakets im Bereich Versionen von ProcessMining-pm-utils.

Führen Sie die folgenden Schritte aus, um die pm-utils -Version in Ihren Transformationen zu aktualisieren.

1. Laden Sie den Quellcode (ZIP) aus der Version von pm-utils herunter.
2. Extrahieren Sie die Datei zip und benennen Sie den Ordner in pm_utils um.
3. Exportieren Sie Transformationen aus dem Inline- Datentransformations -Editor und extrahieren Sie die Dateien.
4. Ersetzen Sie den Ordner pm_utils aus den exportierten Transformationen durch den neuen Ordner pm_utils .
5. Zippen Sie die Inhalte der Transformationen erneut und importieren Sie sie in den Datentransformations- Editor.

Ordnerstruktur

The transformations of a process app consist of a dbt project. Below is a description of the contents of a dbt project folder.

Ordner/Datei	Enthält
dbt_packages\	das pm_utils -Paket und seine Makros.
logs\	logs created when running dbt.
macros\	benutzerdefinierte Makros.
models\	.sql die Transformationen definieren.
models\schema\	.yml die Tests für die Daten definieren.
seed	.csv Dateien mit Konfigurationseinstellungen.
dbt_project.yml	Die Einstellungen des dbt-Projekts.

Siehe Abbildung unten.

Datentransformationen

Die Datenumwandlungen sind in .sql -Dateien im Verzeichnis models\ definiert. Die Datenumwandlungen sind in einem Standardsatz von Unterverzeichnissen organisiert:

• 1_input,
• 2_objects,
• 3_events,
• 4_event_logs,
• 5_business_logic.

Sehen Sie sich die Struktur von Transformationen an.

The .sql files are written in Jinja SQL, which allows you to insert Jinja statements inside plain SQL queries. When dbt runs all .sql files, each .sql file results in a new view or table in the database.

Normalerweise haben die .sql -Dateien die folgende Struktur:

1. Mit Anweisungen: Eine oder mehrere mit Anweisungen, die die erforderlichen Untertabellen enthalten sollen.

   • {{ ref(‘My_table) }} verweist auf eine Tabelle, die durch eine andere SQL-Datei definiert ist Datei.
   • {{ source(var("schema_sources"), 'My_table') }} verweist auf eine Eingabetabelle.

2. Hauptabfrage: Die Abfrage, die die neue Tabelle definiert.

3. Letzte Abfrage: In der Regel wird am Ende eine Abfrage wie Select * from table verwendet. Dies erleichtert das Treffen von Unterauswahlen beim Debuggen.

   

Weitere Tipps zum effektiven Schreiben von Transformationen finden Sie unter Tipps zum Schreiben von SQL

Hinzufügen von Quelltabellen

To add a new source table to the dbt project, it must be listed in models\schema\sources.yml. This way, other models can refer to it by using {{ source(var("schema_sources"), 'My_table_raw') }}. See the illustration below for an example.

Wichtig:

Each new source table must be listed in sources.yml.

Hinweis:

Das Suffix _raw wird beim Laden von Daten den Namen der Quelltabellentabelle hinzugefügt. Beispielsweise sollte eine Tabelle mit dem Namen „my_table“ als „my_table_raw“ bezeichnet werden.

Ausführliche Informationen finden Sie in der offiziellen dbt-Dokumentation zu Sources.

Datenausgabe

Die Datenumwandlungen müssen das Datenmodell ausgeben, das von der entsprechenden App benötigt wird. jede erwartete Tabelle und jedes Feld muss vorhanden sein.

Praktisch bedeutet dies, dass die Tabellen in models\5_business_logic nicht gelöscht werden sollten. Außerdem sollten die Ausgabefelder in den entsprechenden Abfragen nicht entfernt werden.

Wenn Sie Ihrer Prozess-App neue Felder hinzufügen möchten, können Sie die benutzerdefinierten Felder verwenden, die für die Prozess-App verfügbar sind. Ordnen Sie die Felder in den Transformationen den benutzerdefinierten Feldern zu, damit sie in der Ausgabe verfügbar sind. Stellen Sie sicher, dass die benutzerdefinierten Felder in der Ausgabe wie im Datenmodell der Prozess-App beschrieben benannt sind.

Tipp:

Sie können die dbt docs-Befehle verwenden, um eine Dokumentationsseite für Ihr dbt-Projekt zu generieren und in Ihrem Standardbrowser zu öffnen. Die Dokumentationsseite enthält auch ein Herkunftsdiagramm, das ein Entitätsbeziehungsdiagramm mit einer grafischen Darstellung der Verknüpfungen zwischen den einzelnen Datentabellen in Ihrem Projekt bietet.

Ausführliche Informationen finden Sie in der offiziellen dbt-Dokumentation auf dbt docs.

Makros

Makros machen die Wiederverwendung gängiger SQL-Konstruktionen einfach. Ausführliche Informationen finden Sie in der offiziellen dbt-Dokumentation zu Chinja-Makros.

pm_utils

Das pm-utils -Paket enthält eine Reihe von Makros, die typischerweise in Process Mining-Transformationen verwendet werden. Weitere Informationen zu den pm_utils -Makros finden Sie unter ProcessMining-pm-utils.

Die folgende Abbildung zeigt ein Beispiel für Minja-Code, der das Makro pm_utils.optional() aufruft.

Samen

Startdaten sind csv -Dateien, die verwendet werden, um Datentabellen zu Ihren Transformationen hinzuzufügen. Ausführliche Informationen finden Sie in der offiziellen dbt-Dokumentation zu jinja- Seeds.

In Process Mining wird dies normalerweise verwendet, um die Konfiguration von Zuordnungen in Ihren Transformationen zu vereinfachen.

After editing seed files, these files are not automatically updated in the database immediately. To instruct dbt to load the new seed file contents into the database, run either

• dbt seed – wodurch nur die Seed-Dateitabellen aktualisiert werden, oder

• dbt build – führt auch alle Modelle und Tests aus.

  Hinweis:

  If the seed file had no data records initially, the data types in the database might not have been set correctly. To fix this, call run dbt seed --full-refresh. This will also update the set of columns in the database.

Activity configuration

Die activity_configuration.csv -Datei wird verwendet, um zusätzliche Felder im Zusammenhang mit Aktivitäten festzulegen. activity_order wird als Bindungsunterbrechung verwendet, wenn zwei Ereignisse im selben Zeitstempel auftreten. Die folgende Abbildung zeigt ein Beispiel für eine activity_configuration.csv -Datei.

Tests

Der models\schema\ -Ordner enthält einen Satz von .yml -Dateien, die Tests definieren. Diese validieren die Struktur und den Inhalt der erwarteten Daten. Ausführliche Informationen finden Sie in der offiziellen dbt-Dokumentation zu Tests.

Wenn die Transformationen in Process Mining ausgeführt werden, werden bei jeder Datenaufnahme nur die Tests in sources.yml ausgeführt. Dadurch wird überprüft, ob die Eingabedaten ordnungsgemäß formatiert sind.

Hinweis:

When you edit transformations, make sure to update the tests accordingly. The tests can be removed if desired.