Bearbeiten von Datentransformationen in einer lokalen Umgebung

Einleitung

Wenn Sie eine Prozess-App aus einer App-Vorlage erstellen, möchten Sie sicherstellen, dass die in der Prozess-App verwendeten Daten Ihren Geschäftsprozess korrekt widerspiegeln. Mit Datentransformationen können Sie die Daten anpassen, die für Process Mining verwendet werden .

Mit Datentransformationen können Sie:

• add new fields for group by and filters. For example, Quality check type.
• add events. For example, Invoice quality check done.
• Tags hinzufügen. Beispiel: SLA nicht erfüllt, Verstoß gegen das Vier-Augen-Prinzip.
• Geschäftslogik zum Berechnen von KPIs hinzufügen. Beispiel: Case_has_maverick_buying .
• neue Eingabefelder für Berechnungen definieren.

Versionierung von Transformationen

Derzeit gibt es keine Versionierung des Transformationscodes im Produkt. Beim Importieren neuer Transformationen werden die vorherigen überschrieben. Es ist nicht möglich, zur vorherigen Version der Transformationen zurückzukehren.

Hinweis:

Es wird empfohlen, lokale Kopien früherer Versionen des Codes aufzubewahren, wenn Änderungen vorgenommen werden. Um Änderungen nachzuverfolgen, können Transformationen auf Ihrer lokalen Maschine in einem Versionierungssystem wie GIT oder SVN versioniert werden. Auf diese Weise können Sie mithilfe des Versionierungssystems zu einer früheren Version zurückkehren und diese Transformationen bei Bedarf in das Produkt importieren.

Voraussetzungen

Wenn Sie mit der Bearbeitung von Datenumwandlungen beginnen, wird dringend empfohlen, dass Sie:

• über fundierte SQL-Kenntnisse verfügen;
• sind mit dem Quellsystem vertraut, das für die Datenextraktion verwendet wird.

Tools

Zum Bearbeiten von Datentransformationen ist ein Code-Editor erforderlich. Visual Studio Code ist der empfohlene Code-Editor zum Bearbeiten von Datentransformationen. Sie können Visual Studio Code von der Download-Website für Visual Studio Code herunterladen.

It is recommended to run and test the data transformations outside Process Mining, before you import the edited transformation in your process app. To run and test the data transformations, a local test environment is required.

Siehe Einrichten einer lokalen Testumgebung.

Customizing the transformations

Jede Prozess-App verfügt über einen entsprechenden Satz von Datentransformationen. Das Anpassen von Datenumwandlungen erfordert mehrere Schritte.

1. Exportieren Sie die Transformationen aus der Prozess-App.
2. Öffnen Sie die Transformationen in Visual Studio Code.
3. Führen Sie die Transformationen aus*.
4. Bearbeiten Sie die Transformationen.
5. Testen Sie die Transformationen in einer lokalen Testumgebung.*
6. Importieren und testen Sie die Transformationen in einer Testprozess-App in Process Mining.
7. Importieren Sie die Transformationen in die Prozess-App.

• Das Ausführen und Testen der Transformationen in einer lokalen Testumgebung ist optionale Schritte.

1. Export the transformations from the process app

Führen Sie diese Schritte aus, um die Transformationen aus der Prozess-App zu exportieren.

Schritt	Aktion
1	Öffnen Sie das Process Mining-Portal.
2	Go to the Process apps tab and locate the app for which you want to export the transformations.
3	Klicken Sie auf in der Spalte Aktionen der Prozess-App, für die Sie die Transformationen exportieren möchten, und wählen Sie Transformationen exportieren aus.

Die Transformationen werden exportiert und als .zip -Datei in Ihren Standard-Downloadordner heruntergeladen.

2. Open the transformations in Visual Studio Code

Führen Sie diese Schritte aus, um die Transformationen in Visual Studio Code zu öffnen.

Schritt	Aktionen
1	Erstellen Sie im Windows Explorer einen Ordner für die exportierten Transformationen in dem Ordner, in dem sich Ihre virtuelle Umgebung befindet. Beispiel: C:\My_transformations\TemplateOne-MultiFiles.
2	Entpacken Sie die exportierte Transformationsdatei .zip im Ordner.

Die folgende Abbildung zeigt ein Beispiel.

Schritt	Aktion
3	In Visual Studio Code, go to File -> Open Folder... and select the folder that contains the unzipped transformations.

Die folgende Abbildung zeigt ein Beispiel.

The dbt project is interpreted.

Date and time formats

Wichtig:

Snowflake verwendet andere Datums- und Uhrzeitformate als SQL Server. Wenn Datums- und Uhrzeitvariablen für die Transformationen für Ihre Prozess-App definiert sind, müssen Sie die Datums- und Uhrzeitformate in dbt_project.yml in das von SQL Server erforderliche Format ändern. Bevor Sie die .zip -Datei mit den neuen Transformationen erstellen, müssen Sie die Datums- und Uhrzeitformate wieder in das von Snowflake erforderliche Format ändern.

Wenn die Datums- und Uhrzeitformate nicht in Ihrer dbt_project.yml -Datei definiert sind, werden die Standardwerte verwendet.

Für SQL Server werden Datums- und Uhrzeitformate durch Ganzzahlen und für Snowflake durch Zeichenfolgen definiert.

In der folgenden Tabelle werden die verschiedenen (Standard-)Formate für SQL Server und Snowflake beschrieben.

fallabhängig	SQL Server-Format	Schneeflockenformat
date_format	23	'YYYY-MM-DD'
time_format	14	'hh24:mi:ss.ff3'
datetime_format	21	'YYYY-MM-DD hh24:mi:ss.ff3'

Weitere Informationen finden Sie unter:

• Die offizielle Snowflake-Dokumentation zu Datums- und Uhrzeitformaten in Konvertierungen mit Snowflake.
• Die offizielle Microsoft SQL Server-Dokumentation zu Datums- und Uhrzeitkonvertierungen mit SQL Server.

3. Run the transformations

Wichtig:

Running the transformations is only applicable if you want to test the transformations outside Process Mining on a local test environment.

Es empfiehlt sich, die Transformationen auszuführen, bevor Sie mit der Bearbeitung der Transformationen beginnen. Auf diese Weise können Sie überprüfen, ob die Einrichtung korrekt ist und die Daten korrekt geladen werden.

Bevor Sie beginnen

Um die Transformationen auszuführen, müssen Sie:

• Erstellen Sie ein neues Datenbankschema für die Prozess-App. Sie können dies in Microsoft SQL Server Management Studio tun. Führen Sie diese Schritte aus.

  Schritt	Aktion
  1	In the Object Explorer in Microsoft SQL Server Management Studio, go the folder of your database in the Databases folder.
  2	Right-click on Security and select New -> Schema...

Die folgenden Abbildungen zeigen das SQL Server-Authentifizierungsfenster.

Weitere Informationen finden Sie in der offiziellen Microsoft-Dokumentation .

• Laden Sie Daten in das neue Schema, und stellen Sie sicher, dass die erforderlichen Eingabetabellen im Schema verfügbar sind. Sie können Daten entweder mit einem Extraktor laden, indem Sie Daten direkt aus .csv -Dateien in Microsoft SQL Server Management Studio laden. Folgen Sie diesen Schritten

  Schritt	Aktion
  1	In the Object Explorer in Microsoft SQL Server Management Studio, locate your database in the Databases folder.
  2	Right-click on the name of your database and select Tasks -> Import Flat File...

  Hinweis:

  It is recommended to use a small dataset for testing data transformations. The lower the record count of the dataset, the faster transformations will be executed.

Profiles.yml einrichten

When you open a dbt project in Visual Studio Code for the first time, a dbt message is displayed, indicating that the profile corresponding to your new transformations cannot be found. See the illustration below for an example.

Hinweis:

If you start editing transformations, you must first set up a profiles.yml file that is connected to your Microsoft SQL Server database. For new transformations, you can extend the profiles.yml file by adding a new entry.

Nachfolgend finden Sie eine Vorlage für die Datei profiles.yml oder klicken Sie auf den Link, um die Vorlage herunterzuladen: Profile.yml.

my-app-template:
  outputs:
    default:
      type: sqlserver
      driver: 'ODBC Driver 17 for SQL Server'
      server:
      port:
      user:
      password:
      database:
      schema:

  target: default

Schritt	Aktion
1	Öffnen Sie einen Texteditor. Zum Beispiel Notepad++.
2	Kopieren Sie den Inhalt aus der obigen Vorlage und fügen Sie ihn ein.
3	Ersetzen Sie my-app-template durch den Namen profile , wie in dbt_project.yml angezeigt. Beispiel: uipathTemplateOne. Siehe Abbildung unten.
3	Bearbeiten Sie die Datei, sodass sie auf das gerade erstellte Schema verweist.
4	Speichern Sie die profiles.yml -Datei in dem Ordner, der kein dbt-Projekt enthält (siehe Screenshot unten). Beispiel: C:\My_transformations.
5	Erstellen Sie eine Umgebungsvariable namens DBT_PROFILS_DIR mit dem Dateipfad des Ordners, der die Datei profiles.yml enthält.

Hinweis:

By default, the source data is stored in the schema where the transformations run. If your source tables are in a different schema, you can define this schema in the schema_sources variable.

Weitere Informationen zum Konfigurieren Ihres Profils finden Sie in der offiziellen dbt-Dokumentation .

Running the transformations

Führen Sie diese Schritte aus, um die Transformationen auszuführen.

Schritt	Aktion
1	In Visual Studio Code, right-click on the models folder and select Open in Integrated Terminal from the context menu.
2	Geben Sie dbt build an der Eingabeaufforderung im integrierten Terminal ein.

4. Edit the transformations

Richtlinien zum Bearbeiten von Transformationen finden Sie unter Bearbeiten von Transformationen und Tipps zum Schreiben von SQL.

5. Test the transformations on a local test environment

Wichtig:

Test the transformations is only applicable if you want to test the transformations outside Process Mining on a local test environment.

Führen Sie diese Schritte aus, um die Transformationen zu testen.

Schritt	Aktion
1	Geben Sie dbt build an der Eingabeaufforderung im integrierten Terminal in Visual Studio Code ein.
2	Überprüfen Sie die Daten in SQL Server Management Studio, um die Werte zu überprüfen. Right-click on a table and select Select top 1000 rows. Ändern Sie bei Bedarf die Abfrage, um die gewünschten Ergebnisse zu erhalten.

Bearbeiten und testen Sie die Transformationen in einer lokalen Testumgebung, bis die Transformationen ohne Fehler ausgeführt werden und die Daten korrekt sind.

6. Import and test the transformations in a test process app in Process Mining

It is strongly recommended to run the new transformations in a test process app in Process Mining before importing the transformations in the original process app. Since the transformations are tested on a local SQL Server environment, errors may occur when running the new transformations in Snowflake.

Siehe auch 4. Bearbeiten der Transformationen.

Wichtig:

Snowflake uses a different date and time formats than SQL Server. If you have changed the date and time formats in dbt_project.yml to to test the transformations SQL Server you must change the date and time formats back to the format required by Snowflake, before you create the .zip file with the new transformations.

Follow these steps to import and test the transformations in a test process app in Process Mining.

Schritt	Aktion
1	Wechseln Sie im Windows Explorer zu dem Ordner, in dem Ihre Transformationen gespeichert sind Beispiel: C:\My_transformations\TemplateOne-MultiFiles und fügen Sie die Transformationen zu einer neuen .zip -Datei hinzu.
2	Wechseln Sie zum Process Mining-Portal und erstellen Sie eine neue Prozess-App basierend auf derselben App-Vorlage wie Ihre Prozess-App.
3	On the Process apps tab and locate the test process app.
4	Klicken Sie auf in der Spalte Aktionen der Prozess-App, für die Sie die Transformationen importieren möchten, und wählen Sie Transformationen importieren aus.
5	Select the .zip file that contains your new transformations, and click on OK.
6	Überprüfen Sie die Dashboards, um zu sehen, ob die Daten korrekt dargestellt werden.

7. Import the transformations in the process app

Wichtig:

Wenn die Transformationen importiert werden, werden die neuen Transformationen automatisch ausgeführt. Dies wirkt sich sofort auf die Daten aus, die in der veröffentlichten Prozess-App angezeigt werden. Es wird dringend empfohlen, die neuen Transformationen in einer separaten Testprozess-App zu testen, um Fehler zu vermeiden (siehe Schritt 4: Importieren und Testen der Transformationen in einer Testprozess-App in Process Mining).

Das Ausführen einer fehlerhaften Transformation führt dazu, dass die veröffentlichte App für Endbenutzer nicht sichtbar ist.

Führen Sie diese Schritte aus, um die benutzerdefinierten Transformationen in die Prozess-App zu importieren.

Schritt	Aktion
1	Öffnen Sie das Process Mining-Portal.
2	Go to the Process apps tab and locate the app for which you want to import the data transformations.
3	Wenn Sie den Datentransformationen neue Eingabetabellen oder neue Eingabefelder für vorhandene Tabellen hinzugefügt haben, müssen Sie ein neues Dataset hochladen, bevor Sie die Datentransformationen importieren. Klicken Sie auf in der Spalte Aktionen der Prozess-App, für die Sie die Transformationen importieren möchten, und wählen Sie Transformationen importieren aus.

Die Transformationen werden importiert und ausgeführt, und die neuen Daten werden in der Prozess-App angezeigt.