Bearbeiten von Datentransformationen in einer lokalen Umgebung

Einleitung

Hinweis:

Es wird dringend empfohlen, Datentransformationen innerhalb von Process Mining mit dem Datentransformations -Editor anzupassen. Weitere Informationen zum Anpassen von Datentransformationen innerhalb von Process Mining finden Sie unter Datentransformationen .

Auf dieser Seite wird beschrieben, wie Datentransformationen außerhalb von Process Mining angepasst werden können .

Wenn Sie eine Prozess-App aus einer App-Vorlage erstellen, möchten Sie sicherstellen, dass die in der Prozess-App verwendeten Daten Ihren Geschäftsprozess korrekt widerspiegeln. Mit Datentransformationen können Sie die Daten anpassen, die für Process Mining verwendet werden .

Mit Datentransformationen können Sie:

• neue Felder für die Gruppierung nach und Filter hinzufügen. Beispiel: Qualitätsprüfungstyp.
• add events. For example, Invoice quality check done.
• Tags hinzufügen. Beispiel: SLA nicht erfüllt, Verstoß gegen das Vier-Augen-Prinzip.
• Geschäftslogik zur Berechnung von KPIs hinzufügen. Zum Beispiel Case_has_maverick_Buying.
• neue Eingabefelder für Berechnungen definieren.

Datentransformationen-Editor

Sie können die Transformationen entweder innerhalb von Process Mining mit Datentransformationen anpassen oder die Transformationen aus Process Mining exportieren und sie mithilfe einer lokalen Testumgebung bearbeiten und testen.

Hinweis:

Für das Bearbeiten der Transformationen mit dem Datentransformations-Editor in Process Mining ist keine lokale Entwicklungsumgebung erforderlich.

Versionierungstransformationen

Derzeit gibt es keine Versionierung des Transformationscodes im Produkt. Beim Importieren neuer Transformationen werden die vorherigen überschrieben. Es ist nicht möglich, zur vorherigen Version der Transformationen zurückzukehren.

Hinweis:

Es wird empfohlen, lokale Kopien früherer Versionen des Codes aufzubewahren, wenn Änderungen vorgenommen werden. Um Änderungen nachzuverfolgen, können Transformationen auf Ihrer lokalen Maschine in einem Versionierungssystem wie GIT oder SVN versioniert werden. Auf diese Weise können Sie mithilfe des Versionierungssystems zu einer früheren Version zurückkehren und diese Transformationen bei Bedarf in das Produkt importieren.

Voraussetzungen

Wenn Sie mit der Bearbeitung von Datenumwandlungen beginnen, wird dringend empfohlen, dass Sie:

• über fundierte SQL-Kenntnisse verfügen;
• sind mit dem Quellsystem vertraut, das für die Datenextraktion verwendet wird.

Berechtigungen

Zum Anpassen von Datentransformationen benötigen Sie die Berechtigung Transformationen bearbeiten für die Prozess-App.

Weitere Informationen finden Sie unter Verwalten des Zugriffs für Prozess-Apps.

Tools

Zum Bearbeiten von Datentransformationen ist ein Code-Editor erforderlich. Visual Studio Code ist der empfohlene Code-Editor zum Bearbeiten von Datentransformationen. Sie können Visual Studio Code von der Download-Website für Visual Studio Code herunterladen.

It is recommended to run and test the data transformations outside Process Mining, before you import the edited transformation in your process app. To run and test the data transformations, a local test environment is required.

Sehen Sie sich das Einrichten einer lokalen Testumgebung an.

Customizing the transformations

Jede Prozess-App verfügt über einen entsprechenden Satz von Datentransformationen. Das Anpassen von Datenumwandlungen erfordert mehrere Schritte.

1. Exportieren Sie die Transformationen aus der Prozess-App.
2. Öffnen Sie die Transformationen in Visual Studio Code.
3. Führen Sie die Transformationen aus*.
4. Bearbeiten Sie die Transformationen.
5. Testen Sie die Transformationen in einer lokalen Testumgebung.*
6. Importieren und testen Sie die Transformationen in einer Testprozess-App in Process Mining.
7. Importieren Sie die Transformationen in die Prozess-App.

• Das Ausführen und Testen der Transformationen in einer lokalen Testumgebung ist optionale Schritte.

1. Exportieren der Transformationen aus der Process App

Siehe Exportieren von Transformationen.

2. Open the transformations in Visual Studio Code

Führen Sie diese Schritte aus, um die Transformationen in Visual Studio Code zu öffnen.

Schritt	Aktionen
1	Erstellen Sie im Windows Explorer einen Ordner für die exportierten Transformationen in dem Ordner, in dem sich Ihre virtuelle Umgebung befindet. Zum Beispiel: C:\My_transformations\TemplateOne-MultiFiles.
2	Entpacken Sie die exportierte Transformationsdatei .zip im Ordner.

Die folgende Abbildung zeigt ein Beispiel.

Schritt	Aktion
3	In Visual Studio Code, go to File -> Open Folder... and select the folder that contains the unzipped transformations.

Die folgende Abbildung zeigt ein Beispiel.

The dbt project is interpreted.

Date and time formats

Wichtig:

Snowflake verwendet andere Datums- und Uhrzeitformate als SQL Server. Wenn Datums- und Uhrzeitvariablen für die Transformationen für Ihre Prozess-App definiert sind, müssen Sie die Datums- und Uhrzeitformate in dbt_project.yml in das von SQL Server benötigte Format ändern. Bevor Sie die .zip -Datei mit den neuen Transformationen erstellen, müssen Sie die Datums- und Uhrzeitformate wieder in das von Snowflake benötigte Format ändern. Wenn die Datums- und Uhrzeitformate in Ihrer dbt_project.yml -Datei nicht definiert sind, werden die Standardwerte verwendet. Bei SQL Server werden Datums- und Uhrzeitformate durch Integer und bei Snowflake durch Strings definiert.

In der folgenden Tabelle werden die verschiedenen (Standard-)Formate für SQL Server und Snowflake beschrieben.

fallabhängig	SQL Server-Format	Schneeflockenformat
date_format	23	'YYYY-MM-DD'
time_format	14	'hh24:mi:ss.ff3'
datetime_format	21	'YYYY-MM-DD hh24:mi:ss.ff3'

Weitere Informationen finden Sie unter:

• Die offizielle Snowflake-Dokumentation zu Datums- und Uhrzeitformaten in Konvertierungen mit Snowflake.
• Die offizielle Microsoft SQL Server-Dokumentation zu Datums- und Uhrzeitkonvertierungen mit SQL Server.

3. Run the transformations

Wichtig:

Running the transformations is only applicable if you want to test the transformations outside Process Mining on a local test environment.

Es empfiehlt sich, die Transformationen auszuführen, bevor Sie mit der Bearbeitung der Transformationen beginnen. Auf diese Weise können Sie überprüfen, ob die Einrichtung korrekt ist und die Daten korrekt geladen werden.

Bevor Sie beginnen

Um die Transformationen auszuführen, müssen Sie:

• Erstellen Sie ein neues Datenbankschema für die Prozess-App. Sie können dies in Microsoft SQL Server Management Studio tun. Führen Sie diese Schritte aus.

  Schritt	Aktion
  1	In the Object Explorer in Microsoft SQL Server Management Studio, go the folder of your database in the Databases folder.
  2	Right-click on Security and select New -> Schema...

Die folgenden Abbildungen zeigen das SQL Server-Authentifizierungsfenster.

Weitere Informationen finden Sie in der offiziellen Microsoft-Dokumentation .

• Laden Sie Daten in das neue Schema, und stellen Sie sicher, dass die erforderlichen Eingabetabellen im Schema verfügbar sind. Sie können Daten entweder mit einem Extraktor laden, indem Sie Daten direkt aus .csv -Dateien in Microsoft SQL Server Management Studio laden. Folgen Sie diesen Schritten

  Schritt	Aktion
  1	In the Object Explorer in Microsoft SQL Server Management Studio, locate your database in the Databases folder.
  2	Right-click on the name of your database and select Tasks -> Import Flat File...

  Hinweis:

  It is recommended to use a small dataset for testing data transformations. The lower the record count of the dataset, the faster transformations will be executed.

Profiles.yml einrichten

Wenn Sie ein dbt-Projekt zum ersten Mal in Visual Studio Code öffnen, wird eine dbt- Meldung angezeigt, die angibt, dass das Profil, das Ihren neuen Transformationen entspricht, nicht gefunden werden kann. Die folgende Abbildung zeigt ein Beispiel.

Hinweis:

If you start editing transformations, you must first set up a profiles.yml file that is connected to your Microsoft SQL Server database. For new transformations, you can extend the profiles.yml file by adding a new entry.

Der folgende Codeblock enthält eine Vorlage für die profiles.yml -Datei oder klicken Sie auf den Link, um die Vorlage herunterzuladen: Profile.yml.

my-app-template:
  outputs:
    default:
      type: sqlserver
      driver: 'ODBC Driver 17 for SQL Server'
      server: 
      port: 
      user: 
      password: 
      database: 
      schema: 
      encrypt:
      trust_cert:
      
  target: default

Schritt	Aktion
1	Öffnen Sie einen Texteditor. Zum Beispiel Notepad++.
2	Kopieren Sie den Inhalt aus der obigen Vorlage und fügen Sie ihn ein.
3	Ersetzen Sie my-app-template durch den profile -Namen, wie in dbt_project.yml angezeigt. Zum Beispiel: uipathTemplateOne.
3	Bearbeiten Sie die Datei, sodass sie auf das gerade erstellte Schema verweist.
4	Speichern Sie die profiles.yml -Datei in dem Ordner, der kein dbt-Projekt enthält. Beispiel: C:\My_transformations.
5	Erstellen Sie eine Umgebungsvariable namens DBT_PROFILS_DIR mit dem Dateipfad des Ordners, der die Datei profiles.yml enthält.

Hinweis:

By default, the source data is stored in the schema where the transformations run. If your source tables are in a different schema, you can define this schema in the schema_sources variable.

Weitere Informationen zur Konfiguration Ihres Profils finden Sie in der offiziellen dbt-Dokumentation .

Running the transformations

Führen Sie diese Schritte aus, um die Transformationen auszuführen.

Schritt	Aktion
1	In Visual Studio Code, right-click on the models folder and select Open in Integrated Terminal from the context menu.
2	Geben Sie dbt build an der Eingabeaufforderung im integrierten Terminal ein.

4. Edit the transformations

Richtlinien zum Bearbeiten von Transformationen finden Sie unter Transformationen und Tipps zum Schreiben von SQL.

5. Test the transformations on a local test environment

Wichtig:

Test the transformations is only applicable if you want to test the transformations outside Process Mining on a local test environment.

Führen Sie diese Schritte aus, um die Transformationen zu testen.

Schritt	Aktion
1	Geben Sie dbt build an der Eingabeaufforderung im integrierten Terminal in Visual Studio Code ein.
2	Überprüfen Sie die Daten in SQL Server Management Studio, um die Werte zu überprüfen. Klicken Sie mit der rechten Maustaste auf eine Tabelle und wählen Sie Top 1000 Zeilen auswählen aus . Ändern Sie bei Bedarf die Abfrage, um die gewünschten Ergebnisse zu erhalten.

Bearbeiten und testen Sie die Transformationen in einer lokalen Testumgebung, bis die Transformationen ohne Fehler ausgeführt werden und die Daten korrekt sind.

6. Importieren und Testen der Transformationen in einer Testprozess-App in Process Mining

Es wird dringend empfohlen, die neuen Transformationen in einer Testprozess-App in Process Mining auszuführen, bevor Sie die Transformationen in die ursprüngliche Prozess-App importieren. Da die Transformationen in einer lokalen SQL Server-Umgebung getestet werden, können beim Ausführen der neuen Transformationen in Process Mining Fehler auftreten.

Auschecken 4. Transformationen bearbeiten.

Wichtig:

Snowflake uses a different date and time formats than SQL Server. If you have changed the date and time formats in dbt_project.yml to to test the transformations SQL Server you must change the date and time formats back to the format required by Snowflake, before you create the .zip file with the new transformations.

Follow these steps to import and test the transformations in a test process app in Process Mining.

Schritt	Aktion
1	Wechseln Sie im Windows Explorer zu dem Ordner, in dem Ihre Transformationen gespeichert sind, z. B. C:\My_transformations\TemplateOne-MultiFiles , und fügen Sie die Transformationen einer neuen .zip -Datei hinzu.
2	Wechseln Sie zum Process Mining-Portal und erstellen Sie eine neue Prozess-App basierend auf derselben App-Vorlage wie Ihre Prozess-App.
3	Importieren Sie die Transformationen in die Testprozess-App.
4	Überprüfen Sie die Dashboards, um zu sehen, ob die Daten korrekt dargestellt werden.

7. Importieren der Transformationen in die Prozess-App

Wichtig:

Wenn die Transformationen importiert werden, werden die neuen Transformationen automatisch ausgeführt. Dies wirkt sich sofort auf die Daten aus, die in der veröffentlichten Prozess-App angezeigt werden. Es wird dringend empfohlen, die neuen Transformationen in einer separaten Testprozess-App zu testen, um Fehler zu vermeiden (Siehe Schritt 6: Importieren und Testen der Transformationen in einer Testprozess-App in Process Mining). Das Ausführen einer fehlerhaften Transformation führt dazu, dass die veröffentlichte App für Endbenutzer nicht sichtbar ist.

Informieren Sie sich über das Importieren von Transformationen.