Bearbeiten von Datentransformationen in einer lokalen Umgebung

Einleitung

Wenn Sie eine Prozess-App aus einer App-Vorlage erstellen, möchten Sie sicherstellen, dass die in der Prozess-App verwendeten Daten Ihren Geschäftsprozess korrekt widerspiegeln. Mit Datenumwandlungen können Sie die für Process Miningverwendeten Daten anpassen.

Datentransformationen ermöglichen Ihnen Folgendes:

• neue Felder für group by und filters hinzufügen. Beispiel: Qualitätsprüfungstyp.
• Ereignisse hinzufügen. Beispiel: Qualitätsprüfung der Rechnung abgeschlossen.
• Tags hinzufügen. Beispiel: SLA wurde nicht erfüllt,Vier-Augen-Verletzung.
• Geschäftslogik zum Berechnen von KPIs hinzufügen. Beispiel: Case_has_maverick_buying .
• neue Eingabefelder für Berechnungen definieren.

Versionierung von Transformationen

Derzeit gibt es keine Versionierung des Transformationscodes im Produkt. Beim Importieren neuer Transformationen werden die vorherigen überschrieben. Es ist nicht möglich, zur vorherigen Version der Transformationen zurückzukehren.

Hinweis: Es wird empfohlen, beim Vornehmen von Änderungen lokale Kopien früherer Codeversionen zu behalten. Um Änderungen nachzuverfolgen, können Transformationen auf Ihrer lokalen Maschine in einem Versionierungssystem wie GIT oder SVN versioniert werden. Auf diese Weise können Sie mithilfe des Versionierungssystems auf eine frühere Version zurücksetzen und diese Transformationen bei Bedarf in das Produkt importieren.

Voraussetzungen

Wenn Sie mit der Bearbeitung von Datenumwandlungen beginnen, wird dringend empfohlen, dass Sie:

• über fundierte SQL-Kenntnisse verfügen;
• sind mit dem Quellsystem vertraut, das für die Datenextraktion verwendet wird.

Tools

Zum Bearbeiten von Datentransformationen ist ein Code-Editor erforderlich. Visual Studio Code ist der empfohlene Code-Editor zum Bearbeiten von Datentransformationen. Sie können Visual Studio Code von der Download-Website für Visual Studio Code herunterladen.

Es wird empfohlen, die Datenumwandlungen außerhalb von Process Miningauszuführen und zu testen, bevor Sie die bearbeitete Umwandlung in Ihre Prozess-App importieren. Zum Ausführen und Testen der Datenumwandlungen ist eine lokale Testumgebung erforderlich.

Siehe Einrichten einer lokalen Testumgebung.

Customizing the transformations

Jede Prozess-App verfügt über einen entsprechenden Satz von Datentransformationen. Das Anpassen von Datenumwandlungen erfordert mehrere Schritte.

1. Exportieren Sie die Transformationen aus der Prozess-App.

2. Öffnen Sie die Transformationen in Visual Studio Code.

3. Führen Sie die Transformationen aus*.

4. Bearbeiten Sie die Transformationen.

5. Testen Sie die Transformationen in einer lokalen Testumgebung.*

6. Importieren und testen Sie die Transformationen in einer Testprozess-App in Process Mining.

7. Importieren Sie die Transformationen in die Prozess-App.

* Das Ausführen und Testen der Transformationen in einer lokalen Testumgebung sind optionale Schritte.

1. Export the transformations from the process app

Führen Sie diese Schritte aus, um die Transformationen aus der Prozess-App zu exportieren.

Schritt	Aktion
1	Öffnen Sie das Process Mining-Portal.
2	Wechseln Sie zur Registerkarte Prozess-Apps und suchen Sie die App, für die Sie die Transformationen exportieren möchten.
3	Klicken Sie auf in der Spalte Aktionen der Prozess-App, für die Sie die Transformationen exportieren möchten, und wählen Sie Transformationen exportieren aus.

Die Transformationen werden exportiert und als .zip -Datei in Ihren Standard-Downloadordner heruntergeladen.

2. Open the transformations in Visual Studio Code

Führen Sie diese Schritte aus, um die Transformationen in Visual Studio Code zu öffnen.

Schritt	Aktionen
1	Erstellen Sie im Windows Explorer einen Ordner für die exportierten Transformationen in dem Ordner, in dem sich Ihre virtuelle Umgebung befindet. Beispiel: C:\My_transformations\TemplateOne-MultiFiles.
2	Entpacken Sie die exportierte Transformationsdatei .zip im Ordner.

Die folgende Abbildung zeigt ein Beispiel.

Schritt	Aktion
3	Wechseln Sie in Visual Studio Code zu Datei -> Ordner öffnen... und wählen Sie den Ordner aus, der die entpackten Transformationen enthält.

Die folgende Abbildung zeigt ein Beispiel.

Das dbt- Projekt wird interpretiert.

Date and time formats

Wichtig:

Snowflake verwendet andere Datums- und Uhrzeitformate als SQL Server. Wenn Datums- und Uhrzeitvariablen für die Transformationen für Ihre Prozess-App definiert sind, müssen Sie die Datums- und Uhrzeitformate in dbt_project.yml in das von SQL Server erforderliche Format ändern. Bevor Sie die .zip -Datei mit den neuen Transformationen erstellen, müssen Sie die Datums- und Uhrzeitformate wieder in das von Snowflake erforderliche Format ändern.

Wenn die Datums- und Uhrzeitformate nicht in Ihrer dbt_project.yml -Datei definiert sind, werden die Standardwerte verwendet.

Für SQL Server werden Datums- und Uhrzeitformate durch Ganzzahlen und für Snowflake durch Zeichenfolgen definiert.

Nachfolgend finden Sie eine Übersicht über die verschiedenen (Standard-)Formate für SQL Server und Snowflake.

fallabhängig	SQL Server-Format	Schneeflockenformat
date_format	23	'YYYY-MM-DD'
time_format	14	'hh24:mi:ss.ff3'
datetime_format	21	'YYYY-MM-DD hh24:mi:ss.ff3'

Weitere Informationen finden Sie unter:

• Die offizielle Snowflake-Dokumentation zu Datums- und Uhrzeitformaten in Konvertierungen mit Snowflake.

• Die offizielle Microsoft SQL Server-Dokumentation zu Datums- und Zeitkonvertierungen mit SQL Server.

3. Run the transformations

Wichtig: Das Ausführen der Transformationen ist nur anwendbar, wenn Sie die Transformationen außerhalb von Process Mining in einer lokalen Testumgebung testen möchten.

Es empfiehlt sich, die Transformationen auszuführen, bevor Sie mit der Bearbeitung der Transformationen beginnen. Auf diese Weise können Sie überprüfen, ob die Einrichtung korrekt ist und die Daten korrekt geladen werden.

Bevor Sie beginnen

Um die Transformationen auszuführen, müssen Sie:

• Erstellen Sie ein neues Datenbankschema für die Prozess-App. Sie können dies in Microsoft SQL Server Management Studio tun. Führen Sie diese Schritte aus.

  Schritt	Aktion
  1	Wechseln Sie im Objekt-Explorer in Microsoft SQL Server Management Studio zum Ordner Ihrer Datenbank im Ordner Datenbanken .
  2	Klicken Sie mit der rechten Maustaste auf Sicherheit und wählen Sie Neu -> Schema...

Die folgenden Abbildungen zeigen das SQL Server-Authentifizierungsfenster.

Weitere Informationen finden Sie in der offiziellen Microsoft-Dokumentation .

• Laden Sie Daten in das neue Schema, und stellen Sie sicher, dass die erforderlichen Eingabetabellen im Schema verfügbar sind. Sie können Daten entweder mit einem Extraktor laden, indem Sie Daten direkt aus .csv -Dateien in Microsoft SQL Server Management Studio laden. Folgen Sie diesen Schritten

  Schritt	Aktion
  1	Suchen Sie im Objekt-Explorer in Microsoft SQL Server Management Studio Ihre Datenbank im Ordner Datenbanken.
  2	Klicken Sie mit der rechten Maustaste auf den Namen Ihrer Datenbank und wählen Sie Aufgaben -> Flatfile importieren...

  Hinweis: Es wird empfohlen, ein kleines Dataset zum Testen von Datentransformationen zu verwenden. Je niedriger die Datensatzanzahl des Datasets ist, desto schneller werden Transformationen ausgeführt.

Profiles.yml einrichten

Wenn Sie ein dbt-Projekt zum ersten Mal in Visual Studio Code öffnen, wird eine dbt -Meldung angezeigt, die darauf hinweist, dass das Profil, das Ihren neuen Transformationen entspricht, nicht gefunden werden kann. Ein Beispiel finden Sie in der Abbildung unten.

Hinweis: Wenn Sie mit der Bearbeitung von Transformationen beginnen, müssen Sie zuerst eine profiles.yml -Datei einrichten, die mit Ihrer Microsoft SQL Server-Datenbank verbunden ist. Bei neuen Transformationen können Sie die Datei profiles.yml erweitern, indem Sie einen neuen Eintrag hinzufügen.

Unten finden Sie eine Vorlage für die Datei profiles.yml , oder klicken Sie auf den Link, um die Vorlage herunterzuladen: Profile.yml.

my-app-template:
  outputs:
    default:
      type: sqlserver
      driver: 'ODBC Driver 17 for SQL Server'
      server: 
      port: 
      user: 
      password: 
      database: 
      schema: 
      
  target: default

Schritt	Aktion
1	Öffnen Sie einen Texteditor. Zum Beispiel Notepad++.
2	Kopieren Sie den Inhalt aus der obigen Vorlage und fügen Sie ihn ein.
3	Ersetzen Sie my-app-template durch den Namen profile , wie in dbt_project.yml angezeigt. Beispiel: uipathTemplateOne. Siehe Abbildung unten.
3	Bearbeiten Sie die Datei, sodass sie auf das gerade erstellte Schema verweist.
4	Speichern Sie die profiles.yml -Datei in dem Ordner, der kein dbt-Projekt enthält (siehe Screenshot unten). Beispiel: C:\My_transformations.
5	Erstellen Sie eine Umgebungsvariable namens DBT_PROFILES_DIR mit dem Dateipfad des Ordners, der die profiles.yml -Datei enthält.

Hinweis: Standardmäßig werden die Quelldaten in dem Schema gespeichert, in dem die Transformationen ausgeführt werden. Wenn sich Ihre Quelltabellen in einem anderen Schema befinden, können Sie dieses Schema in der Variablen schema_sources definieren.

Weitere Informationen zum Konfigurieren Ihres Profils finden Sie in der offiziellen dbt-Dokumentation .

Running the transformations

Führen Sie diese Schritte aus, um die Transformationen auszuführen.

Schritt	Aktion
1	Klicken Sie in Visual Studio Code mit der rechten Maustaste auf den Modellordner , und wählen Sie im Kontextmenü die Option In integriertem Terminal öffnen aus.
2	Geben Sie dbt build an der Eingabeaufforderung im integrierten Terminal ein.

4. Edit the transformations

Richtlinien zum Bearbeiten von Transformationen finden Sie unter Bearbeiten von Transformationen und Tipps zum Schreiben von SQL.

5. Test the transformations on a local test environment

Wichtig: Das Testen von Transformationen gilt nur, wenn Sie die Transformationen außerhalb von Process Mining in einer lokalen Testumgebung testen möchten.

Führen Sie diese Schritte aus, um die Transformationen zu testen.

Schritt	Aktion
1	Geben Sie dbt build an der Eingabeaufforderung im integrierten Terminal in Visual Studio Code ein.
2	Überprüfen Sie die Daten in SQL Server Management Studio, um die Werte zu überprüfen. Klicken Sie mit der rechten Maustaste auf eine Tabelle und wählen Sie Top 1000 Zeilenauswählen aus. Ändern Sie bei Bedarf die Abfrage, um die gewünschten Ergebnisse zu erhalten.

Bearbeiten und testen Sie die Transformationen in einer lokalen Testumgebung, bis die Transformationen ohne Fehler ausgeführt werden und die Daten korrekt sind.

6. Import and test the transformations in a test process app in Process Mining

Es wird dringend empfohlen, die neuen Transformationen in einer Testprozess-App in Process Mining auszuführen, bevor die Transformationen in die ursprüngliche Prozess-App importiert werden. Da die Transformationen in einer lokalen SQL Server-Umgebung getestet werden, können beim Ausführen der neuen Transformationen in Snowflake Fehler auftreten.

Siehe auch 4. Bearbeiten der Transformationen.

Wichtig: Snowflake verwendet andere Datums- und Uhrzeitformate als SQL Server. Wenn Sie die Datums- und Uhrzeitformate in dbt_project.yml geändert haben, um die Transformationen von SQL Server zu testen, müssen Sie die Datums- und Uhrzeitformate wieder in das von Snowflake erforderliche Format ändern, bevor Sie die .zip -Datei mit den neuen Transformationen erstellen.

Führen Sie diese Schritte aus, um die Transformationen in einer Testprozess-App in Process Miningzu importieren und zu testen.

Schritt	Aktion
1	Wechseln Sie im Windows Explorer zu dem Ordner, in dem Ihre Transformationen gespeichert sind Beispiel: C:\My_transformations\TemplateOne-MultiFiles und fügen Sie die Transformationen zu einer neuen .zip -Datei hinzu.
2	Wechseln Sie zum Process Mining-Portal und erstellen Sie eine neue Prozess-App basierend auf derselben App-Vorlage wie Ihre Prozess-App.
3	Suchen Sie auf der Registerkarte Prozess-Apps die Testprozess-App.
4	Klicken Sie auf in der Spalte Aktionen der Prozess-App, für die Sie die Transformationen importieren möchten, und wählen Sie Transformationen importieren aus.
5	Wählen Sie die Datei .zip aus, die Ihre neuen Transformationen enthält, und klicken Sie auf OK.
6	Überprüfen Sie die Dashboards, um zu sehen, ob die Daten korrekt dargestellt werden.

7. Import the transformations in the process app

Wichtig:

Wenn die Transformationen importiert werden, werden die neuen Transformationen automatisch ausgeführt. Dies wirkt sich sofort auf die Daten aus, die in der veröffentlichten Prozess-App angezeigt werden. Es wird dringend empfohlen, die neuen Transformationen in einer separaten Testprozess-App zu testen, um Fehler zu vermeiden (siehe Schritt 4: Importieren und Testen der Transformationen in einer Testprozess-App in Process Mining).

Das Ausführen einer fehlerhaften Transformation führt dazu, dass die veröffentlichte App für Endbenutzer nicht sichtbar ist.

Führen Sie diese Schritte aus, um die benutzerdefinierten Transformationen in die Prozess-App zu importieren.

Schritt	Aktion
1	Öffnen Sie das Process Mining-Portal.
2	Wechseln Sie zur Registerkarte Prozess-Apps und suchen Sie die App, für die Sie die Datentransformationen importieren möchten.
3	Hinweis: Wenn Sie den Datenumwandlungen neue Eingabetabellen oder neue Eingabefelder für vorhandene Tabellen hinzugefügt haben, müssen Sie ein neues Dataset hochladen, bevor Sie die Datenumwandlungen importieren. Klicken Sie auf in der Spalte Aktionen der Prozess-App, für die Sie die Transformationen importieren möchten, und wählen Sie Transformationen importieren aus.

Die Transformationen werden importiert und ausgeführt, und die neuen Daten werden in der Prozess-App angezeigt.