Datentransformationen

Nützliche Links

• Ereignisprotokolle

• Tips for writing SQL

• SQL-Beispiele zum Konfigurieren von Tags

• SQL-Beispiele zum Konfigurieren von Fälligkeitsdaten

Lokales Bearbeiten von Transformationen

Wenn Sie eine Prozess-App aus einer App-Vorlage erstellen, möchten Sie sicherstellen, dass die in der Prozess-App verwendeten Daten Ihren Geschäftsprozess korrekt widerspiegeln. Mit Datenumwandlungen können Sie die für Process Miningverwendeten Daten anpassen.

Sie können die Transformationen entweder innerhalb von Process Mining mit Datentransformationen anpassen oder sie lokal auf Ihrem Desktop bearbeiten, siehe Bearbeiten von Datentransformationen in einer lokalen Umgebung.

Auf dieser Seite wird beschrieben, wie Datentransformationen innerhalb von Process Mining angepasst werden können. Datentransformationen sind im Dashboard-Editor integriert. Siehe Arbeiten mit dem Dashboard-Editor.

Datentransformationen ermöglichen Ihnen Folgendes:

• neue Felder für group by und Filter hinzufügen. Beispiel: Qualitätsprüfungstyp.

• Ereignisse hinzufügen. Beispiel: Qualitätsprüfung der Rechnung abgeschlossen.

• Tags hinzufügen. Beispiel: SLA nicht erfüllt, Verstoß gegen das Vier-Augen-Prinzip.

• Geschäftslogik zur Berechnung von KPIs hinzufügen. Zum Beispiel: Case_has_maverick_buying.

Voraussetzungen

Wenn Sie mit der Bearbeitung von Datenumwandlungen beginnen, wird dringend empfohlen, dass Sie:

• über fundierte SQL-Kenntnisse verfügen;

• sind mit dem Quellsystem vertraut, das für die Datenextraktion verwendet wird.

Öffnen der Datentransformationen

1. Wählen Sie die Schaltfläche Datentransformationen in der oberen rechten Ecke des Dashboard-Editors aus, um die Datentransformationen zu öffnen.

Hinweis:

Wenn Sie den Inline-Editor zum ersten Mal öffnen, dauert das Laden des Editors einige Zeit.

Der Editor für Inline-Datentransformationen wird angezeigt.

Input data

Im Eingabedatenbereich werden die Eingabetabellen angezeigt, die als Rohdaten in die Prozess-App geladen wurden. Wählen Sie eine Tabelle aus, um die Felder und die Dateninhalte in der Datenvorschau anzuzeigen. Anhand der Datenvorschau können Sie überprüfen, ob die Eingabedaten wie erwartet aussehen.

Hinweis:

Die Vorschau zeigt 1000 Datensätze von Daten an. Wenn Sie nach bestimmten Daten filtern möchten, erstellen Sie eine temporäre Debug-Abfrage, siehe Datentransformationen.

Hinweis:

Im Vorschaubereich werden die Daten der letzten Datenausführung angezeigt, in der diese Tabelle neu berechnet wurde. Wenn Sie kürzlich Änderungen vorgenommen haben, starten Sie eine neue Datenausführung, um die Ergebnisse anzuzeigen, siehe Bearbeiten und Testen von Datentransformationen.

Transformationen

1. Wählen Sie Transformationen aus, um die Struktur der Transformationen und die .sql-Dateien anzuzeigen.

Weitere Informationen zur Struktur der Transformationen finden Sie unter Struktur der Transformationen.

Jede .sql-Datei definiert eine neue Tabelle im Datenmodell. Wenn Sie die .sql-Datei im Bereich Transformationen auswählen, wird die SQL-Abfrage in Transformationen angezeigt und eine Vorschau der Datendatei, die Sie bearbeiten, wird im Vorschaubereich angezeigt.

Beim Bearbeiten einer Abfrage können Sie eine Vorschau der Daten vom letzten Mal im Vorschaubereich anzeigen, als die Abfrage ausgeführt wurde.

Wichtig:

Wenn ungespeicherte Änderungen in den Transformationen vorhanden sind, ist die Schaltfläche Speichern aktiviert. Wählen Sie Speichern aus, um die Änderungen zu speichern. Der Status der Transformation wird auf Aktuell festgelegt.

Anzeigen und Bearbeiten des Datenmodells

Wichtig:

Stellen Sie immer sicher, dass Ihr Datenmodell den Anforderungen entspricht. Siehe Anforderungen an das Datenmodell.

1. Wählen Sie Datenmodell aus, um das Datenmodell Ihrer Prozess-App anzuzeigen.

Weitere Informationen zum Ändern des Datenmodells finden Sie unter Bearbeiten und Testen von Datentransformationen .

Validierungsprüfung

Wenn Ihr Datenmodell die Anforderungen nicht erfüllt, wird eine Benachrichtigung angezeigt.

Siehe Anforderungen an das Datenmodell.

Hinzufügen einer Tabelle

1. Wählen Sie + Tabelle hinzufügen aus. Das Dialogfeld Tabelle hinzufügen wird angezeigt.

2. Wählen Sie die Tabelle aus, die die neue Ausgabetabelle definiert.

3. Wählen Sie den Primärschlüssel für die neue Tabelle aus und wählen Sie Fertig aus.

Weitere Informationen zum Hinzufügen einer Tabelle in den Transformationen finden Sie unter Hinzufügen von Tabellen .

Hinzufügen von Beziehungen

1. Wählen Sie die Tabelle aus, die Sie mit einer anderen Tabelle verknüpfen möchten.

   Das Panel Tabelle bearbeiten wird angezeigt.

2. Wählen Sie im Bereich Tabelle bearbeiten die Option + Neu hinzufügen aus, um eine neue Beziehung zu erstellen.

3. Wählen Sie das Feld, das Sie in dieser Tabelle verwenden möchten, aus der Liste Taste aus.

4. Wählen Sie die Tabelle aus, mit der Sie eine Verbindung herstellen möchten, und wählen Sie das Feld, das für die Verbindung verwendet wird, aus der Liste „ Taste “ aus.

5. Wählen Sie Anwenden aus.

Ändern des Schlüssels für eine Tabelle

1. Wählen Sie die Tabelle aus, für die Sie den Schlüssel ändern möchten.

   Das Panel Tabelle bearbeiten wird angezeigt.

2. Suchen Sie im Panel Tabelle bearbeiten die Beziehung, für die Sie den Schlüssel ändern möchten.

3. Wählen Sie das neue Feld aus, das als Schlüssel zum Verbinden der Tabellen verwendet werden soll.

4. Wählen Sie Anwenden aus.

Hinweis:

Wenn Sie den Primärschlüssel ändern, wird das Feld, das Sie als neuen Primärschlüssel auswählen, in der Tabelle dupliziert. Sie können das ursprüngliche Feld in Data Manager löschen.

Löschen einer Beziehung

1. Wählen Sie die Tabelle aus, für die Sie eine ausgehende Beziehung löschen möchten.

   Das Panel Tabelle bearbeiten wird angezeigt.

2. Suchen Sie im Bereich Tabelle bearbeiten die Beziehung, die Sie löschen möchten, und wählen Sie Beziehung löschen aus.

3. Wählen Sie Anwenden aus.

Löschen einer Tabelle

1. Wählen Sie die Tabelle aus, die Sie im Datenmodell-Editor löschen möchten.

   Das Panel Tabelle bearbeiten wird angezeigt.

2. Wählen Sie Tabelle löschen aus.

   Eine Bestätigungsmeldung wird angezeigt.

3. Wählen Sie Löschen aus, um fortzufahren.

Die Tabelle und die Beziehungen werden aus dem Datenmodell gelöscht.

Bereitstellen des neuen Datenmodells für die Verwendung in Dashboards

1. Wählen Sie Speichern aus, um das Datenmodell zu speichern.

2. Wählen Sie Auf Dashboards anwenden aus, um die Transformationen auszuführen und die Tabelle für die Verwendung in Dashboards verfügbar zu machen.

   Hinweis:

   Dieser Vorgang kann einige Minuten dauern. Wenn die Ausführung erfolgreich abgeschlossen wurde, werden die Änderungen am Datenmodell im Data Manager angezeigt.

Hinweis:

Die Option Speichern wird erst aktiviert, nachdem Sie Änderungen am Datenmodell vorgenommen haben.

Anzeigen des Transformationsprotokolls

Der Protokollbereich zeigt, was im Hintergrund passiert. Der Protokollbereich wird alle paar Sekunden automatisch aktualisiert. Ein Beispiel finden Sie in der Abbildung unten.

Protokollstufen

Das Protokoll enthält verschiedene Protokollstufen , um den Schweregrad der Meldung anzugeben:

Protokollebene	Beschreibung	Datenausführungsstatus
Informationen	Eine Informationsmeldung enthält hilfreiche Informationen über den Fortschritt des DataRun.	Erfolgreich
Warnung	Eine Warnung bezieht sich auf ein potenzielles Problem in Ihren Daten, das sich darauf auswirken kann, was in einem Diagramm der veröffentlichten Prozess-App angezeigt wird. Es wird empfohlen, alle Warnungen zu beheben, um potenzielle zukünftige Probleme zu vermeiden.	Erfolgreich
Fehler (Error)	Ein Fehler bezieht sich auf einen Fehler in Ihren Daten, der verhindert, dass die Prozess-App die Daten lädt oder die Transformationen ausführt. Sie müssen alle Fehler beheben, um eine erfolgreiche Datenausführung zu ermöglichen.	Fehlgeschlagen (Failed)

Filtern von Protokollen

Sie können das Menü Filter verwenden, um die Protokollstufe zu ändern. Ein Beispiel finden Sie in der Abbildung unten.

Speichern der Protokolldatei

Sie können das auswählen um den Inhalt der Protokolldatei zu kopieren und z. B. in eine Notepad-Datei einzufügen, die Sie auf Ihrem Computer speichern können. Auf diese Weise können Sie die Meldungen anzeigen, wenn Sie an der Lösung der Probleme arbeiten, die Fehler oder Warnungen verursachen.

Hinweis:

Auf diese Weise können Sie auch den Inhalt der Protokolldatei freigeben, wenn Sie z. B. Unterstützung benötigen.

Bearbeiten und Testen von Datentransformationen

Editing transformations

Weitere Informationen zum Bearbeiten von Datentransformationen finden Sie auf den unten aufgeführten Seiten.

• Structure of transformations

• Designing an event log

• Tips for writing SQL

Ausführen der Abfragen

Achtung:

Für Versionen vor2023.10.3 ist die Ausführungszeit auf 10 Minuten begrenzt. Ab 2023.10.4 ist die Ausführungszeit auf 1 Stunde begrenzt. Daher wird dringend empfohlen, ein kleines Dataset für die Entwicklung und das Testen von Datentransformationen zu verwenden, um sicherzustellen, dass Ihre Transformationen dieses Zeitlimit nicht überschreiten. Siehe auch: Process Mining-Portal.

Wenn Sie Transformationen bearbeiten, können Sie Abfragen ausführen auswählen, um Ihre Änderungen zu testen und eine Vorschau anzuzeigen. Die Abfragen, die geändert wurden, und alle damit verbundenen Abfragen werden ausgeführt. Zum Beispiel, wenn cases_input.sql geändert wurde. Der Befehl Abfragen ausführen würde cases_input.sql und cases.sql ausführen, wodurch die Ergebnisse von cases_input.sql verwendet werden.

Die resultierenden Daten sind nur im Datentransformations-Editor verfügbar, nicht im Dashboard-Editor.

Es gibt zwei Arten von Ausführungen:

• Abfragen ausführen : Startet eine Datenausführung, bei der alle geänderten Abfragen und deren Abhängigkeiten erneut berechnet werden.

• Datei ausführen : Startet eine Ausführung, um nur die aktuell ausgewählte SQL-Datei und deren übergeordnete Abfragen neu zu berechnen. Mit dieser Option können Sie Anpassungen an bestimmten SQL-Dateien testen und debuggen.

Tipp:

Sie können Ausführung jederzeit abbrechen auswählen, um die Ausführung der Transformationen abzubrechen.

Die Ergebnisse werden im Vorschaubereich angezeigt.

Hinweis:

Abfragen ausführen ist in der Regel viel schneller als Auf Dashboards anwenden, bei dem eine vollständige Datenausführung gestartet wird.

Hinweis:

Das Ausführen von Abfragen wirkt sich nicht auf die Daten in der veröffentlichten Prozess-App aus.

Hinzufügen von Ordnern und Dateien

Sie können neue Ordner erstellen und neue Dateien in Ihren Transformationen hinzufügen.

Benennungskonventionen

• Für Namen von Dateien, Ordnern, Feldern und Tabellen:

  • Sie können nur Kleinbuchstaben (az), Großbuchstaben (AZ) und Ziffern (0-9) verwenden;

  • Sie keine Sonderzeichen |*:?"<>\/ für Namen von Dateien, Ordnern, Feldern und Tabellen verwenden.
• Für Dateinamen können Sie nur _:. als Sonderzeichen verwenden.
• Ein Dateiname darf nicht mit einem _ (Unterstrich) beginnen.

Erstellen eines neuen Ordners oder einer neuen Datei im Transformationsmenü

Führen Sie die folgenden Schritte aus, um einen neuen Ordner oder eine neue Datei zu erstellen.

Schritte	Aktion
1	Navigieren Sie zu dem Speicherort in den Transformationen, an dem Sie eine neue Datei oder einen neuen Ordner hinzufügen möchten.
2	Wechseln Sie zum Bereich Transformationen und wählen Sie das Menü aus Symbol, um das Transformationsmenü zu öffnen.
3	Wählen Sie die entsprechende Option aus dem Menü aus.
4	Geben Sie einen beschreibenden Namen für den neuen Ordner oder die neue Datei ein und wählen Sie die Eingabetaste aus.

Der neue Ordner oder die neue Datei wird im ausgewählten Ordner erstellt.

Erstellen eines neuen Ordners oder einer neuen Datei über das Kontextmenü

Führen Sie die folgenden Schritte aus, um einen neuen Ordner oder eine neue Datei über das Kontextmenü zu erstellen.

Schritte	Aktion
1	Klicken Sie mit der rechten Maustaste auf den Ordner in den Transformationen, in dem Sie eine neue Datei oder einen neuen Ordner hinzufügen möchten.
2	Wählen Sie die entsprechende Option aus dem Menü aus.
3	Geben Sie einen beschreibenden Namen für den neuen Ordner oder die neue Datei ein und wählen Sie die Eingabetaste aus.

Der neue Ordner oder die neue Datei wird im ausgewählten Ordner erstellt.

Nicht gespeicherte Änderungen in Dateien

Wenn Sie eine .sql -Datei bearbeiten, wird in der Ordnerstruktur der Transformationen angegeben, dass nicht gespeicherte Änderungen vorhanden sind.

Im obigen Beispiel gibt es ungespeicherte Änderungen in der Tags.sql -Datei, die sich im Ordner „Modelle“ -> „5_business_logic “ befindet.

Umbenennen eines Ordners oder einer Datei

Führen Sie die folgenden Schritte aus, um einen neuen Ordner oder eine neue Datei zu erstellen.

Schritte	Aktion
1	Klicken Sie mit der rechten Maustaste auf den Ordner oder die Datei, die Sie umbenennen möchten, um das Kontextmenü zu öffnen.
2	Wählen Sie Umbenennen aus.
3	Bearbeiten Sie den Namen wie gewünscht und wählen Sie die Eingabetaste aus.

Der Ordner oder die Datei wird umbenannt.

Löschen eines Ordners oder einer Datei

Führen Sie die folgenden Schritte aus, um einen neuen Ordner oder eine neue Datei zu erstellen.

Schritte	Aktion
1	Klicken Sie mit der rechten Maustaste auf den Ordner oder die Datei, die Sie löschen möchten, um das Kontextmenü zu öffnen.
2	Wählen Sie Löschen aus. Eine Bestätigungsmeldung wird angezeigt.
3	Wählen Sie Löschen aus, um die Löschung zu bestätigen.

Der Ordner oder die Datei wird gelöscht.

Hinzufügen von Kommentaren zu Dateien

Wenn Sie Kommentare in Ihre SQL-Transformationsdateien aufnehmen oder Teile der Datei auskommentieren möchten, wird dringend empfohlen, die Jinja-Kommentarsyntax zu verwenden, die standardmäßig auf {# ... #} festgelegt ist. Dadurch können Sie auch Makros kommentieren.

SQL

{# {{ pm_utils.optional(ref('Cases_base'), '"Case_status"') }} as "Case_status", #}

{# case
    when {{ pm_utils.optional(ref('Cases_base'), '"Case_value"', 'double') }} >= 1000000 
      then {{ pm_utils.as_varchar('>= 1M') }}
    when {{ pm_utils.optional(ref('Cases_base'), '"Case_value"', 'double') }} >= 0 
     then {{ pm_utils.as_varchar('0 - 1M') }}
   when {{ pm_utils.optional(ref('Cases_base'), '"Case_value"', 'double') }} is not null
     then {{ pm_utils.as_varchar('< 0') }}
  end as "Case_value_group", #}

In Dateien suchen/ersetzen

Im Datentransformations- Editor können Sie Texte in einer einzelnen Datei suchen und ersetzen.

Find Text

So suchen Sie einen Text im Datentransformations-Editor:

1. Klicken Sie auf eine zufällige Stelle im Code-Editor oder wählen Sie den Text aus, den Sie nach anderen Vorkommen suchen möchten.

2. Drücken CTRL+F.

3. Geben Sie den Test, nach dem Sie suchen möchten, in das Feld Suchen ein.

   Alle Vorkommen des Texts in der aktuellen Datei werden hervorgehoben.

4. Wählen Sie ENTER aus, um zum nächsten Vorkommen zu springen.

Suchen und ersetzen

So suchen Sie einen Text im Datentransformations-Editor:

1. Klicken Sie auf eine zufällige Stelle im Code-Editor oder wählen Sie den Text aus, den Sie nach anderen Vorkommen suchen möchten.

2. Drücken CTRL+H.

3. Geben Sie den Test ein, nach dem Sie suchen möchten, und geben Sie den neuen Test in das Feld Ersetzen ein.

   Alle Vorkommen des Texts in der aktuellen Datei werden hervorgehoben.

4. Wählen Sie ENTER aus, um den Text zu ersetzen und zum nächsten Vorkommen zu springen.

So suchen Sie einen Text im Datentransformations-Editor:

1. Klicken Sie auf den Code-Editor.

2. Drücken CTRL+H.

3. Geben Sie den Test ein, nach dem Sie suchen möchten, und geben Sie den neuen Test in das Feld Ersetzen ein.

   Alle Vorkommen des Texts in der aktuellen Datei werden hervorgehoben.

4. Drücken Crtl+Alt+Enter.

Tipp:

Sie können auch die Symbole Ersetzen oder Alle ersetzen verwenden.

Suchen/Ersetzen in mehreren Dateien

Wenn Sie Texte in mehreren Dateien suchen/ersetzen möchten, ist dies nur in einem externen Editor möglich.

Führen Sie die folgenden Schritte aus, um Texte in mehreren Dateien zu suchen/ersetzen:

1. Exportieren Sie Transformationen aus Ihrer Prozess-App.

   Hinweis:

   Wenn Sie ausstehende Änderungen im Datentransformations-Editor haben, verwenden Sie zuerst Anwenden auf Dashboards und exportieren Sie die Transformationen, nachdem die Datenausführung abgeschlossen ist.

2. Entpacken Sie die Transformationen.

3. Öffnen Sie die Transformationen in Ihrem bevorzugten Code-Editor, z. B. Notepad++ oder Visual Studio Code.

4. Verwenden Sie die Funktionen dieser Tools, um Texte in mehreren Dateien zu suchen oder zu ersetzen.

5. Speichern Sie die Dateien.

6. Fügen Sie die Transformationsdateien zu einer .zip- Datei.

7. Importieren Sie die Transformationen in Ihre Prozess-App.

Hinweis:

Wenn Sie gefragt werden, welche Daten für eine Datenausführung verwendet werden sollen, wählen Sie Abbrechen aus, wenn Sie mit der Bearbeitung von Transformationen fortfahren möchten, bevor Sie eine neue Datenausführung durchführen.

Bearbeiten von dbt-Projektkonfigurationsdateien

Sie können auch dbt-Projektkonfigurationsdateien im Datentransformations-Editor öffnen, z. B. dbt_project.yml.

Warnung:

Es wird dringend empfohlen, nur den Abschnitt vars bei Bedarf zu bearbeiten. Die anderen Teile von dbt_project.yml dürfen nicht geändert werden, um sicherzustellen, dass die Transformationen weiterhin ordnungsgemäß funktionieren.

Ausführliche Informationen zu dbt finden Sie in der offiziellen dbt-Dokumentation.

Verfügbarmachen der Transformationen in Dashboards

Um die Änderungen in den Dashboards verfügbar zu machen, müssen Sie die Daten in einem vollständigen Datendurchlauf laden und die Transformationen durchführen. Wählen Sie die Schaltfläche Auf Dashboards anwenden aus, um eine Datenausführung zu starten.

Hinweis:

Je nach Größe Ihres Datasets kann dies einige Zeit in Anspruch nehmen.

Nach einer erfolgreichen Datenausführung stehen die neuen Transformationen im Dashboard-Editor zur Verfügung und können zur Anpassung der Dashboards verwendet werden.

Achtung:

Wenn Sie über eine veröffentlichte Version der Prozess-App verfügen, sehen Geschäftsanwender sofort die neuen Daten. Wenn Sie sicherstellen möchten, dass Ihre veröffentlichte App auch während der Bearbeitung von Transformationen ordnungsgemäß funktioniert, sollten Sie unbedingt eine Entwicklungs-App verwenden.

Führen Sie die folgenden Schritte aus.

1. Klonen Sie Ihre App, um eine Entwicklungs-App zu erstellen.

2. Bearbeiten und testen Sie die Transformationen.

3. Exportieren Sie die Transformationen aus der Entwicklungs-App.

4. Importieren Sie die Transformationen in Ihre veröffentlichte Prozess-App.

Zusammenführen von Ereignisprotokollen

Wenn Ihr Ereignisprotokoll auf mehrere Ereignisprotokolldateien aufgeteilt ist, können Sie die Ereignisprotokolle in den Datentransformationen in einem einzigen Ereignisprotokoll zusammenführen.

Hinweis:

Um mehrere Ereignisprotokolle zusammenzuführen, muss die Case_ID für alle Dateien auf dasselbe Objekt verweisen. Beispielsweise verweisen alle Fall-IDs auf Kundenauftrags-IDs, sodass Case_ID für alle Ereignisprotokolle auf dieselbe Tabelle verweist.

1. Erstellen Sie eine neue App basierend auf der Vorlage für die Ereignisprotokoll- App. Siehe App-Vorlagen.

2. Verwenden Sie die Option Daten hochladen im Schritt Auswählen der Datenquelle und wählen Sie die Ereignisprotokolldateien aus, die Sie zusammenführen möchten.

3. Fahren Sie mit dem Assistenten Neue App erstellen fort, um die App zu erstellen und die Daten zu transformieren.

   Die Datenausführung schlägt fehl und der Anwendungsstatus lautet Ausführung fehlgeschlagen.

4. Wählen Sie Protokoll anzeigen aus, um die Protokolldatei anzuzeigen.

   Es wird eine Fehlermeldung angezeigt, dass die erwartete Event_log_raw.sql -Datei nicht gefunden wurde.

   

5. Wechseln Sie zum Datentransformations- Editor.

6. Für jede Eingabedatei:

   1. Erstellen Sie eine .sql -Datei mit dem gleichen Inhalt wie die bereits verfügbare Event_log_input.sql.

      

   2. Passen Sie die Datei an, um die erforderlichen Eingabefelder auszuwählen und sie korrekt umzuwandeln.

   3. Fügen Sie den Namen der neuen Quelltabellen zu sources.yml.

      Jetzt können alle neuen Eingabedateien in einem einzigen Ereignisprotokoll kombiniert werden.

      Achtung:

      Stellen Sie sicher, dass alle Eingabedateien den genau gleichen Satz an Feldern haben.

7. Wählen Sie die Event_log_input.sql -Datei aus und ersetzen Sie den Inhalt durch:

   -- The following code merges 3 input tables.
   select * from {{ ref('Event_log_input_1') }}
   union all
   select * from {{ ref('Event_log_input_2') }}
   union all
   select * from {{ ref('Event_log_input_3') }}

   
   Hinweis: Passen Sie den Code so an, dass er den Namen der erforderlichen Eingabetabellen entspricht.

8. Wählen Sie Auf Dashboards anwenden aus, um die Datentransformationen auszuführen und die resultierende Tabelle für die Verwendung in den Dashboards verfügbar zu machen.