Setting up a local test environment

Einleitung

Zum Bearbeiten von Datentransformationen wird eine lokale Testeinrichtung empfohlen, die den Datentechnikern beim Bearbeiten und Testen verbessert.

Eine lokale Testumgebung umfasst die folgenden Tools.

Tool	Nutzung
dbt	, um die Datenumwandlungen in einer lokalen Datenbank auszuführen.
Visual Studio-Code	um den SQL-Code der Datenumwandlungen zu bearbeiten.
SQL Server (Express-Edition)	zum Testen der Datentransformationen.
SQL Server Management Studio	zum Überprüfen des Ergebnisses der Datenumwandlungen in der lokalen Datenbank.

Voraussetzungen

Zum Installieren und Ausführen eines dbt -Projekts benötigen Sie Python 3.9. Sie können Python 3.9 von der offiziellen Python-Website herunterladen.

Create a Python virtual environment

Es wird empfohlen, eine virtuelle Python-Umgebung zu erstellen, in der Sie dbtinstallieren. Es empfiehlt sich, einen dedizierten Ordner für Ihre Transformationen zu erstellen. Sie können diesen Ordner auch verwenden, um die virtuelle Python-Umgebung zu erstellen.

Schritt	Aktion
1	Öffnen Sie den Windows-Explorer und erstellen Sie einen Ordner, in dem sich Ihre virtuelle Umgebung befindet. Beispiel: C:\My_transformations .
2	Öffnen Sie eine Windows-Eingabeaufforderung.

Führen Sie die in den folgenden Schritten beschriebenen Befehle aus, um eine virtuelle Python-Umgebung zu erstellen.

Schritt	Aktion	Befehl
1	Installieren Sie das Python-Paket virtualenv .	py -m pip install virtualenv
2	Wechseln Sie zu dem Ordner, in dem Sie die Umgebung erstellen möchten.	cd [path_to_your_folder]. Beispiel: cd C:\My_transformations.
3	Erstellen Sie eine virtuelle Umgebung (mit dem Namen venv ).	py -m virtualenv venv

Dbt installieren

Stellen Sie sicher, dass die virtuelle Umgebung noch aktiviert ist. Führen Sie die folgenden Schritte aus, um dbt zu installieren und Transformationen auszuführen.

Wichtig:

Das Ausführen von Skripts muss auf Ihrem System aktiviert sein. Führen Sie die folgenden Schritte aus:

1. Öffnen Sie PowerShell als Administrator.

2. Geben Sie den Befehl Set-ExecutionPolicy RemoteSigned oder Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser ein.

3. Geben Sie Y ein, wenn Sie dazu aufgefordert werden.

Schritt	Aktion	Befehl
1	Aktivieren Sie die virtuelle Umgebung.	venv\Scripts\activate
2	Installieren des dbt-Pakets	pip install dbt-sqlserver==1.1.0
3	Überprüfen Sie, ob die Installation erfolgreich war	dbt --version

Visual Studio-Code

Visual Studio Code ist der empfohlene Code-Editor zum Bearbeiten von Datentransformationen.

Visual Studio-Code installieren

Sie können Visual Studio Code von der Download-Website für Visual Studio Code herunterladen.

Erweiterungen

Nachdem Sie Visual Studio Code installiert haben, installieren Sie die folgenden Erweiterungen, um die Arbeit mit dbtzu erleichtern:

• Dbt-Hauptbenutzer

Führen Sie diese Schritte aus, um eine Erweiterung in Visual Studio Code zu installieren.

Schritt	Aktion
1	Starten Sie Visual Studio Code
2	Wechseln Sie zum Panel Erweiterungen (STRG+UMSCHALT+X). Siehe Abbildung unten.
3	Suchen Sie nach der Erweiterung dbt Power User , indem Sie mit der Eingabe des Namens in das Textfeld Erweiterungen im Marketplace suchen beginnen.
4	Klicken Sie auf Installieren.

Siehe Abbildung unten.

Legen Sie den Pfad des Python-Interpreters fest

Um Python aus der erstellten virtuellen Umgebung auszuführen, muss der Pfad in Visual Studio Code festgelegt werden.

Führen Sie die folgenden Schritte aus.

Schritt	Aktion
1	Gehen Sie zu Datei > Einstellungen > Einstellungen.
2	Suchen Sie nach Python.
3	Überprüfen Sie im Standardinterpreterpfadden Pfad zu python.exe . Es sollte sich im [path_to_your_folder]\venv\Scripts Ordner. Ein Beispiel finden Sie in der Abbildung unten.

Microsoft SQL Server

Microsoft SQL Server ist die erforderliche Datenbank zum Testen der Transformationen. Dieser Datenbankserver wird nicht als Teil des Process Mining -Produkts bereitgestellt. Zum Bearbeiten und Testen der Transformation können Sie auch SQL Server Express verwenden. Sie können Microsoft SQL Server Express von der offiziellen Microsoft SQL Server-Download-Webseite herunterladen.

Hinweis: Es wird empfohlen, die Transformationen mit kleinen Entwicklungs-Datasets zu testen. Dadurch ist es möglich, diese mit einem SQL-Server mit minimalen Anforderungen zu testen. Wenn Sie keinen Microsoft SQL Server zur Verfügung haben oder die Transformationen auf einer lokalen Desktopmaschine testen möchten, wird empfohlen, Microsoft SQL Server Express zu verwenden.

Hinweis:

Standardmäßig wird bei SQL Server die Groß-/Kleinschreibung nicht berücksichtigt, bei Process Mining hingegen. Es wird empfohlen, das Verhalten Ihrer lokalen SQL-Server-Datenbank an dieses Verhalten anzupassen, um Probleme zu vermeiden. Dies kann erreicht werden, indem die richtige Sortierung während der Installation festgelegt wird. Der Standardwert für die Sortierung hängt von Ihrem Gebietsschema ab.

Um die Sortierung so zu ändern, dass die Groß-/Kleinschreibung beachtet wird, ersetzen Sie den Teil CI durch CS, z. B Latin1_General_CI_AS muss in Latin1_General_CS_AS geändert werden. Wenn Sie SQL Server bereits installiert haben, befolgen Sie die unter Festlegen oder Ändern der Serversortierung beschriebenen Anweisungen, um die Sortierung zu aktualisieren.

Mindestanforderungen

Nachfolgend finden Sie eine Übersicht über die Mindestanforderungen für SQL Server für eine lokale Entwicklungsumgebung. Wenn Sie mehr als 10 Mio. Datensätze in Ihrer Entwicklungsumgebung verwenden möchten, verwenden Sie den Kapazitätsrechner , um die entsprechenden Systemanforderungen für den SQL-Server zu berechnen.

Typ	Mindestanforderungen (10 Mio. Ereignisse)
Version	SQL Server 2019 oder höher
CPU	8 vCPU/Kerne (16 empfohlen)
Arbeitsspeicher	32 GiB RAM
Datenträger	Niedrige Latenz und dedizierte Datenträger werden empfohlen
Datenträger	256 GiB
Temp DB	128 GiB

Capacity calculator

Sie können den Kapazitätsrechner verwenden , um die Hardwareanforderungen zum Einrichten einer dedizierten Microsoft SQL Server-Maschine für Process Miningzu bestimmen. Siehe Kapazitätsrechner.

SQL Server Management Studio (SSMS)

Um die Datenbanktabellen anzuzeigen und die SQL Server-Infrastruktur zu verwalten, können Sie SQL Server Management Studio (SSMS) herunterladen, das auf jedem Computer installiert werden kann.