Setting up a local test environment

Einleitung

Zum Bearbeiten von Datentransformationen wird eine lokale Testeinrichtung empfohlen, die den Datentechnikern beim Bearbeiten und Testen verbessert.

Eine lokale Testumgebung umfasst die folgenden Tools.

Tool	Nutzung
dbt	, um die Datenumwandlungen in einer lokalen Datenbank auszuführen.
Visual Studio-Code	um den SQL-Code der Datenumwandlungen zu bearbeiten.
SQL Server (Express-Edition)	zum Testen der Datentransformationen.
SQL Server Management Studio	zum Überprüfen des Ergebnisses der Datenumwandlungen in der lokalen Datenbank.

Voraussetzungen

Zum Installieren und Ausführen eines dbt -Projekts benötigen Sie Python 3.9 (oder höher). Sie können Python von der offiziellen Python-Website herunterladen.

Weitere Informationen finden Sie in der offiziellen Dbt-Dokumentation zur Pyton-Kompatibilität .

Create a Python virtual environment

Es wird empfohlen, eine virtuelle Python-Umgebung zu erstellen, in der Sie dbt installieren. Es empfiehlt sich, einen eigenen Ordner für Ihre Transformationen zu erstellen. Sie können diesen Ordner auch verwenden, um die virtuelle Python-Umgebung zu erstellen.

Schritt	Aktion
1	Öffnen Sie den Windows-Explorer und erstellen Sie einen Ordner, in dem sich Ihre virtuelle Umgebung befindet. Beispiel: C:\My_transformations .
2	Öffnen Sie eine Windows-Eingabeaufforderung.

Führen Sie die in den folgenden Schritten beschriebenen Befehle aus, um eine virtuelle Python-Umgebung zu erstellen.

Schritt	Aktion	Befehl
1	Installieren Sie das Python-Paket virtualenv .	py -m pip install virtualenv
2	Wechseln Sie zu dem Ordner, in dem Sie die Umgebung erstellen möchten.	cd [path_to_your_folder]. Zum Beispiel, cd C:\My_transformations
3	Erstellen Sie eine virtuelle Umgebung (mit dem Namen venv ).	py -m virtualenv venv

Dbt installieren

Stellen Sie sicher, dass die virtuelle Umgebung noch aktiviert ist. Führen Sie die folgenden Schritte aus, um dbt zu installieren und Transformationen auszuführen.

Wichtig:

Das Ausführen von Skripts muss auf Ihrem System aktiviert sein. Führen Sie die folgenden Schritte aus:

1. Öffnen Sie PowerShell als Administrator.
2. Geben Sie den Befehl Set-ExecutionPolicy RemoteSigned oder Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser ein.
3. Geben Sie Y ein, wenn Sie dazu aufgefordert werden.

Schritt	Aktion	Befehl
1	Aktivieren Sie die virtuelle Umgebung.	venv\Scripts\activate
2	Installieren des dbt-Pakets	pip install dbt-core==1.8.8 * pip install dbt-sqlserver==1.8.4
3	Überprüfen Sie, ob die Installation erfolgreich war	dbt --version

• Die UiPath®-Plattform unterstützt nicht die dbt- Funktion zum Einbinden von Python-Skripten als Teil Ihres dbt -Projekts.

Visual Studio-Code

Visual Studio Code ist der empfohlene Code-Editor zum Bearbeiten von Datentransformationen.

Visual Studio-Code installieren

Sie können Visual Studio Code von der Download-Website für Visual Studio Code herunterladen.

Erweiterungen

After you have installed Visual Studio Code, install the following extensions to make it easier to work with dbt:

• Dbt-Hauptbenutzer

Führen Sie diese Schritte aus, um eine Erweiterung in Visual Studio Code zu installieren.

Schritt	Aktion
1	Starten Sie Visual Studio Code
2	Wechseln Sie zum Erweiterungsbereich (CTRL+UMSCHALT+X).
3	Search for the dbt Power User extension by start typing the name in the Search Extensions in Marketplace text box.
4	Click on Install.

Die folgende Abbildung zeigt den Erweiterungsbereich.

Legen Sie den Pfad des Python-Interpreters fest

Um Python aus der erstellten virtuellen Umgebung auszuführen, muss der Pfad in Visual Studio Code festgelegt werden.

Führen Sie die folgenden Schritte aus.

Schritt	Aktion
1	Wechseln Sie zu Datei > Einstellungen > Einstellungen.
2	Search for Python.
3	Überprüfen Sie im Standardinterpreterpfad den Pfad zur python.exe. Es muss sich im Ordner [path_to_your_folder]\venv\Scripts befinden.

Microsoft SQL Server

Microsoft SQL Server ist die erforderliche Datenbank, um die Transformationen zu testen. Dieser Datenbankserver wird nicht als Teil des Process Mining Produkts bereitgestellt. Zum Bearbeiten und Testen der Transformation können Sie auch SQL Server Express verwenden. Sie können Microsoft SQL Server Express von der offiziellen Microsoft SQL Server-Download-Website herunterladen.

Hinweis:

Es wird empfohlen, die Transformationen mit kleinen Entwicklungs-Datasets zu testen. Dadurch können sie mit einem SQL-Server mit minimalen Anforderungen getestet werden. Wenn Sie keinen Microsoft SQL Server zur Verfügung haben oder wenn Sie die Transformationen auf einer lokalen Desktopmaschine testen möchten, wird empfohlen, Microsoft SQL Server Express zu verwenden.

Hinweis:

Standardmäßig wird bei SQL Server die Groß-/Kleinschreibung nicht berücksichtigt, während bei Process Mining die Groß-/Kleinschreibung beachtet wird. Es wird empfohlen, das Verhalten Ihrer lokalen SQL-Server-Datenbank in dieses Verhalten anzupassen, um Probleme zu vermeiden. Dies kann durch das Festlegen der richtigen Sortierung während der Installation erreicht werden. Der Standardwert für die Sortierung hängt von Ihrem Gebietsschema ab . Um die Sortierung zu ändern, um die Groß-/Kleinschreibung zu berücksichtigen, ersetzen Sie den Teil CI durch CS, z. B Latin1_General_CI_AS sollte in Latin1_General_CS_AS geändert werden. Wenn Sie SQL Server bereits installiert haben, befolgen Sie die Anweisungen unter Festlegen oder Ändern der Serversortierung, um die Sortierung zu aktualisieren.

Mindestanforderungen

Die folgende Tabelle enthält einen Überblick über die Mindestanforderungen für den SQL Server für eine lokale Entwicklungsumgebung. Wenn Sie mehr als 10 Millionen Datensätze in Ihrer Entwicklungsumgebung verwenden möchten, verwenden Sie den Kapazitätsrechner , um die entsprechenden Systemanforderungen für den SQL Server zu berechnen.

Typ	Mindestanforderungen (10 Mio. Ereignisse)
Version	SQL Server 2019 oder höher
CPU	8 vCPU/Kerne (16 empfohlen)
Arbeitsspeicher	32 GiB RAM
Datenträger	Geringe Latenz und dedizierte Datenträger werden empfohlen
Datenträger	256 GiB
Temp DB	128 GiB

Capacity calculator

Sie können den Kapazitätsrechner verwenden, um die Hardwareanforderungen zum Einrichten einer dedizierten Microsoft SQL Server-Maschine für Process Mining zu bestimmen . Sehen Sie sich den Kapazitätsrechner an .

SQL Server Management Studio (SSMS)

Um die Datenbanktabellen anzuzeigen und die SQL Server-Infrastruktur zu verwalten, können Sie SQL Server Management Studio (SSMS) herunterladen, das auf jedem Computer installiert werden kann.