Setting up a local test environment

Introduction

Pour modifier les transformations de données, une configuration de test locale est recommandée afin d'améliorer l'expérience de modification et de test des ingénieurs de données.

Un environnement de test local comprend l'ensemble d'outils suivant.

Outil	Utilisation
dbt	pour exécuter les transformations de données sur une base de données locale.
Code Visual Studio	pour modifier le code SQL des transformations de données.
SQL Server (édition Express)	pour tester les transformations de données.
Studio de gestion SQL Server	pour examiner le résultat des transformations de données dans la base de données locale.

Prérequis

Pour installer et exécuter un projet dbt , vous avez besoin de Python 3.9. Vous pouvez télécharger Python 3.9 à partir du site Web officiel de Python.

Create a Python virtual environment

Il est recommandé de créer un environnement virtuel Python dans lequel vous installerez dbt. Il est recommandé de créer un dossier dédié à vos transformations. Vous pouvez également utiliser ce dossier pour créer l'environnement virtuel Python.

Étape	Action
1	Ouvrez l'Explorateur Windows et créez un dossier dans lequel votre environnement virtuel sera situé. Par exemple, C:\My_transformations .
2	Ouvrez une invite de commande Windows.

Exécutez les commandes décrites dans les étapes ci-dessous pour créer un environnement virtuel Python.

Étape	Action	Commande
1	Installez le package Python virtualenv .	py -m pip install virtualenv
2	Accédez au dossier dans lequel vous souhaitez créer l'environnement.	cd [path_to_your_folder]. Par exemple, cd C:\My_transformations
3	Créez un environnement virtuel (nommé venv ).	py -m virtualenv venv

Installer Dbt

Assurez-vous que l’environnement virtuel est toujours activé. Suivez ces étapes pour installer dbt pour exécuter les transformations.

Important :

Les scripts en cours d'exécution doivent être activés sur votre système. Suivez ces étapes :

1. Ouvrez PowerShell en tant qu'administrateur.

2. Entrez la commande Set-ExecutionPolicy RemoteSigned ou Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser.

3. Saisissez Y lorsque vous y êtes invité.

Étape	Action	Commande
1	Activez l'environnement virtuel.	venv\Scripts\activate
2	Installer le paquet dbt	pip install dbt-sqlserver==1.1.0
3	Vérifier si l'installation a réussi	dbt --version

Code Visual Studio

Visual Studio Code est l'éditeur de code recommandé pour la modification des transformations de données.

Installer le code Visual Studio

Vous pouvez télécharger Visual Studio Code à partir de la page Web Télécharger le code Visual Studio.

Extensions

Après avoir installé Visual Studio Code, installez les extensions suivantes pour faciliter l'utilisation de dbt:

• Utilisateur avancé de Dbt

Suivez ces étapes pour installer une extension dans Visual Studio Code.

Étape	Action
1	Démarrer le code Visual Studio
2	Accédez au panneau Extensions (CTRL+MAJ+X). Voir l'illustration ci-dessous.
3	Recherchez l’extension dbt Power User en commençant à saisir le nom dans la zone de texte Rechercher les extensions dans la place de marché (Search Extensions in Marketplace) .
4	Cliquez sur Installer (Install).

Voir illustration ci-dessous.

Définir le chemin d’accès de l’interprète Python

Pour exécuter Python à partir de l'environnement virtuel qui a été créé, le chemin d'accès doit être défini dans Visual Studio Code.

Suivez ces étapes.

Étape	Action
1	Accédez à Fichier > Préférences (Preference) > Paramètres(Settings).
2	Recherchez Python.
3	Dans Chemin d' interprétation par défaut, assurez - vous de vérifier le chemin d' accès au python.exe . Il doit être situé dans le [path_to_your_folder]\venv\Scripts Dossiers (Folders) Consultez l'illustration ci-dessous pour voir un exemple.

Serveur Microsoft SQL

Microsoft SQL Server est la base de données requise pour tester les transformations. Ce serveur de base de données n'est pas fourni dans le cadre du produit Process Mining . Pour modifier et tester la transformation, vous pouvez également utiliser SQL Server Express. Vous pouvez télécharger Microsoft SQL Server Express à partir de la page Web officielle des téléchargements de Microsoft SQL Server.

Remarque : il est recommandé de tester les transformations à l'aide de petits ensembles de données de développement. Cela permet de les tester à l'aide d'un serveur SQL avec des exigences minimales. Si vous ne disposez pas d'un serveur Microsoft SQL Server ou si vous souhaitez tester les transformations sur une machine de bureau locale, il est recommandé d'utiliser Microsoft SQL Server Express.

Remarque :

Par défaut, SQL Server est insensible à la casse tandis que Process Mining est sensible à la casse. Il est conseillé de modifier le comportement de votre base de données SQL Server locale pour qu'elle corresponde à ce comportement afin d'éviter tout problème. Ceci est possible en définissant le bon classement lors de l'installation. La valeur par défaut du classement dépend de vos paramètres régionaux.

Pour modifier le classement afin d'être sensible à la casse, remplacez la partie CI par CS, par exemple Latin1_General_CI_AS devrait être remplacé par Latin1_General_CS_AS. Si vous avez déjà installé SQL Server, suivez les instructions décrites dans Définir ou modifier le classement du serveur pour mettre à jour le classement.

Configuration minimale requise

Vous trouverez ci-dessous un aperçu de la configuration minimale requise de SQL Server pour un environnement de développement local. Si vous souhaitez utiliser plus de 10 millions d'enregistrements dans votre environnement de développement, utilisez le Calculateur de capacité pour calculer la configuration système requise correspondante pour SQL Server.

Saisie de texte	Configuration minimale requise (10 millions d'événements)
Version	SQL Server 2019 ou versions ultérieures
Processeur	8 processeurs virtuels/cœurs (16 recommandés)
Mémoire	32 Go de RAM
Disques	Des disques dédiés et à faible latence sont recommandés
Disques de données	256 GiB
BD temporaire	128 GiB

Capacity calculator

Vous pouvez utiliser le calculateur de capacité pour déterminer la configuration matérielle requise pour configurer une machine Microsoft SQL Server dédiée pour Process Mining. Voir Calculateur de capacité.

SQL Server Management Studio (SSMS)

Pour afficher les tables de la base de données et gérer l'infrastructure SQL Server, vous pouvez télécharger SQL Server Management Studio (SSMS), qui peut être installé sur n'importe quel ordinateur.