Setting up a local test environment

Introducción

Para editar transformaciones de datos, se recomienda una configuración de prueba local para mejorar la experiencia de edición y prueba de los ingenieros de datos.

Un entorno de prueba local incluye el siguiente conjunto de herramientas.

Herramienta	Uso
dbt	para ejecutar las transformaciones de datos en una base de datos local.
Código de Visual Studio	para editar el código SQL de las transformaciones de datos.
SQL Server (edición Express)	para probar las transformaciones de datos.
SQL Server Management Studio	para revisar el resultado de las transformaciones de datos en la base de datos local.

Requisitos previos

Para instalar y ejecutar un proyecto dbt , necesitas Python 3.9 (o posterior). Puedes descargar Python desde el sitio web oficial de Python.

Consulta la documentación oficial de Dbt sobre la compatibilidad de Pyton para obtener más información.

Create a Python virtual environment

Se recomienda crear un entorno virtual de Python en el que instalará dbt. Es una buena práctica crear una carpeta dedicada para tus transformaciones. También puedes utilizar esta carpeta para crear el entorno virtual de Python.

Paso	Acción
1	Abra el Explorador de Windows y cree una carpeta donde se ubicará su entorno virtual. Por ejemplo, C:\My_transformations.
2	Abre un símbolo del sistema de Windows.

Ejecuta los comandos descritos en los siguientes pasos para crear un entorno virtual de Python.

Paso	Acción	Comando
1	Instala el paquete de Python virtualenv.	py -m pip install virtualenv
2	Ve a la carpeta en la que quieres crear el entorno.	cd [path_to_your_folder]. Por ejemplo, cd C:\My_transformations
3	Crea un entorno virtual (llamado venv).	py -m virtualenv venv

Instalar Dbt

Asegúrate de que el entorno virtual sigue activado. Sigue estos pasos para instalar dbt para ejecutar transformaciones.

Importante:

La ejecución de scripts debe estar habilitada en tu sistema. Sigue estos pasos:

1. Abre PowerShell en modo de administrador.
2. Introduce el comando Set-ExecutionPolicy RemoteSigned o Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser.
3. Introduce Y cuando se te solicite.

Paso	Acción	Comando
1	Activar el entorno virtual.	venv\Scripts\activate
2	Instalar el paquete dbt	pip install dbt-sqlserver==1.1.0
3	Compruebe si la instalación se ha realizado correctamente	dbt --version

Código de Visual Studio

Visual Studio Code es el editor de código recomendado para editar transformaciones de datos.

Instalar código de Visual Studio

Puedes descargar Visual Studio Code desde la página web Descargar Visual Studio Code.

Extensiones

After you have installed Visual Studio Code, install the following extensions to make it easier to work with dbt:

• Usuario avanzado de Dbt

Sigue estos pasos para instalar una extensión en el código de Visual Studio.

Paso	Acción
1	Iniciar Visual Studio Code
2	Ve al panel Extensiones (CTRL+SHIFT+X).
3	Search for the dbt Power User extension by start typing the name in the Search Extensions in Marketplace text box.
4	Click on Install.

La siguiente ilustración muestra el panel Extensiones.

Establecer la ruta del intérprete de Python

Para ejecutar Python desde el entorno virtual que se creó, la ruta de acceso debe establecerse en el código de Visual Studio.

Sigue estos pasos.

Paso	Acción
1	Ve a Archivo > Preferencias > Configuración.
2	Search for Python.
3	En la Ruta del intérprete predeterminada, asegúrate de marcar la ruta al python.exe. Debe estar ubicado en el [path_to_your_folder]\venv\Scripts ubicación.

Microsoft SQL Server

Microsoft SQL Server es la base de datos necesaria para probar las transformaciones. Este servidor de base de datos no se proporciona como parte del producto Process Mining . Para editar y probar la transformación, también puedes utilizar SQL Server Express. Puedes descargar Microsoft SQL Server Express desde la página web oficial de descargas de Microsoft SQL Server.

Nota:

Se recomienda probar las transformaciones utilizando pequeños conjuntos de datos de desarrollo. Esto hace posible probarlos utilizando un SQL Server con requisitos mínimos. Si no tienes un Microsoft SQL Server disponible, o si quieres probar las transformaciones en una máquina de escritorio local, se recomienda utilizar Microsoft SQL Server Express.

Nota:

De forma predeterminada, SQL Server no distingue entre mayúsculas y minúsculas, mientras que Process Mining sí lo hace. Se recomienda cambiar el comportamiento de tu base de datos SQL Server local para que coincida con este comportamiento, para evitar cualquier problema. Esto se puede lograr estableciendo la intercalación correcta durante la instalación. El valor predeterminado para la intercalación depende de tu configuración regional.

Para cambiar la intercalación para que distinga entre mayúsculas y minúsculas, reemplaza la parte CI por CS, por ejemplo Latin1_General_CI_AS debe cambiarse a Latin1_General_CS_AS. Si ya instalaste SQL Server, sigue las instrucciones descritas en Establecer o cambiar la intercalación del servidor para actualizar la intercalación.

Requisitos mínimos

La siguiente tabla contiene una descripción general de los requisitos mínimos para SQL Server para un entorno de desarrollo local. Si quieres utilizar más de 10 millones de registros en tu entorno de desarrollo, utiliza la calculadora de capacidad para calcular los requisitos del sistema correspondientes para SQL Server.

Tipo	Requisitos mínimos (10 millones de eventos)
Versión	SQL Server 2019 o posterior
CPU	8 vCPU / núcleos (se recomiendan 16)
Memoria	32 GiB de RAM
Discos	Se recomiendan discos de baja latencia y dedicados
Discos de datos	256 GiB
Base de datos temporal	128 GiB

Capacity calculator

Puedes utilizar la calculadora de capacidad para determinar los requisitos de hardware para configurar una máquina de Microsoft SQL Server dedicada para Process Mining. Consulta Calculadora de capacidad.

Estudio de administración de SQL Server (SSMS)

Para ver las tablas de la base de datos y gestionar la infraestructura de SQL Server, puedes descargar SQL Server Management Studio (SSMS), que puede instalarse en cualquier ordenador.