Setting up a local test environment

Introdução

Para editar transformações de dados, uma configuração de teste local é recomendada para uma experiência aprimorada de edição e teste para engenheiros de dados.

Um ambiente de teste local inclui o seguinte conjunto de ferramentas.

Ferramenta	Uso
dbt	para executar as transformações de dados em um banco de dados local.
Código do Visual Studio	para editar o código SQL das transformações de dados.
SQL Server (edição Express)	para testar as transformações de dados.
SQL Server Management Studio	para revisar o resultado das transformações de dados no banco de dados local.

Pré-requisitos

Para instalar e executar um projeto dbt , você precisa do Python 3.9 (ou superior). Você pode baixar o Python do site oficial do Python.

Confira a documentação oficial do Dbt sobre compatibilidade do Python para obter mais informações.

Create a Python virtual environment

É recomendável criar um ambiente virtual Python no qual você instalará o dbt. É uma boa prática criar uma pasta dedicada para suas transformações. Você também pode usar essa pasta para criar o ambiente virtual do Python.

Etapa	Ação
1	Abra o Windows Explorer e crie uma pasta onde ficará seu ambiente virtual. Por exemplo, C:\My_transformations.
2	Abra um prompt de comando do Windows.

Execute os comandos descritos nas etapas a seguir para criar um ambiente virtual Python.

Etapa	Ação	Command
1	Instale o pacote Python virtualenv.	py -m pip install virtualenv
2	Vá para a pasta onde deseja criar o ambiente.	cd [path_to_your_folder]. Por exemplo, cd C:\My_transformations
3	Crie um ambiente virtual (chamado venv).	py -m virtualenv venv

Instalar Dbt

Verifique se o ambiente virtual ainda está ativado. Siga estas etapas para instalar o dbt para executar transformações.

Importante:

A execução de scripts deve estar habilitada em seu sistema. Siga esses passos:

1. Abra o PowerShell no modo de Administrador.
2. Insira o comando Set-ExecutionPolicy RemoteSigned ou Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser.
3. Insira Y quando solicitado.

Etapa	Ação	Command
1	Ative o ambiente virtual.	venv\Scripts\activate
2	Instalar o pacote dbt	pip install dbt-sqlserver==1.1.0
3	Verifique se a instalação foi bem-sucedida	dbt --version

Código do Visual Studio

Visual Studio Code é o editor de código recomendado para editar transformações de dados.

Instalar código do Visual Studio

Você pode baixar o Visual Studio Code na página Download Visual Studio Code.

Extensões

After you have installed Visual Studio Code, install the following extensions to make it easier to work with dbt:

• Dbt Usuário avançado

Siga estas etapas para instalar uma extensão no Visual Studio Code.

Etapa	Ação
1	Iniciar Visual Studio Code
2	Acesse o painel Extensões (CTRL+SHIFT+X).
3	Search for the dbt Power User extension by start typing the name in the Search Extensions in Marketplace text box.
4	Click on Install.

A ilustração a seguir mostra o painel Extensões.

Definir caminho do interpretador Python

Para executar o Python a partir do ambiente virtual que foi criado, o caminho precisa ser definido no Visual Studio Code.

Siga estas etapas.

Etapa	Ação
1	Acesse Arquivo > Preferência > Configurações.
2	Search for Python.
3	No Caminho do Interpretador Padrão, certifique-se de verificar o caminho para o python.exe. Ele deve estar localizado na [path_to_your_folder]\venv\Scripts .

Microsoft SQL Server

O Microsoft SQL Server é o banco de dados necessário para testar as transformações. Esse servidor de banco de dados não é fornecido como parte do produto do Process Mining . Para editar e testar a transformação você também pode usar o SQL Server Express. Você pode baixar o Microsoft SQL Server Express da página oficial de downloads do Microsoft SQL Server.

Observação:

É recomendável testar as transformações usando pequenos conjuntos de dados de desenvolvimento. Isso permite testá-los usando um SQL Server com requisitos mínimos. Se você não tiver um Microsoft SQL Server disponível ou se quiser testar as transformações em uma máquina de área de trabalho local, é recomendável usar o Microsoft SQL Server Express.

Observação:

Por padrão, o SQL Server não diferencia maiúsculas de minúsculas, enquanto o Process Mining diferencia maiúsculas de minúsculas. É aconselhável alterar o comportamento do seu banco de dados SQL Server local para corresponder a esse comportamento, para evitar problemas. Isso pode ser feito definindo o collation correto durante a instalação. O valor padrão para o collation depende da sua localidade.

Para alterar o collation para diferenciar maiúsculas de minúsculas, substitua a parte CI por CS, por exemplo Latin1_General_CI_AS deve ser alterado para Latin1_General_CS_AS. Se você já instalou o SQL Server, siga as instruções descritas em Definir ou alterar o collation do servidor para atualizar o agrupamento.

Requisitos Mínimos

A tabela a seguir contém uma visão geral dos requisitos mínimos do SQL Server para um ambiente de desenvolvimento local. Se você quiser usar mais de 10 milhões de registros em seu ambiente de desenvolvimento, use a calculadora de capacidade para calcular os requisitos de sistema correspondentes para o SQL Server.

Tipo	Requisitos mínimos (10 milhões de eventos)
Versão	SQL Server 2019 ou superior
CPU	8 vCPU/núcleos (16 recomendados)
Memória	32 GiB RAM
discos	Baixa latência e discos dedicados são recomendados
discos de dados	256 GiB
banco de dados temporário	128 GiB

Capacity calculator

Você pode usar a Calculadora de capacidade para determinar os requisitos de hardware para configurar uma máquina dedicada do Microsoft SQL Server para o Process Mining. Verifique Calculadora de capacidade.

SQL Server Management Studio (SSMS)

Para visualizar as tabelas do banco de dados e gerenciar a infraestrutura do SQL Server, você pode baixar o SQL Server Management Studio (SSMS), que pode ser instalado em qualquer computador.