Setting up a local test environment

Introdução

Para editar transformações de dados, uma configuração de teste local é recomendada para uma experiência aprimorada de edição e teste para engenheiros de dados.

Um ambiente de teste local inclui o seguinte conjunto de ferramentas.

Ferramenta	Uso
dbt	para executar as transformações de dados em um banco de dados local.
Código do Visual Studio	para editar o código SQL das transformações de dados.
SQL Server (edição Express)	para testar as transformações de dados.
SQL Server Management Studio	para revisar o resultado das transformações de dados no banco de dados local.

Pré-requisitos

Para instalar e executar um projeto dbt , você precisa do Python 3.9. Você pode baixar o Python 3.9 no site oficial do Python.

Create a Python virtual environment

Recomenda-se criar um ambiente virtual Python no qual você instalará o dbt. É uma boa prática criar uma pasta dedicada para suas transformações. Você também pode usar esta pasta para criar o ambiente virtual Python.

Etapa	Ação
1	Abra o Windows Explorer e crie uma pasta onde ficará seu ambiente virtual. Por exemplo, C:\My_transformations.
2	Abra um prompt de comando do Windows.

Execute os comandos descritos nas etapas abaixo para criar um ambiente Python Virtual.

Etapa	Ação	Command
1	Instale o pacote Python virtualenv.	py -m pip install virtualenv
2	Vá para a pasta onde deseja criar o ambiente.	cd [path_to_your_folder]. Por exemplo, cd C:\My_transformations
3	Crie um ambiente virtual (chamado venv).	py -m virtualenv venv

Instalar Dbt

Certifique-se de que o ambiente virtual ainda esteja ativado. Siga estas etapas para instalar o dbt para executar transformações.

Importante:

A execução de scripts deve estar habilitada em seu sistema. Siga esses passos:

1. Abra o PowerShell no modo de Administrador.

2. Insira o comando Set-ExecutionPolicy RemoteSigned ou Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser.

3. Digite Y quando solicitado.

Etapa	Ação	Command
1	Ative o ambiente virtual.	venv\Scripts\activate
2	Instalar o pacote dbt	pip install dbt-sqlserver==1.1.0
3	Verifique se a instalação foi bem-sucedida	dbt --version

Código do Visual Studio

Visual Studio Code é o editor de código recomendado para editar transformações de dados.

Instalar código do Visual Studio

Você pode baixar o Visual Studio Code na página Download Visual Studio Code.

Extensões

Depois de instalar o Visual Studio Code, instale as seguintes extensões para facilitar o trabalho com dbt:

• Dbt Usuário avançado

Siga estas etapas para instalar uma extensão no Visual Studio Code.

Etapa	Ação
1	Iniciar Visual Studio Code
2	Vá para o painel Extensões (CTRL+SHIFT+X). Veja a ilustração abaixo.
3	Pesquise a extensão dbt Power User começando a digitar o nome na caixa de texto Pesquisar extensões no Marketplace .
4	Clique em Instalar.

Veja o exemplo abaixo.

Definir caminho do interpretador Python

Para executar o Python a partir do ambiente virtual que foi criado, o caminho precisa ser definido no Visual Studio Code.

Siga estas etapas.

Etapa	Ação
1	Vá para Arquivo > Preferências > Configurações.
2	Pesquise por Python.
3	No Default Interpreter Path, certifique-se de verificar o caminho para o python.exe. Deve estar localizado no [path_to_your_folder]\venv\Scripts pasta. Veja a ilustração abaixo para um exemplo.

Microsoft SQL Server

O Microsoft SQL Server é o banco de dados necessário para testar as transformações. Esse servidor de banco de dados não é fornecido como parte do produto Process Mining . Para editar e testar a transformação, você também pode usar o SQL Server Express. Você pode baixar o Microsoft SQL Server Express da página da Web oficial de downloads do Microsoft SQL Server.

Observação: é recomendável testar as transformações usando pequenos conjuntos de dados de desenvolvimento. Isso torna possível testá-los usando um SQL Server com requisitos mínimos. Se você não tiver um Microsoft SQL Server disponível ou se quiser testar as transformações em uma máquina desktop local, é recomendável usar o Microsoft SQL Server Express.

Observação:

Por padrão, o SQL Server não diferencia maiúsculas de minúsculas, enquanto que o Process Mining diferencia maiúsculas de minúsculas. É recomendável alterar o comportamento do seu banco de dados SQL Server local para corresponder a esse comportamento e evitar quaisquer problemas. Isso pode ser realizado definindo o agrupamento correto durante a instalação. O valor padrão do agrupamento depende de sua localidade.

Para alterar o collation para diferenciar maiúsculas de minúsculas, substitua a parte CI por CS, por exemplo Latin1_General_CI_AS deve ser alterado para Latin1_General_CS_AS. Se você já instalou o SQL Server, siga as instruções descritas em Definir ou alterar o collation do servidor para atualizar o agrupamento.

Requisitos Mínimos

Abaixo está uma visão geral dos requisitos mínimos para o SQL Server para um ambiente de desenvolvimento local. Se você quiser usar mais de 10 milhões de registros em seu ambiente de desenvolvimento, use a calculadora de capacidade para calcular os requisitos de sistema correspondentes para o SQL Server.

Tipo	Requisitos mínimos (10 milhões de eventos)
Versão	SQL Server 2019 ou superior
CPU	8 vCPU/núcleos (16 recomendados)
Memória	32 GiB RAM
discos	Baixa latência e discos dedicados são recomendados
discos de dados	256 GiB
banco de dados temporário	128 GiB

Capacity calculator

Você pode usar a calculadora de capacidade para determinar os requisitos de hardware para configurar uma máquina Microsoft SQL Server dedicada para Process Mining. Consulte Calculadora de capacidade.

SQL Server Management Studio (SSMS)

Para visualizar as tabelas do banco de dados e gerenciar a infraestrutura do SQL Server, você pode baixar o SQL Server Management Studio (SSMS), que pode ser instalado em qualquer computador.