Edição de transformações de dados em um ambiente local

Introdução

Ao criar um aplicativo de processo a partir de um modelo de aplicativo, você deseja certificar-se de que os dados usados no aplicativo de processo reflitam seu processo de negócios da maneira correta. Com as transformações de dados, você pode personalizar os dados usados para Process Mining.

As transformações de dados permitem:

• adicione novos campos para group by e filters. Por exemplo, tipo de verificação de qualidade.
• adicionar eventos. Por exemplo, Verificação de qualidade da fatura concluída.
• adicionar etiquetas. Por exemplo, Falha ao cumprir o SLA,Violação de quatro olhos.
• adicionar lógica de negócios para calcular KPIs. Por exemplo, Case_has_maverick_buying.
• definir novos campos de entrada para cálculos.

Versionamento de transformações

Atualmente, não há controle de versão do código de transformação no produto. Quando novas transformações são importadas, as anteriores são substituídas. Não é possível reverter para a versão anterior das transformações.

Observação: é recomendável manter cópias locais das versões anteriores do código ao fazer alterações. Para rastrear as alterações, as transformações em sua máquina local podem ser versionadas em um sistema de versionamento como GIT ou SVN. Dessa forma, você pode reverter para uma versão anterior usando o sistema de controle de versão e importar essas transformações para o produto quando necessário.

Pré-requisitos

Ao iniciar a edição de transformações de dados, é altamente recomendável que você:

• ter conhecimento profundo de SQL;
• estão familiarizados com o sistema de origem usado para extração de dados.

Ferramentas

É necessário um editor de código para editar as transformações de dados. Visual Studio Code é o editor de código recomendado para editar transformações de dados. Você pode baixar o Visual Studio Code na página Download Visual Studio Code.

É recomendável executar e testar as transformações de dados fora do Process Miningantes de importar a transformação editada em seu aplicativo de processo. Para executar e testar as transformações de dados, é necessário um ambiente de teste local.

Consulte Configuração de um ambiente de teste local.

Customizing the transformations

Cada aplicativo de processo tem um conjunto correspondente de transformações de dados. A personalização de transformações de dados requer a execução de várias etapas.

1. Exporte as transformações do aplicativo de processos.

2. Abra as transformações no Visual Studio Code.

3. Execute as transformações*.

4. Edite as transformações.

5. Teste as transformações em um ambiente de teste local.*

6. Importe e teste as transformações em um aplicativo de processo de teste no Process Mining.

7. Importe as transformações no aplicativo de processos.

* Executar e testar as transformações em um ambiente de teste local são etapas opcionais.

1. Export the transformations from the process app

Siga estas etapas para exportar as transformações do aplicativo de processo.

Etapa	Ação
1	Abra o portal do Process Mining.
2	Acesse a guia Aplicativos de processo e localize o aplicativo para o qual deseja exportar as transformações.
3	Clique em na coluna Actions do app de processo para o qual você deseja exportar as transformações e selecione Exportar transformações.

As transformações são exportadas e baixadas para sua pasta de download padrão como um arquivo .zip .

2. Open the transformations in Visual Studio Code

Siga estas etapas para abrir as transformações no Visual Studio Code.

Etapa	Ações
1	No Windows Explorer, crie uma pasta para as transformações exportadas na pasta onde está localizado seu ambiente virtual. Por exemplo, C:\My_transformations\TemplateOne-MultiFiles.
2	Descompacte o arquivo de transformações exportadas .zip na pasta.

A ilustração a seguir mostra um exemplo.

Etapa	Ação
3	No Visual Studio Code, vá para File -> Open Folder... e selecione a pasta que contém as transformações descompactadas.

A ilustração a seguir mostra um exemplo.

O projeto dbt é interpretado.

Date and time formats

Importante:

O Snowflake usa formatos de data e hora diferentes do SQL Server. Se as variáveis de data e hora forem definidas para as transformações de seu aplicativo de processo, você deverá alterar os formatos de data e hora em dbt_project.yml para o formato exigido pelo SQL Server. Antes de criar o arquivo .zip com as novas transformações, você deve alterar os formatos de data e hora de volta para o formato exigido pelo Snowflake.

Se os formatos de data e hora não estiverem definidos em seu arquivo dbt_project.yml , os valores padrão serão usados.

Para o SQL Server, os formatos de data e hora são definidos por números inteiros e para o Snowflake são definidos por strings.

Abaixo está uma visão geral dos diferentes formatos (padrão) para SQL Server e Snowflake.

variável	Formato SQL Server	formato floco de neve
date_format	23	'YYYY-MM-DD'
time_format	14	'hh24:mi:ss.ff3'
datetime_format	21	'YYYY-MM-DD hh24:mi:ss.ff3'

Para obter mais informações, consulte:

• A documentação oficial do Snowflake sobre Formatos de data e hora em conversões usando o Snowflake.

• A documentação oficial do Microsoft SQL Server sobre Conversões de data e hora usando o SQL Server.

3. Run the transformations

Importante: A execução das transformações só é aplicável se você quiser testar as transformações fora do Process Mining em um ambiente de teste local.

É uma boa prática executar as transformações antes de começar a editá-las. Isso permite que você verifique se a configuração está correta e se os dados foram carregados corretamente.

Antes de começar

Para executar as transformações você deve:

• crie um novo esquema de banco de dados para o aplicativo de processo. Você pode fazer isso no Microsoft SQL Server Management Studio. Siga esses passos.

  Etapa	Ação
  1	No Object Explorer no Microsoft SQL Server Management Studio, vá até a pasta do seu banco de dados na pasta Databases .
  2	Clique com o botão direito do mouse em Segurança e selecione Novo -> Esquema...

As ilustrações a seguir mostram a janela de autenticação do SQL Server.

Consulte a documentação oficial da Microsoft para obter mais informações.

• carregue dados no novo esquema e certifique-se de que as tabelas de entrada necessárias estejam disponíveis no esquema. Você pode carregar dados usando um extrator carregar dados diretamente de arquivos .csv no Microsoft SQL Server Management Studio. Siga esses passos

  Etapa	Ação
  1	No Explorador de Objetos, do Microsoft SQL Server Management Studio, localize seu banco de dados na pasta Databases.
  2	Clique com o botão direito do mouse no nome do seu banco de dados e selecione Tarefas -> Importar arquivo simples...

  Observação: é recomendável usar um pequeno conjunto de dados para testar as transformações de dados. Quanto menor a contagem de registros do conjunto de dados, mais rápidas serão as transformações executadas.

Configurar perfis.yml

Quando você abre um projeto dbt no Visual Studio Code pela primeira vez, uma mensagem dbt é exibida, indicando que o perfil correspondente às suas novas transformações não pode ser encontrado. Veja a ilustração abaixo para um exemplo.

Nota: Se você começar a editar as transformações, deverá primeiro configurar um arquivo profiles.yml que esteja conectado ao seu banco de dados do Microsoft SQL Server. Para novas transformações, você pode estender o arquivo profiles.yml adicionando uma nova entrada.

Abaixo está um modelo para o arquivo profiles.yml ou clique no link para baixar o modelo: profiles.yml.

my-app-template:
  outputs:
    default:
      type: sqlserver
      driver: 'ODBC Driver 17 for SQL Server'
      server: 
      port: 
      user: 
      password: 
      database: 
      schema: 
      
  target: default

Etapa	Ação
1	Abra um editor de texto. Por exemplo Notepad++.
2	Copie e cole o conteúdo do modelo acima.
3	Substitua my-app-template pelo nome profile conforme exibido em dbt_project.yml. Por exemplo, uipathTemplateOne. Veja a ilustração abaixo.
3	Edite o arquivo, de forma que aponte para o esquema que acabou de ser criado.
4	Salve o arquivo profiles.yml na pasta que não contém um projeto dbt (veja a captura de tela abaixo). Por exemplo, C:\My_transformations.
5	Crie uma variável de ambiente chamada DBT_PROFILES_DIR com o caminho do arquivo da pasta que contém o arquivo profiles.yml .

Observação: por padrão, os dados de origem são armazenados no esquema em que as transformações são executadas. Se suas tabelas de origem estiverem em um esquema diferente, você poderá definir esse esquema na variável schema_sources .

Consulte a documentação oficial do dbt para obter mais informações sobre como configurar seu perfil.

Running the transformations

Siga estas etapas para executar as transformações.

Etapa	Ação
1	No Visual Studio Code, clique com o botão direito do mouse na pasta models e selecione Open in Integrated Terminal no menu de contexto.
2	Insira dbt build no prompt de comando do terminal integrado.

4. Edit the transformations

Para obter diretrizes sobre edição de transformação, consulte Edição de transformações e Dicas para escrever SQL.

5. Test the transformations on a local test environment

Importante: Testar as transformações só é aplicável se você quiser testar as transformações fora do Process Mining em um ambiente de teste local.

Siga estas etapas para testar as transformações.

Etapa	Ação
1	Insira dbt build no prompt de comando no terminal integrado no Visual Studio Code.
2	Verifique os dados no SQL Server Management Studio para verificar os valores. Clique com o botão direito em uma tabela e selecione Select top 1000 rows. Se necessário, modifique a consulta para obter os resultados desejados.

Edite e teste as transformações em um ambiente de teste local até que sejam executadas sem erros e os dados estejam corretos.

6. Import and test the transformations in a test process app in Process Mining

É altamente recomendável executar as novas transformações em um aplicativo de processo de teste no Process Mining antes de importar as transformações no aplicativo de processo original. Como as transformações são testadas em um ambiente SQL Server local, podem ocorrer erros ao executar as novas transformações no Snowflake.

Consulte também 4. Editar as transformações.

Importante: o Snowflake usa formatos de data e hora diferentes do SQL Server. Se você alterou os formatos de data e hora em dbt_project.yml para testar as transformações SQL Server, você deve alterar os formatos de data e hora de volta para o formato exigido pelo Snowflake, antes de criar o arquivo .zip com as novas transformações.

Siga estas etapas para importar e testar as transformações em um aplicativo de processo de teste no Process Mining.

Etapa	Ação
1	No Windows Explorer, vá para a pasta onde suas transformações estão armazenadas Por exemplo, C:\My_transformations\TemplateOne-MultiFiles e adicione as transformações a um novo arquivo .zip .
2	Vá para o portal Process Mining e crie um novo aplicativo de processo baseado no mesmo modelo de aplicativo que o seu aplicativo de processo.
3	Na guia Aplicativos de processo , localize o aplicativo de processo de teste.
4	Clique em na coluna Actions do app de processo para o qual você deseja importar as transformações e selecione Importar transformações.
5	Selecione o arquivo .zip que contém suas novas transformações e clique em OK.
6	Verifique os painéis para ver se os dados são apresentados corretamente.

7. Import the transformations in the process app

Importante:

Quando as transformações são importadas, as novas transformações são executadas automaticamente. Isso afetará imediatamente os dados exibidos no aplicativo de processo publicado. É altamente recomendável testar as novas transformações em um aplicativo de processo de teste separado para evitar erros (consulte Etapa 4: Importar e testar as transformações em um aplicativo de processo de teste no Process Mining).

A execução de uma transformação incorreta fará com que o aplicativo publicado não fique visível para os usuários finais.

Siga estas etapas para importar as transformações personalizadas no aplicativo de processo.

Etapa	Ação
1	Abra o portal do Process Mining.
2	Acesse a guia Apps de processo e localize o app para o qual você deseja importar as transformações de dados.
3	Observação: se você adicionou novas tabelas de entrada ou novos campos de entrada para tabelas existentes às transformações de dados, deve carregar um novo conjunto de dados antes de importar as transformações de dados. Clique em na coluna Actions do app de processo para o qual você deseja importar as transformações e selecione Importar transformações.

As transformações são importadas e executadas, e os novos dados são exibidos no aplicativo de processo.