Edição de transformações de dados em um ambiente local

Introdução

Ao criar um aplicativo de processo a partir de um modelo de aplicativo, você deseja garantir que os dados usados no aplicativo de processo reflitam seu processo de negócios de maneira correta. Com Transformações de dados, você pode personalizar os dados usados para o Process Mining.

As transformações de dados permitem que você:

• add new fields for group by and filters. For example, Quality check type.
• add events. For example, Invoice quality check done.
• adicionar tags. Por exemplo, falha ao cumprir o SLA, violação de quatro olhos.
• adicionar lógica de negócios para calcular KPIs. Por exemplo, Case_has_maverick_buying.
• definir novos campos de entrada para cálculos.

Versionamento de transformações

Atualmente, não há controle de versão do código de transformação no produto. Quando novas transformações são importadas, as anteriores são substituídas. Não é possível reverter para a versão anterior das transformações.

Observação:

É recomendável manter cópias locais de versões anteriores do código ao fazer alterações. Para rastrear alterações, as transformações em sua máquina local podem ser versionadas em um sistema de controle de versão como GIT ou SVN. Dessa forma, você pode reverter para uma versão anterior usando o sistema de controle de versão e Importar essas transformações para o produto quando necessário.

Pré-requisitos

Ao iniciar a edição de transformações de dados, é altamente recomendável que você:

• ter conhecimento profundo de SQL;
• estão familiarizados com o sistema de origem usado para extração de dados.

Ferramentas

É necessário um editor de código para editar as transformações de dados. Visual Studio Code é o editor de código recomendado para editar transformações de dados. Você pode baixar o Visual Studio Code na página Download Visual Studio Code.

It is recommended to run and test the data transformations outside Process Mining, before you import the edited transformation in your process app. To run and test the data transformations, a local test environment is required.

Consulte Configuração de um ambiente de teste local.

Customizing the transformations

Cada aplicativo de processo tem um conjunto correspondente de transformações de dados. A personalização de transformações de dados requer a execução de várias etapas.

1. Exporte as transformações do aplicativo de processos.
2. Abra as transformações no Visual Studio Code.
3. Execute as transformações*.
4. Edite as transformações.
5. Teste as transformações em um ambiente de teste local.*
6. Importe e teste as transformações em um aplicativo de processo de teste no Process Mining.
7. Importe as transformações no aplicativo de processos.

• Executar e testar as transformações em um ambiente de teste local são etapas opcionais.

1. Export the transformations from the process app

Siga estas etapas para exportar as transformações do aplicativo de processo.

Etapa	Ação
1	Abra o portal do Process Mining.
2	Go to the Process apps tab and locate the app for which you want to export the transformations.
3	Clicar em na coluna Ações do aplicativo de processos para o qual você deseja exportar as transformações e selecione Exportar transformações.

As transformações são exportadas e baixadas para sua pasta de download padrão como um arquivo .zip .

2. Open the transformations in Visual Studio Code

Siga estas etapas para abrir as transformações no Visual Studio Code.

Etapa	Ações
1	No Windows Explorer, crie uma pasta para as transformações exportadas na pasta onde está localizado seu ambiente virtual. Por exemplo, C:\My_transformations\TemplateOne-MultiFiles.
2	Descompacte o arquivo de transformações exportadas .zip na pasta.

A ilustração a seguir mostra um exemplo.

Etapa	Ação
3	In Visual Studio Code, go to File -> Open Folder... and select the folder that contains the unzipped transformations.

A ilustração a seguir mostra um exemplo.

The dbt project is interpreted.

Date and time formats

Importante:

O Snowflake usa formatos de data e hora diferentes do SQL Server. Se as variáveis de data e hora forem definidas para as transformações de seu aplicativo de processo, você deverá alterar os formatos de data e hora em dbt_project.yml para o formato exigido pelo SQL Server. Antes de criar o arquivo .zip com as novas transformações, você deve alterar os formatos de data e hora de volta para o formato exigido pelo Snowflake.

Se os formatos de data e hora não estiverem definidos em seu arquivo dbt_project.yml , os valores padrão serão usados.

Para o SQL Server, os formatos de data e hora são definidos por números inteiros e para o Snowflake são definidos por strings.

A tabela a seguir descreve os diferentes formatos (padrão) para o SQL Server e o Snowflake.

variável	Formato SQL Server	formato floco de neve
date_format	23	'YYYY-MM-DD'
time_format	14	'hh24:mi:ss.ff3'
datetime_format	21	'YYYY-MM-DD hh24:mi:ss.ff3'

Para obter mais informações, consulte:

• A documentação oficial do Snowflake sobre Formatos de data e hora em conversões usando o Snowflake.
• A documentação oficial do Microsoft SQL Server sobre Conversões de data e hora usando o SQL Server.

3. Run the transformations

Importante:

Running the transformations is only applicable if you want to test the transformations outside Process Mining on a local test environment.

É uma boa prática executar as transformações antes de começar a editá-las. Isso permite que você verifique se a configuração está correta e se os dados foram carregados corretamente.

Antes de começar

Para executar as transformações você deve:

• crie um novo esquema de banco de dados para o aplicativo de processo. Você pode fazer isso no Microsoft SQL Server Management Studio. Siga esses passos.

  Etapa	Ação
  1	In the Object Explorer in Microsoft SQL Server Management Studio, go the folder of your database in the Databases folder.
  2	Right-click on Security and select New -> Schema...

As ilustrações a seguir mostram a janela de autenticação do SQL Server.

Consulte a documentação oficial da Microsoft para obter mais informações.

• carregue dados no novo esquema e certifique-se de que as tabelas de entrada necessárias estejam disponíveis no esquema. Você pode carregar dados usando um extrator carregar dados diretamente de arquivos .csv no Microsoft SQL Server Management Studio. Siga esses passos

  Etapa	Ação
  1	In the Object Explorer in Microsoft SQL Server Management Studio, locate your database in the Databases folder.
  2	Right-click on the name of your database and select Tasks -> Import Flat File...

  Observação:

  It is recommended to use a small dataset for testing data transformations. The lower the record count of the dataset, the faster transformations will be executed.

Configurar perfis.yml

When you open a dbt project in Visual Studio Code for the first time, a dbt message is displayed, indicating that the profile corresponding to your new transformations cannot be found. See the illustration below for an example.

Observação:

If you start editing transformations, you must first set up a profiles.yml file that is connected to your Microsoft SQL Server database. For new transformations, you can extend the profiles.yml file by adding a new entry.

Abaixo está um modelo para o arquivo profiles.yml ou clique no link para baixar o modelo: profiles.yml.

my-app-template:
  outputs:
    default:
      type: sqlserver
      driver: 'ODBC Driver 17 for SQL Server'
      server:
      port:
      user:
      password:
      database:
      schema:

  target: default

Etapa	Ação
1	Abra um editor de texto. Por exemplo Notepad++.
2	Copie e cole o conteúdo do modelo acima.
3	Substitua my-app-template pelo nome profile conforme exibido em dbt_project.yml. Por exemplo, uipathTemplateOne. Veja a ilustração abaixo.
3	Edite o arquivo, de forma que aponte para o esquema que acabou de ser criado.
4	Salve o arquivo profiles.yml na pasta que não contém um projeto dbt (veja a captura de tela abaixo). Por exemplo, C:\My_transformations.
5	Crie uma variável de ambiente chamada DBT_PROFILE_DIR com o caminho do arquivo da pasta que contém o arquivo profiles.yml .

Observação:

By default, the source data is stored in the schema where the transformations run. If your source tables are in a different schema, you can define this schema in the schema_sources variable.

Consulte a documentação oficial do dbt para obter mais informações sobre como configurar seu perfil.

Running the transformations

Siga estas etapas para executar as transformações.

Etapa	Ação
1	In Visual Studio Code, right-click on the models folder and select Open in Integrated Terminal from the context menu.
2	Insira dbt build no prompt de comando do terminal integrado.

4. Edit the transformations

Para obter diretrizes sobre edição de transformação, consulte Edição de transformações e Dicas para escrever SQL.

5. Test the transformations on a local test environment

Importante:

Test the transformations is only applicable if you want to test the transformations outside Process Mining on a local test environment.

Siga estas etapas para testar as transformações.

Etapa	Ação
1	Insira dbt build no prompt de comando no terminal integrado no Visual Studio Code.
2	Verifique os dados no SQL Server Management Studio para verificar os valores. Right-click on a table and select Select top 1000 rows. Se necessário, modifique a consulta para obter os resultados desejados.

Edite e teste as transformações em um ambiente de teste local até que sejam executadas sem erros e os dados estejam corretos.

6. Import and test the transformations in a test process app in Process Mining

It is strongly recommended to run the new transformations in a test process app in Process Mining before importing the transformations in the original process app. Since the transformations are tested on a local SQL Server environment, errors may occur when running the new transformations in Snowflake.

Consulte também 4. Editar as transformações.

Importante:

Snowflake uses a different date and time formats than SQL Server. If you have changed the date and time formats in dbt_project.yml to to test the transformations SQL Server you must change the date and time formats back to the format required by Snowflake, before you create the .zip file with the new transformations.

Follow these steps to import and test the transformations in a test process app in Process Mining.

Etapa	Ação
1	No Windows Explorer, vá para a pasta onde suas transformações estão armazenadas Por exemplo, C:\My_transformations\TemplateOne-MultiFiles e adicione as transformações a um novo arquivo .zip .
2	Vá para o portal Process Mining e crie um novo aplicativo de processo baseado no mesmo modelo de aplicativo que o seu aplicativo de processo.
3	On the Process apps tab and locate the test process app.
4	Clicar em na coluna Ações do aplicativo de processos para o qual você deseja importar as transformações e selecione Importar transformações.
5	Select the .zip file that contains your new transformations, and click on OK.
6	Verifique os painéis para ver se os dados são apresentados corretamente.

7. Import the transformations in the process app

Importante:

Quando as transformações são importadas, as novas transformações são executadas automaticamente. Isso afetará imediatamente os dados exibidos no aplicativo de processo publicado. É altamente recomendável testar as novas transformações em um aplicativo de processo de teste separado para evitar erros (consulte Etapa 4: Importar e testar as transformações em um aplicativo de processo de teste no Process Mining).

A execução de uma transformação incorreta fará com que o aplicativo publicado não fique visível para os usuários finais.

Siga estas etapas para importar as transformações personalizadas no aplicativo de processo.

Etapa	Ação
1	Abra o portal do Process Mining.
2	Go to the Process apps tab and locate the app for which you want to import the data transformations.
3	Se você adicionou novas tabelas de entrada ou novos campos de entrada para tabelas existentes às transformações de dados, deve carregar um novo conjunto de dados antes de importar as transformações de dados. Clicar em na coluna Ações do aplicativo de processos para o qual você deseja importar as transformações e selecione Importar transformações.

As transformações são importadas e executadas, e os novos dados são exibidos no aplicativo de processo.