Edição de transformações de dados em um ambiente local

Introdução

Observação:

É altamente recomendável personalizar as transformações de dados no Process Mining usando o editor de Transformações de dados . Confira Transformações de dados para obter mais informações sobre como personalizar transformações de dados no Process Mining.

Esta página descreve como personalizar transformações de dados de dentro do Process Mining.

Ao criar um aplicativo de processo a partir de um modelo de aplicativo, você deseja garantir que os dados usados no aplicativo de processo reflitam seu processo de negócios de maneira correta. Com Transformações de dados, você pode personalizar os dados usados para o Process Mining.

As transformações de dados permitem que você:

• adicionar novos campos para agrupar por e filtros. Por exemplo, tipo de verificação de qualidade.
• add events. For example, Invoice quality check done.
• adicionar tags. Por exemplo, falha ao cumprir o SLA, violação de quatro olhos.
• adicionar lógica de negócios para calcular KPIs. Por exemplo, Case_has_maverick_buking.
• definir novos campos de entrada para cálculos.

Editor de Transformações de dados

Você pode personalizar as transformações no Process Mining com transformações de dados ou exportar as transformações do Process Mining e editá-las e testá-las usando um ambiente de teste local.

Observação:

Editar as transformações usando o editor Transformações de dados no Process Mining não requer um ambiente de desenvolvimento local.

Transformações de versão

Atualmente, não há controle de versão do código de transformação no produto. Quando novas transformações são importadas, as anteriores são substituídas. Não é possível reverter para a versão anterior das transformações.

Observação:

É recomendável manter cópias locais de versões anteriores do código ao fazer alterações. Para rastrear alterações, as transformações em sua máquina local podem ser versionadas em um sistema de controle de versão como GIT ou SVN. Dessa forma, você pode reverter para uma versão anterior usando o sistema de controle de versão e Importar essas transformações para o produto quando necessário.

Pré-requisitos

Ao iniciar a edição de transformações de dados, é altamente recomendável que você:

• ter conhecimento profundo de SQL;
• estão familiarizados com o sistema de origem usado para extração de dados.

Permissões

Você precisa ter a permissão Editar transformações para o aplicativo de processo para personalizar transformações de dados.

Confira Gerenciamento de acesso para aplicativos de processo.

Ferramentas

É necessário um editor de código para editar as transformações de dados. Visual Studio Code é o editor de código recomendado para editar transformações de dados. Você pode baixar o Visual Studio Code na página Download Visual Studio Code.

It is recommended to run and test the data transformations outside Process Mining, before you import the edited transformation in your process app. To run and test the data transformations, a local test environment is required.

Confira Configuração de um ambiente de teste local.

Customizing the transformations

Cada aplicativo de processo tem um conjunto correspondente de transformações de dados. A personalização de transformações de dados requer a execução de várias etapas.

1. Exporte as transformações do aplicativo de processos.
2. Abra as transformações no Visual Studio Code.
3. Execute as transformações*.
4. Edite as transformações.
5. Teste as transformações em um ambiente de teste local.*
6. Importe e teste as transformações em um aplicativo de processo de teste no Process Mining.
7. Importe as transformações no aplicativo de processos.

• Executar e testar as transformações em um ambiente de teste local são etapas opcionais.

1. Exportar as Transformações do App de Processo

Consulte Exportação de transformações.

2. Open the transformations in Visual Studio Code

Siga estas etapas para abrir as transformações no Visual Studio Code.

Etapa	Ações
1	No Windows Explorer, crie uma pasta para as transformações exportadas na pasta onde seu ambiente virtual está localizado. Por exemplo, C:\My_transformations\TemplateOne-MultiFiles.
2	Descompacte o arquivo de transformações exportadas .zip na pasta.

A ilustração a seguir mostra um exemplo.

Etapa	Ação
3	In Visual Studio Code, go to File -> Open Folder... and select the folder that contains the unzipped transformations.

A ilustração a seguir mostra um exemplo.

The dbt project is interpreted.

Date and time formats

Importante:

O Snowflake usa formatos de data e hora diferentes dos do SQL Server. Se as variáveis de data e hora estiverem definidas para as transformações do seu aplicativo de processo, você deverá alterar os formatos de data e hora em dbt_project.yml para o formato exigido pelo SQL Server. Antes de criar o arquivo .zip com as novas transformações, você deve alterar os formatos de data e hora de volta para o formato exigido pelo Snowflake. Se os formatos de data e hora não estiverem definidos em seu arquivo dbt_project.yml , os valores padrão serão usados. Para o SQL Server, os formatos de data e hora são definidos por números inteiros e, para o Snowflake, são definidos por strings.

A tabela a seguir descreve os diferentes formatos (padrão) para o SQL Server e o Snowflake.

variável	Formato SQL Server	formato floco de neve
date_format	23	'YYYY-MM-DD'
time_format	14	'hh24:mi:ss.ff3'
datetime_format	21	'YYYY-MM-DD hh24:mi:ss.ff3'

Para obter mais informações, consulte:

• A documentação oficial do Snowflake sobre Formatos de data e hora em conversões usando o Snowflake.
• A documentação oficial do Microsoft SQL Server sobre Conversões de data e hora usando o SQL Server.

3. Run the transformations

Importante:

Running the transformations is only applicable if you want to test the transformations outside Process Mining on a local test environment.

É uma boa prática executar as transformações antes de começar a editá-las. Isso permite que você verifique se a configuração está correta e se os dados foram carregados corretamente.

Antes de começar

Para executar as transformações você deve:

• crie um novo esquema de banco de dados para o aplicativo de processo. Você pode fazer isso no Microsoft SQL Server Management Studio. Siga esses passos.

  Etapa	Ação
  1	In the Object Explorer in Microsoft SQL Server Management Studio, go the folder of your database in the Databases folder.
  2	Right-click on Security and select New -> Schema...

As ilustrações a seguir mostram a janela de autenticação do SQL Server.

Consulte a documentação oficial da Microsoft para obter mais informações.

• carregue dados no novo esquema e certifique-se de que as tabelas de entrada necessárias estejam disponíveis no esquema. Você pode carregar dados usando um extrator carregar dados diretamente de arquivos .csv no Microsoft SQL Server Management Studio. Siga esses passos

  Etapa	Ação
  1	In the Object Explorer in Microsoft SQL Server Management Studio, locate your database in the Databases folder.
  2	Right-click on the name of your database and select Tasks -> Import Flat File...

  Observação:

  It is recommended to use a small dataset for testing data transformations. The lower the record count of the dataset, the faster transformations will be executed.

Configurar perfis.yml

Quando você abre um projeto dbt no Visual Studio Code pela primeira vez, uma mensagem dbt é exibida, indicando que o perfil correspondente às suas novas transformações não pode ser encontrado. A ilustração a seguir mostra um exemplo.

Observação:

If you start editing transformations, you must first set up a profiles.yml file that is connected to your Microsoft SQL Server database. For new transformations, you can extend the profiles.yml file by adding a new entry.

O bloco de código a seguir contém um modelo para o arquivo profiles.yml ou clique no link para baixar o modelo: profiles.yml.

my-app-template:
  outputs:
    default:
      type: sqlserver
      driver: 'ODBC Driver 17 for SQL Server'
      server: 
      port: 
      user: 
      password: 
      database: 
      schema: 
      encrypt:
      trust_cert:
      
  target: default

Etapa	Ação
1	Abra um editor de texto. Por exemplo Notepad++.
2	Copie e cole o conteúdo do modelo acima.
3	Substitua my-app-template pelo nome profile conforme exibido no dbt_project.yml. Por exemplo, uipathTemplateOne.
3	Edite o arquivo, de forma que aponte para o esquema que acabou de ser criado.
4	Salve o arquivo profiles.yml na pasta que não contém um projeto dbt. Por exemplo, C:\My_transformations.
5	Crie uma variável de ambiente chamada DBT_PROFILE_DIR com o caminho do arquivo da pasta que contém o arquivo profiles.yml .

Observação:

By default, the source data is stored in the schema where the transformations run. If your source tables are in a different schema, you can define this schema in the schema_sources variable.

Consulte a documentação oficial do dbt para obter mais informações sobre como configurar seu perfil.

Running the transformations

Siga estas etapas para executar as transformações.

Etapa	Ação
1	In Visual Studio Code, right-click on the models folder and select Open in Integrated Terminal from the context menu.
2	Insira dbt build no prompt de comando do terminal integrado.

4. Edit the transformations

Para obter diretrizes sobre edição de transformação, consulte Transformações e Dicas para escrever SQL.

5. Test the transformations on a local test environment

Importante:

Test the transformations is only applicable if you want to test the transformations outside Process Mining on a local test environment.

Siga estas etapas para testar as transformações.

Etapa	Ação
1	Insira dbt build no prompt de comando no terminal integrado no Visual Studio Code.
2	Verifique os dados no SQL Server Management Studio para verificar os valores. Clique com o botão direito do mouse em uma tabela e selecione Selecionar as 1000 principais linhas . Se necessário, modifique a consulta para obter os resultados desejados.

Edite e teste as transformações em um ambiente de teste local até que sejam executadas sem erros e os dados estejam corretos.

6. Importar e Testar as Transformações em um App de Processo de Teste no Process Mining

É altamente recomendável executar as novas transformações em um aplicativo de processos de teste no Process Mining antes de importar as transformações no aplicativo de processos original. Como as transformações são testadas em um ambiente SQL Server local, podem ocorrer erros ao executar as novas transformações no Process Mining.

Confira 4. Editar as transformações.

Importante:

Snowflake uses a different date and time formats than SQL Server. If you have changed the date and time formats in dbt_project.yml to to test the transformations SQL Server you must change the date and time formats back to the format required by Snowflake, before you create the .zip file with the new transformations.

Follow these steps to import and test the transformations in a test process app in Process Mining.

Etapa	Ação
1	No Windows Explorer, acesse a pasta onde suas transformações são armazenadas. Por exemplo, C:\My_transformations\TemplateOne-MultiFiles e adicione as transformações a um novo arquivo .zip .
2	Vá para o portal Process Mining e crie um novo aplicativo de processo baseado no mesmo modelo de aplicativo que o seu aplicativo de processo.
3	Importe as transformações no app de processo de teste.
4	Verifique os painéis para ver se os dados são apresentados corretamente.

7. Importar as Transformações no App de Processo

Importante:

Quando as transformações são importadas, as novas transformações são executadas automaticamente. Isso afetará imediatamente os dados exibidos no aplicativo de processo publicado. É altamente recomendável testar as novas transformações em um aplicativo de processo de teste separado para evitar erros (consulte Etapa 6: importar e testar as transformações em um aplicativo de processo de teste no Process Mining). Executar uma transformação errada fará com que o aplicativo publicado não fique visível para os usuários finais.

Verifique Importando transformações.