Transformações

Folder structure

The transformations of a process app consist of a dbt project. The following table describes the contents of a dbt project folder.

Pasta/Arquivo	Contém
dbt_packages\	o pacote pm_utils e suas macros.
logs\	logs criados ao executar dbt.
macros\	macros personalizadas.
models\	.sql arquivos que definem as transformações.
models\schema\	.yml arquivos que definem testes nos dados.
seed	.csv arquivos com definições de configuração.
dbt_project.yml	as configurações do projeto dbt.

The following illustration shows the folder structure.

dbt_project.yml

O arquivo dbt_project.yml contém as configurações do projeto dbt que definem suas transformações. A seção vars contém variáveis que são usadas nas transformações.

Formato de data/hora

Cada modelo de aplicativo contém variáveis que determinam o formato para análise de dados de data/hora. Essas variáveis devem ser ajustadas se os dados de entrada tiverem um formato de data/hora diferente do esperado.

Transformações de dados

As transformações de dados são definidas em arquivos .sql no diretório models\ . As transformações de dados são organizadas em um conjunto padrão de subdiretórios:

• 1_input,
• 2_entities,
• 3_events,
• 4_event_logs,
• 5_business_logic.

Check out Structure of transformations.

Os arquivos .sql são escritos em SQL Jinja, o que permite inserir instruções Jinja dentro de consultas SQL simples. Quando dbt executa todos os arquivos .sql , cada arquivo .sql resulta em uma nova exibição ou tabela no banco de dados.

Normalmente, os arquivos .sql têm a seguinte estrutura:

1. Instruções With: Uma ou mais instruções with para incluir as subtabelas necessárias.

   • {{ ref(‘My_table) }} refere-se à tabela definida por outro .sql arquivo.
   • {{ source(var("schema_sources"), 'My_table') }} refere-se a uma tabela de entrada.
2. Consulta principal: a consulta que define a nova tabela.
3. Consulta final: Normalmente, uma consulta como Select * from table é usada no final. Isso facilita fazer subseleções durante a depuração.

   

For more tips on how to write transformations effectively, refer to Tips for writing SQL

Adding source tables

To add a new source table to the dbt project, it must be listed in models\schema\sources.yml. This way, other models can refer to it by using {{ source(var("schema_sources"), 'My_table') }}. The following illustration shows an example.

Importante: Cada nova tabela de origem deve ser listada em sources.yml.

For more information using on using source tables in queries, refe to Structure of transformations:1. Input. For more detailed information, refer to the official dbt documentation on Sources.

Data output

As transformações de dados devem gerar o modelo de dados exigido pelo aplicativo correspondente; cada tabela e campo esperados devem estar presentes.

Na prática, isso significa que as tabelas no models\5_business_logic não devem ser excluídas. Além disso, os campos de saída nas consultas correspondentes não devem ser removidos.

Se você quiser adicionar novos campos ao seu aplicativo de processo, você pode adicionar esses campos nas transformações.

Dica:

Você pode usar os comandos dbt docs para gerar um site de documentação para seu projeto dbt e abri-lo em seu navegador padrão. O site de documentação também contém um gráfico de linhagem que fornece um diagrama de relacionamento de entidade com uma representação gráfica da ligação entre cada tabela de dados em seu projeto.

For detailed information, refer to the official dbt documentation on dbt docs.

Macros

Macros make it easy to reuse common SQL constructions. For detailed information, refer to the official dbt documentation on Jinja macros.

pm_utils

The pm-utils package contains a set of macros that are typically used in Process Mining transformations. For more info about the pm_utils macros, check out ProcessMining-pm-utils.

The following illustration shows an example of Jinja code calling the pm_utils.optional() macro.

sementes

Seeds are csv files that are used to add data tables to your transformations. For detailed information, refer to the official dbt documentation on jinja seeds.

Em Process Mining, isso é normalmente usado para facilitar a configuração de mapeamentos em suas transformações.

Depois de editar os arquivos seed, esses arquivos não são atualizados automaticamente no banco de dados imediatamente. Para instruir o dbt a carregar o novo conteúdo do arquivo seed no banco de dados, execute

• dbt seed - que atualizará apenas as tabelas do arquivo seed ou
• dbt build - que também executará todos os modelos e testes.
  Nota: Se o arquivo seed não tiver registros de dados inicialmente, os tipos de dados no banco de dados podem não ter sido configurados corretamente. Para corrigir isso, chame run dbt seed --full-refresh. Isso também atualizará o conjunto de colunas no banco de dados.

Activity configuration

The activity_configuration.csv file is used to set additional fields related to activities. activity_order is used as a tie breaker when two events are happening on the same timestamp. The following illustration shows an example activity_configuration.csv file.

Testes

The models\schema\ folder contains a set of .yml files that define tests. These validate the structure and contents of the expected data. For detailed information, refer to the official dbt documentation on tests.

Quando as transformações são executadas no Process Mining, apenas os testes em sources.yml são executados em cada ingestão de dados. Isso é feito para verificar se os dados de entrada estão formatados corretamente.

Observação: ao editar transformações, certifique-se de atualizar os testes adequadamente. Os testes podem ser removidos, se desejado.

Projetos dbt

As transformações de dados são usadas para transformar dados de entrada em dados adequados para o Process Mining. As transformações no Process Mining são escritas como projetos dbt .

This pages gives an introduction to dbt. For more detailed information, refer to the official dbt documentation.

pm-utils package

Process Mining app templates come with a dbt package called pm_utils. This pm-utils package contains utility functions and macros for Process Mining dbt projects. For more info about the pm_utils , refer to ProcessMining-pm-utils.

Atualização da versão pm-utils usada para seu modelo de aplicativo

A UiPath® aprimora constantemente o pacote pm-utils , adicionando novas funções.

Quando uma nova versão do pacote pm-utils é lançada, é recomendável atualizar a versão usada em suas transformações para garantir que você esteja usando as funções e macros mais recentes do pacote pm-utils .

Você encontra o número da versão mais recente do pacote pm-utils no painel Versões do ProcessMining-pm-utils.

Siga estas etapas para atualizar a versão pm-utils em suas transformações.

1. Baixe o código-fonte (zip) da versão de pm-utils.
2. Extraia o arquivo zip e renomeie a pasta para pm_utils.

3. Exporte as transformações do editor de transformações de dados embutidos e extraia os arquivos.

4. Substitua a pasta pm_utils das transformações exportadas pela nova pasta pm_utils .

5. Compacte o conteúdo das transformações novamente e importe-as no editor Transformações de dados .