Transformações

Folder structure

Importante:

As informações nesta página são aplicáveis apenas para modelos de aplicativos que possuem arquivos de configuração de datas de vencimento e uma pasta seeds\ .

As transformações de um aplicativo de processo consistem em um projeto dbt . A tabela a seguir descreve o conteúdo de uma pasta de projeto dbt .

Pasta/Arquivo	Contém
dbt_packages\	o pacote pm_utils e suas macros.
macros\	pasta opcional para macros personalizadas
models\	.sql arquivos que definem as transformações.
models\schema\	.yml arquivos que definem testes nos dados.
seeds	.csv arquivos com definições de configuração.
dbt_project.yml	as configurações do projeto dbt .

Observação:

Os modelos de aplicativos Log de evento e Processo personalizado têm uma estrutura de transformações de dados simplificada. Os aplicativos de processo criados com esses modelos de aplicativos não têm essa estrutura de pastas.

dbt_project.yml

O arquivo dbt_project.yml contém as configurações do projeto dbt , que define suas transformações. A seção vars contém variáveis que são usadas nas transformações.

Formato de data/hora

Cada modelo de aplicativo contém variáveis que determinam o formato para análise de dados de data/hora. Essas variáveis devem ser ajustadas se os dados de entrada tiverem um formato de data/hora diferente do esperado.

Transformações de dados

As transformações de dados são definidas em arquivos .sql no diretório models\ . As transformações de dados são organizadas em um conjunto padrão de subdiretórios.

Confira Estrutura das transformações para obter mais informações.

The .sql files are written in Jinja SQL, which allows you to insert Jinja statements inside plain SQL queries. When dbt runs all .sql files, each .sql file results in a new view or table in the database.

Normalmente, os arquivos .sql têm a seguinte estrutura: Select * from {{ ref('Table_A') }} Table_A.

O código a seguir mostra um exemplo de consulta SQL.

select
    tableA."Field_1" as "Alias_1",
    tableA."Field_2",
    tableA."Field_3"
from {{ ref('tableA') }} as tableA

Observação:

Em alguns casos, para aplicativos de processo criados com versões anteriores dos modelos de aplicativos, os arquivos .sql têm a seguinte estrutura:

1. With statements: One or more with statements to include the required sub tables.

• {{ ref(‘My_table) }} refere-se à tabela definida por outro .sql arquivo.
• {{ source(var("schema_sources"), 'My_table') }} refere-se a uma tabela de entrada.

2. Main query: The query that defines the new table.

3. Final query: Typically a query like Select * from table is used at the end. This makes it easy to make sub-selections while debugging.

   

Para obter mais dicas sobre como escrever transformações de forma eficaz, consulte Dicas para escrever SQL.

Adding source tables

Para adicionar uma nova tabela de origem ao projeto dbt , ela deve estar listada em models\schema\sources.yml. Dessa forma, outros modelos podem referenciá-lo usando {{ source(var("schema_sources"), 'My_table') }}. A ilustração a seguir mostra um exemplo.

Importante:

Each new source table must be listed in sources.yml.

Para obter informações mais detalhadas, consulte a documentação oficial do dbt em Origens.

Data output

As transformações de dados devem gerar o modelo de dados exigido pelo aplicativo correspondente; cada tabela e campo esperados devem estar presentes.

Se você quiser adicionar novos campos ao seu aplicativo de processo, você pode adicionar esses campos nas transformações.

Macros

As macros facilitam a reutilização de construções SQL comuns. Para obter informações detalhadas, consulte a documentação oficial do dbt sobre macros Jinja.

pm_utils

O pacote pm-utils contém um conjunto de macros que normalmente são usadas em transformações do Process Mining. Para obter mais informações sobre as macros pm_utils , consulte ProcessMining-pm-utils.

A ilustração a seguir mostra um exemplo de código Jinja chamando a macro pm_utils.optional() .

sementes

Sementes são arquivos csv usados para adicionar tabelas de dados às suas transformações. Para obter informações detalhadas, consulte a documentação oficial do dbt sobre sementes jinja.

In Process Mining, this is typically used to make it easy to configure mappings in your transformations.

Depois de editar os arquivos semente, execute o arquivo selecionando Executar arquivo ou Executar todos, para atualizar a tabela de dados correspondente.

Confira Configuração de atividades: definição da ordem da atividade e Simulação de potencial de automação para obter exemplos de uso de arquivos semente.

Configuração da atividade: definição da ordem das atividades

O campo Activity_order é usado como um desempate quando dois eventos estão acontecendo no mesmo carimbo de data/hora.

Opção 1: configuração do SQL

O seguinte código mostra um exemplo de configuração Activity_order com uma instrução SQL CASE :

    case
            when tableA."Activity" = 'ActivityA'
                then 1
            when tableA."Activity" = 'ActivityB'
                then 2
            when tableA."Activity" = 'ActivityC'
                then 3
            when tableA."Activity" = 'ActivityD'
                then 4
    end as "Activity_order"

Opção 2: arquivo de semente CSV

Em vez de usar uma instrução SQL CASE , você pode definir Activity_order usando o arquivo activity_configuration.csv .

A ilustração a seguir mostra um exemplo de arquivo activity_configuration.csv :

Recomendações

A maioria dos modelos de aplicativos do UiPath vem com campos predefinidos para configuração de atividades, que você pode adaptar para seus requisitos de negócios específicos. Se os campos predefinidos estiverem indisponíveis ou insuficientes, você sempre pode criar campos personalizados usando SQL ou o arquivo sementes activity_configuration.csv , conforme descrito.

Testes

A pasta models\schema\ contém um conjunto de arquivos .yml que definem os testes. Estes validam a estrutura e o conteúdo dos dados esperados. Para obter informações detalhadas, consulte a documentação oficial do dbt sobre testes.

Observação:

When you edit transformations, make sure to update the tests accordingly. The tests can be removed if desired.

Projetos dbt

As transformações de dados são usadas para transformar dados de entrada em dados adequados para o Process Mining. As transformações no Process Mining são escritas como projetos dbt .

Esta página fornece uma introdução ao dbt. Para informações mais detalhadas, consulte a documentação oficial do dbt.

pm-utils package

Os modelos de aplicativos do Process Mining vêm com um pacote dbt chamado pm_utils. Esse pacote pm-utils contém funções utilitárias e macros para projetos dbt do Process Mining. Para obter mais informações sobre o pm_utils , consulte ProcessMining-pm-utils.

Atualização da versão pm-utils usada para seu modelo de aplicativo

A UiPath® melhora constantemente o pacote pm-utils adicionando novas funções.

Quando uma nova versão do pacote pm-utils é lançada, é recomendável atualizar a versão usada em suas transformações para garantir que você esteja usando as funções e macros mais recentes do pacote pm-utils .

Você encontra o número da versão mais recente do pacote pm-utils no painel Versões do ProcessMining-pm-utils.

Siga estas etapas para atualizar a versão pm-utils em suas transformações.

1. Baixe o código-fonte (zip) da versão de pm-utils.
2. Extraia o arquivo zip e renomeie para a pasta pm_utils.
3. Exporte as transformações do editor de transformações de dados em linha e extraia os arquivos.
4. Substitua a pasta pm_utils das transformações exportadas pela nova pasta pm_utils .
5. Compacte o conteúdo das transformações novamente e importe-o no editor Transformações de dados .