Transformações de dados

Links úteis

• Logs de Evento

• Tips for writing SQL

• Exemplos de SQL para configurar tags

• Exemplos de SQL para configurar datas de vencimento

Editar transformações localmente

Ao criar um aplicativo de processo a partir de um modelo de aplicativo, você deseja certificar-se de que os dados usados no aplicativo de processo reflitam seu processo de negócios da maneira correta. Com as transformações de dados, você pode personalizar os dados usados para Process Mining.

Você pode personalizar as transformações de dados tanto dentro do Process Mining usando Transformações de dados, ou pode editá-las localmente em seu desktop. Consulte Edição de transformações de dados em um ambiente local.

Esta página descreve como personalizar transformações de dados de dentro do Process Mining. As transformações de dados estão integradas no editor de painel. Consulte Como trabalhar com Editor de painel.

As transformações de dados permitem:

• adicionar novos campos para group by e filtros. Por exemplo, tipo de verificação de qualidade.

• adicionar eventos. Por exemplo, Verificação de qualidade da fatura concluída.

• adicionar tags. Por exemplo, falha ao cumprir o SLA, violação de quatro olhos.

• adicionar lógica de negócios para calcular KPIs. Por exemplo, Case_has_maverick_buying.

Pré-requisitos

Ao iniciar a edição de transformações de dados, é altamente recomendável que você:

• ter conhecimento profundo de SQL;

• estão familiarizados com o sistema de origem usado para extração de dados.

Abertura de transformações de dados

1. Selecione o botão Transformações de dados no canto superior direito do editor de painel para abrir as transformações de dados.

Observação:

Se você abrir o editor em linha pela primeira vez, levará algum tempo para carregá-lo.

O editor de transformações de dados em linha é exibido.

Input data

O painel de dados de entrada mostra as tabelas de entrada que foram carregadas no aplicativo de processo como dados brutos. Selecione uma tabela para visualizar os campos e o conteúdo de dados na visualização de dados. A visualização de dados permite verificar se os dados de entrada são exibidos conforme esperado.

Observação:

A visualização mostra 1000 registros de dados. Se você deseja filtrar dados específicos, criar uma consulta de depuração temporária, consulte Transformações de dados.

Observação:

O painel Visualização mostra os dados da última executação de dados na qual essa tabela foi recalculada. Se você tiver feito alterações recentes, inicie uma nova executação de dados para visualizar seus resultados, consulte Edição e teste de transformações de dados.

Transformações

1. Selecione Transformações para visualizar a estrutura das transformações e exibir os arquivos .sql.

Consulte Estrutura de transformações para obter mais informações sobre a estrutura das transformações.

Cada arquivo .sql define uma nova tabela no modelo de dados. Se você selecionar um arquivo .sql no painel Transformações, a consulta SQL será exibida nas Transformações e uma visualização do arquivo de dados que você está editando será exibida no painel Visualização.

Ao editar uma consulta, você pode acessar uma visualização dos dados da última vez que a consulta foi executada no painel Visualização.

Importante:

Se houver alterações não salvas nas transformações, o botão Salvar estará habilitado. Selecione Salvar para guardar as alterações. O status da transofrmação será definido como Atualizado.

Exibição e edição do modelo de dados

Importante:

Sempre se certifique de que seu modelo de dados siga os requisitos. Consulte Requisitos do modelo de dados.

1. Selecione Modelo de dados para exibir o modelo de dados do seu aplicativo de processo.

Consulte Edição e teste de transformações de dados para obter mais informações sobre como alterar o modelo de dados.

Verificação de validação

Uma notificação é exibida se seu modelo de dados não atender aos requisitos.

Consulte Requisitos do modelo de dados.

Como adicionar uma tabela

1. Selecione + Adicionar tabela. A caixa de diálogo Adicionar tabela é exibida.

2. Selecione a tabela que define a nova tabela de saída.

3. Selecione a chave Primária para a nova tabela, e selecione Concluído.

Consulte Adicionando tabelas para mais informações sobre como adicionar uma tabela nas transformações.

Adicionar relações

1. Selecione a tabela que você deseja relacionar com outra tabela.

   O painel Editar tabela é exibido.

2. No painel Editar tabela , selecione + Adicionar novo para criar uma nova relação.

3. Selecione o campo que você deseja usar nesta tabela da lista Chave .

4. Selecione a Tabela à qual deseja se conectar e selecione o campo usado para se conectar na lista Chave .

5. Selecione Aplicar.

Alteração da chave de uma tabela

1. Selecione a tabela para a qual você deseja alterar a chave.

   O painel Editar tabela é exibido.

2. No painel Editar tabela , localize a relação para a qual deseja alterar a chave.

3. Selecione o novo campo a ser usado como a Chave para unir as tabelas.

4. Selecione Aplicar.

Observação:

Se você alterar a chave primária, o campo selecionado como a nova chave primária será duplicado na tabela. Você pode excluir o campo original no Data Manager.

Excluindo uma relação

1. Selecione a tabela para a qual você deseja excluir uma relação de saída.

   O painel Editar tabela é exibido.

2. No painel Editar tabela , localize a relação que deseja excluir e selecione Excluir relação.

3. Selecione Aplicar.

Exclusão de uma tabela

1. Selecione a tabela que você deseja excluir no editor de modelo de dados.

   O painel Editar tabela é exibido.

2. Selecione Excluir tabela.

   Uma mensagem de confirmação é exibida.

3. Selecione Excluir para continuar.

A tabela e as relações são excluídas do modelo de dados.

Disponibilização do novo modelo de dados para uso em painéis

1. Selecione Salvar para salvar o modelo de dados.

2. Selecione Aplicar a painéis para executar as transformações e disponibilizar a tabela para uso nos painéis.

   Observação:

   Isso pode levar vários minutos. Se a execução for concluída com sucesso, as alterações no modelo de dados aparecerão no Data Manager.

Observação:

A opção Salvar só é habilitada, após você ter feito qualquer alteração no modelo de dados.

Visualizando o log das transformações

O painel Log mostra o que acontece em segundo plano. O painel Log é atualizado automaticamente a cada dois segundos. Veja a ilustração abaixo para um exemplo.

Níveis de log

O log contém diferentes níveis de log para indicar a gravidade da mensagem:

Nível de log	Description	Status de execução de dados
Information	Uma mensagem de informações contém informações úteis sobre o progresso da execução de dados.	Sucesso
Aviso	Um Aviso se refere a um problema potencial em seus dados que pode afetar o que será exibido em um gráfico no aplicativo de processo publicado. É recomendável resolver quaisquer avisos para evitar quaisquer possíveis problemas futuros.	Sucesso
Erro	Um Erro se refere a um erro em seus dados que impede que o aplicativo de processo carregue os dados ou execute as transformações. Você deve resolver todos os erros para habilitar uma execução de dados bem-sucedida.	Com falha

Filtragem de logs

Você pode usar o menu Filtrar para alterar o nível de log. Veja a ilustração abaixo para obter um exemplo.

Salvamento do arquivo de log

Você pode selecionar o para copiar o conteúdo do arquivo de log e colar, por exemplo, um arquivo do Bloco de Notas que você pode salvar em seu computador. Isso permite que você veja as mensagens enquanto trabalha para solucionar os problemas que causam erros ou avisos.

Observação:

Isso também permite que você compartilhe o conteúdo do arquivo de log, por exemplo, se precisar de suporte.

Edição e teste de transformações de dados

Editing transformations

Consulte as páginas listadas abaixo para obter mais informações sobre edição de transformações de dados.

• Structure of transformations

• Designing an event log

• Tips for writing SQL

Execução das consultas

Atenção:

Para versões anteriores à 2023.10.3, a opção Executar tudo é limitada a 10 minutos. A partir da versão 2023.10.4, Executar tudo é limitado a 1 hora. Portanto, é altamente recomendável usar um pequeno conjunto de dados para o desenvolvimento e teste de transformações de dados, para garantir que suas transformações não excedam esse limite de tempo. Consulte também: Portal do Process Mining.

Quando você estiver editando transformações, pode selecionar Executar consultas para testar suas alterações e acessar uma visualização. Isso executa as consultas que foram modificadas e todas as consultas relacionadas. Por exemplo, se cases_input.sql foi modificado. O comando Executar consultas executaria cases_input.sql e cases.sql, que utilizam os resultados de cases_input.sql.

Os dados resultantes só estarão disponíveis no editor Transformações de dados, não no editor do painel.

Há dois tipos de execuções:

• Executar consultas: inicia uma execução de dados, recalculando todas as consultas modificadas e suas dependências.

• Executar arquivo: inicia uma execução para recalcular apenas o arquivo SQL atualmente selecionado e suas consultas pai. Essa opção permite testar e depurar personalizações para arquivos SQL específicos.

Dica:

É possível selecionar Cancelar execução a qualquer momento para cancelar a execução de transformações.

Os resultados são exibidos no painel Visualização.

Observação:

Executar consultas costuma ser muito mais rápido do que Aplicar a painéis, o que inicia uma executação completa de dados.

Observação:

Executar consultas não afeta os dados no aplicativo de processo publicado.

Adicionando pastas e arquivos

Você pode criar novas pastas e adicionar novos arquivos em suas transformações.

Convenções de Nomes

• Para nomes de arquivos, pastas, campos e tabelas:

  • você só pode usar caracteres minúsculos (az), caracteres maiúsculos (AZ) e números (0-9);

  • você não pode usar caracteres especiais |*:?"<>\/ para nomes de arquivos, pastas, campos e tabelas.
• Para nomes de arquivos, você só pode usar _:. como caracteres especiais.
• O nome de um arquivo não pode começar com _ (underscore).

Criando uma nova pasta ou arquivo a partir do menu de transformações

Siga estas etapas para criar uma nova pasta ou arquivo.

Etapas	Ação
1	Navegue até o local nas transformações onde você deseja adicionar um novo arquivo ou pasta.
2	Acesse o painel Transformações e selecione o ícone para abrir o menu de transformações.
3	Selecione a opção aplicável no menu.
4	Insira um nome descritivo para a nova pasta ou arquivo e selecione Enter.

A nova pasta ou arquivo é criado na pasta selecionada.

Criar uma nova pasta ou arquivo a partir do menu de contexto

Siga estas etapas para criar uma nova pasta ou arquivo a partir do menu de contexto.

Etapas	Ação
1	Clique com o botão direito do mouse na pasta nas transformações em que você deseja adicionar um novo arquivo ou pasta.
2	Selecione a opção aplicável no menu.
3	Insira um nome descritivo para a nova pasta ou arquivo e selecione Enter.

A nova pasta ou arquivo é criado na pasta selecionada.

Alterações não salvas em arquivos

Quando você edita um arquivo .sql , é indicado na estrutura da pasta Transformações que há alterações não salvas.

No exemplo acima, há alterações não salvas no arquivo Tags.sql que está na pasta modelos -> 5_business_logic .

Como renomear uma pasta ou arquivo

Siga estas etapas para criar uma nova pasta ou arquivo.

Etapas	Ação
1	Clique com o botão direito do mouse na pasta ou arquivo que deseja renomear para abrir o menu de contexto.
2	Selecione Renomear.
3	Edite o nome como desejar e selecione Enter.

A pasta ou arquivo é renomeado.

Como excluir uma pasta ou arquivo

Siga estas etapas para criar uma nova pasta ou arquivo.

Etapas	Ação
1	Clique com o botão direito do mouse na pasta ou arquivo que deseja excluir para abrir o menu de contexto.
2	Selecione Excluir. Uma mensagem de confirmação é exibida.
3	Selecione Excluir para confirmar a exclusão.

A pasta ou arquivo foi excluído.

Adição de comentários em arquivos

Se você quiser incluir comentários em seus arquivos de transformações do SQL ou comentar partes do arquivo, é altamente recomendável usar a sintaxe de comentários do Jinja, que é por padrão definida como {# ... #}. Isso também permite que você comente macros.

Sql

{# {{ pm_utils.optional(ref('Cases_base'), '"Case_status"') }} as "Case_status", #}

{# case
    when {{ pm_utils.optional(ref('Cases_base'), '"Case_value"', 'double') }} >= 1000000 
      then {{ pm_utils.as_varchar('>= 1M') }}
    when {{ pm_utils.optional(ref('Cases_base'), '"Case_value"', 'double') }} >= 0 
     then {{ pm_utils.as_varchar('0 - 1M') }}
   when {{ pm_utils.optional(ref('Cases_base'), '"Case_value"', 'double') }} is not null
     then {{ pm_utils.as_varchar('< 0') }}
  end as "Case_value_group", #}

Localizar/substituir em arquivos

No editor Transformações de dados , você pode localizar e substituir textos dentro de um único arquivo.

Find Text

Para encontrar um texto no editor de transformação de dados:

1. Clique em um local aleatório no editor de código ou selecione o texto no qual deseja pesquisar outras ocorrências.

2. Pressione CTRL+F.

3. Digite o teste que você deseja pesquisar no campo Encontrar.

   Todas as ocorrências do texto no arquivo atual são realçadas.

4. Selecione ENTER para pular para a próxima ocorrência.

Localizar e substituir

Para encontrar um texto no editor de transformação de dados:

1. Clique em um local aleatório no editor de código ou selecione o texto no qual deseja pesquisar outras ocorrências.

2. Pressione CTRL+H.

3. Insira o teste que deseja pesquisar no campo Localizar e insira o novo teste no campo Substituir.

   Todas as ocorrências do texto no arquivo atual são realçadas.

4. Selecione ENTER para substituir o texto e pular para a próxima ocorrência.

Para encontrar um texto no editor de transformação de dados:

1. Clique no editor de código.

2. Pressione CTRL+H.

3. Insira o teste que deseja pesquisar no campo Localizar e insira o novo teste no campo Substituir.

   Todas as ocorrências do texto no arquivo atual são realçadas.

4. Pressione Crtl+Alt+Enter.

Dica:

Você também pode usar os ícones Substituir ou Substituir todos.

Localizar/substituir em vários arquivos

Se você quiser Localizar/substituir textos em vários arquivos, você só pode fazer isso em um editor externo.

Siga estas etapas para localizar/substituir textos em vários arquivos:

1. Exporte transformações a partir de seu aplicativo de processo.

   Observação:

   Se você tiver alterações pendentes no editor Transformações de dados, use Aplicar a painéis e exporte as transformações após a conclusão da executação de dados.

2. Descompacte as transformações.

3. Abra as transformações em seu editor de código de preferência, por exemplo, Notepad++ ou Visual Studio Code.

4. Use a funcionalidade dessas ferramentas para localizar ou substituir textos em vários arquivos.

5. Salve os arquivos.

6. Adicione os arquivos de transformação a um arquivo .zip arquivo .xaml.

7. Importe as transformações para seu app de processo.

Observação:

Quando lhe for perguntado quais dados usar para uma execução de dados, selecione Cancelar se quiser continuar editando transformações antes de fazer uma nova executação de dados.

Edição de arquivos de configuração de projeto dbt

Você também pode abrir arquivos dbt de configuração de projeto no editor Transformações de dados, por exemplo dbt_project.yml.

AVISO:

É altamente recomendável editar apenas a seção vars, se necessário. As outras partes de dbt_project.yml não devem ser alteradas para garantir que as transformações continuem funcionando corretamente.

Para obter informações detalhadas sobre dbt, consulte a documentação oficial do dbt.

Disponibilização das transformações em painéis

Para tornar as alterações disponíveis nos painéis, você deve realizar uma execução de dados completa para carregar os dados e executar as transformações. Selecione o botão Aplicar a painéis para iniciar uma executação de dados.

Observação:

Dependendo do tamanho de seu conjunto de dados, isso levará algum tempo.

Após uma execução de dados bem-sucedida, as novas transformações ficam disponíveis no editor de painéis e podem ser usadas para ajustar os painéis.

Atenção:

Se você tiver uma versão publicada do aplicativo de processo, os usuários comerciais verão instantaneamente os novos dados. Se você quiser garantir que seu aplicativo publicado continue sendo executado corretamente ao editar transformações, é altamente recomendável usar um aplicativo de desenvolvimento.

Siga estas etapas.

1. Clonar seu aplicativo para criar um aplicativo de desenvolvimento.

2. Edite e teste as transformações.

3. Exporte as transformações do aplicativo de desenvolvimento.

4. Importe as transformações em seu aplicativo de processo publicado.

Mesclando logs de evento

Se seu log de evento for dividido em vários arquivos de log de evento, você pode mesclar os logs de evento em um único log de evento em Transformações de dados.

Observação:

Para mesclar vários logs de evento, o Case_ID deve apontar para o mesmo objeto para todos os arquivos. Por exemplo, todas as IDs de caso estão apontando para IDs de ordem de venda., de modo que Case_ID aponte para a mesma tabela para todos os logs de evento.

1. Crie um novo aplicativo, com base no Modelo de aplicativo de log de evento . Consulte Modelos de aplicativo.

2. Use a opção Carregar dados na etapa Selecionando a origem dos dados e selecione os arquivos de log de eventos que você deseja mesclar.

3. Continue o assistente Criar novo aplicativo para criar o aplicativo e transformar os dados.

   A execução de dados falhará e o status do aplicativo mostrará Falha na execução.

4. Selecione Exibir log para exibir o arquivo de log.

   Uma mensagem de erro é exibida indicando que o arquivo Event_log_raw.sql esperado não foi encontrado.

   

5. Acesse o editor de Transformações de dados.

6. Para cada arquivo de entrada:

   1. Crie um arquivo .sql com o mesmo conteúdo do Event_log_input.sql já disponível.

      

   2. Ajuste o arquivo para selecionar os campos de entrada necessários e os insira corretamente.

   3. Adicione o nome das novas tabelas de origem a sources.yml.

      Agora, todos os novos arquivos de entrada podem ser combinados em um único log de evento.

      Atenção:

      Certifique-se de que todos os arquivos de entrada tenham exatamente o mesmo conjunto de campos.

7. Selecione o arquivo Event_log_input.sql e substitua o conteúdo por:

   -- The following code merges 3 input tables.
   select * from {{ ref('Event_log_input_1') }}
   union all
   select * from {{ ref('Event_log_input_2') }}
   union all
   select * from {{ ref('Event_log_input_3') }}

   
   Observação: ajuste o código para corresponder aos nomes das tabelas de entrada necessárias.

8. Selecione Aplicar a painéis para executar as transformações de dados e disponibilizar a tabela resultante para uso nos painéis.