Gerenciamento de dados de entrada

Você pode configurar as tabelas de entrada diretamente de Transformações de dados para garantir que seus dados de entrada atendam aos requisitos de seu aplicativo de processo. A opção Gerenciar configurações de dados de entrada permite que você configure com facilidade as tabelas de entrada existentes ou crie novas tabelas de entrada a partir de arquivos recém-carregados.

Siga estas etapas para gerenciar as configurações de dados de entrada.

1. Na seção Entrada , localize a pasta Tabelas .

2. Localize a tabela para a qual você deseja gerenciar os arquivos e selecione o ícone do menu de contexto para abrir o painel Editar tabela para a tabela selecionada.

A página Tabelas é exibida, mostrando as tabelas de origem que já estão presentes em seu aplicativo de processo.

Mapeamento e configuração de tabelas de entrada

Ao carregar um ou mais arquivos, uma nova tabela é adicionada automaticamente na seção Tabelas de origem para cada arquivo carregado, e uma tabela de entrada correspondente é criada na seção Tabelas de destino . Por padrão, o nome do arquivo carregado é usado como o nome das tabelas. Uma mensagem de aviso é exibida indicando que a tabela precisa de configuração antes que os dados possam ser carregados para a tabela.

Mapeamento de tabelas de entrada

Seus dados de entrada devem atender ao modelo de dados definido para seu aplicativo. Se necessário, você pode mapear uma tabela de origem para uma tabela de destino diferente.

Configuração de tabelas de entrada

As configurações para a tabela de entrada de destino são detectadas automaticamente e você só precisa verificá-las.

Siga estas etapas para editar as configurações para uma tabela de entrada.

1. Localize a tabela que você deseja configurar e selecione o ícone Editar tabela para abrir o painel Editar tabela para a tabela selecionada.

2. Edite as configurações como desejar e selecione Salvar.

A tabela a seguir descreve as configurações da tabela.

Configuração	Description
Nome da tabela	O nome da tabela de entrada em Transformações de dados.
Obrigatório	Opção para definir a tabela como obrigatória. Se TRUE, a tabela será exigida mais tarde ao publicar ou importar o aplicativo de processos. Se a tabela não for carregada, um erro será gerado. Se FALSE, a tabela é considerada como Opcional., ao publicar ou importar o aplicativo. Se a tabela não for carregada, uma tabela vazia será criada para que as consultas SQL subsequentes não falhem.
Codificação	A codificação usada no arquivo.
Delimitador	O delimitador que separa os diferentes campos.
FimDaLinha	O caractere usado para marcar o fim de uma linha e o início de uma nova.
Caractere entre aspas	As aspas usadas nos campos de caso são envolvidas entre aspas.
Tipo de carga	O tipo de carga da tabela. Observação: Se você selecionar Incremental como o Tipo de carga, deverá especificar configurações adicionais para configurar carga incremental para a tabela.

Carga de dados incremental

Com uma carga completa, todos os dados são extraídos da origem e carregados no sistema de destino, independentemente de os dados terem sido alterados ou permanecerem os mesmos desde o último carregamento. Uma carga incremental apenas extrai dados que foram alterados (adicionados ou atualizados) desde a última carga. Uma carga incremental é normalmente mais rápida e consome menos recursos do que uma carga completa, especialmente ao lidar com grandes volumes de dados em que apenas um pequeno subconjunto pode ser alterado com frequência.

Para habilitar a carga de dados incremental para uma tabela, você deve definir o Tipo de carregamento da tabela como Incremental. A carga incremental requer um identificador exclusivo para garantir que os dados sejam carregados corretamente, e um campo (como um carimbo de data/hora ou uma versão) para rastrear alterações nos dados de origem.

A tabela a seguir descreve as configurações adicionais necessárias para a carga Incremental .

Configuração	Description
Chaves primárias	O campo ou campos de chave primária que identificam exclusivamente cada registro na origem de dados.
Campo de carimbo de data/hora	O campo usado para rastrear quando cada registro foi atualizado ou adicionado pela última vez.
Formato do carimbo de data/hora	O formato do valor de carimbo de data/hora usado no campo Carimbo de data/hora .

Importante:

O método de extração usado para carregar dados pode exigir configuração adicional ou específica para extração incremental.

Confira Carregamento de dados usando o CData Sync para obter mais informações sobre como configurar a extração incremental para o CData Sync.

Consulte Carregamento de dados usando DataUploader para mais informações sobre como configurar DataUploader para extração incremental.

Atenção: se você alternar novamente o Tipo de carregamento para Completo, certifique-se de configurar o método de extração usado de acordo.

Mapeamento e configuração de campos de entrada

Quando terminar de configurar as tabelas de entrada, você pode mapear e configurar os campos de entrada para as tabelas.

1. Selecione Avançar na página Tabelas . A página Campos é exibida.

Para cada tabela, os campos do arquivo de origem são detectados automaticamente e mapeados para os campos correspondentes na tabela de destino.

Mapeamento de campos de entrada

Seus dados de entrada devem atender ao modelo de dados definido para seu aplicativo. Se necessário, você pode mapear um campo de origem para um campo de destino diferente.

Configuração de campos de entrada

As configurações para os campos de entrada de destino são detectadas automaticamente e você só precisa verificá-las.

Siga estas etapas para editar as configurações para um campo de entrada.

1. Localize o campo que você deseja configurar e selecione o ícone Editar campo para abrir o painel Editar campo para o campo selecionado.

2. Edite as configurações como desejar e selecione Salvar.

A tabela a seguir descreve as configurações da tabela.

Configuração	Description
Name	O nome do campo. Observação: Nome é um campo obrigatório.
Tipo	O tipo de dados do campo. Texto Número inteiro Número decimal Booleano Data DateTime Observação: Dependendo do tipo de campo, você deve especificar as configurações de análise para configurar o campo.
Obrigatório	Opção para definir o campo como obrigatório. Se selecionado, o campo é obrigatório ao publicar ou importar o aplicativo de processos. Um erro será gerado se o campo estiver ausente. Se não for selecionado, o campo será considerado opcional. Quando estiver ausente, o campo será adicionado com valores NULL, para que as consultas SQL subsequentes não falhem.
Exclusivo	Opção para definir que o valor do campo tenha um valor distinto ou exclusivo para cada registro.
Não é NULL	Opção para definir que o campo deve ter um valor para cada registro. O campo não pode ficar vazio ou ser preenchido com um valor NULL.

Analisar configurações para tipos de campo

A tabela a seguir descreve as configurações de análise disponíveis para os diferentes tipos de campo.

Tipo de campo	Analisar configurações
Número inteiro	Separador de milhar Nenhum Ponto (.) Vírgula (,)
Número decimal	Separador Decimal Ponto (.) Vírgula (,) Separador de milhar Nenhum Ponto (.) Vírgula (,)
Booleano	Valor verdadeiro: TRUE ou 1 Valor FALSE FALSE ou 0 Observação: Valor Verdadeiro e Valor Falso são configurações obrigatórias e devem ser diferentes.
Data	Formato da data
DateTime	Formato da data e hora

Ajustar aplicativos de processo existentes para utilizar a tela Gerenciar dados de entrada

Introdução

Observação:

Embora os aplicativos de processo existentes continuem totalmente funcionais, você pode ajustá-los para utilizarem a tela Gerenciar dados de entrada no Process Mining. Com a tela Gerenciar dados de entrada , você pode adicionar facilmente novas tabelas de entrada e campos de entrada. Portanto, é recomendável ajustar aplicativos de processo para os quais a estrutura dos dados de entrada está sujeita a alterações. Se você não esperar muitas alterações na estrutura dos dados de entrada, pode ser interessante considerar não ajustar o aplicativo.

Se você quiser começar a usar a tela Gerenciar dados de entrada para carregar as tabelas e campos para um aplicativo de processo existente, você precisa realizar manualmente as etapas descritas nesta página.

Pré-requisitos

Antes de começar a ajustar seu aplicativo:

1. Certifique-se de que todas as alterações no aplicativo de processos sejam publicadas.

2. Exporte ou clone o aplicativo de processo para salvar um backup.

Etapas

Dica:

As consultas de entrada são os arquivos SQL que se referem a uma tabela definida na seção. sources Esses modelos geralmente ficam localizados na pasta 1_input.

Siga estas etapas para cada uma das consultas de entrada.

1. Certifique-se de que o arquivo SQL de entrada contenha apenas renomeações e lançamentos de tipos. Mova outra lógica (filtragem, colunas derivadas, etc.) para arquivos SQL subsequentes.

   A ilustração a seguir mostra um exemplo de arquivo Event_log_input.sql que contém apenas renomeações e transformações de tipos.

   
   

   

   
   

2. Vá para Gerenciar dados de entrada e ajustar as propriedades de campo para cada campo. Consulte Mapeamento e configuração de campos de entrada para obter mais detalhes.

   1. Defina o tipo de dados e renomeie usando a opção Gerenciar configurações de dados de entrada em Transformações de dados.

   2. Verifique os atributos do campo (Obrigatório, Único, não NULL) no painel Propriedades do campo e certifique-se de que estejam definidos corretamente.

   
   

   

   
   
3. Verifique todos os arquivos SQL quanto a referências à tabela de entrada: {{ ref('table_name') }} e atualize essas referências para usar a nova tabela:
   Substitua todas as ocorrências de {{ ref('table_name') }} por {{ source('sources', 'source_table_name') }}. Por exemplo: substitua {{ ref('Event_log_input') }} , que apontava para seus arquivos SQL por {{ source('sources', 'Event_log_raw') }} para apontar diretamente para a tabela de origem.

   
   

   

   
   
   Observação:

   Essas referências podem ocorrer em qualquer arquivo SQL.

4. Como o arquivo SQL de entrada original não é mais usado, agora você pode excluí-lo com segurança.

Importante:

Se suas transformações contiverem uma configuração de formato que ainda não está disponível em Gerenciar configurações de dados de entrada, o lançamento de tipo deve permanecer nas transformações dbt . Por exemplo, SAP não tem datas disponíveis (AAAAMMDD).

Solução de problemas

Pergunta

O arquivo que carreguei antes não pode ser carregado corretamente.

Possível solução

Inspecione a codificação e as terminações de linha dos arquivos para verificar se correspondem com as configurações da tabela. Consulte Mapeamento e configuração de tabelas de entrada para obter mais informações.