Gerenciamento de dados de entrada

Você pode configurar as tabelas de entrada diretamente de Transformações de dados para garantir que seus dados de entrada atendam aos requisitos para seu aplicativo de processo. A opção Gerenciar configurações de dados de entrada permite que você configure facilmente as tabelas de entrada existentes ou crie novas tabelas de entrada a partir de arquivos recém-carregados.

Siga estas etapas para gerenciar as configurações de dados de entrada.

1. Na seção Entrada , localize a pasta Tabelas .
2. Localize a tabela para a qual deseja gerenciar os arquivos e selecione o ícone do menu de contexto para abrir o painel Editar tabela para a tabela selecionada.

A página Tabelas é exibida, mostrando as tabelas de origem que já estão presentes para seu aplicativo de processo.

Mapeamento e configuração de tabelas de entrada

Quando você carrega um ou mais arquivos, uma nova tabela é adicionada automaticamente na seção Tabelas de origem para cada arquivo carregado e uma tabela de entrada correspondente é criada na seção Tabelas de destino . Por padrão, o nome do arquivo carregado é usado como o nome das tabelas. Uma mensagem de aviso é exibida indicando que a tabela precisa de configuração antes que os dados possam ser carregados para a tabela.

Mapeamento de tabelas de entrada

Seus dados de entrada devem atender ao modelo de dados definido para seu aplicativo. Se necessário, você pode mapear uma tabela de origem para uma tabela de destino diferente.

Configuração de tabelas de entrada

As configurações para a tabela de entrada de destino são detectadas automaticamente e você só precisa verificá-las.

Siga estas etapas para editar as configurações para uma tabela de entrada.

1. Localize a tabela que você deseja configurar e selecione o ícone Editar tabela para abrir o painel Editar tabela para a tabela selecionada.
2. Edite as configurações como desejar e selecione Salvar.

A tabela a seguir descreve as configurações da tabela.

Configuração	Description
Nome da tabela	O nome da tabela de entrada em Transformações de dados.
Obrigatório	Opção para definir a tabela como obrigatória. Se TRUE, a tabela será necessária mais tarde ao publicar ou importar o aplicativo de processo. Se a tabela não for carregada, um erro será gerado. Se FALSE, a tabela será considerada como Opcional ao publicar ou importar o aplicativo. Se a tabela não for carregada, uma tabela vazia será criada para que as consultas SQL subsequentes não falhem.
DetecçãoAutomática	Permite que você identifique os tipos de campos no arquivo de entrada e aplique automaticamente os tipos de campos detectados aos campos correspondentes na tabela de destino.
Codificação	A codificação usada no arquivo.
Delimitador	O delimitador que separa os diferentes campos.
FimDaLinha	O caractere usado para marcar o fim de uma linha e o início de uma nova.
Caractere entre aspas	As aspas usadas nos campos de caso são envolvidas entre aspas.
Caractere de escape	O caractere de escape usado para interpretar corretamente caracteres que, de outra forma, seriam tratados como caracteres de controle especial (como aspas ou delimitadores). Observação: por padrão, o caractere Aspas selecionado é usado como o caractere de escape. Ou então, você pode selecionar a barra invertida (\) como o caractere de escape.
Tipo de carga	O tipo de carga da tabela. Observação: se você selecionar Incremental como o Tipo de carga, deverá especificar configurações adicionais para configurar a carga incremental para a tabela.

Carga de dados incremental

Com uma carga completa, todos os dados são extraídos da origem e carregados no sistema de destino, independentemente de os dados terem sido alterados ou permanecerem os mesmos desde o último carregamento. Uma carga incremental apenas extrai dados que foram alterados (adicionados ou atualizados) desde a última carga. Uma carga incremental é normalmente mais rápida e consome menos recursos do que uma carga completa, especialmente ao lidar com grandes volumes de dados em que apenas um pequeno subconjunto pode ser alterado com frequência.

Para habilitar o carregamento de dados incremental para uma tabela, você deve definir o Tipo de carregamento para a tabela como Incremental. A carga incremental requer um identificador exclusivo para garantir que os dados sejam carregados corretamente e um campo (como um carimbo de data/hora ou uma versão) para rastrear alterações nos dados de origem.

A tabela a seguir descreve as configurações adicionais necessárias para a carga Incremental .

Configuração	Description
Chaves primárias	O campo ou campos de chave primária que identificam exclusivamente cada registro na origem de dados.
Campo de carimbo de data/hora	O campo usado para rastrear quando cada registro foi atualizado ou adicionado pela última vez.
Formato do carimbo de data/hora	O formato do valor de carimbo de data/hora usado no campo Carimbo de data/hora .

Importante:

O método de extração usado para carregar dados pode exigir uma configuração adicional ou específica para extração incremental. Consulte Carregamento de dados usando o CData Sync para obter mais informações sobre como configurar a extração incremental para o CData Sync. Consulte Carregamento de dados usando o Theobald Xtract Universal para obter mais informações sobre como configurar a extração incremental para o Theobald Xtract Universal. Consulte Carregamento de dados usando DataUploader para obter mais informações sobre como configurar DataUploader para extração incremental. Se você alternar o Tipo de carregamento para Completa, certifique-se de configurar o método de extração usado de acordo.

Removendo um arquivo de origem

Se você selecionar acidentalmente um arquivo de origem enquanto carrega os dados de origem, poderá removê-lo da tela de Dados de entrada.

Observação:

Um arquivo de origem só pode ser removido se nenhum dado tiver sido carregado para ele.

Siga estas etapas para remover um arquivo de origem.

1. Localize o arquivo de origem que você deseja remover na lista Tabelas de origem .
2. Passe o mouse sobre a tabela e selecione Remover arquivo.

O arquivo de entrada é removido.

Exclusão de uma tabela de entrada

Você pode excluir uma tabela de entrada que você carregou anteriormente, diretamente da página Tabelas de mapeamento na tela Dados de entrada. Excluir uma tabela de entrada remove os dados de seu aplicativo de processo. Se quiser usar os dados em seu aplicativo de processo em um estágio posterior, você deve carregar novamente a tabela de entrada.

Importante:

Excluir uma tabela pode causar uma falha nas transformações de dados.

Siga estas etapas para excluir uma tabela.

1. Localize a tabela que você deseja excluir e clique no ícone Excluir tabela. uma mensagem de confirmação é exibida.
2. Selecione Excluir.

Mapeamento e configuração de campos de entrada

Quando terminar de configurar as tabelas de entrada, você pode mapear e configurar os campos de entrada para as tabelas. Selecione Avançar na página Tabelas . A página Campos é exibida.

Para cada tabela, os campos do arquivo de origem são detectados automaticamente e mapeados para os campos correspondentes na tabela de destino.

Mapeamento de campos de entrada

Seus dados de entrada devem atender ao modelo de dados definido para seu aplicativo. Se necessário, você pode mapear um campo Origem para um campo Destino diferente.

A opção Detecção automática identifica tipos de campo no arquivo de entrada e aplica automaticamente os tipos de campo detectados aos campos correspondentes na tabela de destino.

Configuração de campos de entrada

As configurações para os campos de entrada de destino são detectadas automaticamente e você só precisa verificá-las.

Siga estas etapas para editar as configurações para um campo de entrada.

1. Localize o campo que você deseja configurar e selecione o ícone Editar campo para abrir o painel Editar campo para o campo selecionado.
2. Edite as configurações como desejar e selecione Salvar.

A tabela a seguir descreve as configurações da tabela.

Configuração	Description
Name	O nome do campo. Observação: o nome é um campo obrigatório.
DetecçãoAutomática	Permite que você identifique o tipo de campo no arquivo de entrada e aplique automaticamente o tipo de campo detectado para o campo na tabela de destino.
Tipo	O tipo de dados do campo. 'Texto' ? Número inteiro ? Número decimal 'Booleano' • Data 'Data/Hora Observação: dependendo do tipo de campo, você deve especificar configurações de análise para configurar o campo.
Obrigatório	Opção para definir o campo como obrigatório. Se selecionado, o campo é necessário ao publicar ou importar o aplicativo de processo. Um erro é gerado se o campo estiver ausente. Se não estiver selecionado, o campo será considerado opcional. Quando estiver ausente, o campo será adicionado com valores NULL, de modo que as consultas SQL subsequentes não falharão.
Exclusivo	Opção para definir que o valor do campo tenha um valor distinto ou exclusivo para cada registro.
Não é NULL	Opção para definir que o campo deve ter um valor para cada registro. O campo não pode ficar vazio ou ser preenchido com um valor NULL.

Analisar configurações para tipos de campo

A tabela a seguir descreve as configurações de análise disponíveis para os diferentes tipos de campo.

Tipo de campo	Analisar configurações
Número inteiro	Separador de milhar ? Nenhum até *. Ponto (.) ? Vírgula (,)
Número decimal	'Separador decimal     até *. Ponto (.)     ? Vírgula (,) 'Separador de milhar     ? Nenhum     até *. Ponto (.)     ? Vírgula (,)
Booleano	“Valor verdadeiro: TRUE ou 1 'Valor falso: FALSE ou 0 Observação: Valor Verdadeiro e Valor Falso são configurações obrigatórias e precisam ser diferentes.
Data	Formato da data (Confira Exemplo de configurações de análise para formatos de data).
DateTime	Formato de data e hora Formato de data (Confira as configurações de análise de exemplo para formatos de data e hora.)

Exemplo de configurações de análise para formatos de data

Format	Exemplo
yyyy-mm-dd	2025-04-05 2025-4-5
mm/dd/yy	04/05/25 4/5/25
mm/dd/yyyy	04/05/2025 4/5/2025
mm-dd-yyyy	04-05-2025 4-5-2025
dd-mm-yyyy	05-04-2025 5-4-2025
yyyy/mm/dd	2025/04/05

Exemplo de configurações de análise para formatos de data e hora

Format	Exemplo
yyyy-mm-dd hh:mm:ss[.nnn]	2025-04-05 14:30:45.123 2025-4-5 14:30:45.123
yyyy/mm/dd hh:mm:ss[.nnn]	2025/04/05 14:30:45.123 2025/4/5 14:30:45.123
mm/dd/yyyy hh:mm:ss[.nnn]	04/05/2025 14:30:45.123 4/5/2025 14:30:45.123 04/05/2025 14:30:45 4/5/2025 14:30:45
yyyy-mm-ddThh:mm:ss[.nnn]	2025-04-05T14:30:45.123 2025-4-5T14:30:45.123
mm-dd-yyyy hh:mm:ss[.nnn]	04-05-2025 14:30:45.123 4-5-2025 14:30:45.123 04-05-2025 14:30:45 4-5-2025 14:30:45
dd-mm-yyyy hh:mm:ss[.nnn]	05-04-2025 14:30:45.123 5-4-2025 14:30:45.123 05-04-2025 14:30:45 5-4-2025 14:30:45
yyyy-mm-ddThh:mm:ss[.nnn]+00:00*	2025-04-05T14:30:45.123+02:00 2025-04-05T14:30:45-03:00 2025-04-05T14:30:45 2025-4-5T14:30:45.123+02:00 2025-4-5T14:30:45-03:00 2025-4-5T14:30:45Z
yyyy-mm-ddThh:mm:ss[.nnn]+0000*	2025-04-05T09:30:00+0000 2025-04-05T09:30:00.123+0000
yyyy-mm-dd hh:mm:ss[.nnn]+00:00*	2025-04-05 09:30:00+00:00 2025-04-05 09:30:00.123+00:00
yyyy-mm-dd hh:mm:ss[.nnn]+0000*	2025-04-05 09:30:00+0000 2025-04-05 09:30:00.123+0000
dd/mm/yyyy hh:mm:ss[.nnn]	05/04/2025 14:30:45.123 5/4/2025 14:30:45.123
mm/dd/yy hh:mm:ss[.nnn] AM/PM	04/05/25 02:30:45 PM 4/5/25 02:30:45 PM

** Os carimbos de data/hora que incluem informação de fuso horário são convertidos automaticamente em UTC durante a ingestão de dados.

Ajustar aplicativos de processo existentes para utilizar a tela Gerenciar dados de entrada

Introdução

Observação:

Embora os aplicativos de processo existentes permaneçam totalmente funcionais, você pode ajustar aplicativos de processo para utilizar a tela Gerenciar dados de entrada no Process Mining. Com a tela Gerenciar dados de entrada , você pode adicionar facilmente novas tabelas e campos de entrada. Portanto, é recomendável ajustar aplicativos de processo para os quais a estrutura dos dados de entrada está sujeita a alterações. Se você não esperar muitas alterações na estrutura dos dados de entrada, poderá ser melhor considerar não ajustar o aplicativo.

Se você quiser começar a usar a tela Gerenciar dados de entrada para carregar as tabelas e campos para um aplicativo de processo existente, você precisa realizar manualmente as etapas descritas nesta página.

Pré-requisitos

Antes de começar a ajustar seu aplicativo:

1. Certifique-se de que todas as alterações no aplicativo de processos sejam publicadas.
2. Exporte ou clone o aplicativo de processo para salvar um backup.

Etapas

Dica:

As consultas de entrada são os arquivos SQL que se referem a uma tabela definida na seção. sources Esses modelos geralmente ficam localizados na pasta 1_input.

Siga estas etapas para cada uma das consultas de entrada.

1. Certifique-se de que o arquivo SQL de entrada contenha apenas renomeações e lançamentos de tipos. Mova outra lógica (filtragem, colunas derivadas, etc.) para arquivos SQL subsequentes.

A ilustração a seguir mostra um exemplo de arquivo Event_log_input.sql que contém apenas renomeações e transformações de tipos.

2. Vá para Gerenciar dados de entrada e ajuste as propriedades de campo para cada campo. Consulte Mapeamento e configuração de campos de entrada para obter detalhes.

1. Defina o tipo de dados e renomeie usando a opção Gerenciar configurações de dados de entrada em Transformações de dados.
2. Verifique os Atributos do campo (Obrigatório, Exclusivo, não NULL) no painel Propriedades do campo e certifique-se de que estejam definidos corretamente.

3. Verifique todos os arquivos SQL para referências à tabela de entrada: {{ ref('table_name') }}, e atualize essas referências para usar a nova tabela:

Substitua todas as ocorrências de {{ ref('table_name') }} por {{ source('sources', 'source_table_name') }}. Por exemplo: substitua {{ ref('Event_log_input') }} , que apontava para seus arquivos SQL por {{ source('sources', 'Event_log_raw') }} para apontar diretamente para a tabela de origem.

Observação:

Essas referências podem ocorrer em qualquer arquivo SQL.

4. Como o arquivo SQL de entrada original não é mais usado, agora você pode excluí-lo com segurança.
   Importante:

   Se suas transformações contiverem uma configuração de formato que ainda não está disponível em Gerenciar configurações de dados de entrada, o lançamento de tipos deve permanecer nas transformações dbt . Por exemplo, as datas SAP não estão disponíveis (YYYYMMDD).

Solução de problemas

Pergunta

O arquivo que carreguei antes não pode ser carregado corretamente.

Possível solução

Inspecione a codificação e os fins de linha dos arquivos para verificar se correspondem com as configurações da tabela. Consulte Mapeamento e configuração de tabelas de entrada para obter mais informações.