Loading data using Theobald Xtract Universal

Introdução

Esta página descreve como usar o Theobald Xtract Universal (XU) para carregar dados do seu sistema de origem SAP em um aplicativo de processo no Process Mining (Automation Suite). Consulte o website oficial Theobald Software para mais informações sobre o Theobald Xtract Universal (XU).

Theobald Xtract Universal fornece acesso rápido a dados e extrações para fontes de dados SAP ECC e SAP HANA. Para obter instruções gerais sobre como usar o Theobald Xtract Universal (XU), consulte a documentação oficial do Theobald Software Getting Started with Theobald Xtract Universal.

Pré-requisitos

Assume-se que você:

• uma licença válida do Theobald Xtract Universal.

• instalado Theobald Xtract Universal. Consulte a documentação oficial do Theobald Software para obter mais informações sobre a instalação de uma atualização do Theobald Xtract Universal e a personalização do módulo de função para extração de tabelas no SAP.

Observação:

Loading data using Theobald Xtract Universal requires that the command line tool (xu.exe) can be executed without additional authentication.

Configuração do Theobald Xtract Universal

Theobald Xtract Universal é a ferramenta de extração certificada pela SAP usada para extrair dados dos sistemas de origem SAP, integrando-se ao SAP por meio de Chamadas de Função Remota (RFC). O Theobald Xtract Universal contém um módulo de função personalizado somente leitura que deve ser instalado no SAP. Use o seguinte link para baixar o módulo personalizado: Z_THEO_READ_TABLE-transport1.zip.

Observação:

A licença é fornecida via UiPath com a finalidade de utilização com Process Mining.

Siga estas etapas para configurar o Theobald Xtract Universal.

1. Baixe a versão de avaliação mais recente do Theobald Xtract Universal de nosso site, consulte Baixar versão de avaliação. Instale o Theobald Xtract Universal em um servidor Windows / Máquina virtual.

2. Verifique se o acesso à rede ao seu sistema SAP está aberto, consulte Portas TCP/IP do SAP.

3. Conceda direitos de usuário do SAP para acessar a instância do SAP, consulte Objetos de autoridade - Direitos de usuário do SAP para tabela.

4. Os seguintes componentes no Theobald Xtract Universal requerem personalização no SAP: Z_THEO_READ_TABLE.

5. Configure o Theobald Xtract Universal para o(s) modelo(s) de aplicativo necessário(s). Consulte Modelos de aplicativo.

Observação:

As etapas 2 a 4 exigirão validação de sua equipe SAP.

Setup credentials for the SQL Server database

Carregar dados para o Process Mining (Automation Suite) requer acesso ao local do banco de dados SQL Server para o qual os dados extraídos precisam ser carregados. Para configurar uma conexão de destino do SQL Server, são necessários os seguintes parâmetros de configuração para autenticar o acesso ao local do banco de dados SQL Server.

• Servidor
• Banco de Dados
• Esquema
• Role

Consulte Recuperação dos parâmetros do banco de dados SQL Server.

Carregando dados usando o Theobald Xtract Universal

A configuração do carregamento de dados usando o Theobald Xtract Universal requer a execução de várias etapas.

1. Configure o usuário SQL para carregar os dados;
2. Importe as extrações do template;
3. Configurar a fonte;
4. Configurar o destino;
5. Configure o script de extração;
6. Execute o script de extração.

As etapas são descritas em detalhes a seguir.

Como configurar o usuário SQL para carregar os dados

Cada aplicativo de processo que usa a opção de carregar dados por meio do extrator precisa de um usuário dedicado do SQL Server com acesso específico ao esquema associado ao aplicativo de processo.

Siga estas etapas.

Etapa	Ação	Sintaxe
1	Crie um login. Observação: O login precisa ser criado no banco de dados mestre.	CREATE LOGIN <SQL_login_name> WITH PASSWORD = '<Password>'
2	Crie um usuário de banco de dados para o login. Observação: Esse usuário precisa ser criado no banco de dados AutomationSuite_ProcessMining_Warehouse.	CREATE USER <User_name> FOR LOGIN <SQL_login_name>
3	Atribua o usuário à função de banco de dados correta.	SP_ADDROLEMEMBER <Role>, <User_name>
4	Defina o esquema padrão para o usuário criado. Atenção: Esta etapa é necessária apenas para carregar dados usando o Theobald Xtract Universal.	ALTER USER <User_name> WITH DEFAULT_SCHEMA = <Schema>

Importando as extrações do modelo

Siga estas etapas para importar as extrações de modelo no Theobald Xtract Universal.

Etapa	Ação
1	Acesse a página Modelos de aplicativo e abra a página de documentação do seu modelo de aplicativo.
2	Localize a seção Carregando dados usando o Theobald Xtract Universal e baixe o arquivo XU_template_extractions_as.zip para seu modelo de aplicativo. Consulte Modelos de aplicativos. Este arquivo XU_template_extractions_as.zip contém as pastas destinations, extractionse sources.
3	Copie as pastas do arquivo baixado XU_template_extractions_as.zip para a pasta config do Xtract Universal. A localização desta pasta é [XU_installation_path]/config.
4	Abra o Xtract Universal Designer e clique no botão atualizar para carregar todas as extrações.

Observação:

Você pode fazer login usando o usuário padrão.

Uma lista de todas as extrações que extraem uma tabela do sistema SAP é exibida. A origem do modelo é denominada SAP e o destino do modelo é denominado SQL Server.

Configurando a origem

Siga estas etapas para configurar a fonte SAP no Theobald Xtract Universal.

Etapa	Ação
1	Vá para Servidor - Gerenciar fontes e edite a fonte SAP.
2	Preencha as configurações nas guias Geral e Autenticação para se conectar ao seu sistema SAP.
3	Teste a conexão.

Configurando o destino

Siga estas etapas para configurar o destino do SQL Server no Theobald Xtract Universal.

1. Vá para Servidor - Gerenciar destinos e edite o destino do SQL Server.
2. Preencha as configurações para se conectar ao destino do SQL Server.

Configuração do script de extração

Siga estas etapas para configurar o script de extração.

Etapa	Ação
1	Acesse a página Modelos de aplicativo e abra a página de documentação do seu modelo de aplicativo.
2	Localize a seção Carregando dados usando o Theobald Xtract Universal e baixe o arquivo extract_theobald_as.zip para seu modelo de aplicativo. Este arquivo extract_theobald_as.zip contém o script extract_theobald.ps1 e o arquivo config.json .
3	Descompacte o conteúdo do arquivo extract_theobald_as.zip no servidor onde o Theobald Xtract Universal está instalado.
4	Configure as variáveis para o script no config.json conforme listado abaixo.

Variável	Description
xu_location	A pasta de instalação do Xtract Universal. Esta é a pasta onde você pode encontrar o xu.exe. Por exemplo: C:\\MinhaPasta.
xu_server	Endereço do servidor onde o Xtract Universal está instalado. O padrão é localhost.
xu_port	Porta do servidor onde o Xtract Universal está instalado. A porta padrão de uma instalação é 8065.
as_server	A parte do URL que denota o servidor no qual o aplicativo é criado. Consulte Recuperação dos parâmetros do banco de dados SQL Server.
as_organization	A parte do URL que denota a organização do aplicativo criado. Consulte Recuperação dos parâmetros do banco de dados SQL Server.
as_tenant	A parte do URL que denota o tenant do aplicativo criado. Consulte Recuperação dos parâmetros do banco de dados SQL Server.
as_app_ID	O ID do aplicativo criado.
extraction_start_date	Data de início a ser usada para limitar as extrações. Somente tabelas em que um filtro de data é aplicado são filtradas nesta data. Formato é YYYYMMDD. O padrão não é nenhuma limitação indicada até a data de início 19700101. Observação: extraction_start_date deve ter um valor.
extraction_end_date	Data de término a ser usada para limitar as extrações. Somente tabelas em que um filtro de data é aplicado são filtradas nesta data. Formato é YYYYMMDD. O padrão não é nenhuma limitação indicada até a data de término 20991231. Observação: extraction_end_date deve ter um valor.
language	O idioma em que os dados serão extraídos do sistema de origem. O padrão é E.
exchange_rate_type	O tipo de taxa de câmbio usado para conversão de moeda. O padrão é M.

Execução do script de extração

Para carregar os dados e carregá-los para uso no Process Mining, execute o arquivo extract_theobald.ps1.

O tempo necessário para esta tarefa dependerá muito dos volumes de dados carregados.

Como iniciar o arquivo manualmente

Siga esta etapa para iniciar a execução de dados.

Etapa	Ação
1	Execute o arquivo extract_theobald.ps1 para iniciar a execução de dados.

A execução de dados também cria um arquivo de log que pode ajudar em caso de resultados inesperados ou se o upload de dados com o carregador de dados falhar. O arquivo extraction.log contém os logs da última execução de dados. Para cada extração com falha, um código de retorno é exibido. Consulte a documentação oficial do Theobald Software Call via Commandline para obter mais informações. Quando algo com a configuração está incorreto, isso é mencionado na mensagem de erro.

Agendar uma tarefa para a execução de dados

Em vez de executar o arquivo manualmente, use o Agendador de Tarefas do Windows para agendar uma tarefa que executa o script em lote para atualizações de dados automatizadas.

Observação: Recomenda-se selecionar a conta de usuário local do SISTEMA para executar a tarefa e selecione a opção Executar com prioridade máxima na janela Criar Tarefa ao criar a tarefa no Windows Scheduler.

Importante:

Se você adicionar um intervalo para o qual não há dados disponíveis, os painéis exibirão uma mensagem de erro.

Quando a extração é bem-sucedida, a ingestão de dados pode falhar devido à extração de alguns dados incorretos. Você pode filtrar esses dados usando Theobald Xtract Universal usando a cláusula WHERE. Consulte a documentação oficial do Theobald para obter mais informações sobre a cláusula WHERE.

Observação:

Se você tiver uma cláusula WHERE que usa variáveis (por exemplo, a data de extração), não poderá filtrar por meio da interface do usuário.

Solução de problemas

A execução de dados também cria um arquivo de log que pode ajudar em caso de resultados inesperados ou se o upload de dados com o carregador de dados falhar. O arquivo extraction.log contém os logs da última execução de dados. Para cada extração com falha, um código de retorno é exibido. Consulte a documentação oficial do Theobald Software Call via Commandline para obter mais informações. Quando algo com a configuração está incorreto, isso é mencionado na mensagem de erro.

Problemas de extração com CDPOS para sistemas não HANA

Em alguns sistemas não HANA mais antigos, o CDPOS é uma tabela de cluster e pode resultar em um erro de “junção com a tabela de bilhar”, como abaixo.

A extração da tabela CDPOS inclui por padrão uma junção com a tabela CDHDR para limitar o número de registros que precisam ser extraídos. Siga estas etapas para superar esse erro.

1. Edite a extração CDPOS no Xtract Universal Designer para remover o CDHDR das tabelas.
2. Substitua o CDHDR~UDATE between @extraction_start_date and @extraction_end_date por:

   CHANGENR between @CHANGENR_min and @CHANGENR_max

3. No extract_theobald.ps1, substitua &"$xu_location\xu.exe" -s "$xu_server" -p "$xu_port" -n "CDPOS" -o "extraction_start_date=$extraction_start_date" -o "extraction_end_date=$extraction_end_date" pelo código exibido abaixo.

&"$xu_location\xu.exe" -s "$xu_server" -p "$xu_port" -n "CDHDR_CSV" -o "extraction_start_date=$extraction_start_date" -o "extraction_end_date=$extraction_end_date"
CheckExtractionError('CDHDR_CSV')
$CDHDR = Import-Csv -Path "$xu_location\<app_template_specific>output\CDHDR_CSV.csv" -Delimiter "`t"
$CDHDR_sorted = $CDHDR | Sort-Object -Property CHANGENR 
$CHANGENR_min=$CDHDR_sorted.GetValue(0).CHANGENR
$CHANGENR_max=$CDHDR_sorted.GetValue($CDHDR_sorted.Count-1).CHANGENR
&"$xu_location\xu.exe" -s "$xu_server" -p "$xu_port" -n "CDPOS" -o "CHANGENR_min=$CHANGENR_min" -o "CHANGENR_max=$CHANGENR_max"

Nota: este é um exemplo genérico, os nomes das tabelas podem ser diferentes para o seu modelo de aplicativo.

Observação: substitua a pasta de saída <app_template_specific> pela pasta de saída especificada para seu modelo de aplicativo em extract_theobald.ps1.

Outros problemas de extração

Chave duplicada

Ao carregar dados usando o Theobald Xtract Universal, a seguinte mensagem de erro pode ocorrer:

Possível causa

Um campo usado para a chave primária na tabela não é recuperado na extração.

Solução

Para resolver isso, você precisa verificar se todos os campos usados para a chave primária na tabela são recuperados na extração.

Abaixo encontra-se um exemplo da tabela EKKN . Para esta tabela, a chave primária não está completa porque o campo ZEKKN não é recuperado. O problema pode ser corrigido certificando-se de que esse campo também seja usado na extração.

Dica:

As chaves primárias nas tabelas do SAP podem ser reconhecidas pelo símbolo da chave exibido na frente do nome do campo.