Carregamento de dados usando o Theobald Xtract Universal

Introdução

Esta página descreve como usar o Theobald Xtract Universal (XU) para carregar dados do seu sistema de origem SAP em um aplicativo de processo no Process Mining (Automation Suite). Consulte o website oficial Theobald Software para mais informações sobre o Theobald Xtract Universal (XU).

Theobald Xtract Universal fornece acesso rápido e extrações rápidas de dados para fontes de dados SAP ECC e SAP HANA. Para obter instruções gerais sobre como usar o Theobald Xtract Universal (XU), consulte a documentação oficial do Theobald Software Introdução ao Theobald Xtract Universal.

Pré-requisitos

Assume-se que você:

• uma licença válida do Theobald Xtract Universal.
• Theobald Xtract Universal instalado. Consulte a documentação oficial do Theobald Software para obter mais informações sobre a instalação de uma atualização do Theobald Xtract Universal e a personalização do módulo de função para extração de tabela no SAP.

Observação:

O carregamento de dados usando o Theobald Xtract Universal requer que a ferramenta de linha de comando (xu.exe) possa ser executada sem uma autenticação adicional.

Configuração do Theobald Xtract Universal

O Theobald Xtract Universal é a ferramenta de extração certificada pela SAP usada para extrair dados dos sistemas de origem SAP, integrando-se ao SAP por meio de Chamadas de Função Remota (RFC). O Theobald Xtract Universal contém um módulo de função personalizado somente leitura que deve ser instalado no SAP. Use o seguinte link para baixar o módulo personalizado: Z_THEO_READ_TABLE-transport1.zip.

Observação:

A licença é fornecida via UiPath com a finalidade de utilização com Process Mining.

Siga estas etapas para configurar o Theobald Xtract Universal.

1. Baixe a versão de avaliação mais recente do Theobald Xtract Universal de nosso site, consulte Baixar versão de avaliação. Instale o Theobald Xtract Universal em um servidor Windows / Máquina virtual.
2. Verifique se o acesso à rede ao seu sistema SAP está aberto, consulte Portas TCP/IP do SAP.
3. Conceda direitos de usuário do SAP para acessar a instância do SAP, consulte Objetos de autoridade - Direitos de usuário do SAP para tabela.
4. Os seguintes componentes no Theobald Xtract Universal requerem personalização no SAP: Z_THEO_READ_TABLE.
5. Configure o Theobald Xtract Universal para o(s) modelo(s) de aplicativo necessário(s). Consulte Modelos de aplicativo.

Observação:

As etapas 2 a 4 exigirão validação de sua equipe SAP.

Setup credentials for the SQL Server database

Uploading data to Process Mining (Automation Suite) requires access to the SQL Server database location to which the extracted data needs to be uploaded. To set up a SQL Server destination connection you need the following setup parameters to authenticate access to the SQL Server database location.

• Server
• Database
• Schema
• Role

Consulte Recuperação dos parâmetros do banco de dados SQL Server.

Carregamento de dados usando o Theobald Xtract Universal

A configuração do carregamento de dados usando o Theobald Xtract Universal requer a execução de várias etapas.

1. Configure o usuário SQL para carregar os dados;
2. Importe as extrações do template;
3. Configurar a fonte;
4. Configurar o destino;
5. Configure o script de extração;
6. Execute o script de extração.

As etapas são descritas em detalhes a seguir.

Como configurar o usuário SQL para carregar os dados

Cada aplicativo de processo que usa a opção de carregar dados por meio do extrator precisa de um usuário dedicado do SQL Server com acesso específico ao esquema associado ao aplicativo de processo.

Siga estas etapas.

Etapa	Ação	Sintaxe
1	Crie um login. O login precisa ser criado no banco de dados mestre.	CREATE LOGIN <SQL_login_name> WITH PASSWORD = '<Password>'
2	Crie um usuário de banco de dados para o login. Esse usuário precisa ser criado no banco de dados AutomationSuite_ProcessMining_Warehouse.	CREATE USER <User_name> FOR LOGIN <SQL_login_name>
3	Atribua o usuário à função de banco de dados correta.	SP_ADDROLEMEMBER <Role>, <User_name>
4	Defina o esquema padrão para o usuário criado. Esta etapa é necessária apenas para carregar dados usando o Theobald Xtract Universal.	ALTER USER <User_name> WITH DEFAULT_SCHEMA = <Schema>

2: Importação das extrações do modelo

Siga estas etapas para importar as extrações de modelo no Theobald Xtract Universal.

Etapa	Ação
1	Acesse a página Modelos de aplicativo e abra a página de documentação para o seu modelo de aplicativo.
1	Localize a seção Carregamento de dados usando o Theobald Xtract Universal e baixe o arquivo XU_template_extractions_as.zip para seu modelo de aplicativo. Consulte Modelos de aplicativo. Esse arquivo XU_template_extractions_as.zip contém as pastas destinations, extractions e sources.
2	Copie as pastas do arquivo baixado XU_template_extractions_as.zip para a pasta config do Xtract Universal. A localização desta pasta é [XU_installation_path]/config.
3	Abra o Xtract Universal Designer e clique no botão atualizar para carregar todas as extrações.

Observação:

Você pode fazer login usando o usuário padrão.

É exibida uma lista de todas as extrações que extraem uma tabela do sistema SAP. A origem do modelo é chamada SAP e o destino do modelo é chamado SQL Server.

Configurando a origem

Siga estas etapas para configurar a fonte SAP no Theobald Xtract Universal.

Etapa	Ação
1	Acesse Servidor – Gerenciar origens e editar a origem do SAP.
2	Preencha as configurações nas guias Geral e Autenticação para se conectar ao seu sistema SAP.
3	Teste a conexão.

Configurando o destino

Siga estas etapas para configurar o destino do SQL Server no Theobald Xtract Universal.

1. Acesse Servidor - Gerenciar destinos e edite o destino do SQL Server.
2. Preencha as configurações para se conectar ao destino do SQL Server.

Consulte Recuperação dos parâmetros do banco de dados SQL Server para obter mais informações.

5: Configuração do script de extração

Siga estas etapas para configurar o script de extração.

Etapa	Ação
1	Acesse a página Modelos de aplicativo e abra a página de documentação para o seu modelo de aplicativo.
2	Localize a seção Carregamento de dados usando o Theobald Xtract Universal e baixe o arquivo extract_theobald_as.zip para seu modelo de aplicativo. Esse arquivo extract_theobald_as.zip contém o script extract_theobald.ps1 e o arquivo config.json .
3	Descompacte o conteúdo do arquivo extract_theobald_as.zip no servidor onde o Theobald Xtract Universal está instalado.
4	Configure as variáveis para o script no config.json conforme listado abaixo.

Variável	Description
xu_location	A pasta de instalação do Xtract Universal. Esta é a pasta onde você pode encontrar o xu.exe. Por exemplo: C:\MinhaPasta.
xu_server	Endereço do servidor onde o Xtract Universal está instalado. O padrão é localhost.
xu_port	Porta do servidor onde o Xtract Universal está instalado. A porta padrão de uma instalação é 8065.
as_server	A parte do URL que denota o servidor no qual o aplicativo é criado. Consulte Recuperação dos parâmetros do banco de dados SQL Server.
as_organization	A parte do URL que denota a organização do aplicativo criado. Consulte Recuperação dos parâmetros do banco de dados SQL Server.
as_tenant	A parte do URL que denota o tenant do aplicativo criado. Consulte Recuperação dos parâmetros do banco de dados SQL Server.
as_app_ID	O ID do aplicativo criado.
extraction_start_date	Data de início a ser usada para limitar as extrações. Somente as tabelas nas quais um filtro de data é aplicado são filtradas nesta data. O formato é YYYYMMDD. O padrão é nenhuma limitação indicada pela data de início 19700101. extraction_start_date deve ter um valor.
extraction_end_date	Data de término a ser usada para limitar as extrações. Somente tabelas em que um filtro de data é aplicado são filtradas nesta data. Formato é YYYYMMDD. O padrão não é nenhuma limitação indicada até a data de término 20991231. extraction_end_date deve ter um valor.
language	O idioma em que os dados serão extraídos do sistema de origem. O padrão é E.
exchange_rate_type	O tipo de taxa de câmbio usado para conversão de moeda. O padrão é M.

Execução do script de extração

Para carregar os dados e carregá-los para uso no Process Mining, execute o arquivo extract_theobald.ps1.

O tempo necessário para esta tarefa dependerá muito dos volumes de dados carregados.

Como iniciar o arquivo manualmente

Siga esta etapa para iniciar a execução de dados.

Etapa	Ação
1	Execute o arquivo extract_theobald.ps1 para iniciar a execução de dados.

A execução de dados também cria um arquivo de log que pode ajudar em caso de resultados inesperados ou se o upload de dados com o carregador de dados falhar. O arquivo extraction.log contém os logs da última execução de dados. Para cada extração que falhou, um código de retorno é exibido. Consulte a documentação oficial do Theobald Software Chamada via linha de comando para obter mais informações. Quando algo na configuração está incorreto, isso é mencionado na mensagem de erro.

Agendar uma tarefa para a execução de dados

Em vez de executar o arquivo manualmente, use o Agendador de Tarefas do Windows para agendar uma tarefa que executa o script em lote para atualizações de dados automatizadas.

Observação:

É recomendável selecionar a conta de usuário local SISTEMA para executar a tarefa e selecionar a opção Executar com a maior prioridade na janela Criar tarefa ao criar a tarefa no Agendador do Windows.

Importante:

Se você adicionar um intervalo para o qual não há dados disponíveis, os painéis exibirão uma mensagem de erro.

Quando a extração é bem-sucedida, a ingestão de dados pode falhar devido à extração de alguns dados defeituosos. Você pode filtrar esses dados usando Theobald Xtract Universal usando a cláusula WHERE. Consulte a documentação oficial do Theobald para obter mais informações sobre a Cláusula WHERE.

Observação:

Se você tiver uma cláusula WHERE que usa variáveis (por exemplo, a data de extração), não poderá filtrar por meio da interface do usuário.

Solução de problemas

A execução de dados também cria um arquivo de log que pode ajudar em caso de resultados inesperados ou se o upload de dados com o carregador de dados falhar. O arquivo extraction.log contém os logs da última execução de dados. Para cada extração que falhou, um código de retorno é exibido. Consulte a documentação oficial do Theobald Software Chamada via linha de comando para obter mais informações. Quando algo na configuração está incorreto, isso é mencionado na mensagem de erro.

Extraction issues with CDPOS for non-HANA systems

Em alguns sistemas não HANA mais antigos, o CDPOS é uma tabela de cluster e pode resultar em um erro de “junção com a tabela de bilhar”, como abaixo.

A extração da tabela CDPOS inclui por padrão uma junção com a tabela CDHDR para limitar o número de registros que precisam ser extraídos. Siga estas etapas para superar esse erro.

1. Edite a extração CDPOS no Xtract Universal Designer para remover o CDDHR das tabelas.
2. Substitua o CDHDR~UDATE between @extraction_start_date and @extraction_end_date por:

CHANGENR between @CHANGENR_min and @CHANGENR_max

3. No extract_theobald.ps1, substitua &"$xu_location\xu.exe" -s "$xu_server" -p "$xu_port" -n "P2P_CDPOS_raw" -o "extraction_start_date=$extraction_start_date" -o "extraction_end_date=$extraction_end_date" pelo código exibido abaixo.

&"$xu_location\xu.exe" -s "$xu_server" -p "$xu_port" -n "P2P_CDHDR_raw_CSV" -o "extraction_start_date=$extraction_start_date" -o "extraction_end_date=$extraction_end_date"
CheckExtractionError('P2P_CDHDR_raw_CSV')
$CDHDR = Import-Csv -Path "$xu_location\p2p_output\CDHDR_raw_CSV.csv" -Delimiter "`t"
$CDHDR_sorted = $CDHDR | Sort-Object -Property CHANGENR
$CHANGENR_min=$CDHDR_sorted.GetValue(0).CHANGENR
$CHANGENR_max=$CDHDR_sorted.GetValue($CDHDR_sorted.Count-1).CHANGENR
&"$xu_location\xu.exe" -s "$xu_server" -p "$xu_port" -n "P2P_CDPOS_raw" -o "CHANGENR_min=$CHANGENR_min" -o "CHANGENR_max=$CHANGENR_max"