Carregamento de dados usando o CData Sync

Observação:

The information in this page is based on CData Sync 2022 - 22.0.8342.0. If you use an other version of CData Sync, field names or functions may be different.

Introdução

O CData Sync é uma ferramenta usada para extrair dados de sistemas de origem para o Process Mining. Os sistemas de origem suportados podem ser encontrados na página Origens no site do CData Sync. Consulte o site oficial do CData Sync para obter mais informações sobre o CData Sync.

Esta página descreve como usar o CData Sync para carregar dados de seu sistema de origem em um aplicativo de processo no Process Mining local (Automation Suite).

Pré-requisitos

Assume-se que você:

• uma licença válida do CData Sync.

• CData Sync instalado. Consulte Instalação do CData Sync.

• configurar o acesso do SQL Server com as permissões corretas. Veja

  Configuração de uma conta do SQL Server para upload de dados usando um extrator.

Dados fictícios

Usando o CData Sync, os campos de dados podem ser pseudonimizados durante a extração. Dessa forma, os campos de dados confidenciais podem sofrer hash na origem antes de chegarem ao produto Process Mining. Siga estas etapas para pseudonimizar dados.

1. Vá para a tarefa desejada de um trabalho em CData.

2. Edite a consulta.

3. Adicione a função hashbytes() a cada campo que precisa ser pseudonimizado. Por exemplo

   REPLICATE [SOURCE_TABLE] SELECT hashbytes('SHA2_256',[SOURCE_FIELD]) AS [DESTINATION_FIELD] FROM [SOURCE_TABLE];

Dessa forma, todos os valores serão hash com um hash SHA2 256 . Para obter mais informações, consulte SHA-2. Se desejar, os valores hash podem ser transformados em valores como "Pessoa 1", "Pessoa 2", "Pessoa 3" escrevendo consultas SQL para isso nas transformações de dados.

Carregamento de dados usando o CData Sync

A configuração do carregamento de dados usando CData Sync requer várias etapas a serem executadas.

1. Configuração da conexão de origem;
2. Criação da conexão de destino do SQL Server;
3. Criando um trabalho;
4. Chamada da API de ingestão de dados;
5. Executando o trabalho.

As etapas são descritas em detalhes a seguir.

Criar uma conexão de origem

Observação:

Refer to the Configuring CData Sync page for your app template for specific settings for setting up the source connection.

Observação:

Verifique a documentação do CData Sync para quaisquer configurações ou requisitos específicos para seu sistema de origem.

Siga estas etapas para criar a conexão de origem.

1. No console de administração do CData Sync, crie uma nova conexão de origem para seu sistema de origem.

   Observação:

   Se o seu sistema de origem não estiver na lista, você pode clicar em + Adicionar mais para exibir uma lista de todos os conectores do CData Sync disponíveis. Selecione o conector para seu sistema de origem e clique em Baixar e instalar.

2. Enter a descriptive name for the source connection in the Name field.

3. Insira as propriedades necessárias para configurar uma conexão com seu sistema de origem.

4. Crie e teste a conexão.

Configuração de uma conexão de origem para arquivos .tsv ou .csv

Se deseja configurar uma conexão de origem para arquivos .csv ou .tsv:

• Selecione CSV como o sistema de origem para o qual você deseja criar uma conexão na lista.
• Defina a URI para o caminho em que os arquivos .csv ou .tsv estão armazenados.
• Defina o TipoDeConexão correto . Use Local quando os arquivos são armazenados no mesmo servidor que o CData Sync.
• Defina FMT como o valor apropriado usado nos arquivos de dados.

Defina as seguintes configurações na guia Avançado no painel Configurações de conexão para garantir que os dados sejam carregados corretamente no Process Mining.

Seção	Parâmetro	Valor
Outro	Exclude File Extensions	True
Outro	Include Files	Adicione ,TSV à configuração se quiser fazer upload .tsv arquivos
Esquema	Type Detection Scheme	None
Formatação de Dados	Empurre valores vazios como nulos	True

Retrieving the SQL Server database parameters

Para configurar uma conexão de destino do SQL Server, são necessários os seguintes parâmetros de configuração para o banco de dados SQL Server.

• Server
• Database
• Schema
• Role

Consulte Recuperação dos parâmetros do banco de dados SQL Server.

Crie uma conexão de destino

Para configurar uma conexão de destino do SQL Server, são necessários os seguintes parâmetros de configuração para o banco de dados SQL Server.

• Server
• Database
• Schema
• Role

Consulte Recuperação dos parâmetros do banco de dados SQL Server.

Siga estas etapas para criar a conexão de destino do servidor SQL.

1. Defina uma nova conexão do tipo SQL Server.

2. Enter a descriptive name for the destination connection. For example SQLServer_IM.

3. Defina as Configurações para se conectar ao seu banco de dados SQL Server usando as credenciais de configuração do banco de dados SQL Server recuperadas

   Observação:

   Servidor deve ser especificado como <Server>,<Port>.

   Observação:

   O usuário/senha deve ser as credenciais SQL do usuário que tem permissões para gravar no banco de dados. ConsulteConfiguração de uma conta do SQL Server para upload de dados usando um extrator. A Senha não pode conter ponto e vírgula ;.

4. Crie e teste a conexão.

Criação do trabalho de extração

Importante:

Os dados de entrada devem atender ao formato conforme necessário para o modelo de aplicativo que você está usando para criar seu aplicativo de processo. Consulte Modelos de aplicativo.

Certifique-se de adicionar o sufixo _raw aos nomes das tabelas.

Siga estas etapas para criar o trabalho de extração.

1. Click on JOBS in the menu bar and go to the Sources tab of the Add Connection panel.
2. Click on + Create Job... to add a new job.
3. Enter a descriptive name for the job in the Job Name field. For example, ServiceNow_to_SQLServer.
4. Select the source connection created in Step 1: Setting up the source connection the source connection from the Source list.
5. Select the SQL Server connection created in Step 3: Create destination connection from the Destination list.
6. Make sure the option Standard is selected as the Replication Type and click on +Create.
7. Click on +Add Tasks.
   • Selecione todas as tabelas de origem na lista.
   • Clique em Adicionar.
8. Go to the Advanced tab in the Job Settings panel.
   • Localize a entrada de Esquema de destino e copie o Esquema recuperado na Etapa 2: recuperação dos parâmetros do banco de dados SQL Server.
   • Select the Drop Table option to prevent the data to be appended to the table.
   • Enable the checkbox Enable Parallel Processing and enter 8in the Worker Pool field to improve loading speed.
   • Certifique-se de que Intervalo de replicação e Unidade de intervalo de replicação estejam definidos, para que o período resultante seja igual ou superior ao período de extração.
9. Click on Save Changes.

Como chamar a API de ingestão de dados

Siga estas etapas para editar o evento pós-trabalho para chamar a API de ingestão de dados.

1. Go to the Events tab in the Job Settings panel.

2. Edite a seção Evento pós-trabalho e adicione a chamada de API de ingestão, certificando-se de substituir o servidor, a organização, o tenant e o ID do aplicativo do Process Mining conforme descrito abaixo.

   Observação:

   Você pode copiar o ID de aplicativo da lista Todos os aplicativos de processo no Portal do Process Mining. Certifique-se de selecionar ID na lista Colunas .

   Substituir	Com seu
   my-uipath-server.com	Servidor
   default	Organização
   defaulttenant	Tenant
   98dfd1d5-9e42-4f0e-9a0a-8945629f01b3	ID do Aplicativo

   <api:set attr="http.url" value="https://my-uipath-server.com/default/defaulttenant/processMining_/api/v2/apps/98dfd1d5-9e42-4f0e-9a0a-8945629f01b3/transform/unauthenticated"/>
   <api:call op="httpPost" in="http"/>
   

   

3. Salve suas alterações.

4. Click on JOBS in the menu bar and locate the destination job.

5. Click on the Run All Queries icon to check if the job runs correctly.

Informações de log

É possível adicionar instruções adicionais para obter informações de log na chamada de API. Siga estas etapas.

1. Adicione as seguintes instruções entre as linhas adicionadas anteriormente no evento Pós-trabalho.

   <api:set attr="http.verbosity" value="5"/>

   <api:set attr="http.logfile" value="D:/mydir/cdata_log.txt"/>

   Veja o exemplo abaixo.

   

2. Go to the Logging & History tab in the Job Settings panel.

3. Select Verbose from the Logfile Verbosity list box.

4. Execute o trabalho e verifique o arquivo de log criado.

Executando o trabalho de extração CData Sync

Siga estas etapas para executar o trabalho de extração.

1. Clique em TRABALHOS na barra de menu e localize o trabalho de extração criado na Etapa 4: criação do trabalho de extração.

2. Click on the Run all queries icon. See the illustration below.

   

3. Aguarde até que o trabalho seja concluído. Dependendo da quantidade de dados, isso pode levar vários minutos.

4. Acesse o portal do Process Mining e verifique os Dados da última ingestão do aplicativo de processo, para conferir se o carregamento de dados foi concluído com êxito. Observação: a data só é atualizada depois de todos os dados terem sido processados. Dependendo da quantidade de dados, isso pode levar vários minutos até uma hora.

Agendamento de trabalhos

Se você deseja executar o trabalho de extração em um intervalo regular, pode usar o CData Sync Scheduler para definir um agendamento.

Siga estas etapas para agendar um trabalho de extração.

1. Open the CData Sync extraction job created in Step 4: Creating the extraction job.

2. Go to the Schedule tab in the Job Settings panel.

   

Consulte a documentação oficial do CData Sync para obter mais informações sobre como agendar trabalhos.