Loading data using CData Sync

Observação: as informações nesta página são baseadas em CData Sync 2022 - 22.0.8342.0. Se você usar uma outra versão do CData Sync, os nomes dos campos ou as funções podem ser diferentes.

Introdução

CData Sync é uma ferramenta usada para extrair dados de sistemas de origem para o Process Mining. Os sistemas de origem suportados podem ser encontrados na página Fontes no site CData Sync. Consulte o site oficial do CData Sync para obter mais informações sobre o CData Sync.

Esta página descreve como usar o CData Sync para carregar dados de seu sistema de origem em um aplicativo de processo no Process Mining local (Automation Suite).

Pré-requisitos

Assume-se que você:

• uma licença válida do CData Sync.
• CData Sync instalado. Consulte Instalando o CData Sync.
• configurar o acesso do SQL Server com as permissões corretas. Veja

  Configuração de uma conta do SQL Server para carregamento de dados usando um extrator.

Dados fictícios

Usando o CData Sync, os campos de dados podem ser pseudonimizados durante a extração. Dessa forma, os campos de dados confidenciais podem sofrer hash na origem antes de chegarem ao produto Process Mining. Siga estas etapas para pseudonimizar dados.

1. Vá para a tarefa desejada de um trabalho em CData.
2. Edite a consulta.
3. Adicione a função hashbytes() a cada campo que precisa ser pseudonimizado. Por exemplo

   REPLICATE [SOURCE_TABLE] SELECT hashbytes('SHA2_256',[SOURCE_FIELD]) AS [DESTINATION_FIELD] FROM [SOURCE_TABLE];

Dessa forma, todos os valores serão hash com um hash SHA2 256 . Para obter mais informações, consulte SHA-2. Se desejado, os valores de hash podem ser transformados em valores como "Pessoa 1", "Pessoa 2", "Pessoa 3" escrevendo consultas SQL para isso nas transformações de dados.

Loading data using CData Sync

A configuração do carregamento de dados usando CData Sync requer várias etapas a serem executadas.

1. Configuração da conexão de origem;
2. Criação da conexão de destino do SQL Server;
3. Criando um trabalho;
4. Chamada da API de ingestão de dados;
5. Executando o trabalho.

As etapas são descritas em detalhes a seguir.

Criar uma conexão de origem

Nota: Consulte a página Configurando o CData Sync para seu modelo de aplicativo para obter configurações específicas para configurar a conexão de origem.

Observação: verifique a documentação do CData Sync para configurações ou requisitos específicos para seu sistema de origem.

Siga estas etapas para criar a conexão de origem.

1. No console CData Sync Admin, crie uma nova conexão de origem para seu sistema de origem.

   Observação:

   Se o seu sistema de origem não estiver na lista, você pode clicar em + Adicionar mais para exibir uma lista de todos os conectores do CData Sync disponíveis. Selecione o conector para seu sistema de origem e clique em Baixar e instalar.

2. Digite um nome descritivo para a conexão de origem no campo Nome.
3. Insira as propriedades necessárias para configurar uma conexão com seu sistema de origem.
4. Crie e teste a conexão.

Configuração de uma conexão de origem para arquivos .tsv ou .csv

Se deseja configurar uma conexão de origem para arquivos .csv ou .tsv:

• Selecione CSV como o sistema de origem para o qual você deseja criar uma conexão na lista.
• Defina a URI para o caminho em que os arquivos .tsv ou .csv estão armazenados.
• Defina o ConnectionTypecorreto. Use Local quando os arquivos estiverem armazenados no mesmo servidor que o CData Sync.
• Defina FMT para o valor apropriado usado nos arquivos de dados.

Defina as configurações a seguir na guia Avançado no painel Configurações de conexão para garantir que os dados sejam carregados corretamente no Process Mining.

Seção	Parâmetro	Valor
Outro	Exclude File Extensions	True
Outro	Include Files	Adicione ,TSV à configuração se quiser fazer upload .tsv arquivos
Esquema	Type Detection Scheme	None
Formatação de Dados	Empurre valores vazios como nulos	True

Retrieving the SQL Server database parameters

Para configurar uma conexão de destino do SQL Server, são necessários os seguintes parâmetros de configuração para o banco de dados SQL Server.

• Servidor
• Banco de Dados
• Esquema
• Role

Consulte Recuperação dos parâmetros do banco de dados SQL Server.

Crie uma conexão de destino

Para configurar uma conexão de destino do SQL Server, são necessários os seguintes parâmetros de configuração para o banco de dados SQL Server.

• Servidor
• Banco de Dados
• Esquema
• Role

Consulte Recuperação dos parâmetros do banco de dados SQL Server.

Siga estas etapas para criar a conexão de destino do servidor SQL.

1. Define a new connection of type SQL Server.
2. Insira um nome descritivo para a conexão de destino. Por exemplo, SQLServer_IM.
3. Defina as Configurações para se conectar ao seu banco de dados SQL Server usando as credenciais de configuração do banco de dados SQL Server recuperadas
   Observação: O servidor deve ser especificado como <Server>,<Port>.
   Observação: o usuário/senha deve ser as credenciais SQL do usuário que tem permissões para gravar no banco de dados. Consulte também Configuração de uma conta do SQL Server para upload de dados usando um extrator. A Senha não pode conter ponto e vírgula ;.
4. Crie e teste a conexão.

Veja o exemplo abaixo.

Criação do trabalho de extração

Importante:

Os dados de entrada devem atender ao formato conforme necessário para o modelo de aplicativo que você está usando para criar seu aplicativo de processo. Consulte Modelos de aplicativo.

Certifique-se de adicionar o sufixo _raw aos nomes das tabelas.

Siga estas etapas para criar o trabalho de extração.

1. Clique em JOBS na barra de menu e vá para a guia Sources do painel Add Connection .
2. Clique em + Criar trabalho… para adicionar um novo trabalho.
3. Digite um nome descritivo para o trabalho no campo Nome do trabalho. Por exemplo, ServiceNow_to_SQLServer.
4. Selecione a conexão de origem criada na Etapa 1: configuração da conexão de origem na lista Origem.
5. Selecione a conexão do SQL Server criada na Etapa 3: criação da conexão de destino na lista Destino.
6. Certifique-se de que a opção Padrão esteja selecionada como o Tipo de replicação e clique em +Criar.

7. Clique em +Adicionar tarefas.

   • Selecione todas as tabelas de origem na lista.
   • Clique em Adicionar.

8. Vá para a guia Avançado no painel Configurações do trabalho .

   • Localize a entrada de Esquema de destino e copie o Esquema recuperado na Etapa 2: recuperação dos parâmetros do banco de dados SQL Server.
   • Selecione a opção Descartar tabela para evitar que os dados sejam anexados à tabela.
   • Habilite a caixa de seleção Enable Parallel Processing e insira 8 no campo Pool de trabalho para aumentar a velocidade de carregamento.
   • Certifique-se de que Intervalo de replicação e Unidade de intervalo de replicação estejam definidos, para que o período resultante seja igual ou superior ao período de extração.
9. Clique em Salvar alterações.

Como chamar a API de ingestão de dados

Siga estas etapas para editar o evento pós-trabalho para chamar a API de ingestão de dados.

1. Acesse a guia Eventos no painel Configurações de trabalho.
2. Edite a seção Evento pós-trabalho e adicione a chamada de API de ingestão, certificando-se de substituir o servidor, a organização, o tenant e o ID do aplicativo do Process Mining conforme descrito abaixo.
   Observação: você pode copiar o ID de aplicativo da lista Todos os aplicativos de processo no Portal do Process Mining. Certifique-se de selecionar ID na lista Colunas .

   Substituir	Com seu
   my-uipath-server.com	Servidor
   default	Organização
   defaulttenant	Tenant
   98dfd1d5-9e42-4f0e-9a0a-8945629f01b3	ID do Aplicativo

   <api:set attr="http.url" value="https://my-uipath-server.com/default/defaulttenant/processMining_/api/v2/apps/98dfd1d5-9e42-4f0e-9a0a-8945629f01b3/transform/unauthenticated"/> 
   <api:call op="httpPost" in="http"/>

   
   

   

   
   
3. Salve suas alterações.
4. Clique em TRABALHOS na barra de menu e localize o trabalho de destino.
5. Clique no ícone Executar todas as consultas para verificar se o trabalho foi executado corretamente.

Informações de log

É possível adicionar instruções adicionais para obter informações de log na chamada de API. Siga estas etapas.

1. Adicione as seguintes instruções entre as linhas adicionadas anteriormente no evento Pós-trabalho.

   <api:set attr="http.verbosity" value="5"/>

   <api:set attr="http.logfile" value="D:/mydir/cdata_log.txt"/>

   Veja o exemplo abaixo.

   
   

   

   
   
2. Vá para a guia Registro e histórico no painel Configurações do trabalho .
3. Selecione Verbose da caixa de listagem Verbosidade do arquivo de log.
4. Execute o trabalho e verifique o arquivo de log criado.

Executando o trabalho de extração CData Sync

Siga estas etapas para executar o trabalho de extração.

1. Clique em TRABALHOS na barra de menu e localize o trabalho de extração criado na Etapa 4: criação do trabalho de extração.

2. Clique no ícone Executar todas as consultas . Veja a ilustração abaixo.

   
   

   

   
   
3. Aguarde até que o trabalho seja concluído. Dependendo da quantidade de dados, isso pode levar vários minutos.
4. Acesse o Portal do Process Mining e verifique os Dados da última ingestão do aplicativo de processo, para conferir se o carregamento de dados foi concluído com êxito. Observação: a data só é atualizada depois de todos os dados terem sido processados. Dependendo da quantidade de dados, isso pode levar vários minutos até uma hora.

Agendamento de trabalhos

Se você deseja executar o trabalho de extração em um intervalo regular, pode usar o CData Sync Scheduler para definir um agendamento.

Siga estas etapas para agendar um trabalho de extração.

1. Abra o trabalho de extração do CData Sync criado na Etapa 4: criação do trabalho de extração.

2. Acesse a guia Programação no painel Configurações de trabalho.

   
   

   

   
   

Consulte a documentação oficial do CData Sync para obter mais informações sobre como agendar trabalhos.