Cargar datos mediante CData Sync

Nota:

The information in this page is based on CData Sync 2022 - 22.0.8342.0. If you use an other version of CData Sync, field names or functions may be different.

Introducción

CData Sync es una herramienta que se utiliza para extraer datos de los sistemas de origen en Process Mining. Los sistemas de origen compatibles se pueden encontrar en la página Fuentes en el sitio web de CData Sync. Consulta el sitio web oficial de CData Sync para obtener más información sobre CData Sync.

En esta página se describe cómo utilizar CData Sync para cargar datos del sistema de origen en una aplicación de proceso de Process Mining local (Automation Suite).

Requisitos previos

Asumimos que:

• una licencia de CData Sync válida.

• CData Sync instalado. Consulta Instalar CData Sync.

• configurar el acceso a SQL Server con los permisos correctos. Consulta

  Configurar una cuenta de SQL Server para la carga de datos utilizando un extractor.

Seudonimizar datos

Al usar CData Sync, los campos de datos pueden seudonimizar durante la extracción. De esta manera, se puede aplicar un algoritmo hash a los campos de datos confidenciales en el origen antes de que lleguen al producto Process Mining. Sigue estos pasos para seudonimizar los datos.

1. Ve a la tarea deseada de un trabajo en CData.

2. Edita la consulta.

3. Añade la función hashbytes() a cada campo que necesite seudonimizar. Por ejemplo

   REPLICATE [SOURCE_TABLE] SELECT hashbytes('SHA2_256',[SOURCE_FIELD]) AS [DESTINATION_FIELD] FROM [SOURCE_TABLE];

De esta manera, todos los valores se codificarán con un hash SHA2 256 . Para obtener más información, consulta SHA-2. Si lo desea, los valores hash se pueden transformar en valores como "Persona 1", "Persona 2", "Persona 3" escribiendo consultas SQL para esto en las transformaciones de datos.

Cargar datos mediante CData Sync

Configurar la carga de datos mediante CData Sync requiere varios pasos.

1. Configurar la conexión origen;
2. Crear la conexión de destino de SQL Server;
3. Crear un trabajo;
4. Llamar a la API de incorporación de datos;
5. Ejecutando el trabajo.

Los pasos se describen en detalle a continuación.

Crear una conexión de origen

Nota:

Refer to the Configuring CData Sync page for your app template for specific settings for setting up the source connection.

Nota:

Consulta la documentación de CData Sync para conocer la configuración o los requisitos específicos para tu sistema de origen.

Sigue estos pasos para crear la conexión de origen.

1. En la consola de administración de CData Sync, crea una nueva conexión de origen para tu sistema de origen.

   Nota:

   Si tu sistema de origen no está en la lista, puedes hacer clic en + Añadir más para ver una lista de todos los conectores origen de CData Sync disponibles. Selecciona el conector para tu sistema de origen y haz clic en Descargar e instalar.

2. Enter a descriptive name for the source connection in the Name field.

3. Introduce las propiedades necesarias para configurar una conexión con tu sistema de origen.

4. Crea y prueba la conexión.

Configura una conexión de origen para archivos .tsv o .csv

Si deseas configurar una conexión de origen para los archivos .csv o .tsv asegúrate de:

• Selecciona CSV como de origen al que deseas crear una conexión desde el listado.
• Establece el URI en la ruta donde se almacenan los archivos .csv o .tsv .
• Establece el ConnectionType correcto. Utiliza Local cuando los archivos se almacenan en el mismo servidor que CData Sync.
• Establece FMT en el valor adecuado utilizado en los archivos de datos.

Define la siguiente configuración en la pestaña Avanzado en el panel Configuración de conexión para asegurarte de que los datos se cargan correctamente en Process Mining.

Sección	Parámetro	Valor
Otro	Exclude File Extensions	True
Otro	Include Files	Agregue ,TSV a la configuración si desea cargar .tsv archivos
Esquema	Type Detection Scheme	None
Formato de datos	Insertar valores vacíos como nulos	True

Retrieving the SQL Server database parameters

Para configurar una conexión de destino de SQL Server, necesitarás los siguientes parámetros de configuración para la base de datos de SQL Server.

• Server
• Database
• Schema
• Role

Consulta Recuperar los parámetros de la base de datos de SQL Server.

Crear una conexión de destino

Para configurar una conexión de destino de SQL Server, necesitarás los siguientes parámetros de configuración para la base de datos de SQL Server.

• Server
• Database
• Schema
• Role

Consulta Recuperar los parámetros de la base de datos de SQL Server.

Sigue estos pasos para crear la conexión de destino de SQL Server.

1. Define una nueva conexión de tipo SQL Server.

2. Enter a descriptive name for the destination connection. For example SQLServer_IM.

3. Configure los ajustes para conectarse a su base de datos de SQL Server utilizando las credenciales de configuración de la base de datos de SQL Server recuperadas

   Nota:

   El servidor debe especificarse como <Server>,<Port>.

   Nota:

   Usuario/Contraseña deben ser las credenciales SQL del usuario que tiene permisos para escribir en la base de datos. ConsultaConfigurar una cuenta de SQL Server para la carga de datos utilizando un extractor. La contraseña no puede contener un punto y coma ;.

4. Crea y prueba la conexión.

Crear trabajo de extracción

Importante:

Los datos de entrada deben cumplir el formato necesario para la plantilla de aplicación que usas para crear tu aplicación de proceso. Consulta Plantillas de aplicación.

Asegúrate de añadir el sufijo _raw a los nombres de las tablas.

Sigue estos pasos para crear el trabajo de extracción.

1. Click on JOBS in the menu bar and go to the Sources tab of the Add Connection panel.
2. Click on + Create Job... to add a new job.
3. Enter a descriptive name for the job in the Job Name field. For example, ServiceNow_to_SQLServer.
4. Select the source connection created in Step 1: Setting up the source connection the source connection from the Source list.
5. Select the SQL Server connection created in Step 3: Create destination connection from the Destination list.
6. Make sure the option Standard is selected as the Replication Type and click on +Create.
7. Click on +Add Tasks.
   • Selecciona todas las tablas de origen de la lista.
   • Haz clic en Añadir.
8. Go to the Advanced tab in the Job Settings panel.
   • Localiza la entrada Esquema de destino y copia el esquema recuperado en el Paso 2: recuperar los parámetros de la base de datos de SQL Server.
   • Select the Drop Table option to prevent the data to be appended to the table.
   • Enable the checkbox Enable Parallel Processing and enter 8in the Worker Pool field to improve loading speed.
   • Asegúrate de que el Intervalo de replicación y la Unidad de intervalo de replicación se hayan establecido de modo que el período resultante sea igual o mayor que el período de extracción.
9. Click on Save Changes.

Llamar a la API de ingestión de datos

Sigue estos pasos para editar el evento posterior al trabajo para llamar a la API de incorporación de datos.

1. Go to the Events tab in the Job Settings panel.

2. Edita la sección Evento posterior al trabajo y añade la llamada a la API de incorporación que garantice la sustitución del servidor, la organización, el tenant y el ID de aplicación de Process Mining, tal y como se describe a continuación.

   Nota:

   Puedes copiar el ID de la aplicación de la lista Todas las aplicaciones de proceso en el portal de Process Mining. Asegúrate de seleccionar ID en la lista Columnas .

   Reemplazar	Con tu
   my-uipath-server.com	Servidor
   default	Organización
   defaulttenant	tenant
   98dfd1d5-9e42-4f0e-9a0a-8945629f01b3	ID de aplicación

   <api:set attr="http.url" value="https://my-uipath-server.com/default/defaulttenant/processMining_/api/v2/apps/98dfd1d5-9e42-4f0e-9a0a-8945629f01b3/transform/unauthenticated"/>
   <api:call op="httpPost" in="http"/>
   

   

3. Guarda los cambios.

4. Click on JOBS in the menu bar and locate the destination job.

5. Click on the Run All Queries icon to check if the job runs correctly.

Información de registro

Puedes añadir declaraciones adicionales para obtener información de registro sobre la ejecución de la API. Sigue estos pasos.

1. Añade las siguientes declaraciones entre las líneas añadidas anteriormente en el Evento posterior al trabajo.

   <api:set attr="http.verbosity" value="5"/>

   <api:set attr="http.logfile" value="D:/mydir/cdata_log.txt"/>

   Consulta la siguiente ilustración.

   

2. Go to the Logging & History tab in the Job Settings panel.

3. Select Verbose from the Logfile Verbosity list box.

4. Ejecuta el trabajo y comprueba el archivo de registro que se crea.

Ejecutar el trabajo de extracción de CData Sync

Sigue estos pasos para ejecutar el trabajo de extracción.

1. Haz clic en TRABAJOS en la barra de menús y localiza el trabajo de extracción creado en el Paso 4 crear el trabajo de extracción.

2. Click on the Run all queries icon. See the illustration below.

   

3. Espere hasta que haya finalizado el trabajo. Dependiendo de la cantidad de datos, esto puede tardar varios minutos.

4. Ve al portal de Process Mining y comprueba la Última incorporación de datos para la aplicación de proceso para ver si la carga de datos se ha completado correctamente. Nota: la fecha solo se actualiza después de que se hayan procesado todos los datos. Dependiendo de la cantidad de datos, esto puede tardar desde varios minutos hasta una hora.

Programación de trabajos

Si desea ejecutar el trabajo de extracción en un intervalo regular, puede utilizar el Programador de sincronización de CData para definir una programación.

Sigue estos pasos para programar un trabajo de extracción.

1. Open the CData Sync extraction job created in Step 4: Creating the extraction job.

2. Go to the Schedule tab in the Job Settings panel.

   

Consulta la documentación oficial de CData Sync para obtener más información sobre cómo programar trabajos.