Incremental extraction

Para la mayoría de los sistemas de origen, CData Sync ha preconfigurado cómo deben realizarse las extracciones incrementales. Si ese no es el caso, la configuración debe editarse manualmente para realizar extracciones incrementales. Para obtener más información sobre cómo hacerlo, consulta la documentación oficial de CData Sync.

Configurar la extracción incremental

Definición de la fecha de inicio incremental

Para la extracción incremental, es necesario definir un punto de partida (o 'fecha de inicio incremental') a partir del cual se extraerán los datos nuevos o actualizados para cada tabla.

Sigue estos pasos para definir la fecha de inicio incremental de una tabla.

1. Ve a Información general en la página Editar trabajo .
2. Localiza la sección Replicación incremental y selecciona Configurar.
3. Selecciona la Fecha de inicio deseada.
4. Introduce el Intervalo de replicación deseado o acepta el valor predeterminado de 180 días.
   Nota: Un intervalo de sustitución grande puede afectar al rendimiento.
5. Selecciona Guardar.

Habilitar la extracción incremental

Sigue este paso para habilitar la extracción incremental para el trabajo en CData Sync.

1. Ve a la pestaña Avanzado y edita la Opción de replicación para anular la selección de la opción Soltar tabla . Esto habilita la extracción incremental.

Comprobar la configuración incremental

Para la mayoría de los sistemas de origen, CData Sync ha preconfigurado cómo deben realizarse las extracciones incrementales. Si ese no es el caso, la configuración debe editarse manualmente para realizar extracciones incrementales. Para obtener más información sobre cómo hacerlo, consulta la documentación oficial de CData Sync.

Añadir una columna de marca de tiempo

Para ejecutar una extracción incremental utilizando CData Sync, debes añadir una columna de marca de tiempo en el trabajo de extracción para cada tabla que quieras cargar de forma incremental. La columna de marca de tiempo realizará un seguimiento de cuándo se extrajeron los datos por última vez, lo que permite que CData Sync solo extraiga datos nuevos o actualizados para la siguiente iteración.

Sigue estos pasos para configurar la extracción de datos incremental mediante CData Sync.

1. Edita el trabajo de extracción de CData Sync creado en Crear un trabajo.

2. Ve a Tarea y edita la tabla que quieres configurar para la extracción incremental.

3. Ve a Columnas y selecciona Editar asignación.

4. Selecciona + (Añadir columna).

   
   

   

   
   
5. Introduce el comando SQL para convertir la marca de tiempo al formato correcto. Por ejemplo:
   1. para las bases de datos de MS SQL Server, introduce FORMAT(GETDATE(), 'yyyy-MM-dd HH:mm:ss')
   2. para las bases de datos de origen de Oracle, introduce to_char(CURRENT_TIMESTAMP, 'YYYY-MM-DD HH24:MI:SS').
   3. Selecciona Siguiente.
6. Introduce EXTRACTED en el campo Nombre de columna .
7. Selecciona TIMESTAMP como Tipo de datos y selecciona Añadir columna. La siguiente ilustración muestra un ejemplo.

   
   

   

   
   

8. Ve a Información general y edita la Información de origen.

9. Selecciona la Columna incremental aplicable de la lista.

   Nota:

   Esta debe ser una columna que contenga valores de marca de tiempo para cada cambio o en una columna de enteros que contenga el recuento de filas para cada actualización.

10. Selecciona Guardar.

Definir la carga incremental para la aplicación de proceso de Process Mining

1. Abre la aplicación de proceso de Process Mining en modo desarrollador.
2. Ve a Transformaciones de datos.
3. Ve a la pantalla Gestionar datos de entrada ,
4. Añade la columna de marca de tiempo al campo Marca de tiempo para configurar la carga incremental de una tabla. Consulta Gestionar datos de entrada para obtener más información.

Running incremental extraction

ConsultaEjecutar el trabajo para obtener información sobre cómo iniciar el trabajo de extracción.

La primera vez que se ejecuta el trabajo de extracción de CData Sync, se realiza una extracción completa y se extraen todos los datos de origen. La próxima vez que se ejecute el trabajo de extracción de CData Sync, solo se extraen los datos que han cambiado en el origen y el delta se añade a los datos ya extraídos.

Para obtener más información sobre la extracción de datos incremental con CData Sync, consulta la documentación oficial de CData Sync.