Incremental extraction

Pour la plupart des systèmes sources, CData Sync a préconfiguré la façon dont les extractions incrémentielles doivent être effectuées. Si ce n'est pas le cas, les paramètres doivent être modifiés manuellement pour exécuter des extractions incrémentielles. Pour en savoir plus sur la façon de procéder, consultez la documentation officielle de CData Sync.

Configuration de l'extraction incrémentielle

Définition de la date de début incrémentielle

Pour une extraction incrémentielle, il est nécessaire de définir un point de départ (ou une « date de début incrémentielle ») à partir duquel les données nouvelles ou mises à jour seront extraites pour chaque table.

Suivez ces étapes pour définir la date de début incrémentielle d'une table.

1. Accédez à Vue d'ensemble sur la page Modifier la tâche .
2. Localisez la section Réplication incrémentielle (Inremental Replication) et sélectionnez Configurer (Configure).
3. Sélectionnez une Date de début (Start Date) souhaitée.
4. Entrez l' Intervalle de réplication (Replication Interval) souhaité ou acceptez la valeur par défaut de 180 jours.
   Remarque : un grand intervalle de réplication peut avoir un impact sur les performances.
5. Sélectionnez Enregistrer (Save).

Activer l’extraction incrémentielle

Suivez cette étape pour activer l'extraction incrémentielle pour la tâche dans CData Sync.

1. Accédez à l'onglet Avancé (Advanced) et modifiez l' option de réplication ( Replication Option) pour désélectionner l'option Supprimer la table ( Drop Table ). Cette opération permet d'effectuer une extraction incrémentielle.

Vérifier les paramètres incrémentiels

Pour la plupart des systèmes sources, CData Sync a préconfiguré la façon dont les extractions incrémentielles doivent être effectuées. Si ce n'est pas le cas, les paramètres doivent être modifiés manuellement pour exécuter des extractions incrémentielles. Pour en savoir plus sur la façon de procéder, consultez la documentation officielle de CData Sync.

Ajout d'une colonne d'horodatage

Pour exécuter une extraction incrémentielle à l'aide de CData Sync, vous devez ajouter une colonne d'horodatage dans la tâche d'extraction pour chaque table que vous souhaitez charger de manière incrémentielle. La colonne d'horodatage indiquera quand les données ont été extraites pour la dernière fois, permettant à CData Sync d'extraire uniquement les données nouvelles ou mises à jour pour la prochaine itération.

Suivez ces étapes pour configurer l'extraction de données incrémentielle à l'aide de CData Sync.

1. Modifiez la tâche d'extraction CData Sync créée dans Créer une tâche (Create a job).

2. Accédez à Tâche (Task) et modifiez la table que vous souhaitez configurer pour une extraction incrémentielle.

3. Accédez à Colonnes (Columns) et sélectionnez Modifier le mappage (Edit Mapping).

4. Sélectionnez + (Ajouter une colonne).

   
   

   

   
   
5. Entrez la commande SQL pour convertir l'horodatage au format correct. Par exemple :
   1. pour les bases de données MS SQL Server, saisissez FORMAT(GETDATE(), 'yyyy-MM-dd HH:mm:ss')
   2. pour les bases de données source Oracle, saisissez to_char(CURRENT_TIMESTAMP, 'YYYY-MM-DD HH24:MI:SS').
   3. Sélectionnez Suivant.
6. Entrez EXTRACTED dans le champ Nom de la colonne (Column Name) .
7. Sélectionnez TIMESTAMP comme type de données et sélectionnez Ajouter une colonne (Add Column). L'illustration suivante montre un exemple.

   
   

   

   
   

8. Accédez à Vue d'ensemble (Overview) et modifiez les informations de la source.

9. Sélectionnez la colonne Incrémenter (Creating Column) applicable dans la liste.

   Remarque :

   Il doit s'agir d'une colonne qui contient des valeurs d'horodatage pour chaque modification, ou sur une colonne entière qui contient le nombre de lignes pour chaque mise à jour.

10. Sélectionnez Enregistrer (Save).

Définir la charge incrémentielle pour l'application de processus Process Mining

1. Ouvrez l’application de processus Process Mining en mode développeur.
2. Accédez à Transformations de données (Data Transformations).
3. Accédez à l’écran Gérer les données d’entrée
4. Ajoutez la colonne horodatage au champ Horodatage pour configurer le chargement incrémentiel d'une table. Consultez la section Gestion des données d'entrée pour de plus amples informations.

Running incremental extraction

Consultezla section Exécuter la tâche pour savoir comment démarrer la tâche d'extraction.

La première fois que la tâche d'extraction CData Sync s'exécute, une extraction complète est effectuée et toutes les données sources sont extraites. Lors de chaque exécution suivante de la tâche d'extraction CData Sync, seules les données qui ont été modifiées dans la source seront extraites et le delta sera ajouté aux données déjà extraites.

Pour plus d'informations sur l'extraction de données incrémentielle avec CData Sync, reportez-vous à la documentation officielle de CData Sync.