Extraction incrémentielle

Pour la plupart des systèmes sources, CData Sync a préconfiguré la façon dont les extractions incrémentielles doivent être effectuées. Si ce n'est pas le cas, les paramètres doivent être modifiés manuellement pour exécuter des extractions incrémentielles. Pour en savoir plus sur la façon de procéder, reportez-vous à la documentation officielle de CData Sync.

Configuration de l'extraction incrémentielle

Définition de la date de début incrémentielle

Pour une extraction incrémentielle, il est nécessaire de définir un point de départ (ou une « date de début incrémentielle ») à partir duquel les données nouvelles ou mises à jour seront extraites pour chaque table.

Suivez ces étapes pour définir la date de début incrémentielle d'une table.

1. Accédez à Vue d'ensemble sur la page Modifier la tâche .
2. Localisez la section Réplication incrémentielle et sélectionnez Configurer.
3. Sélectionnez une date de début souhaitée .
4. Saisissez l' Intervalle de réplication souhaité ou acceptez la valeur par défaut de 180 jours.
   Remarque :

   Un intervalle de réplique important peut avoir un impact sur les performances.

5. Sélectionnez Enregistrer.

Activer l’extraction incrémentielle

Pour activer l'extraction incrémentielle pour la tâche dans CData Sync, accédez à l'onglet Avancé et modifiez l'option de réplication pour désélectionner l'option Supprimer la table . Cette opération permet d'effectuer une extraction incrémentielle.

Vérifier les paramètres incrémentiels

Pour la plupart des systèmes sources, CData Sync a préconfiguré la façon dont les extractions incrémentielles doivent être effectuées. Si ce n'est pas le cas, les paramètres doivent être modifiés manuellement pour exécuter des extractions incrémentielles. Pour en savoir plus sur la façon de procéder, reportez-vous à la documentation officielle de CData Sync.

Ajout d'une colonne d'horodatage

Pour exécuter une extraction incrémentielle à l'aide de CData Sync, vous devez ajouter une colonne d'horodatage dans la tâche d'extraction pour chaque table que vous souhaitez charger de manière incrémentielle. La colonne d'horodatage indiquera quand les données ont été extraites pour la dernière fois, permettant à CData Sync d'extraire uniquement les données nouvelles ou mises à jour pour la prochaine itération.

Suivez ces étapes pour configurer l'extraction de données incrémentielle à l'aide de CData Sync.

1. Modifiez la tâche d'extraction CData Sync créée dans Créer une tâche.

2. Accédez à Tâche et modifiez la table que vous souhaitez configurer pour l’extraction incrémentielle.

3. Accédez à Colonnes et sélectionnez Modifier le mappage.

4. Sélectionnez + (Ajouter une colonne).

   

5. Entrez la commande SQL pour convertir l'horodatage au format correct. Par exemple :

   1. pour les bases de données MS SQL Server, saisissez FORMAT(GETDATE(), 'yyyy-MM-dd HH:mm:ss')
   2. pour les bases de données source Oracle, saisissez to_char(CURRENT_TIMESTAMP, 'YYYY-MM-DD HH24:MI:SS').
   3. Sélectionnez Suivant.

6. Entrez EXTRACTED dans le champ Nom de la colonne .

7. Sélectionnez TIMESTAMP comme type de données et sélectionnez Ajouter une colonne. L'illustration suivante vous en fournit un exemple.

   

8. Accédez à Vue d'ensemble et modifiez les Informations source.

9. Sélectionnez la colonne Migration incrémentielle applicable dans la liste.

   Remarque :

   Il doit s'agir d'une colonne qui contient des valeurs d'horodatage pour chaque modification, ou sur une colonne entière qui contient le nombre de lignes pour chaque mise à jour.

10. Sélectionnez Enregistrer.

Définir la charge incrémentielle pour l'application de processus Process Mining

1. Ouvrez l’application de processus Process Mining en mode développeur.
2. Accédez à Transformations des données.
3. Accédez à l’écran Gérer les données d’entrée
4. Ajoutez la colonne horodatage au champ Horodatage pour configurer le chargement incrémentiel d'une table. Consultez la section Gestion des données d'entrée pour de plus amples informations.

Exécution de l'extraction incrémentielle

Consultez la section Exécuter la tâche pour savoir comment démarrer la tâche d'extraction.

La première fois que la tâche d'extraction CData Sync s'exécute, une extraction complète est effectuée et toutes les données sources sont extraites. Lors de chaque exécution suivante de la tâche d'extraction CData Sync, seules les données qui ont été modifiées dans la source seront extraites et le delta sera ajouté aux données déjà extraites.

Pour en savoir plus sur l'extraction de données incrémentielle avec CData Sync, consultez la documentation officielle de CData Sync.