Incremental extraction

Vérifier les paramètres incrémentiels

Pour la plupart des systèmes sources, CData Sync a préconfiguré la façon dont les extractions incrémentielles doivent être effectuées. Si ce n'est pas le cas, les paramètres doivent être modifiés manuellement pour exécuter des extractions incrémentielles. Pour en savoir plus sur la façon de procéder, consultez la documentation officielle de CData Sync.

Configuration de l'extraction incrémentielle

Ajout d'une colonne d'horodatage

Pour exécuter une extraction incrémentielle à l'aide de CData Sync, vous devez ajouter une colonne d'horodatage dans la tâche d'extraction pour chaque table que vous souhaitez charger de manière incrémentielle. La colonne d'horodatage indiquera quand les données ont été extraites pour la dernière fois, permettant à CData Sync d'extraire uniquement les données nouvelles ou mises à jour pour la prochaine itération.

Suivez ces étapes pour configurer l'extraction de données incrémentielle à l'aide de CData Sync.

1. Modifiez la tâche d'extraction CData Sync créée dans Créer une tâche (Create a job).

2. Accédez à Tâche (Task) et modifiez la table que vous souhaitez configurer pour une extraction incrémentielle.

3. Accédez à Colonnes (Columns) et sélectionnez Modifier le mappage (Edit Mapping).

4. Sélectionnez + (Ajouter une colonne).

   
   

   

   
   
5. Entrez la commande SQL pour convertir l'horodatage au format correct. Par exemple, pour les bases de données sources Oracle, saisissez to_char(CURRENT_TIMESTAMP, 'YYYY-MM-DD HH24:MI:SS'). Sélectionnez Suivant.
6. Entrez EXTRACTED dans le champ Nom de la colonne (Column Name) .
7. Sélectionnez TIMESTAMP comme type de données et sélectionnez Ajouter une colonne (Add Column). L'illustration suivante montre un exemple.

   
   

   

   
   

8. Accédez à Vue d'ensemble (Overview) et modifiez les informations de la source.

9. Sélectionnez la colonne Incrémenter (Creating Column) applicable dans la liste.

   Remarque :

   Il doit s'agir d'une colonne qui contient des valeurs d'horodatage pour chaque modification, ou sur une colonne entière qui contient le nombre de lignes pour chaque mise à jour.

10. Sélectionnez Enregistrer (Save).

11. Accédez à l'écran Gérer les données d'entrée (Manage input data ) et ajoutez la colonne Horodatage (Timestamp) au champ Horodatage (Timestamp) pour configurer la charge incrémentielle d'une table. Consultez Gestion des données d'entrée pour plus d'informations.

Définition de la date de début incrémentielle

Pour une extraction incrémentielle, il est nécessaire de définir un point de départ (ou une « date de début incrémentielle ») à partir duquel les données nouvelles ou mises à jour seront extraites pour chaque table.

Suivez ces étapes pour définir la date de début incrémentielle d'une table.

1. Revenez d'un niveau supérieur à Vue d'ensemble (Overview) sur la page Modifier la tâche (Edit Job) .

2. Localisez la section Réplication incrémentielle (Inremental Replication) et sélectionnez Configurer (Configure).

3. Sélectionnez une Date de début (Start Date) souhaitée.

4. Entrez l' Intervalle de réplication (Replication Interval) souhaité ou acceptez la valeur par défaut de 180 jours.

   Remarque :

   Un petit intervalle de répétition peut altérer les performances.

5. Sélectionnez Enregistrer (Save).

Running incremental extraction

Suivez ces étapes pour vous assurer que les extractions de données incrémentielles s’exécutent correctement.

1. Démarrez la console d'administration CData Sync et connectez-vous en tant qu'administrateur à l'aide des informations d'identification définies lors de l'installation de CData Sync.
2. Accédez à Tâches ( Jobs ) et sélectionnez la tâche d'extraction pour afficher les paramètres de la tâche.

3. Accédez à l'onglet Avancé (Advanced) et modifiez l' option de réplication ( Replication Option) pour désélectionner l'option Supprimer la table ( Drop Table ). Cette opération permet d'effectuer une extraction incrémentielle.

La première fois que la tâche d'extraction CData Sync s'exécute, une extraction complète est effectuée et toutes les données sources sont extraites. Lors de chaque exécution suivante de la tâche d'extraction CData Sync, seules les données qui ont été modifiées dans la source seront extraites et le delta sera ajouté aux données déjà extraites.

Pour plus d'informations sur l'extraction de données incrémentielle avec CData Sync, reportez-vous à la documentation officielle de CData Sync.