Incremental extraction

Introduction

Selon votre système source, il est possible d'exécuter une extraction de données incrémentielle avec CData Sync.

Prérequis

Pour exécuter une extraction de données incrémentielle avec CData Sync, vous devez configurer un environnement local avec une base de données de test. Dans cette base de données intermédiaire, vous pouvez extraire de manière incrémentielle les données du système source et ajouter le delta aux données déjà extraites. L'illustration ci-dessous vous en fournit un aperçu.

Base de données de test

Les types de bases de données les plus courants peuvent être utilisés comme bases de données temporaires. Vérifiez la documentation officielle de votre outil d'extraction si votre extrait peut être généré dans la base de données que vous souhaitez utiliser comme base de données Staging. Pour CData Sync, voir Destinations, et pour Theobald Xtract Universal, voir Destinations.

En outre, vous devez pouvoir charger les données de la simulation dans le magasin d'objets blob. Cela peut être fait avec une tâche CData Sync, si votre base de données est prise en charge en tant que source, consultez Sources.

Vérifier les paramètres incrémentiels

Pour la plupart des systèmes sources, CData Sync a préconfiguré la façon dont les extractions incrémentielles doivent être effectuées. Si ce n'est pas le cas, les paramètres doivent être modifiés manuellement pour exécuter des extractions incrémentielles. Pour en savoir plus sur la façon de procéder, consultez la documentation officielle de CData Sync.

Exécution de l'extraction incrémentielle

Suivez ces étapes pour vous assurer que les extractions de données incrémentielles s’exécutent correctement.

1. Démarrez la console d'administration CData Sync et connectez-vous en tant qu'administrateur à l'aide des informations d'identification définies lors de l'installation de CData Sync.
2. Cliquez sur TÂCHES (JOBS) dans la barre de menus et double-cliquez sur la tâche d'extraction pour ouvrir les Paramètres de la tâche (Job Settings).

3. Accédez à l'onglet Avancé (Advanced) et désélectionnez l'option Supprimer la table (Drop Table). Cette opération permet d'effectuer une extraction incrémentielle.

   
   

   

   
   

La première fois que la tâche d'extraction CData Sync s'exécute, une extraction complète est effectuée et toutes les données sources sont extraites. Lors de chaque exécution suivante de la tâche d'extraction CData Sync, seules les données qui ont été modifiées dans la source seront extraites et le delta sera ajouté aux données déjà extraites.

Remarque :

Vous devez créer une tâche CData Sync supplémentaire pour charger les données de la base de données de test dans le magasin d'objets blob Azure.

Pour plus d'informations sur l'extraction de données incrémentielle avec CData Sync, consultez la documentation officielle de CData Sync.