Incremental extraction

Introduction

Selon votre système source, il est possible d'exécuter une extraction de données incrémentielle avec CData Sync.

Prérequis

Pour exécuter une extraction de données incrémentielle avec CData Sync, vous devez configurer un environnement local avec une base de données de test. Dans cette base de données intermédiaire, vous pouvez extraire de manière incrémentielle les données du système source et ajouter le delta aux données déjà extraites. L'illustration ci-dessous vous en fournit un aperçu.

Base de données de test

Les types de base de données les plus courants peuvent être utilisés comme base de données. Vérifiez la documentation officielle de votre outil d’extraction pour savoir si votre extraction peut générer la base de données que vous souhaitez utiliser comme base de données de staging. Pour CData Sync, faites référence à Destinations, et pour Theobald Xtract Universal, faites référence à Destinations.

En outre, vous devez pouvoir charger les données de la simulation dans le magasin d'objets blob. Cela peut être fait avec une tâche CData Sync, si votre base de données est prise en charge en tant que source, reportez-vous à Sources.

Vérifier les paramètres incrémentiels

Pour la plupart des systèmes sources, CData Sync a préconfiguré la façon dont les extractions incrémentielles doivent être effectuées. Si ce n'est pas le cas, les paramètres doivent être modifiés manuellement pour exécuter des extractions incrémentielles. Pour en savoir plus sur la façon de procéder, consultez la documentation officielle de CData Sync.

Exécution de l'extraction incrémentielle

Suivez ces étapes pour vous assurer que les extractions de données incrémentielles s’exécutent correctement.

1. Démarrez la console d'administration CData Sync et connectez-vous en tant qu'administrateur à l'aide des informations d'identification définies lors de l'installation de CData Sync.
2. Accédez à Tâches ( Jobs ) et sélectionnez la tâche d'extraction pour afficher les paramètres de la tâche.

3. Accédez à l'onglet Avancé (Advanced) et modifiez l' option de réplication ( Replication Option) pour désélectionner l'option Supprimer la table ( Drop Table ). Cette opération permet d'effectuer une extraction incrémentielle.

La première fois que la tâche d'extraction CData Sync s'exécute, une extraction complète est effectuée et toutes les données sources sont extraites. Lors de chaque exécution suivante de la tâche d'extraction CData Sync, seules les données qui ont été modifiées dans la source seront extraites et le delta sera ajouté aux données déjà extraites.

Remarque :

Vous devez créer une tâche CData Sync supplémentaire pour charger les données de la base de données de test dans le magasin d'objets blob Azure.

Pour plus d'informations sur l'extraction de données incrémentielle avec CData Sync, reportez-vous à la documentation officielle de CData Sync.