Incremental extraction

Für die meisten Quellsysteme hat CData Sync vorkonfiguriert, wie inkrementelle Extraktionen durchgeführt werden sollen. Ist dies nicht der Fall, müssen die Einstellungen manuell bearbeitet werden, um inkrementelle Extraktionen durchzuführen. Weitere Informationen dazu finden Sie in der offiziellen CData Sync-Dokumentation.

Konfigurieren der inkrementellen Extraktion

Definieren des inkrementellen Startdatums

Für die inkrementelle Extraktion muss ein Startpunkt (oder ein „inkrementelles Startdatum“) definiert werden, ab dem neue oder aktualisierte Daten für jede Tabelle extrahiert werden.

Führen Sie die folgenden Schritte aus, um das inkrementelle Startdatum für eine Tabelle zu definieren.

1. Go to Overview in the Edit Job page.
2. Suchen Sie den Abschnitt Inkrementelle Replikation und wählen Sie Konfigurieren aus.
3. Wählen Sie das gewünschte Startdatum aus.
4. Geben Sie das gewünschte Replikationsintervall ein oder akzeptieren Sie den Standardwert von 180 Tagen.
   Note: A large replaction interval, may impact performance.
5. Wählen Sie Speichern.

Enabling incremental extraction

Follow this step to enable incremental extraction for the job in CData Sync.

1. Wechseln Sie zur Registerkarte Erweitert und bearbeiten Sie die Replikationsoption , um die Option Tabelle verwerfen aufzuheben. Dies ermöglicht die inkrementelle Extraktion.

Inkrementelle Einstellungen überprüfen

Für die meisten Quellsysteme hat CData Sync vorkonfiguriert, wie inkrementelle Extraktionen durchgeführt werden sollen. Ist dies nicht der Fall, müssen die Einstellungen manuell bearbeitet werden, um inkrementelle Extraktionen durchzuführen. Weitere Informationen dazu finden Sie in der offiziellen CData Sync-Dokumentation.

Hinzufügen einer Zeitstempelspalte

Um eine inkrementelle Extraktion mit CData Sync auszuführen, müssen Sie für jede Tabelle, die Sie inkrementell laden möchten, eine Zeitstempelspalte im Extraktionsauftrag hinzufügen. Die Spalte „Zeitstempel“ verfolgt den Zeitpunkt, zu dem die Daten zuletzt extrahiert wurden, sodass CData Sync nur neue oder aktualisierte Daten für die nächste Iteration extrahieren kann.

Führen Sie die folgenden Schritte aus, um die inkrementelle Datenextraktion mit CData Sync zu konfigurieren.

1. Bearbeiten Sie den in Auftrag erstellen erstellten CData Sync-Extraktionsauftrag.

2. Wechseln Sie zu Aufgabe und bearbeiten Sie die Tabelle, die Sie für die inkrementelle Extraktion konfigurieren möchten.

3. Gehen Sie zu Spalten und wählen Sie Zuordnung bearbeiten aus.

4. Wählen Sie + (Spalte hinzufügen) aus.

   
   

   

   
   
5. Enter the SQL command to convert the timestamp to the correct format. For example:
   1. for MS SQL Server databases enter FORMAT(GETDATE(), 'yyyy-MM-dd HH:mm:ss')
   2. for Oracle source databases enter to_char(CURRENT_TIMESTAMP, 'YYYY-MM-DD HH24:MI:SS').
   3. Wählen Sie Weiter aus.
6. Geben Sie EXTRACTED in das Feld Spaltenname ein.
7. Wählen Sie TIMESTAMP als Datentyp und dann Spalte hinzufügen aus. Die folgende Abbildung zeigt ein Beispiel.

   
   

   

   
   

8. Wechseln Sie zur Übersicht und bearbeiten Sie die Quellinformationen.

9. Wählen Sie die entsprechende inkrementelle Spalte von der Liste aus.

   Hinweis:

   Dies muss eine Spalte sein, die Zeitstempelwerte für jede Änderung enthält, oder eine Integerspalte sein, die die Zeilenanzahl für jede Aktualisierung enthält.

10. Wählen Sie Speichern.

Define incremental load for the Process Mining process app

1. Open the Process Mining process app in developer mode.
2. Wechseln Sie zu Datentransformationen.
3. Go to the Manage input data screen,
4. Add the timestamp column to the Timestamp field to configure the incremental load for a table. Check out Managing input data for more information.

Running incremental extraction

Check outRun the job for information on how to start the extraction job.

Wenn der CData Sync-Extraktionsauftrag zum ersten Mal ausgeführt wird, wird eine vollständige Extraktion durchgeführt und alle Quelldaten werden extrahiert. Bei jeder nächsten Ausführung des CData Sync-Extraktionsauftrags werden nur die Daten extrahiert, die sich in der Quelle geändert haben, und das Delta wird zu den bereits extrahierten Daten hinzugefügt.

Weitere Informationen zur inkrementellen Datenextraktion mit CData Sync finden Sie in der offiziellen CData Sync-Dokumentation.