Loading data using CData Sync

Hinweis: Die Informationen auf dieser Seite basieren auf CData Sync 2022 - 22.0.8342.0. Wenn Sie eine andere Version von CData Sync verwenden, können sich die Feldnamen oder Funktionen unterscheiden.

Einleitung

CData Sync ist ein Tool, mit dem Daten aus Quellsystemen in Process Mining extrahiert werden. Die unterstützten Quellsysteme finden Sie auf der Seite Quellen auf der CData Sync-Website. Weitere Informationen zu CData Sync finden Sie auf der offiziellen CData Sync-Website .

Auf dieser Seite wird beschrieben, wie Sie CData Sync verwenden, um Daten aus Ihrem Quellsystem in eine Prozess-App in lokales Process Mining (Automation Suite) zu laden.

Voraussetzungen

Dabei wird Folgendes angenommen:

• eine gültige CData Sync-Lizenz.
• CData Sync installiert haben. Siehe Installieren von CData Sync.
• Sie den Zugriff auf SQL Server mit den richtigen Berechtigungen eingerichtet haben. Siehe

  Setting up a SQL Server account for data upload using an extractor.

Pseudonymisierung von Daten

Mit CData Sync können Datenfelder während der Extraktion pseudonymisiert werden. Auf diese Weise können sensible Datenfelder an der Quelle gehasht werden, bevor sie das Process Mining-Produkt erreichen. Führen Sie diese Schritte aus, um Daten zu pseudonymisieren.

1. Wechseln Sie zur gewünschten Aufgabe eines Auftrags in CData.
2. Bearbeiten Sie die Abfrage.
3. Fügen Sie die Funktion hashbytes() jedem Feld hinzu, das pseudonymisiert werden muss. Zum Beispiel

   REPLICATE [SOURCE_TABLE] SELECT hashbytes('SHA2_256',[SOURCE_FIELD]) AS [DESTINATION_FIELD] FROM [SOURCE_TABLE];

Auf diese Weise werden alle Werte mit einem SHA2 256- Hash gehasht. Weitere Informationen finden Sie unter SHA-2. Falls gewünscht, können die gehashten Werte in Werte wie „Person 1“, „Person 2“, „Person 3“ umgewandelt werden, indem in den Datentransformationen SQL-Abfragen dafür geschrieben werden.

Loading data using CData Sync

Zum Einrichten des Datenladens mit CData Sync müssen mehrere Schritte ausgeführt werden.

1. Einrichten der Quellverbindung;
2. Erstellen der SQL Server-Zielverbindung;
3. Erstellen eines Auftrags;
4. Aufrufen der Datenaufnahme-API;
5. Der Auftrag wird ausgeführt.

Die Schritte werden unten im Detail beschrieben.

Erstellen einer Quellverbindung

Hinweis: Spezifische Einstellungen zum Einrichten der Quellverbindung finden Sie auf der Seite Konfigurieren der CData-Synchronisierung für Ihre App-Vorlage.

Hinweis: Informationen zu spezifischen Einstellungen oder Anforderungen für Ihr Quellsystem finden Sie in der CData Sync-Dokumentation.

Führen Sie die folgenden Schritte aus, um die Quellverbindung zu erstellen.

1. Erstellen Sie in der CData Sync Admin-Konsole eine neue Quellverbindung für Ihr Quellsystem.

   Hinweis:

   Wenn sich Ihr Quellsystem nicht in der Liste befindet, können Sie auf + Weitere hinzufügen klicken, um eine Liste aller verfügbaren CData Sync Quell-Connectors anzuzeigen. Wählen Sie den Connector für Ihr Quellsystem aus und klicken Sie auf Herunterladen und installieren.

2. Geben Sie einen beschreibenden Namen für die Quellverbindung in das Feld Name ein.
3. Geben Sie die erforderlichen Eigenschaften ein, um eine Verbindung mit Ihrem Quellsystem einzurichten.
4. Erstellen und testen Sie die Verbindung.

Einrichten einer Quellverbindung für .csv- oder .tsv- Dateien

Wenn Sie eine Quellverbindung für .csv- oder .tsv-Dateien einrichten möchten, stellen Sie Folgendes sicher:

• Wählen Sie CSV als das Quellsystem, zu dem Sie eine Verbindung erstellen möchten, aus der Liste aus.
• Legen Sie den URI auf den Pfad fest, unter dem die .csv- oder .tsv-Dateien gespeichert sind.
• Legen Sie den richtigen ConnectionType fest. Verwenden Sie Lokal , wenn die Dateien auf demselben Server wie CData Sync gespeichert sind.
• Legen Sie FMT auf den entsprechenden Wert fest, der in den Datendateien verwendet wird.

Definieren Sie die folgenden Einstellungen auf der Registerkarte Erweitert im Bereich Verbindungseinstellungen , um sicherzustellen, dass die Daten ordnungsgemäß in Process Mininggeladen werden.

Abschnitt	Parameter	Wert
Sonstige	Exclude File Extensions	True
Sonstige	Include Files	Fügen Sie der Einstellung ,TSV hinzu, wenn Sie .tsv Dateien hochladen möchten
Schema	Type Detection Scheme	None
Datenformatierung	Leere Werte auf NULL übertragen	True

Retrieving the SQL Server database parameters

Zum Einrichten einer SQL Server-Zielverbindung benötigen Sie die folgenden Einrichtungsparameter für die SQL Server-Datenbank.

• Server
• Database
• Schema
• Role

Siehe Abrufen der SQL Server-Datenbankparameter.

Zielverbindung erstellen

Zum Einrichten einer SQL Server-Zielverbindung benötigen Sie die folgenden Einrichtungsparameter für die SQL Server-Datenbank.

• Server
• Database
• Schema
• Role

Siehe Abrufen der SQL Server-Datenbankparameter.

Führen Sie die folgenden Schritte aus, um die SQL Server-Zielverbindung zu erstellen.

1. Define a new connection of type SQL Server.
2. Geben Sie einen beschreibenden Namen für die Zielverbindung ein. Zum Beispiel SQLServer_IM.
3. Konfigurieren Sie die Einstellungen, um eine Verbindung mit Ihrer SQL Server-Datenbank mithilfe der abgerufenen Anmeldeinformationen für die SQL Server-Datenbank herzustellen
   Hinweis: Server muss als <Server>,<Port>angegeben werden.
   Note: User / Password must be the SQL credentials of the user that has permissions to write into the database. See also Setting up a SQL Server account for data upload using an extractor. Password may not contain a semicolon ;.
4. Erstellen und testen Sie die Verbindung.

Siehe Abbildung unten.

Erstellen des Extraktionsauftrags

Wichtig:

Die Eingabedaten müssen dem Format entsprechen, das für die App-Vorlage erforderlich ist, die Sie zum Erstellen Ihrer Prozess-App verwenden. Siehe App-Vorlagen.

Stellen Sie sicher, dass Sie den Tabellennamen das Suffix _raw hinzufügen.

Führen Sie diese Schritte aus, um den Extraktionsauftrag zu erstellen.

1. Klicken Sie in der Menüleiste auf JOBS und wechseln Sie zur Registerkarte Quellen des Panels Verbindung hinzufügen.
2. Klicken Sie auf + Auftrag erstellen…, um einen neuen Auftrag hinzuzufügen.
3. Geben Sie einen beschreibenden Namen für den Auftrag in das Feld Auftragsname ein. Beispiel: ServiceNow_to_SQLServer.
4. Wählen Sie die in Schritt 1: Einrichten der Quellverbindung erstellte Quellverbindung aus der Liste Quelle aus.
5. Wählen Sie die in Schritt 3: Zielverbindung erstellen erstellte SQL Server-Verbindung aus der Ziel-Liste aus.
6. Stellen Sie sicher, dass die Option Standard als Replikationstyp ausgewählt ist, und klicken Sie auf +Erstellen.

7. Klicken Sie auf +Aufgaben hinzufügen.

   • Wählen Sie alle Quelltabellen in der Liste aus.
   • Klicken Sie auf Hinzufügen.

8. Wechseln Sie zur Registerkarte Erweitert im Bereich Auftragseinstellungen .

   • Suchen Sie den Eintrag im Zielschema und kopieren Sie das in Schritt 2: „Abrufen der SQL Server-Datenbankparameter“ abgerufene Schema.
   • Wählen Sie die Option Tabelle verwerfen aus, um zu verhindern, dass die Daten an die Tabelle angefügt werden.
   • Aktivieren Sie das Kontrollkästchen Enable Parallel Processing und geben Sie 8 in das Feld Worker-Pool ein, um die Ladegeschwindigkeit zu verbessern.
   • Stellen Sie sicher, dass das Replikationsintervall und die Einheit des Replikationsintervalls so festgelegt sind, dass der resultierende Zeitraum gleich oder größer als der Extraktionszeitraum ist.
9. Klicken Sie auf Änderungen speichern.

Aufrufen der Datenaufnahme-API

Führen Sie diese Schritte aus, um das Ereignis nach dem Auftrag zu bearbeiten, um die Datenaufnahme-API aufzurufen.

1. Wechseln Sie zur Registerkarte Ereignisse im Bereich Auftragseinstellungen .
2. Bearbeiten Sie den Abschnitt Ereignis nach dem Auftrag und fügen Sie den Datenaufnahme-API-Aufruf hinzu, um den Server, die Organisation, den Mandanten und die Process Mining-App-ID wie unten beschrieben zu ersetzen.
   Hinweis: Sie können die App-ID aus der Liste Alle Prozess-Apps im Process Mining-Portal kopieren. Stellen Sie sicher, dass Sie ID in der Liste Spalten auswählen.

   Ersetzen (Replace)	Mit Ihrem
   my-uipath-server.com	Server
   default	Organisation
   defaulttenant	Mandant
   98dfd1d5-9e42-4f0e-9a0a-8945629f01b3	App-ID

   <api:set attr="http.url" value="https://my-uipath-server.com/default/defaulttenant/processMining_/api/v2/apps/98dfd1d5-9e42-4f0e-9a0a-8945629f01b3/transform/unauthenticated"/> 
   <api:call op="httpPost" in="http"/>

   
   

   

   
   
3. Speichern Sie die Änderungen.
4. Klicken Sie auf AUFTRÄGE in der Menüleiste und suchen Sie den Zielauftrag.
5. Klicken Sie auf das Symbol Alle Abfragen ausführen, um zu überprüfen, ob der Auftrag ordnungsgemäß ausgeführt wird.

Protokollierung von Informationen

Sie können zusätzliche Anweisungen hinzufügen, um Protokollierungsinformationen zum API-Aufruf zu erhalten. Führen Sie die folgenden Schritte aus.

1. Fügen Sie die folgenden Anweisungen zwischen den Zeilen hinzu, die zuvor im Ereignis nach dem Auftrag hinzugefügt wurden.

   <api:set attr="http.verbosity" value="5"/>

   <api:set attr="http.logfile" value="D:/mydir/cdata_log.txt"/>

   Siehe Abbildung unten.

   
   

   

   
   
2. Wechseln Sie zur Registerkarte Protokollierung und Verlauf im Bereich Auftragseinstellungen .
3. Wählen Sie Ausführlich im Listenfeld Ausführlichkeit der Protokolldatei aus.
4. Führen Sie den Auftrag aus und überprüfen Sie die erstellte Protokolldatei.

Ausführen des CData Sync-Extraktionsauftrags

Führen Sie diese Schritte aus, um den Extraktionsauftrag auszuführen.

1. Klicken Sie auf AUFTRÄGE in der Menüleiste und suchen Sie den Extraktionsauftrag, der in Schritt 4: Erstellen des Extraktionsauftrags erstellt wurde.

2. Klicken Sie auf das Symbol Alle Abfragen ausführen. Siehe Abbildung unten.

   
   

   

   
   
3. Warten Sie, bis der Auftrag abgeschlossen ist. Je nach Datenmenge kann dies mehrere Minuten dauern.
4. Wechseln Sie zum Process Mining-Portal und überprüfen Sie die Daten der letzten Aufnahme für die Prozess-App, um zu sehen, ob das Laden der Daten erfolgreich abgeschlossen wurde. Hinweis: Das Datum wird erst aktualisiert, nachdem alle Daten verarbeitet wurden. Je nach Datenmenge kann dies mehrere Minuten oder bis zu eine Stunde dauern.

Aufträge planen

Wenn Sie den Extraktionsauftrag in regelmäßigen Abständen ausführen möchten, können Sie den CData Sync Scheduler verwenden, um einen Zeitplan zu definieren.

Führen Sie diese Schritte aus, um den Extraktionsauftrag zu planen.

1. Öffnen Sie den CData Sync-Extraktionsauftrag, der in Schritt 4: Erstellen des Extraktionsauftrags erstellt wurde.

2. Wechseln Sie zur Registerkarte Zeitplan im Bereich Auftragseinstellungen .

   
   

   

   
   

Weitere Informationen zum Planen von Aufträgen finden Sie in der offiziellen CData Sync-Dokumentation .