Laden von Daten mit CData Sync

Hinweis:

The information in this page is based on CData Sync 2022 - 22.0.8342.0. If you use an other version of CData Sync, field names or functions may be different.

Einleitung

CData Sync ist ein Tool zum Extrahieren von Daten aus Quellsystemen in Process Mining. Die unterstützten Quellsysteme finden Sie auf der Seite Quellen auf der CData Sync-Website. Weitere Informationen zu CData Sync finden Sie auf der offiziellen CData Sync-Website .

Auf dieser Seite wird beschrieben, wie Sie CData Sync verwenden, um Daten aus Ihrem Quellsystem in eine Prozess-App in lokales Process Mining (Automation Suite) zu laden.

Voraussetzungen

Dabei wird Folgendes angenommen:

• eine gültige CData Sync-Lizenz.

• CData Sync installiert haben. Siehe Installieren von CData Sync.

• Sie den Zugriff auf SQL Server mit den richtigen Berechtigungen eingerichtet haben. Siehe

  Einrichten eines SQL Server-Kontos für den Datenupload mit einem Extraktor.

Pseudonymisierung von Daten

Mit CData Sync können Datenfelder während der Extraktion pseudonymisiert werden. Auf diese Weise können sensible Datenfelder an der Quelle gehasht werden, bevor sie das Process Mining-Produkt erreichen. Führen Sie diese Schritte aus, um Daten zu pseudonymisieren.

1. Wechseln Sie zur gewünschten Aufgabe eines Auftrags in CData.

2. Bearbeiten Sie die Abfrage.

3. Fügen Sie die Funktion hashbytes() jedem Feld hinzu, das pseudonymisiert werden muss. Zum Beispiel

   REPLICATE [SOURCE_TABLE] SELECT hashbytes('SHA2_256',[SOURCE_FIELD]) AS [DESTINATION_FIELD] FROM [SOURCE_TABLE];

Auf diese Weise werden alle Werte mit einem SHA2 256 -Hash verwendet. Weitere Informationen finden Sie unter SHA-2. Bei Bedarf können die Hash-Werte in Werte wie "Person 1", "Person 2" und "Person 3" umgewandelt werden. indem Sie dafür SQL-Abfragen in die Datentransformationen schreiben.

Laden von Daten mit CData Sync

Zum Einrichten des Datenladens mit CData Sync müssen mehrere Schritte ausgeführt werden.

1. Einrichten der Quellverbindung;
2. Erstellen der SQL Server-Zielverbindung;
3. Erstellen eines Auftrags;
4. Aufrufen der Datenaufnahme-API;
5. Der Auftrag wird ausgeführt.

Die Schritte werden unten im Detail beschrieben.

Erstellen einer Quellverbindung

Hinweis:

Refer to the Configuring CData Sync page for your app template for specific settings for setting up the source connection.

Hinweis:

Überprüfen Sie die CData Sync-Dokumentation auf spezifische Einstellungen oder Anforderungen für Ihr Quellsystem.

Führen Sie die folgenden Schritte aus, um die Quellverbindung zu erstellen.

1. Erstellen Sie in der CData Sync Administratorkonsole eine neue Quellverbindung für Ihr Quellsystem.

   Hinweis:

   Wenn sich Ihr Quellsystem nicht in der Liste befindet, können Sie auf + Weitere hinzufügen klicken, um eine Liste aller verfügbaren CData Sync Quell-Connectors anzuzeigen. Wählen Sie den Connector für Ihr Quellsystem aus und klicken Sie auf Herunterladen und installieren.

2. Enter a descriptive name for the source connection in the Name field.

3. Geben Sie die erforderlichen Eigenschaften ein, um eine Verbindung mit Ihrem Quellsystem einzurichten.

4. Erstellen und testen Sie die Verbindung.

Einrichten einer Quellverbindung für .csv- oder .tsv- Dateien

Wenn Sie eine Quellverbindung für .csv- oder .tsv-Dateien einrichten möchten, stellen Sie Folgendes sicher:

• Wählen Sie CSV als das Quellsystem, zu dem Sie eine Verbindung erstellen möchten, aus der Liste aus.
• Legen Sie den URI auf den Pfad fest, unter dem die .csv oder .tsv -Dateien gespeichert sind.
• Legen Sie den richtigen Verbindungstyp fest. Verwenden Sie „Lokal“ , wenn die Dateien auf demselben Server wie CData Sync gespeichert sind.
• Legen Sie FMT auf den entsprechenden Wert fest, der in den Datendateien verwendet wird.

Definieren Sie die folgenden Einstellungen auf der Registerkarte Erweitert im Bereich Verbindungseinstellungen , um sicherzustellen, dass die Daten ordnungsgemäß in Process Mining geladen werden.

Abschnitt	Parameter	Wert
Sonstige	Exclude File Extensions	True
Sonstige	Include Files	Fügen Sie der Einstellung ,TSV hinzu, wenn Sie .tsv Dateien hochladen möchten
Schema	Type Detection Scheme	None
Datenformatierung	Leere Werte auf NULL übertragen	True

Retrieving the SQL Server database parameters

Zum Einrichten einer SQL Server-Zielverbindung benötigen Sie die folgenden Einrichtungsparameter für die SQL Server-Datenbank.

• Server
• Database
• Schema
• Role

Siehe Abrufen der SQL Server-Datenbankparameter.

Zielverbindung erstellen

Zum Einrichten einer SQL Server-Zielverbindung benötigen Sie die folgenden Einrichtungsparameter für die SQL Server-Datenbank.

• Server
• Database
• Schema
• Role

Aktivieren Sie das Abrufen der SQL Server-Datenbankparameter.

Führen Sie die folgenden Schritte aus, um die SQL Server-Zielverbindung zu erstellen.

1. Definieren Sie eine neue Verbindung vom Typ SQL Server.

2. Enter a descriptive name for the destination connection. For example SQLServer_IM.

3. Konfigurieren Sie die Einstellungen, um eine Verbindung mit Ihrer SQL Server-Datenbank mithilfe der abgerufenen Anmeldeinformationen für die SQL Server-Datenbank herzustellen

   Hinweis:

   Server muss als <Server>,<Port> angegeben werden.

   Hinweis:

   Benutzer/Kennwort müssen die SQL-Anmeldeinformationen des Benutzers sein, der über Berechtigungen zum Schreiben in die Datenbank verfügt. Aktivieren Siedas Einrichten eines SQL Server-Kontos für den Datenupload mit einem Extraktor. Das Kennwort darf kein Semikolon ; enthalten.

4. Erstellen und testen Sie die Verbindung.

Erstellen des Extraktionsauftrags

Wichtig:

Die Eingabedaten müssen dem Format entsprechen, das für die App-Vorlage erforderlich ist, die Sie zum Erstellen Ihrer Prozess-App verwenden. Siehe App-Vorlagen.

Stellen Sie sicher, dass Sie den Tabellennamen das Suffix _raw hinzufügen.

Führen Sie diese Schritte aus, um den Extraktionsauftrag zu erstellen.

1. Click on JOBS in the menu bar and go to the Sources tab of the Add Connection panel.
2. Click on + Create Job... to add a new job.
3. Enter a descriptive name for the job in the Job Name field. For example, ServiceNow_to_SQLServer.
4. Select the source connection created in Step 1: Setting up the source connection the source connection from the Source list.
5. Select the SQL Server connection created in Step 3: Create destination connection from the Destination list.
6. Make sure the option Standard is selected as the Replication Type and click on +Create.
7. Click on +Add Tasks.
   • Wählen Sie alle Quelltabellen in der Liste aus.
   • Click on Add.
8. Go to the Advanced tab in the Job Settings panel.
   • Suchen Sie den Eintrag im Zielschema und kopieren Sie das in Schritt 2: „Abrufen der SQL Server-Datenbankparameter“ abgerufene Schema.
   • Select the Drop Table option to prevent the data to be appended to the table.
   • Enable the checkbox Enable Parallel Processing and enter 8in the Worker Pool field to improve loading speed.
   • Stellen Sie sicher, dass das Replikationsintervall und die Einheit des Replikationsintervalls so festgelegt sind, dass der resultierende Zeitraum gleich oder größer als der Extraktionszeitraum ist.
9. Click on Save Changes.

Aufrufen der Datenaufnahme-API

Führen Sie diese Schritte aus, um das Ereignis nach dem Auftrag zu bearbeiten, um die Datenaufnahme-API aufzurufen.

1. Go to the Events tab in the Job Settings panel.

2. Bearbeiten Sie den Abschnitt Ereignis nach dem Auftrag und fügen Sie den Datenaufnahme-API-Aufruf hinzu, um den Server, die Organisation, den Mandanten und die Process Mining-App-ID wie unten beschrieben zu ersetzen.

   Hinweis:

   Sie können die App-ID aus der Liste Alle Prozess-Apps im Process Mining-Portal kopieren. Stellen Sie sicher, dass Sie ID in der Liste Spalten auswählen.

   Ersetzen (Replace)	Mit Ihrem
   my-uipath-server.com	Server
   default	Organisation
   defaulttenant	Mandant
   98dfd1d5-9e42-4f0e-9a0a-8945629f01b3	App-ID

   <api:set attr="http.url" value="https://my-uipath-server.com/default/defaulttenant/processMining_/api/v2/apps/98dfd1d5-9e42-4f0e-9a0a-8945629f01b3/transform/unauthenticated"/>
   <api:call op="httpPost" in="http"/>
   

   

3. Speichern Sie die Änderungen.

4. Click on JOBS in the menu bar and locate the destination job.

5. Click on the Run All Queries icon to check if the job runs correctly.

Protokollierung von Informationen

Sie können zusätzliche Anweisungen hinzufügen, um Protokollierungsinformationen zum API-Aufruf zu erhalten. Führen Sie die folgenden Schritte aus.

1. Fügen Sie die folgenden Anweisungen zwischen den Zeilen hinzu, die zuvor im Ereignis nach dem Auftrag hinzugefügt wurden.

   <api:set attr="http.verbosity" value="5"/>

   <api:set attr="http.logfile" value="D:/mydir/cdata_log.txt"/>

   Siehe Abbildung unten.

   

2. Go to the Logging & History tab in the Job Settings panel.

3. Select Verbose from the Logfile Verbosity list box.

4. Führen Sie den Auftrag aus und überprüfen Sie die erstellte Protokolldatei.

Ausführen des CData Sync-Extraktionsauftrags

Führen Sie diese Schritte aus, um den Extraktionsauftrag auszuführen.

1. Klicken Sie auf AUFTRÄGE in der Menüleiste und suchen Sie den Extraktionsauftrag, der in Schritt 4: Erstellen des Extraktionsauftrags erstellt wurde.

2. Click on the Run all queries icon. See the illustration below.

   

3. Warten Sie, bis der Auftrag abgeschlossen ist. Je nach Datenmenge kann dies mehrere Minuten dauern.

4. Wechseln Sie zum Process Mining-Portal und überprüfen Sie die Daten der letzten Aufnahme für die Prozess-App, um zu sehen, ob das Laden der Daten erfolgreich abgeschlossen wurde. Hinweis: Das Datum wird erst aktualisiert, nachdem alle Daten verarbeitet wurden. Je nach Datenmenge kann dies mehrere Minuten bis zu einer Stunde dauern.

Aufträge planen

Wenn Sie den Extraktionsauftrag in regelmäßigen Abständen ausführen möchten, können Sie den CData Sync Scheduler verwenden, um einen Zeitplan zu definieren.

Führen Sie diese Schritte aus, um den Extraktionsauftrag zu planen.

1. Open the CData Sync extraction job created in Step 4: Creating the extraction job.

2. Go to the Schedule tab in the Job Settings panel.

   

Weitere Informationen zum Planen von Aufträgen finden Sie in der offiziellen CData Sync-Dokumentation .