Chargement des données à l'aide de CData Sync

Remarque :

The information in this page is based on CData Sync 2022 - 22.0.8342.0. If you use an other version of CData Sync, field names or functions may be different.

Introduction

CData Sync est un outil utilisé pour extraire des données des systèmes sources dans Process Mining. Les systèmes sources pris en charge sont disponibles sur la page Sources du site Web CData Sync. Reportez-vous au site officiel de CData Sync pour en savoir plus sur CData Sync.

Cette page explique comment utiliser CData Sync pour charger des données de votre système source vers une application de processus dans Process Mining local (Automation Suite).

Prérequis

Nous supposons que :

• une licence CData Sync valide.

• a installé CData Sync. Voir Installation de CData Sync.

• configuré l'accès à SQL Server avec les autorisations appropriées. Voir

  Configuration d'un compte SQL Server pour le chargement de données à l'aide d'un extracteur.

Pseudonymisation des données

À l'aide de CData Sync, les champs de données peuvent être pseudonymisés lors de l'extraction. De cette façon, les champs de données sensibles peuvent être hachés à la source avant qu'ils n'atteignent le produit Process Mining. Suivez ces étapes pour pseudonymiser les données.

1. Accédez à la tâche souhaitée d'un travail dans CData.

2. Modifiez la requête.

3. Ajoutez la fonction hashbytes() à chaque champ qui doit être pseudonymisé. Par exemple

   REPLICATE [SOURCE_TABLE] SELECT hashbytes('SHA2_256',[SOURCE_FIELD]) AS [DESTINATION_FIELD] FROM [SOURCE_TABLE];

De cette façon, toutes les valeurs seront hachées avec un hachage SHA2 256 . Pour plus d’informations, consultez la section SHA-2. Si vous le souhaitez, les valeurs de hachage peuvent être transformées en valeurs telles que « Person 1», « Person 2» et « Person 3»; en écrivant des requêtes SQL pour cela dans les transformations de données.

Chargement des données à l'aide de CData Sync

La configuration du chargement des données à l'aide de CData Sync nécessite plusieurs étapes.

1. Configuration de la connexion source ;
2. Création de la connexion de destination SQL Server ;
3. Création d'une tâche ;
4. Appel de l'API d'ingestion de données ;
5. Exécution de la tâche.

Les étapes sont décrites en détail ci-dessous.

Créer une connexion source

Remarque :

Refer to the Configuring CData Sync page for your app template for specific settings for setting up the source connection.

Remarque :

Consultez la documentation de CData Sync pour connaître les paramètres ou les exigences spécifiques de votre système source.

Suivez les étapes suivantes pour créer la connexion source.

1. Dans la console d'administration CData Sync, créez une nouvelle connexion source pour votre système source.

   Remarque :

   Si votre système source ne figure pas dans la liste, vous pouvez cliquer sur + Ajouter plus (+ Add More) pour afficher une liste de tous les connecteurs CData Sync sources disponibles. Sélectionnez le connecteur de votre système source et cliquez sur Télécharger et installer (Download & Install).

2. Enter a descriptive name for the source connection in the Name field.

3. Entrez les propriétés requises pour configurer une connexion avec votre système source.

4. Créez et testez la connexion.

Configuration d'une connexion source pour les fichiers .csv ou .tsv

Si vous souhaitez configurer une connexion source pour les fichiers .csv ou .tsv, assurez-vous de :

• Sélectionnez CSV comme système source auquel vous souhaitez créer une connexion dans la liste.
• Définissez l' URI sur le chemin où les fichiers .csv ou .tsv sont stockés.
• Définissez le paramètre TypeConnexion correct. Utilisez Local lorsque les fichiers sont stockés sur le même serveur que CData Sync.
• Définissez FMT sur la valeur appropriée utilisée dans les fichiers de données.

Définissez les paramètres suivants dans l'onglet Avancé du panneau Paramètres de connexion pour vous assurer que les données sont correctement chargées dans Process Mining.

Section	Paramètre	Valeur (Value)
Autre	Exclude File Extensions	True
Autre	Include Files	Ajoutez ,TSV au paramètre si vous souhaitez télécharger .tsv fichiers
Schéma	Type Detection Scheme	None
Formatage des données	Envoyer les valeurs vides comme nulles	True

Retrieving the SQL Server database parameters

Pour configurer une connexion de destination SQL Server, vous avez besoin des paramètres de configuration suivants pour la base de données SQL Server.

• Server
• Database
• Schema
• Role

Voir Récupération des paramètres de la base de données SQL Server.

Créer une connexion de destination

Pour configurer une connexion de destination SQL Server, vous avez besoin des paramètres de configuration suivants pour la base de données SQL Server.

• Server
• Database
• Schema
• Role

Consultez Récupération des paramètres de la base de données SQL Server.

Suivez les étapes suivantes pour créer la connexion de destination SQL Server.

1. Définissez une nouvelle connexion de type SQL Server.

2. Enter a descriptive name for the destination connection. For example SQLServer_IM.

3. Configurez les paramètres pour vous connecter à votre base de données SQL Server à l’aide des informations d’identification de configuration de la base de données SQL Server récupérées

   Remarque :

   Le serveur doit être spécifié en tant que <Server>,<Port>.

   Remarque :

   L'utilisateur/le mot de passe doit être les informations d'identification SQL de l'utilisateur autorisé à écrire dans la base de données. ConsultezConfiguration d'un compte SQL Server pour le chargement de données à l'aide d'un extracteur. Le mot de passe ne peut pas contenir de point-virgule ;.

4. Créez et testez la connexion.

Création de la tâche d'extraction

Important :

Les données d'entrée doivent respecter le format requis pour le modèle d'application que vous utilisez pour créer votre application de processus. Voir Modèles d'applications.

Assurez-vous d'ajouter le suffixe _raw aux noms de table.

Suivez ces étapes pour créer la tâche d'extraction.

1. Click on JOBS in the menu bar and go to the Sources tab of the Add Connection panel.
2. Click on + Create Job... to add a new job.
3. Enter a descriptive name for the job in the Job Name field. For example, ServiceNow_to_SQLServer.
4. Select the source connection created in Step 1: Setting up the source connection the source connection from the Source list.
5. Select the SQL Server connection created in Step 3: Create destination connection from the Destination list.
6. Make sure the option Standard is selected as the Replication Type and click on +Create.
7. Click on +Add Tasks.
   • Sélectionnez toutes les tables sources dans la liste.
   • Click on Add.
8. Go to the Advanced tab in the Job Settings panel.
   • Localisez l’entrée Schéma de destination (Destination schema) et copiez le Schéma récupéré à l’étape 2 : Récupération des paramètres de la base de données SQL Server.
   • Select the Drop Table option to prevent the data to be appended to the table.
   • Enable the checkbox Enable Parallel Processing and enter 8in the Worker Pool field to improve loading speed.
   • Assurez-vous que l'Intervalle de réplication (Replication Interval) et l'Unité d'intervalle de réplication (Replication Interval Unit) sont définis de sorte que la période en résultant soit supérieure ou égale à la période d'extraction.
9. Click on Save Changes.

Appel de l'API d'ingestion de données

Suivez ces étapes pour modifier l'événement post-exécution afin d'appeler l'API d'ingestion de données.

1. Go to the Events tab in the Job Settings panel.

2. Modifiez la section Événement post-exécution (Post-Job Event) et ajoutez l'appel d'API d'ingestion en veillant à remplacer le serveur, l'organisation, le locataire et l'ID d'application Process Mining comme décrit ci-dessous.

   Remarque :

   Vous pouvez copier l' ID de l'application à partir de la liste Toutes les applications de processus dans le portail Process Mining. Assurez-vous de sélectionner ID dans la liste Colonnes .

   Remplacer (Replace)	Par votre
   my-uipath-server.com	Server
   default	Organisation
   defaulttenant	Locataire
   98dfd1d5-9e42-4f0e-9a0a-8945629f01b3	ID de l’application

   <api:set attr="http.url" value="https://my-uipath-server.com/default/defaulttenant/processMining_/api/v2/apps/98dfd1d5-9e42-4f0e-9a0a-8945629f01b3/transform/unauthenticated"/>
   <api:call op="httpPost" in="http"/>
   

   

3. Enregistrez vos modifications.

4. Click on JOBS in the menu bar and locate the destination job.

5. Click on the Run All Queries icon to check if the job runs correctly.

Informations de journalisation

Vous pouvez ajouter des instructions supplémentaires pour obtenir des informations de journalisation sur l'appel de l'API. Suivez ces étapes.

1. Ajoutez les instructions suivantes entre les lignes précédemment ajoutées à l'événement post-exécution.

   <api:set attr="http.verbosity" value="5"/>

   <api:set attr="http.logfile" value="D:/mydir/cdata_log.txt"/>

   Voir illustration ci-dessous.

   

2. Go to the Logging & History tab in the Job Settings panel.

3. Select Verbose from the Logfile Verbosity list box.

4. Exécutez la tâche et vérifiez le fichier journal créé.

Exécution de la tâche d'extraction CData Sync

Suivez ces étapes pour exécuter la tâche d'extraction.

1. Cliquez sur TÂCHES (JOBS) dans la barre de menus et localisez la tâche d'extraction créée à l'étape 4 : Création de la tâche d'extraction.

2. Click on the Run all queries icon. See the illustration below.

   

3. Attendez que la tâche soit terminée. Selon la quantité de données, cela peut prendre plusieurs minutes.

4. Accédez au portail Process Mining et vérifiez les dernières données d'ingestion de l'application de processus pour voir si le chargement des données a bien été effectué. Remarque : la date n'est mise à jour qu'une fois que toutes les données ont été traitées. Selon la quantité de données, cela peut prendre de quelques minutes à une heure.

Planification des tâches

Si vous souhaitez exécuter la tâche d'extraction à intervalle régulier, vous pouvez utiliser le planificateur de synchronisation CData pour définir une planification.

Suivez ces étapes pourplanifier une tâche d'extraction.

1. Open the CData Sync extraction job created in Step 4: Creating the extraction job.

2. Go to the Schedule tab in the Job Settings panel.

   

Reportez-vous à la documentation officielle de CData Sync pour en savoir plus sur la planification des tâches.