Loading data using CData Sync

Remarque : les informations de cette page sont basées sur CData Sync 2022 - 22.0.8342.0. Si vous utilisez une autre version de CData Sync, les noms de champs ou les fonctions peuvent être différents.

Introduction

CData Sync est un outil utilisé pour extraire des données des systèmes sources vers Process Mining. Les systèmes sources pris en charge sont disponibles sur la page Sources du site Web CData Sync. Reportez-vous au site Web officiel de CData Sync pour en savoir plus sur CData Sync.

Cette page explique comment utiliser CData Sync pour charger des données de votre système source vers une application de processus dans Process Mining local (Automation Suite).

Prérequis

Nous supposons que :

• une licence CData Sync valide.
• a installé CData Sync. Voir Installation de CData Sync.
• configuré l'accès à SQL Server avec les autorisations appropriées. Voir

  Configuration d'un compte SQL Server pour le chargement de données à l'aide d'un extracteur.

Pseudonymisation des données

À l'aide de CData Sync, les champs de données peuvent être pseudonymisés lors de l'extraction. De cette façon, les champs de données sensibles peuvent être hachés à la source avant qu'ils n'atteignent le produit Process Mining. Suivez ces étapes pour pseudonymiser les données.

1. Accédez à la tâche souhaitée d'un travail dans CData.
2. Modifiez la requête.
3. Ajoutez la fonction hashbytes() à chaque champ qui doit être pseudonymisé. Par exemple

   REPLICATE [SOURCE_TABLE] SELECT hashbytes('SHA2_256',[SOURCE_FIELD]) AS [DESTINATION_FIELD] FROM [SOURCE_TABLE];

De cette façon, toutes les valeurs seront hachées avec un hachage SHA2 256 . Pour plus d'informations, consultez SHA-2. Si vous le souhaitez, les valeurs hachées peuvent être transformées en valeurs telles que « Person 1 », « Person 2 », « Person 3 » en écrivant des requêtes SQL à cet effet dans les transformations de données.

Loading data using CData Sync

La configuration du chargement des données à l'aide de CData Sync nécessite plusieurs étapes.

1. Configuration de la connexion source ;
2. Création de la connexion de destination SQL Server ;
3. Création d'une tâche ;
4. Appel de l'API d'ingestion de données ;
5. Exécution de la tâche.

Les étapes sont décrites en détail ci-dessous.

Créer une connexion source

Remarque : consultez la page Configuration de la synchronisation CData pour votre modèle d'application pour connaître les paramètres spécifiques de configuration de la connexion source.

Remarque : Consultez la documentation CData Sync pour connaître les paramètres ou les exigences spécifiques à votre système source.

Suivez les étapes suivantes pour créer la connexion source.

1. Dans la console d'administration CData Sync, créez une nouvelle connexion source pour votre système source.

   Remarque :

   Si votre système source ne figure pas dans la liste, vous pouvez cliquer sur + Ajouter plus (+ Add More) pour afficher une liste de tous les connecteurs CData Sync sources disponibles. Sélectionnez le connecteur de votre système source et cliquez sur Télécharger et installer (Download & Install).

2. Saisissez un nom descriptif pour la connexion source dans le champ Nom.
3. Entrez les propriétés requises pour configurer une connexion avec votre système source.
4. Créez et testez la connexion.

Configuration d'une connexion source pour les fichiers .csv ou .tsv

Si vous souhaitez configurer une connexion source pour les fichiers .csv ou .tsv, assurez-vous de :

• Sélectionnez CSV comme système source auquel vous souhaitez créer une connexion dans la liste.
• Définissez l' URI sur le chemin où les fichiers .csv ou .tsv sont stockés.
• Définissez le type de connexionapproprié. Utilisez Local lorsque les fichiers sont stockés sur le même serveur que CData Sync.
• Définissez FMT sur la valeur appropriée utilisée dans les fichiers de données.

Définissez les paramètres suivants dans l'onglet Avancé (Advanced) du panneau Paramètres de connexion ( Connection Settings) pour vous assurer que les données sont correctement chargées dans Process Mining.

Section	Paramètre	Valeur (Value)
Autre	Exclude File Extensions	True
Autre	Include Files	Ajoutez ,TSV au paramètre si vous souhaitez télécharger .tsv fichiers
Schéma	Type Detection Scheme	None
Formatage des données	Envoyer les valeurs vides comme nulles	True

Créer une connexion de destination

Pour configurer une connexion de destination SQL Server, vous avez besoin des paramètres de configuration suivants pour la base de données SQL Server.

• Server
• Database
• Schema
• Role

Voir Récupération des paramètres de la base de données SQL Server.

Suivez les étapes suivantes pour créer la connexion de destination SQL Server.

1. Define a new connection of type SQL Server.
2. Saisissez une description de la connexion de destination. Par exemple SQLServer_IM.
3. Configurez les paramètres pour vous connecter à votre base de données SQL Server à l’aide des informations d’identification de configuration de la base de données SQL Server récupérées
   Remarque : Leserveur doit être spécifié en tant que <Server>,<Port>.
   Remarque : l' utilisateur/mot de passe doit être les informations d'identification SQL de l'utilisateur autorisé à écrire dans la base de données. Voir Configuration d'un compte SQL Server pour le chargement de données à l'aide d'un extracteur. Le mot de passe ne doit pas contenir de point-virgule ;.
4. Créez et testez la connexion.

Voir illustration ci-dessous.

Créer une tâche

Important :

Les données d'entrée doivent respecter le format requis pour le modèle d'application que vous utilisez pour créer votre application de processus. Voir Modèles d'applications.

Suivez ces étapes pour créer la tâche d'extraction.

1. Créez une nouvelle tâche de synchronisation CData.
2. Saisissez une description de la tâche dans le champ Nom de la tâche (Job Name). Par exemple, ServiceNow_vers_SQLServer.
3. Sélectionnez la connexion source créée à l'étape 1 : configuration de la connexion source dans la liste Source (Source).
4. Sélectionnez la connexion SQL Server créée à l'étape 3 : Créer une connexion de destination dans la liste Destination (Destination).
5. Assurez-vous que l'option Standard (Standard) est sélectionnée pour le Type de réplication (Replication Type) et cliquez sur +Créer (+Create).
6. Créez une requête personnalisée à l'aide des requêtes de réplication de votre modèle d'application.
   Astuce :

   Vous pouvez copier les requêtes de réplication à partir de la documentation de votre modèle d'application accessible depuis Modèles d'applications (App Templates).

7. Accédez à l'onglet Avancé (Advanced) dans le panneau Paramètres de la tâche ( Job Settings ).
   • Localisez l’entrée Schéma de destination (Destination schema) et copiez le Schéma récupéré à l’étape 2 : Récupération des paramètres de la base de données SQL Server.
   • Sélectionnez l'option Supprimer la table (Drop Table) pour empêcher l'ajout de données à la table.
   • Cochez la case Enable Parallel Processing et saisissez 8 dans le champ Pool de travail (Worker Pool) pour augmenter la vitesse de chargement.
   • Assurez-vous que l'intervalle de réplication ( Replicate Interval ) et l'unité d'intervalle de réplication (Replicate Interval Unit) sont définis de sorte que la période résultante soit égale ou supérieure à la période d'extraction. Par exemple, si vous souhaitez extraire des données pour une période d'un an, l'intervalle de réplication ( Replicate Interval ) et l'unité d'intervalle de réplication (Replicate Interval Unit) doivent refléter au moins une période d'un an.
8. Accédez à l'onglet Événements (Events) dans le panneau Paramètres de la tâche ( Job Settings ) et modifiez la section Événement post-exécution (Post-Job Event ) pour ajouter l'appel de code à l'API d'ingestion de données.
9. Enregistrez vos modifications.

Appel de l'API d'ingestion de données

Suivez ces étapes pour modifier l'événement post-exécution afin d'appeler l'API d'ingestion de données.

1. Accédez à l'onglet Événements (Events) dans le panneau Paramètres de la tâche (Job Settings).
2. Modifiez la section Événement post-exécution (Post-Job Event) et ajoutez l'appel d'API d'ingestion en veillant à remplacer le serveur, l'organisation, le locataire et l'ID d'application Process Mining comme décrit ci-dessous.
   Remarque : vous pouvez copier l'ID de l'application à partir de la liste Toutes les applications de processus (All process apps) dans le portail Process Mining. Assurez-vous de sélectionner ID (ID) dans la liste Colonnes (Columns).

   Remplacer (Replace)	Par votre
   my-uipath-server.com	Server
   default	Organisation
   defaulttenant	Locataire
   98dfd1d5-9e42-4f0e-9a0a-8945629f01b3	ID de l’application

   <api:set attr="http.url" value="https://my-uipath-server.com/default/defaulttenant/processMining_/api/v2/apps/98dfd1d5-9e42-4f0e-9a0a-8945629f01b3/transform/unauthenticated"/> 
   <api:call op="httpPost" in="http"/>

   
   

   

   
   
3. Enregistrez vos modifications.
4. Cliquez sur TÂCHES (JOBS) dans la barre de menus et localisez la tâche de destination.
5. Cliquez sur l'icône Exécuter toutes les requêtes (Run All Queries) pour vérifier que la tâche s'exécute correctement.

Informations de journalisation

Vous pouvez ajouter des instructions supplémentaires pour obtenir des informations de journalisation sur l'appel de l'API. Suivez ces étapes.

1. Ajoutez les instructions suivantes entre les lignes précédemment ajoutées à l'événement post-exécution.

   <api:set attr="http.verbosity" value="5"/>

   <api:set attr="http.logfile" value="D:/mydir/cdata_log.txt"/>

   Voir illustration ci-dessous.

   
   

   

   
   
2. Accédez à l'onglet Journalisation et historique ( Logging & History) dans le panneau Paramètres de la tâche ( Job Settings ).
3. Sélectionnez Détaillé (Verbose) dans la zone de liste Verbosité du fichier journal (Logfile Verbosity).
4. Exécutez la tâche et vérifiez le fichier journal créé.

Exécuter la tâche

Suivez ces étapes pour exécuter la tâche d'extraction.

1. Cliquez sur TÂCHES ( JOBS ) dans la barre de menus et localisez la tâche d'extraction créée.

2. Cliquez sur l'icône Exécuter toutes les requêtes (Run all queries). Voir l'illustration ci-dessous.

   
   

   

   
   
3. Attendez que la tâche soit terminée. Selon la quantité de données, cela peut prendre plusieurs minutes.
4. Accédez au portail Process Mining et vérifiez la date de Dernière ingestion (Last ingestion date ) de l'application de processus pour voir si le chargement des données s'est terminé avec succès.
   Remarque : la date n'est mise à jour qu'une fois que toutes les données ont été traitées. Selon la quantité de données, cela peut prendre de quelques minutes à une heure.

Planification des tâches

Si vous souhaitez exécuter la tâche d'extraction à intervalle régulier, vous pouvez utiliser le planificateur de synchronisation CData pour définir une planification.

Suivez ces étapes pourplanifier une tâche d'extraction.

1. Ouvrez la tâche d'extraction CData Sync créée à l'étape 4 : Création de la tâche d'extraction.

2. Accédez à l'onglet Planification (Schedule) dans le panneau Paramètres de la tâche (Job Settings).

   
   

   

   
   

Reportez-vous à la documentation officielle de CData Sync pour plus d'informations sur la planification des tâches.