Charger des données via Theobald Xtract Universal

Introduction

Cette page explique comment utiliser Theobald Xtract Universal (XU) pour charger des données de votre système source SAP dans une application de processus dans Process Mining (Automation Suite). Reportez-vous au site officiel de Theobald Software pour en savoir plus sur Theobald Xtract Universal.

Theobald Xtract Universal fournit des extractions et un accès rapides aux données des sources de données SAP ECC et SAP HANA. Pour obtenir des instructions générales sur l'utilisation de Theobald Xtract Universal, consultez la documentation officielle de Theobald Software Premiers pas avec Theobald Xtract Universal.

Prérequis

Nous supposons que :

• une licence Theobald Xtract Universal valide.
• a installé Theobald Xtract Universal. Consultez la documentation officielle de Theobald Software pour en savoir plus sur l’installation de Theobald Xtract Universal et sur la personnalisation du module de fonction pour l’extraction des tables dans SAP.

Remarque :

Le chargement des données à l'aide de Theobald Xtract Universal nécessite que l'outil de ligne de commande (xu.exe) puisse être exécuté sans authentification supplémentaire.

Configuration de Theobald Xtract Universal

Theobald Xtract Universal est l'outil d'extraction certifié SAP utilisé pour l'extraction de données à partir de systèmes sources SAP, s'intégrant à SAP via des appels de fonction à distance (RFC). Theobald Xtract Universal contient un module de fonction personnalisé en lecture seule qui doit être installé dans SAP. Utilisez le lien suivant pour télécharger le module personnalisé : Z_THEO_READ_TABLE-transport1.zip.

Remarque :

La licence est fournie via UiPath pour les besoins de Process Mining.

Suivez ces étapes pour configurer Theobald Xtract Universal.

1. Téléchargez la dernière version d'essai de Theobald Xtract Universal depuis notre site Web. Consultez Télécharger la version d'essai. Installez Theobald Xtract Universal sur un serveur/une machine virtuelle Windows.
2. Vérifiez si l'accès réseau de votre système SAP est ouvert. Consultez Ports TCP/IP SAP.
3. Accordez des droits d'utilisateur SAP pour accéder à l'instance SAP. Consultez Objets d'autorité - Droits d'utilisateur SAP pour table.
4. Les composants suivants de Theobald Xtract Universal nécessitent d'être personnalisés dans SAP : Z_THEO_READ_TABLE.
5. Configurez Theobald Xtract Universal pour le ou les modèles d'application requis. Voir Modèles d'applications.

Remarque :

Les étapes 2 à 4 nécessiteront la validation de votre équipe SAP.

Setup credentials for the SQL Server database

Uploading data to Process Mining (Automation Suite) requires access to the SQL Server database location to which the extracted data needs to be uploaded. To set up a SQL Server destination connection you need the following setup parameters to authenticate access to the SQL Server database location.

• Server
• Database
• Schema
• Role

Consultez Récupération des paramètres de la base de données SQL Server.

Chargement de données à l'aide de Theobald Xtract Universal

La configuration du chargement de données à l'aide de Theobald Xtract Universal nécessite plusieurs étapes.

1. Configurez l'utilisateur SQL pour télécharger les données ;
2. Importer les extractions de modèles ;
3. Configurer la source ;
4. Configurer la destination ;
5. Configurez le script d'extraction ;
6. Exécutez le script d'extraction.

Les étapes sont décrites en détail ci-dessous.

Configuration de l'utilisateur SQL pour télécharger les données

Chaque application de processus qui utilise l'option de téléchargement de données via l'extracteur a besoin d'un utilisateur SQL Server dédié disposant d'un accès spécifique au schéma associé à l'application de processus.

Suivez ces étapes.

Étape	Action	Syntaxe
1	Créez un identifiant. La connexion doit être créée dans la base de données principale.	CREATE LOGIN <SQL_login_name> WITH PASSWORD = '<Password>'
2	Créez un utilisateur de base de données pour l'identifiant. Cet utilisateur doit être créé dans la base de données AutomationSuite_ProcessMining_WareHouse.	CREATE USER <User_name> FOR LOGIN <SQL_login_name>
3	Affectez à l'utilisateur le rôle de base de données approprié.	SP_ADDROLEMEMBER <Role>, <User_name>
4	Définissez le schéma par défaut de l'utilisateur créé. Cette étape n'est requise que pour le chargement des données à l'aide de Theobald Xtract Universal.	ALTER USER <User_name> WITH DEFAULT_SCHEMA = <Schema>

Importation des extractions de modèles

Suivez ces étapes pour importer les extractions de modèles dans Theobald Xtract Universal.

Étape	Action
1	Accédez à la page Modèles d'applications et ouvrez la page de documentation de votre modèle d'application.
2	Localisez la section Chargement des données à l'aide de Theobald Xtract Universal et téléchargez le fichier XU_template_extractions_as.zip pour votre modèle d'application. Voir Modèles d'applications. Ce fichier XU_template_extractions_as.zip contient les dossiers destinations, extractions et sources.
3	Copiez les dossiers du fichier XU_template_extractions_as.zip téléchargé dans le dossier config de Xtract Universal. L'emplacement de ce dossier est [XU_installation_path] /config.
4	Ouvrez Xtract Universal Designer et cliquez sur le bouton Actualiser (Refresh) pour charger toutes les extractions.

Remarque :

Vous pouvez vous connecter à l'aide de l'utilisateur par défaut.

Une liste de toutes les extractions qui extraient une table du système SAP s'affiche. La source du modèle s'appelle SAP et la destination du modèle se nomme SQL Server.

Configuration de la source

Suivez ces étapes pour configurer la source SAP dans Theobald Xtract Universal.

Étape	Action
1	Accéder au serveur - Gérez les sources et modifiez la source SAP.
2	Renseignez les paramètres dans les onglets Général et Authentification pour vous connecter à votre système SAP.
3	Testez la connexion.

Configuration de la destination

Suivez ces étapes pour configurer la destination SQL Server dans Theobald Xtract Universal.

1. Aller au serveur : gérez les destinations et modifiez la destination SQL Server.
2. Remplissez les paramètres pour vous connecter à votre destination SQL Server.

Pour plus d'informations, consultez la section Récupération des paramètres de la base de données SQL Server .

Configuration du script d'extraction

Suivez ces étapes pour configurer le script d'extraction.

Étape	Action
1	Accédez à la page Modèles d'applications et ouvrez la page de documentation de votre modèle d'application.
2	Localisez la section Chargement des données à l'aide de Theobald Xtract Universal et téléchargez le fichier extract_theobald_as.zip pour votre modèle d'application. Ce fichier extract_theobald_as.zip contient le script extract_theobald.ps1 et le fichier config.json .
3	Décompressez le contenu du fichier extract_theobald_as.zip sur le serveur sur lequel Theobald Xtract Universal est installé.
4	Configurez les variables du script dans le config.json comme indiqué ci-dessous.

Variable	Description
xu_location	Le dossier d'installation universelle Xtract. Il s’agit du dossier où vous pouvez trouver le fichier xu.exe. Par exemple: C:\MyFolder.
xu_server	Adresse du serveur sur lequel Xtract Universal est installé. La valeur par défaut est localhost .
xu_port	Port du serveur sur lequel Xtract Universal est installé. Le port par défaut d'une installation est 8065 .
as_server	Partie de l'URL qui désigne le serveur sur lequel l'application est créée. Voir Récupération des paramètres de la base de données SQL Server.
as_organization	Partie de l'URL qui désigne l'organisation de l'application créée. Voir Récupération des paramètres de la base de données SQL Server.
as_tenant	La partie de l'URL qui désigne le locataire de l'application créée. Voir Récupération des paramètres de la base de données SQL Server.
as_app_ID	ID d'application de l'application créée.
extraction_start_date	Date de début à utiliser pour limiter les extractions. Seules les tables pour lesquelles un filtre de date est appliqué sont filtrées à cette date. Le format est YYYYMMDD. La valeur par défaut est Aucune limitation indiquée par la date de début 19700101. extraction_start_date doit comporter une valeur.
extraction_end_date	Date de fin à utiliser pour limiter les extractions. Seules les tables pour lesquelles un filtre de date est appliqué sont filtrées à cette date. Le format est YYYYMMDD. La valeur par défaut est Aucune limitation indiquée par la date de fin 20991231. extraction_end_date doit comporter une valeur.
language	La langue dans laquelle les données sont extraites du système source. La valeur par défaut est E.
exchange_rate_type	Le type de taux de change utilisé pour la conversion des devises. La valeur par défaut est M.

Exécuter le script d'extraction

Pour charger les données et les télécharger afin de les utiliser dans Process Mining, vous devez exécuter le fichier extract_theobald.ps1.

Le temps nécessaire pour cette tâche dépendra fortement du volume de données chargés.

Démarrage manuel du fichier

Suivez cette étape pour démarrer l'analyse des données.

Étape	Action
1	Exécutez le fichier extract_theobald.ps1 pour démarrer l'exécution des données.

L'analyse des données crée également un fichier journal qui peut être utile en cas de résultats inattendus ou en cas d'échec du chargement des données avec le téléchargeur de données. Le fichier extraction.log contient les journaux de la dernière analyse de données. Pour chaque extraction qui a échoué, un code de retour s'affiche. Consultez la documentation officielle de Theobald Software Appeler via la ligne de commande pour plus d’informations. Lorsqu'un élément de la configuration est incorrect, cela est mentionné dans le message d'erreur.

Planifier une tâche pour l'analyse des données

Au lieu d'exécuter le fichier manuellement, vous pouvez utiliser le Planificateur de tâches Windows et planifier une tâche exécutant le script batch pour les actualisations de données automatisées.

Remarque :

Il est recommandé de sélectionner le compte d'utilisateur SYSTEM local pour exécuter la tâche, et de sélectionner l'option Exécuter avec la priorité la plus élevée dans la fenêtre Créer une tâche lors de la création de la tâche dans le planificateur de tâches Windows.

Important :

Si vous ajoutez un intervalle pour lequel aucune donnée n'est disponible, les tableaux de bord afficheront un message d'erreur.

Lorsque l'extraction réussit, l'ingestion des données peut échouer en raison de l'extraction de certaines données défectueuses. Vous pouvez filtrer ces données à l'aide de Theobald Xtract Universal en utilisant la clause OÙ. Reportez-vous à la documentation officielle de Theobald pour en savoir plus sur la clause OÙ.

Remarque :

Si vous avez une clause WHERE qui utilise des variables (par exemple la date d'extraction), vous ne pouvez pas filtrer via l'IU.

Résolution des problèmes

L'analyse des données crée également un fichier journal qui peut être utile en cas de résultats inattendus ou en cas d'échec du chargement des données avec le téléchargeur de données. Le fichier extraction.log contient les journaux de la dernière analyse de données. Pour chaque extraction qui a échoué, un code de retour s'affiche. Consultez la documentation officielle de Theobald Software Appeler via la ligne de commande pour plus d’informations. Lorsqu'un élément de la configuration est incorrect, cela est mentionné dans le message d'erreur.

Problèmes d'extraction avec CDPOS pour les systèmes non-HANA

Dans certains systèmes plus anciens non HANA, CDPOS est une table de cluster et peut entraîner une erreur « Join with pool table » comme ci-dessous.

L'extraction de la table CDPOS inclut par défaut une jointure avec la table CDHDR pour limiter le nombre d'enregistrements à extraire. Suivez ces étapes pour surmonter cette erreur.

1. Modifiez l'extraction CDPOS dans Xtract Universal Designer pour supprimer le CDHDR des tables.

2. Remplacez le CDHDR~UDATE between @extraction_start_date and @extraction_end_date par :

   CHANGENR between @CHANGENR_min and @CHANGENR_max

3. Dans extract_theobald.ps1, remplacez &"$xu_location\xu.exe" -s "$xu_server" -p "$xu_port" -n "CDPOS" -o "extraction_start_date=$extraction_start_date" -o "extraction_end_date=$extraction_end_date" par le code affiché ci-dessous.

&"$xu_location\xu.exe" -s "$xu_server" -p "$xu_port" -n "CDHDR_CSV" -o "extraction_start_date=$extraction_start_date" -o "extraction_end_date=$extraction_end_date"
CheckExtractionError('CDHDR_CSV')
$CDHDR = Import-Csv -Path "$xu_location\<app_template_specific>output\CDHDR_CSV.csv" -Delimiter "`t"
$CDHDR_sorted = $CDHDR | Sort-Object -Property CHANGENR
$CHANGENR_min=$CDHDR_sorted.GetValue(0).CHANGENR
$CHANGENR_max=$CDHDR_sorted.GetValue($CDHDR_sorted.Count-1).CHANGENR
&"$xu_location\xu.exe" -s "$xu_server" -p "$xu_port" -n "CDPOS" -o "CHANGENR_min=$CHANGENR_min" -o "CHANGENR_max=$CHANGENR_max"

Remarque :

il s'agit d'un exemple générique, les noms de tables peuvent être différents pour votre modèle d'application.

Remarque :

Remplacez le dossier de sortie <app_template_specific> avec le dossier de sortie spécifié pour votre modèle d'application dans extract_theobald.ps1.

Autres problèmes d'extraction

Erreurs d'analyse

Lorsque l'extraction échoue avec une erreur d'analyse (par exemple Unexpected ')'), vérifiez la clause WHERE de l'extraction qui échoue. Assurez-vous que l'espacement entre parenthèses et les valeurs qu'elles contiennent sont corrects. Un formatage incohérent peut entraîner des problèmes d’analyse.

Par exemple, name in ('a', ‘b', ‘c’) doit être mis à jour vers name in ( ‘a’, ‘b’, ‘c’ )).

Après avoir corrigé la clause WHERE et enregistré l’extraction, réexécutez-la.

Metadata

Vous pouvez rencontrer des erreurs inattendues lors de l’extraction. Par exemple :

23,O2C_VBAK,2023-05-16_08:46:54.984,4,FinishedErrors,Error,LiveDataExtraction,Theobald.Extractors.Table.TheoReadTableException: Length of the field VBTYP not valid. Given length is 000002 . Length in SAP is 000008

Cela peut être dû au fait que les propriétés définies dans les extractions de modèles ne correspondent pas à votre système SAP.

Dans Theobald Xtract Universal, sélectionnez le bouton Actualiser les métadonnées pour mettre à jour les propriétés de métadonnées afin de refléter votre système SAP et vérifier si le problème est résolu.

Problèmes d’extraction incrémentiels

Si vous rencontrez un problème avec une extraction incrémentielle dans Theobald Xtract Universal, vous pouvez réinitialiser les paramètres incrémentiels en ouvrant l'extraction et en sélectionnant Supprimer les ressources CD.

Cela supprime l’enregistrement de la dernière extraction réussie. La prochaine fois que l'extraction s'exécutera, elle effectuera un chargement complet de la table. Les extractions suivantes s’exécuteront à nouveau incrémentielles.

Vous pouvez également utiliser cette option lors de la modification de la configuration d’extraction (par exemple lors de l’ajout d’un nouveau champ).

Problèmes de délai d’attente

Lors de l’extraction, vous pouvez rencontrer des problèmes de délai d’attente. Reportez-vous à la documentation SAP officielle pour connaître les paramètres de délai d’attente qui sont disponibles.

Clé en double

Lors du chargement de données à l'aide de Theobald Xtract Universal, le message d'erreur suivant peut s'afficher :

Cause possible

Un champ utilisé pour la clé primaire de la table n'est pas récupéré lors de l'extraction.

Solution

Pour résoudre ce problème, vous devez vérifier si tous les champs utilisés pour la clé primaire de la table sont récupérés dans l'extraction.

L'illustration suivante montre un exemple de la table EKKN . Pour cette table, la clé primaire n'est pas terminée, car le champ ZEKKN n'est pas récupéré. Le problème peut être résolu en s'assurant que ce champ soit également utilisé dans l'extraction.

Astuce :

Les clés primaires des tables SAP sont reconnaissables par le symbole de clé affiché devant le nom du champ.