Running a SQL connector

Introduction

Cette page contient des instructions sur l'exécution d'un connecteur SQL à l'aide de scripts.

Prérequis

run.ps1 et load.ps1 doivent être exécutés sur le même serveur que l'installation Process Mining pour la production. Les scripts extraction_cdata.ps1 et transform.ps1 peuvent également être exécutés à partir d'autres emplacements.

On suppose que :

• les outils de développement décrits dans Configuration d'un environnement de test local sont installés.

• le connecteur SQL est configuré comme décrit dans Configuration d'un connecteur SQL.

  Remarque : le répertoire scripts/ du connecteur contient un ensemble de scripts standard pour exécuter et planifier l'extraction, la transformation et le chargement des données.

Exécution d'un connecteur

Suivez ces étapes pour exécuter un connecteur, extraire, transformer et charger les données.

Étape	Action
1	Démarrez Windows PowerShell en tant qu'administrateur.
2	Accédez au répertoire scripts/ .
3	Exécutez run.ps1 .

Exécution de l'extraction uniquement

Suivez ces étapes pour exécuter uniquement l’extraction.

Étape	Action
1	Démarrez Windows PowerShell.
2	Accédez au répertoire scripts/ .
3	Exécutez extraction_cdata.ps1 .

Remarque : si votre connecteur n'utilise pas CData Sync pour l'extraction de données, le nom du extraction_ script sera différent.

Exécution de transformations uniquement

Suivez ces étapes pour exécuter uniquement les étapes de transformation.

Étape	Action
1	Démarrez Windows PowerShell.
2	Accédez au répertoire scripts/ .
3	Exécutez transform.ps1 .

Chaque étape de transformation peut également être exécutée individuellement.

Charge en cours d'exécution uniquement

Suivez ces étapes pour exécuter uniquement les étapes de chargement.

Étape	Action
1	Démarrez Windows PowerShell en tant qu'administrateur.
2	Accédez au répertoire scripts/ .
3	Exécutez load.ps1 .

Erreurs de débogage

Un fichier journal LogFile.log est créé lors de l'exécution des scripts. Ce fichier journal contient toutes les étapes de l'exécution de la tâche et les horodatages associés. Le fichier journal renvoie également un ensemble minimal de codes d'erreur, qui peuvent donner des indications supplémentaires.

Charger

Pour plus de détails sur la génération du cache, vérifiez cache_generation_output.log qui est généré dans le répertoire dans lequel se trouve votre script de chargement.

Extractions CData

Pour plus de détails sur les exécutions de tâches CData Sync, accédez à votre instance CData Sync et consultez l’onglet Journalisation et historique de votre tâche. Voir l'illustration ci-dessous.

Pour consigner plus de détails, définissez la Verbosité du fichier journal sur Verbose et exécutez à nouveau le script d'extraction extraction_cdata.ps1 .

Vous trouverez ci-dessous un aperçu des codes de retour d'une tâche CData Sync.

Code	Description du journal
0	Extraction RÉUSSIE pour la tâche.
-1	ÉCHEC de l'extraction pour la tâche.
-2	Échec de l’extraction. Vérifiez vos paramètres ou consultez l’onglet Journalisation et historique de votre tâche.

Transformations

Le fichier journal renvoie également un ensemble de codes d'erreur du script de transformation. Vous trouverez ci-dessous un aperçu des codes d’erreur.

Code	Description du journal
-1	Échec général dbt run ou dbt test . Cela signifie qu'il y a un problème avec l'installation actuelle ou la configuration. Consultez le LogFile.log pour plus de détails.
0*	L'invocation dbt s'est terminée sans erreur.
1*	L'invocation dbt s'est terminée avec au moins une erreur gérée (par exemple erreur de syntaxe du modèle, autorisations incorrectes, etc.). L’exécution est terminée, mais certains modèles ont peut-être été ignorés. LogFile.log contient des informations supplémentaires indiquant si l'erreur s'est produite dans la phase dbt run ou dans la phase dbt test .
2*	L'invocation dbt s'est terminée avec une erreur non gérée (par exemple, une interruption du réseau).

* 0, 1 et 2 sont des codes retour spécifiques à dbt. Consultez la documentation officielle de dbt sur les codes de sortie.

Débogage de grands projets Dbt

Si l'exécution de la transformation prend beaucoup de temps, response.txt dans le répertoire scripts/ peut être inspecté. Celui-ci contient les réponses en temps réel de dbt. Une fois que dbt test ou dbt run ont été complétés, les informations sont ajoutées au LogFile.log et le fichier temporaire est supprimé.

Planification des extractions de données

Il est également possible de planifier des extractions de données à intervalle régulier. Voir Planification de l'extraction des données.