通知を受け取る

UiPath Process Mining

UiPath Process Mining ガイド

CData Sync を使用してデータを読み込む

📘

注:

このページの情報は、CData Sync 2022 - 22.0.8342.0 に基づいています。他のバージョンの CData Sync を使用する場合、フィールド名や関数が異なる場合があります。

📘

注:

CData Sync を使用すると、データが BLOB ストアに読み込まれます。このため、Process Mining Cloud にデータを読み込む際には UiPath Automation Cloud によって IP アドレスを確認することができません。つまり、お使いのテナントに IP 制限が設定されている場合、信頼できる IP 範囲にないマシンから CData Sync でデータを読み込んだ場合でも制限が適用されず、データが Process Mining Cloud にアップロードされます。

はじめに

CData Sync is a tool that is used to extract data from source systems into Process Mining. The supported source systems can be found on the Sources page on the CData Sync website. Refer to the official CData Sync website for more information on CData Sync.

このページでは、CData Sync を使用して、Process Mining (Cloud) のプロセス アプリにソース システムからデータを読み込む方法について説明します。この操作を行うには、CData Sync 内に以下の 2 つのジョブが必要です。

JobDescription
Extraction jobused to extract the data from a source system into the Azure Blob store of a process app.
Marker file jobused to let UiPath Process Mining know that the extraction is finished.

ジョブを作成するには、CData Sync 内に以下の 3 つの接続が必要です。

ConnectionDescription
Source connectionconnection to the source system to load data from.
Destination connectionconnection to the Azure Blob store that belongs to the process app to load data into.
Marker file connectionconnection to load the marker file. Note that the marker file connection can be reused for other process apps as well.

以下の画像で概要をご確認ください。

1478

前提条件

以下を前提条件とします。

CData AzureBlobDestination プロバイダーのバージョン

🚧

注:

CData AzureBlobDestination プロバイダーのバージョン22.0.8348.0 以降である必要があります。バージョン番号は、「3. AzureBlob の宛先の接続を作成する」で CData SyncAzureBlob の宛先を選択すると表示されます。

CData AzureBlobDestination プロバイダーの古いバージョンがある場合は、必要なバージョンに更新できます。次の手順を実行します。

  1. このリンク (https://cdatabuilds.s3.amazonaws.com/support/SAPHA_8348_free.zip) から AzureBlobDestination の更新を含む .zip ファイルをダウンロードします。

  2. CData Sync の公式ドキュメントに移動し、「Install a Connector using the local file system」のセクションの説明に従ってください。

Pseudonymizing data

Using CData Sync, data fields can be pseudonymized during extraction. This way, sensitive data fields can be hashed at the source before it reaches the Process Mining product. Follow these steps to pseudonymize data.

  1. Go to the desired task of a job in CData.
  2. Edit the query.
  3. Add the hashbytes() function to each field that needs to be pseudonymized. For example
    REPLICATE [SOURCE_TABLE] SELECT hashbytes('SHA2_256',[SOURCE_FIELD]) AS [DESTINATION_FIELD] FROM [SOURCE_TABLE];
    This way, all values will be hashed with a SHA2 256 hash. For more information, see SHA-2. If desired, the hashed values can be transformed into values like "Person 1", "Person 2", "Person 3" by writing SQL queries for this in the data transformations.

CData Sync を使用してデータを読み込む

CData Sync を使用したデータ読み込みを設定するには、いくつかの手順を実行する必要があります。

  1. ソース接続を設定する
  2. マーカー ファイルのソース接続を設定する
  3. AzureBlob の宛先を設定する
  4. 抽出ジョブを作成する
  5. マーカー同期ジョブを作成する
  6. post-job イベントを編集してジョブをリンクする
  7. CData Sync 抽出ジョブを実行する

手順については、以下で詳しく説明します。

1: Setting up the source connection

📘

注:

ソース接続を設定するための特定の設定については、アプリ テンプレートの「CData Sync を構成する」のページをご覧ください。

ソース接続を設定するには、以下の手順に従います。

StepAction
1Click on Connections in the menu bar of the CData Sync Admin console and go to the Sources tab of the Add Connection panel.
2Select the source system to which you want to create a connection from the list.

Note: If your source system is not in the list you can click on + Add More to display a list of all available source CData Sync Connectors. Select the connector for your source system and click on Download & Install.
3Enter a descriptive name for the source connection in the Name field.
4Enter the required properties to set up a connection with your source system.
5Test the connection and save the connection.

.csv または .tsv ファイルのソース接続を設定する

.csv または .tsv ファイルからデータを読み込むためのソース接続を設定する場合は、必ず以下を行います。

  • リストから接続を作成するソース システムとして、CSV を選択します。
  • URI を、.csv または .tsv ファイルが保存されているパスに設定します。
  • FMTTabDelimited に設定します。

📘

注:

The CSV source connection can be set either using a local file path or an online document storage using the correct credentials.

  • FMTTabDelimited に設定します。

[Connection Settings] パネルの [Advanced] タブで、次の設定を定義します。

SectionParameterValue
OtherExclude File ExtensionsTrue
OtherInclude FilesAdd ,TSV to the setting if you want to upload .tsv files
SchemaType Detection SchemeNone
Data FormattingPush Empty Values As NullTrue

2: Setting up the marker file source connection

📘

注:

If you have already set up a marker source file connection for a loading data for another process app, you can re-use the marker file source connection and go to 3. Creating an AzureBlob destination connection.

マーカー ファイルのソース接続を設定するには、以下の手順に従います。

StepAction
1Download the static marker file marker.csv.
2Create a new folder on a file location accessible to the CData server (for example C:\marker) and save the file in this folder.
Make sure that the marker file is only file in the folder.
3Click on Connections in the menu bar of the CData Sync Admin console and go to the Sources tab of the Add Connection panel.
4Select CSV as the source for the connection.
5Enter a descriptive name for the source connection in the Name field. For example, Marker_source.
6Enter the absolute path to the directory where the marker.csv file is saved in the URI field, for example, C:/marker.
7Go to the Advanced tab.
• Locate the Other section and make sure Insert Mode is set to SingleFile.
8Click on Create & Test.

3: AzureBlob の宛先の接続を作成する

Azure BLOB の資格情報を設定する

AzureBlob Destination の接続を設定するには、AzureBlob に対して以下の設定用の資格情報が必要です。

  • container
  • azure shared access signature
  • account
    これらの資格情報は、抽出されたデータをアップロードする必要がある、Azure BLOB ストレージの URL にあります。
    See also Retrieving the credentials for the Azure Blob Storage.

以下に示すように、アップロード URL の設定パラメーターを定義します。

以下の表では、ダウンロード URI の例から取得したパラメーターを示しています。
https://pmdoctestcd.blob.core.windows.net/c7045b18-be6f-4534-2fba-0b1f42c1e6d3?sv=2020-06-10&si=sap-c7044b18-be8f-4534-8fba-0b2f42c1e7c7&sr=c&sig=cjknPMhIeHvaKtpMgNFmUVp7KHQirhR1m1WCMkCiZUg%3D

ParameterDescriptionExample
azure access signatureeverything after the question marksv=2020-06-10&si=sap-c7044b18-be8f-4534-8fba-0b2f42c1e7c7&sr=c&sig=cjknPMhIeHvaKtpMgNFmUVp7KHQirhR1m1WCMkCiZUg%3D
accountthe first part of the urlpmdoctestcd
containerthe app id, or the first guid in the urlc7045b18-be6f-4534-2fba-0b1f42c1e6d3

AzureBlob の宛先の接続を設定する

AzureBlob の宛先の接続を作成するには、以下の手順に従います。

StepAction
1Go to the Destinations tab in the Add Connection dialog and define a new connection of type AzureBlob.
2Check if CData AzureBlobDestination Provider CData AzureBlobDestination Provider is 22.0.8348.0 or higher. See also CData AzureBlobDestination Provider Version.
3Enter a descriptive name for the destination connection. For example, AzureBlob_IM.
4Enter the AzureBlob credential parameters retrieved from the upload url.
5Go to the Advanced tab.
• Locate the Miscellaneous section and set Insert Mode to SingleFile.
• Locate the Other section and set Include Column Headers to True.
6Test the connection and click on Create & Test to set up the connection.

以下の画像で例をご確認ください。

972

4: 抽出ジョブを作成する

抽出ジョブを作成するには以下の手順に従います。

📘

注:

入力データは、プロセス アプリの作成に使用しているアプリ テンプレートで必要な形式を満たす必要があります。詳しくは、「アプリ テンプレート」をご覧ください。

必ずテーブル名にサフィックス _raw を追加してください。

StepAction
1Click on JOBS in the menu bar and go to the Sources tab of the Add Connection panel.
2Click on +Create Job to add a new job.
3Enter a descriptive name for the job in the Job Name field. For example, ServiceNow_to_AzureBlob.
4Select the source connection created in 2: Setting up the source connection the source connection from the Source list.
5Select the AzureBlob connection created in 3: Create destination connection from the Destination list.
6Make sure the option Standard is selected as the Replication Type and click on Create.
7Click on +Add Tasks.
• Select all the source tables in the list.
• Click on Add.
8Go to the Advanced tab in the Job Settings panel.
• Select the Drop Table option to prevent the data from being appended to the table. See Incremental ingestion.
• Enable the checkbox Enable Parallel Processing and enter 8 in the Worker Pool field to improve loading speed.
• Make sure the Replication Interval and Replication Interval Unit are set so the resulting period is equal or larger than the extraction period.
9Click on Save Changes.

以下の画像で例をご確認ください。

616

5: マーカー ファイルの宛先のジョブを作成する

マーカー ファイルの宛先のジョブを作成するには、以下の手順に従います。

StepAction
1Click on +Create Job... to add a new job.
2Enter a descriptive name for the job in the Name field. For example, ServiceNow_ AzureBlob_marker_sync.
3Select the marker file source connection created in 2: Setting up the marker file source connection from the Source list.
4Select the AzureBlob connection created in 3: Create destination connection from the Destination list.
5In this created job, add all tables to be synced:

Click on Add custom query and enter the following query:
REPLICATE [marker/marker] SELECT * FROM [marker]

Click on Save.
6Click on Run to check if the job runs correctly.

以下の画像でご確認ください。

1324

6: post-job イベントを編集してジョブをリンクする

post-job イベントを編集して、抽出ジョブとマーカー ファイルの宛先のジョブをリンクさせる手順は、以下のとおりです。これにより、抽出ジョブが完了するとマーカー ファイルのジョブが実行されます。

StepAction
1Go to the JOBS tab and open the extraction job created in 4: Creating the extraction job.
1Go to the Events tab in the Job Settings panel.
2Edit the Post-Job Event section to add the code displayed below.

Note: set JobName value to actual name of the marker file job.
3Click on Save Changes.
<!-- Start Executing different Job -->
<api:set attr="job.JobName"        value="ServiceNow_ AzureBlob_marker_sync"/> 
<api:set attr="job.ExecutionType"  value="Run"/> 
<api:set attr="job.WaitForResults" value="true"/> 
<api:call op="syncExecuteJob" in="job"/>

以下の画像でご確認ください。

853

7: CData Sync 抽出ジョブを実行する

抽出ジョブを実行するには以下の手順に従います。

StepAction
1Click on JOBS in the menu bar and locate the extraction job created in 4: Creating the extraction job.
2Click on the Run all queries icon. See the illustration below.
3Wait until the job has finished. Depending on the amount of data, this can take several minutes.
4Go to the Process Mining portal and check the Last ingestion data for the process app to see if the data load has completed successfully.
Note: the date is only updated after all data has been processed. Depending on the amount of data, this might take several minutes up to an hour.
1418

ジョブをスケジュール設定する

抽出ジョブを定期的に実行する場合は、CData Sync Scheduler を使用してスケジュールを定義できます。
抽出ジョブのスケジュールを設定するには、以下の手順に従います。

StepAction
1Open the CData Sync extraction job created in 4: Creating the extraction job.
2Go to the Schedule tab in the Job Settings panel.
1695

Refer to the official CData Sync documentation for more information on how to schedule jobs.

複数のソース システムからデータを読み込む

CData Sync を使用して、複数の異なるソース システムから 1 つのプロセス アプリにデータを読み込むことができます。そのためには、複数の抽出ジョブを作成し、それぞれに対応するソース接続を設定する必要があります。各抽出ジョブが post-job イベントで次のジョブを呼び出して、すべてのジョブが 1 つずつ実行されるようにする必要があります。最後の抽出ジョブでマーカー ファイル ジョブを呼び出し、抽出が完了したことを通知する必要があります。以下の画像で概要をご確認ください。

1484

12 日前に更新

CData Sync を使用してデータを読み込む


改善の提案は、API リファレンスのページでは制限されています

改善を提案できるのは Markdown の本文コンテンツのみであり、API 仕様に行うことはできません。