注:
このページの情報は、CData Sync 2022 - 22.0.8342.0 に基づいています。他のバージョンの CData Sync を使用する場合、フィールド名や関数が異なる場合があります。
注:
CData Sync を使用すると、データが BLOB ストアに読み込まれます。このため、Process Mining Cloud にデータを読み込む際には UiPath Automation Cloud によって IP アドレスを確認することができません。つまり、お使いのテナントに IP 制限が設定されている場合、信頼できる IP 範囲にないマシンから CData Sync でデータを読み込んだ場合でも制限が適用されず、データが Process Mining Cloud にアップロードされます。
はじめに
CData Sync is a tool that is used to extract data from source systems into Process Mining. The supported source systems can be found on the Sources page on the CData Sync website. Refer to the official CData Sync website for more information on CData Sync.
このページでは、CData Sync を使用して、Process Mining (Cloud) のプロセス アプリにソース システムからデータを読み込む方法について説明します。この操作を行うには、CData Sync 内に以下の 2 つのジョブが必要です。
| Job | Description |
|---|---|
| Extraction job | used to extract the data from a source system into the Azure Blob store of a process app. |
| Marker file job | used to let UiPath Process Mining know that the extraction is finished. |
ジョブを作成するには、CData Sync 内に以下の 3 つの接続が必要です。
| Connection | Description |
|---|---|
| Source connection | connection to the source system to load data from. |
| Destination connection | connection to the Azure Blob store that belongs to the process app to load data into. |
| Marker file connection | connection to load the marker file. Note that the marker file connection can be reused for other process apps as well. |
以下の画像で概要をご確認ください。
前提条件
以下を前提条件とします。
- CData Sync の有効なライセンス。
- installed CData Sync. See Installing CData Sync
CData AzureBlobDestination プロバイダーのバージョン
注:
CData AzureBlobDestination プロバイダーのバージョンは 22.0.8348.0 以降である必要があります。バージョン番号は、「3. AzureBlob の宛先の接続を作成する」で CData Sync で AzureBlob の宛先を選択すると表示されます。
CData AzureBlobDestination プロバイダーの古いバージョンがある場合は、必要なバージョンに更新できます。次の手順を実行します。
-
このリンク (https://cdatabuilds.s3.amazonaws.com/support/SAPHA_8348_free.zip) から
AzureBlobDestinationの更新を含む.zipファイルをダウンロードします。 -
CData Sync の公式ドキュメントに移動し、「Install a Connector using the local file system」のセクションの説明に従ってください。
Pseudonymizing data
Using CData Sync, data fields can be pseudonymized during extraction. This way, sensitive data fields can be hashed at the source before it reaches the Process Mining product. Follow these steps to pseudonymize data.
- Go to the desired task of a job in CData.
- Edit the query.
- Add the
hashbytes()function to each field that needs to be pseudonymized. For example
REPLICATE [SOURCE_TABLE] SELECT hashbytes('SHA2_256',[SOURCE_FIELD]) AS [DESTINATION_FIELD] FROM [SOURCE_TABLE];
This way, all values will be hashed with a SHA2 256 hash. For more information, see SHA-2. If desired, the hashed values can be transformed into values like "Person 1", "Person 2", "Person 3" by writing SQL queries for this in the data transformations.
CData Sync を使用してデータを読み込む
CData Sync を使用したデータ読み込みを設定するには、いくつかの手順を実行する必要があります。
- ソース接続を設定する
- マーカー ファイルのソース接続を設定する
- AzureBlob の宛先を設定する
- 抽出ジョブを作成する
- マーカー同期ジョブを作成する
- post-job イベントを編集してジョブをリンクする
- CData Sync 抽出ジョブを実行する
手順については、以下で詳しく説明します。
1: Setting up the source connection
注:
ソース接続を設定するための特定の設定については、アプリ テンプレートの「CData Sync を構成する」のページをご覧ください。
ソース接続を設定するには、以下の手順に従います。
| Step | Action |
|---|---|
| 1 | Click on Connections in the menu bar of the CData Sync Admin console and go to the Sources tab of the Add Connection panel. |
| 2 | Select the source system to which you want to create a connection from the list. Note: If your source system is not in the list you can click on + Add More to display a list of all available source CData Sync Connectors. Select the connector for your source system and click on Download & Install. |
| 3 | Enter a descriptive name for the source connection in the Name field. |
| 4 | Enter the required properties to set up a connection with your source system. |
| 5 | Test the connection and save the connection. |
.csv または .tsv ファイルのソース接続を設定する
.csv または .tsv ファイルのソース接続を設定する.csv または .tsv ファイルからデータを読み込むためのソース接続を設定する場合は、必ず以下を行います。
- リストから接続を作成するソース システムとして、CSV を選択します。
- URI を、
.csvまたは.tsvファイルが保存されているパスに設定します。 - FMT を
TabDelimitedに設定します。
注:
The
CSVsource connection can be set either using a local file path or an online document storage using the correct credentials.
- FMT を
TabDelimitedに設定します。
[Connection Settings] パネルの [Advanced] タブで、次の設定を定義します。
| Section | Parameter | Value |
|---|---|---|
| Other | Exclude File Extensions | True |
| Other | Include Files | Add ,TSV to the setting if you want to upload .tsv files |
| Schema | Type Detection Scheme | None |
| Data Formatting | Push Empty Values As Null | True |
2: Setting up the marker file source connection
注:
If you have already set up a marker source file connection for a loading data for another process app, you can re-use the marker file source connection and go to 3. Creating an AzureBlob destination connection.
マーカー ファイルのソース接続を設定するには、以下の手順に従います。
| Step | Action |
|---|---|
| 1 | Download the static marker file marker.csv. |
| 2 | Create a new folder on a file location accessible to the CData server (for example C:\marker) and save the file in this folder.Make sure that the marker file is only file in the folder. |
| 3 | Click on Connections in the menu bar of the CData Sync Admin console and go to the Sources tab of the Add Connection panel. |
| 4 | Select CSV as the source for the connection. |
| 5 | Enter a descriptive name for the source connection in the Name field. For example, Marker_source. |
| 6 | Enter the absolute path to the directory where the marker.csv file is saved in the URI field, for example, C:/marker. |
| 7 | Go to the Advanced tab. • Locate the Other section and make sure Insert Mode is set to SingleFile. |
| 8 | Click on Create & Test. |
3: AzureBlob の宛先の接続を作成する
Azure BLOB の資格情報を設定する
AzureBlob Destination の接続を設定するには、AzureBlob に対して以下の設定用の資格情報が必要です。
containerazure shared access signatureaccount
これらの資格情報は、抽出されたデータをアップロードする必要がある、Azure BLOB ストレージの URL にあります。
See also Retrieving the credentials for the Azure Blob Storage.
以下に示すように、アップロード URL の設定パラメーターを定義します。
例
以下の表では、ダウンロード URI の例から取得したパラメーターを示しています。
https://pmdoctestcd.blob.core.windows.net/c7045b18-be6f-4534-2fba-0b1f42c1e6d3?sv=2020-06-10&si=sap-c7044b18-be8f-4534-8fba-0b2f42c1e7c7&sr=c&sig=cjknPMhIeHvaKtpMgNFmUVp7KHQirhR1m1WCMkCiZUg%3D
| Parameter | Description | Example |
|---|---|---|
azure access signature | everything after the question mark | sv=2020-06-10&si=sap-c7044b18-be8f-4534-8fba-0b2f42c1e7c7&sr=c&sig=cjknPMhIeHvaKtpMgNFmUVp7KHQirhR1m1WCMkCiZUg%3D |
account | the first part of the url | pmdoctestcd |
container | the app id, or the first guid in the url | c7045b18-be6f-4534-2fba-0b1f42c1e6d3 |
AzureBlob の宛先の接続を設定する
AzureBlob の宛先の接続を作成するには、以下の手順に従います。
| Step | Action |
|---|---|
| 1 | Go to the Destinations tab in the Add Connection dialog and define a new connection of type AzureBlob. |
| 2 | Check if CData AzureBlobDestination Provider CData AzureBlobDestination Provider is 22.0.8348.0 or higher. See also CData AzureBlobDestination Provider Version. |
| 3 | Enter a descriptive name for the destination connection. For example, AzureBlob_IM. |
| 4 | Enter the AzureBlob credential parameters retrieved from the upload url. |
| 5 | Go to the Advanced tab. • Locate the Miscellaneous section and set Insert Mode to SingleFile.• Locate the Other section and set Include Column Headers to True. |
| 6 | Test the connection and click on Create & Test to set up the connection. |
以下の画像で例をご確認ください。
4: 抽出ジョブを作成する
抽出ジョブを作成するには以下の手順に従います。
注:
入力データは、プロセス アプリの作成に使用しているアプリ テンプレートで必要な形式を満たす必要があります。詳しくは、「アプリ テンプレート」をご覧ください。
必ずテーブル名にサフィックス
_rawを追加してください。
| Step | Action |
|---|---|
| 1 | Click on JOBS in the menu bar and go to the Sources tab of the Add Connection panel. |
| 2 | Click on +Create Job to add a new job. |
| 3 | Enter a descriptive name for the job in the Job Name field. For example, ServiceNow_to_AzureBlob. |
| 4 | Select the source connection created in 2: Setting up the source connection the source connection from the Source list. |
| 5 | Select the AzureBlob connection created in 3: Create destination connection from the Destination list. |
| 6 | Make sure the option Standard is selected as the Replication Type and click on Create. |
| 7 | Click on +Add Tasks. • Select all the source tables in the list. • Click on Add. |
| 8 | Go to the Advanced tab in the Job Settings panel. • Select the Drop Table option to prevent the data from being appended to the table. See Incremental ingestion. • Enable the checkbox Enable Parallel Processing and enter 8 in the Worker Pool field to improve loading speed.• Make sure the Replication Interval and Replication Interval Unit are set so the resulting period is equal or larger than the extraction period. |
| 9 | Click on Save Changes. |
以下の画像で例をご確認ください。
5: マーカー ファイルの宛先のジョブを作成する
マーカー ファイルの宛先のジョブを作成するには、以下の手順に従います。
| Step | Action |
|---|---|
| 1 | Click on +Create Job... to add a new job. |
| 2 | Enter a descriptive name for the job in the Name field. For example, ServiceNow_ AzureBlob_marker_sync. |
| 3 | Select the marker file source connection created in 2: Setting up the marker file source connection from the Source list. |
| 4 | Select the AzureBlob connection created in 3: Create destination connection from the Destination list. |
| 5 | In this created job, add all tables to be synced: Click on Add custom query and enter the following query: REPLICATE [marker/marker] SELECT * FROM [marker]Click on Save. |
| 6 | Click on Run to check if the job runs correctly. |
以下の画像でご確認ください。
6: post-job イベントを編集してジョブをリンクする
post-job イベントを編集して、抽出ジョブとマーカー ファイルの宛先のジョブをリンクさせる手順は、以下のとおりです。これにより、抽出ジョブが完了するとマーカー ファイルのジョブが実行されます。
| Step | Action |
|---|---|
| 1 | Go to the JOBS tab and open the extraction job created in 4: Creating the extraction job. |
| 1 | Go to the Events tab in the Job Settings panel. |
| 2 | Edit the Post-Job Event section to add the code displayed below. Note: set JobName value to actual name of the marker file job. |
| 3 | Click on Save Changes. |
<!-- Start Executing different Job -->
<api:set attr="job.JobName" value="ServiceNow_ AzureBlob_marker_sync"/>
<api:set attr="job.ExecutionType" value="Run"/>
<api:set attr="job.WaitForResults" value="true"/>
<api:call op="syncExecuteJob" in="job"/>
以下の画像でご確認ください。
7: CData Sync 抽出ジョブを実行する
抽出ジョブを実行するには以下の手順に従います。
| Step | Action |
|---|---|
| 1 | Click on JOBS in the menu bar and locate the extraction job created in 4: Creating the extraction job. |
| 2 | Click on the Run all queries icon. See the illustration below. |
| 3 | Wait until the job has finished. Depending on the amount of data, this can take several minutes. |
| 4 | Go to the Process Mining portal and check the Last ingestion data for the process app to see if the data load has completed successfully. Note: the date is only updated after all data has been processed. Depending on the amount of data, this might take several minutes up to an hour. |
ジョブをスケジュール設定する
抽出ジョブを定期的に実行する場合は、CData Sync Scheduler を使用してスケジュールを定義できます。
抽出ジョブのスケジュールを設定するには、以下の手順に従います。
| Step | Action |
|---|---|
| 1 | Open the CData Sync extraction job created in 4: Creating the extraction job. |
| 2 | Go to the Schedule tab in the Job Settings panel. |
Refer to the official CData Sync documentation for more information on how to schedule jobs.
複数のソース システムからデータを読み込む
CData Sync を使用して、複数の異なるソース システムから 1 つのプロセス アプリにデータを読み込むことができます。そのためには、複数の抽出ジョブを作成し、それぞれに対応するソース接続を設定する必要があります。各抽出ジョブが post-job イベントで次のジョブを呼び出して、すべてのジョブが 1 つずつ実行されるようにする必要があります。最後の抽出ジョブでマーカー ファイル ジョブを呼び出し、抽出が完了したことを通知する必要があります。以下の画像で概要をご確認ください。
12 日前に更新