CData Sync を使用してデータを読み込む

注: このページの情報は、CData Sync 2022 - 22.0.8342.0 に基づいています。他のバージョンの CData Sync を使用する場合、フィールド名や関数が異なる場合があります。

はじめに

CData Sync は、ソース システムから Process Mining にデータを抽出するために使用するツールです。サポート対象のソース システムは、CData Sync の Web サイトの 「Sources」ページで確認できます。CData Sync について詳しくは、 CData Sync の公式 Web サイトをご覧ください。

このページでは、CData Sync を使用して、オンプレミスの Process Mining (Automation Suite) のプロセス アプリにソース システムからデータを読み込む方法について説明します。

前提条件

以下を前提条件とします。

• CData Sync の有効なライセンス。
• インストール済みの CData Sync。詳しくは、「CData Sync をインストールする」をご覧ください。
• 正しい権限を使用した SQL Server アクセスの設定。参照

  Setting up a SQL Server account for data upload using an extractor.

データを匿名化する

CData Sync を使用すると、抽出時にデータ フィールドを匿名化できます。こうすることで、機密データのフィールドをソースの時点でハッシュしてから Process Mining に届けることができます。データを匿名化するには、以下の手順に従います。

1. CData で、ジョブの目的のタスクに移動します。
2. クエリを編集します。
3. 匿名化する必要のある各フィールドに hashbytes() 関数を追加します。以下に例を示します。

   REPLICATE [SOURCE_TABLE] SELECT hashbytes('SHA2_256',[SOURCE_FIELD]) AS [DESTINATION_FIELD] FROM [SOURCE_TABLE];

これにより、すべての値が SHA2 256 でハッシュされます。詳しくは、「SHA-2」をご覧ください。必要に応じてデータ変換に SQL クエリを書き込むことで、ハッシュされた値を「Person 1」、「Person 2」、「Person 3」などの値に変換できます。

CData Sync を使用してデータを読み込む

CData Sync を使用したデータ読み込みを設定するには、いくつかの手順を実行する必要があります。

1. ソース接続を設定する
2. SQL Server の宛先の接続を作成する
3. ジョブを作成する
4. データ取り込み API を呼び出す
5. ジョブを実行します。

手順については、以下で詳しく説明します。

ソース接続を作成する

注: ソース接続を設定するための特定の設定については、アプリ テンプレートの「CData Sync を構成する」のページをご覧ください。

注: お使いのソース システムに固有の設定や要件については、CData Sync のドキュメントをご覧ください。

ソース接続を作成するには、以下の手順に従います。

1. CData Sync の管理コンソールで、ソース システムの新しいソース接続を作成します。

   注:

   ソース システムがリストに存在しない場合は、[+ Add More] をクリックして、利用可能なすべてのソースの CData Sync コネクタのリストを表示できます。お使いのソース システムのコネクタを選択し、[Download & Install] をクリックします。

2. [Name] フィールドに、ソース接続のわかりやすい名前を入力します。
3. ソース システムとの接続を設定するために必要なプロパティを入力します。
4. 接続を作成してテストします。

.csv または .tsv ファイルのソース接続を設定する

.csv または .tsv ファイルのソース接続を設定する場合は、必ず以下を行います。

• リストから接続を作成するソース システムとして、CSV を選択します。
• URI を、.csv または .tsv ファイルが保存されているパスに設定します。
• 正しい ConnectionType を設定します。ファイルを CData Sync と同じサーバーに保存する場合は、[Local] を使用します。
• FMT を、データ ファイルで使用される適切な値に設定します。

[Connection Settings] パネルの [Advanced] タブで次の設定を定義して、データが Process Mining に適切に読み込まれるようにします。

セクション	パラメーター	値 (Value)
その他	Exclude File Extensions	True
その他	Include Files	.tsv ファイルをアップロードする場合は、,TSV を設定に追加します。
スキーマ	Type Detection Scheme	None
Data Formatting	Push Empty Values As Null	True

SQL Server データベースのパラメーターを取得する

SQL Server の宛先の接続を設定するには、SQL Server データベースの次の設定パラメーターが必要です。

• Server
• Database
• Schema
• Role

「SQL Server データベースのパラメーターを取得する」をご覧ください。

宛先の接続を作成する

SQL Server の宛先の接続を設定するには、SQL Server データベースの次の設定パラメーターが必要です。

• Server
• Database
• Schema
• Role

「SQL Server データベースのパラメーターを取得する」をご覧ください。

SQL Server の宛先の接続を作成するには、以下の手順に従います。

1. Define a new connection of type SQL Server.
2. 宛先の接続の分かりやすい名前を入力します。例: SQLServer_IM。
3. 取得した SQL Server データベース設定の資格情報を使用して、SQL Server データベースに接続するための設定を構成します。
   注: [Server] は「<Server>,<Port>」の形式で指定する必要があります。
   Note: User / Password must be the SQL credentials of the user that has permissions to write into the database. See also Setting up a SQL Server account for data upload using an extractor. Password may not contain a semicolon ;.
4. 接続を作成してテストします。

以下の画像でご確認ください。

抽出ジョブを作成する

重要:

入力データは、プロセス アプリの作成に使用しているアプリ テンプレートで必要な形式を満たす必要があります。詳しくは、「アプリ テンプレート」をご覧ください。

必ずテーブル名にサフィックス _raw を追加してください。

抽出ジョブを作成するには以下の手順に従います。

1. メニュー バーの [JOBS] をクリックし、[Add Connection] パネルの [Sources] タブに移動します。
2. [+ Create Job...] をクリックして、新しいジョブを追加します。
3. [Job Name] フィールドに、ジョブのわかりやすい名前を入力します。例: ServiceNow_to_SQLServer。
4. 「手順 1: ソース接続を設定する」で作成したソース接続を [Source] リストから選択します。
5. 「手順 3: 宛先の接続を作成する」で作成した SQL Server 接続を [Destination] リストから選択します。
6. [Replication Type] として [Standard] オプションが選択されていることを確認し、[+Create] をクリックします。

7. [+Add Tasks] をクリックします。

   • リスト内のすべてのソース テーブルを選択します。
   • [追加] をクリックします。

8. [Job Settings] パネルの [Advanced] タブに移動します。

   • [Destination schema] のエントリを見つけて、「手順 2: SQL Server データベースのパラメーターを取得する」で取得したスキーマをコピーします。
   • データがテーブルに追加されないようにするには、[Drop Table] オプションを選択します。
   • Enable Parallel Processing チェックボックスをオンにし、[Worker Pool] フィールドに 8 と入力して読み込み速度を向上させます。
   • [Replication Interval] と [Replication Interval Unit] によって、結果の期間が抽出期間以上の長さに設定されることを確認します。
9. [Save Changes] をクリックします。

データ取り込み API を呼び出す

post-job イベントを編集してデータ取り込み API を呼び出すには、以下の手順に従います。

1. [Job Settings] パネルの [Events] タブに移動します。
2. [Post-Job Event] セクションを編集し、取り込み API 呼び出しを追加します。サーバー、組織、テナント、Process Mining アプリ ID の値を以下のように置き換えてください。
   注: Process Mining ポータルの [すべてのプロセス アプリ] リストからアプリ ID をコピーできます。[列] リストの ID を選択してください。

   置換	使用する値
   my-uipath-server.com	サーバー
   default	組織
   defaulttenant	テナント
   98dfd1d5-9e42-4f0e-9a0a-8945629f01b3	アプリ ID

   <api:set attr="http.url" value="https://my-uipath-server.com/default/defaulttenant/processMining_/api/v2/apps/98dfd1d5-9e42-4f0e-9a0a-8945629f01b3/transform/unauthenticated"/> 
   <api:call op="httpPost" in="http"/>

   
   

   

   
   
3. 変更を保存します。
4. メニュー バーの [JOBS] をクリックして、宛先のジョブを見つけます。
5. [Run All Queries] アイコンをクリックして、ジョブが正しく実行されているかどうかを確認します。

ログ情報

ステートメントを追加して、API 呼び出しのログ情報を取得できます。次の手順を実行します。

1. 先ほど [Post-Job Event] に追加した行の間に次のステートメントを追加します。

   <api:set attr="http.verbosity" value="5"/>

   <api:set attr="http.logfile" value="D:/mydir/cdata_log.txt"/>

   以下の画像でご確認ください。

   
   

   

   
   
2. [Job Settings] パネルの [Logging & History] タブに移動します。
3. [Logfile Verbosity] リスト ボックスから [Verbose] を選択します。
4. ジョブを実行し、作成されたログ ファイルを確認します。

CData Sync 抽出ジョブを実行する

抽出ジョブを実行するには以下の手順に従います。

1. メニュー バーの [JOBS] をクリックして、「手順 4: 抽出ジョブを作成する」で作成した抽出ジョブを見つけます。

2. [Run all queries] アイコンをクリックします。以下の画像に例を示します。

   
   

   

   
   
3. ジョブが完了するまで待ちます。データの量によっては、これに数分かかる場合があります。
4. Process Mining ポータルに移動し、プロセス アプリの [最終取り込み日] を確認して、データの読み込みが正常に完了したかどうかを確認します。注: 日付は、すべてのデータが処理された後にのみ更新されます。データの量によっては、これに数分から最大 1 時間ほどかかる場合があります。

ジョブをスケジュール設定する

抽出ジョブを定期的に実行する場合は、CData Sync Scheduler を使用してスケジュールを定義できます。

抽出ジョブのスケジュールを設定するには、以下の手順に従います。

1. 「手順 4: 抽出ジョブを作成する」で作成した CData Sync 抽出ジョブを開きます。

2. [Job Settings] パネルの [Schedule] タブに移動します。

   
   

   

   
   

ジョブのスケジュール方法について詳しくは、CData Sync の公式ドキュメントをご覧ください。