ローカル環境でデータ変換を編集する

はじめに

アプリ テンプレートからプロセス アプリを作成する際は、プロセス アプリで使用されているデータが、業務プロセスを正しい方法で反映していることを確認する必要があります。データ変換によって、Process Mining で使用されるデータをカスタマイズできます。

データ変換では、以下のことが可能です。

• group by と filters の新しいフィールドを追加する。例: 品質チェックの種類
• イベントを追加する。例: 請求書の品質チェックの完了
• タグを追加する。例: SLA の達成に失敗、複数名確認違反
• KPI を計算するためのビジネス ロジックを追加する。例: Case_has_maverick_buying
• 計算用の新しい入力フィールドを定義する。

変換をバージョン管理する

現在、本製品に変換コードのバージョン管理機能はありません。新しい変換をインポートすると、以前の変換は上書きされます。以前のバージョンの変換に戻すことはできません。

注: 変更を加える場合は、コードの以前のバージョンをローカルにコピーしておくことをお勧めします。変更を追跡するには、ローカル マシン上の変換を Git や SVN などのバージョン管理システムでバージョン管理できます。これにより、バージョン管理システムを使用して以前のバージョンにロールバックし、必要に応じてその変換を製品にインポートできます。

前提条件

データ変換の編集を開始する際は、以下のことを強くお勧めします。

• SQL に精通している。
• データ抽出に使用するソース システムに精通している。

ツール

データ変換を編集するにはコード エディターが必要です。Visual Studio Code は、データ変換の編集に推奨されるコード エディターです。Visual Studio Code は、「Download Visual Studio Code」の Web ページからダウンロードできます。

編集した変換をプロセス アプリにインポートする前に、Process Mining の外部でデータ変換の実行とテストを行うことをお勧めします。データ変換を実行およびテストするには、ローカルのテスト環境が必要です。

詳しくは、「ローカルのテスト環境を設定する」をご覧ください。

変換をカスタマイズする

各プロセス アプリには、対応するデータ変換が一式あります。データ変換をカスタマイズするには、いくつかの手順を実行する必要があります。

1. プロセス アプリから変換をエクスポートします。

2. Visual Studio Code で変換を開きます。

3. 変換を実行します*。

4. 変換を編集します。

5. ローカルのテスト環境で変換をテストします*。

6. Process Mining のテスト プロセス アプリに変換をインポートしてテストします。

7. プロセス アプリに変換をインポートします。

* ローカルのテスト環境で変換を実行およびテストする (任意)

1. プロセス アプリから変換をエクスポートする

プロセス アプリから変換をエクスポートするには、以下の手順に従います。

手順	操作
1	Process Mining ポータルを開きます。
2	[プロセス アプリ] タブに移動し、変換をエクスポートするアプリを見つけます。
3	変換をエクスポートするプロセス アプリの [アクション] 列で アイコンをクリックし、[変換をエクスポート] を選択します。

変換がエクスポートされ、既定のダウンロード フォルダーに .zip ファイルとしてダウンロードされます。

2. Visual Studio Code で変換を開く

Visual Studio Code で変換を開くには、以下の手順に従います。

手順	アクション
1	Windows エクスプローラーで、仮想環境があるフォルダーに、エクスポートされる変換用のフォルダーを作成します。 たとえば、C:\My_transformations\TemplateOne-MultiFiles です。
2	エクスポートした変換の .zip ファイルをそのフォルダーに解凍します。

以下の画像で例をご確認ください。

手順	操作
3	Visual Studio Code で [ファイル] -> [フォルダーを開く...] に移動し、解凍した変換を含むフォルダーを選択します。

以下の画像で例をご確認ください。

dbt プロジェクトが解釈されます。

日付と時刻の形式

重要:

Snowflake では、SQL Server と異なる日付と時刻の形式が使用されます。お使いのプロセス アプリの変換に日付や時刻の変数が定義されている場合は、dbt_project.yml の日付と時刻の形式を、SQL Server で求められる形式に変更する必要があります。新しい変換を含む .zip ファイルを作成する前には、日付と時刻の形式を Snowflake で求められる形式に戻す必要があります。

日付と時刻の形式が dbt_project.yml ファイルで定義されていない場合は、既定値が使用されます。

SQL Server では日付と時刻は整数で定義され、Snowflake では文字列で定義されます。

SQL Server と Snowflake の異なるデータ形式 (既定) の概要を以下に示します。

変数	SQL Server の形式	Snowflake の形式
date_format	23	'YYYY-MM-DD'
time_format	14	'hh24:mi:ss.ff3'
datetime_format	21	'YYYY-MM-DD hh24:mi:ss.ff3'

以下の記事もご覧ください。

• Snowflake を使用した変換の日付と時刻の形式については、Snowflake の公式ドキュメントをご覧ください。

• SQL Server を使用した変換の日付と時刻の形式については、Microsoft SQL Server の公式ドキュメントをご覧ください。

3. 変換を実行する

重要: 変換のテストが適用されるのは、Process Mining の外のローカルのテスト環境で変換を実行する場合のみです。

変換の編集を開始する前に変換を実際に実行することをお勧めします。これにより、設定が適切であり、データが正しく読み込まれているかどうかを確認できます。

はじめる前に

変換を実行するには、以下の手順を実行する必要があります。

• プロセス アプリ用の新しいデータベース スキーマを作成します。これは、Microsoft SQL Server Management Studio で行うことができます。次の手順を実行します。

  手順	操作
  1	Microsoft SQL Server Management Studio の [オブジェクト エクスプローラー] で、「データベース」フォルダー内の、お使いのデータベースのフォルダーに移動します。
  2	[セキュリティ] を右クリックして、[新規作成] -> [スキーマ...] を選択します。

以下の画像でご確認ください。

詳しくは、 Microsoft の公式ドキュメントをご覧ください。

• 新しいスキーマにデータを読み込み、必要な入力テーブルがスキーマ内で利用可能であることを確認します。抽出器を使用してデータを読み込むか、Microsoft SQL Server Management Studio 内で .csv ファイルから直接データを読み込むことができます。次の手順を実行します。

  手順	操作
  1	Microsoft SQL Server Management Studio の [オブジェクト エクスプローラー] で、「データベース」フォルダーから、お使いのデータベースを見つけます。
  2	データベースの名前を右クリックして、[タスク] -> [フラット ファイルのインポート...] を選択します。

  注: データ変換のテストには、小さいデータセットを使用することをお勧めします。データセットのレコード数が少ないほど、変換が高速で実行されます。

profiles.yml をセットアップする

Visual Studio Code で dbt プロジェクトを初めて開くと、新しい変換に対応するプロファイルが見つからないことを示す dbt メッセージが表示されます。以下の画像で例をご確認ください。

注: 変換の編集を開始するには、最初に Microsoft SQL Server のデータベースに接続される profiles.yml ファイルをセットアップする必要があります。新しい変換では、新しいエントリを追加して profiles.yml ファイルを拡張できます。

以下に profiles.yml ファイルのテンプレートを示します。または、こちらのリンクをクリックして profiles.yml をダウンロードします。

my-app-template:
  outputs:
    default:
      type: sqlserver
      driver: 'ODBC Driver 17 for SQL Server'
      server: 
      port: 
      user: 
      password: 
      database: 
      schema: 
      
  target: default

手順	操作
1	テキスト エディターを開きます。例: Notepad++。
2	上記のテンプレートの内容をコピーして貼り付けます。
3	my-app-template を dbt_project.yml に表示される profile の名前に置き換えます。 例: uipathTemplateOne 以下の画像に例を示します。
3	ファイルを編集して、先ほど作成されたスキーマをファイルがポイントするよう設定します。
4	dbt プロジェクトが含まれていないフォルダーに profiles.yml ファイルを保存します (以下のスクリーンショットを参照)。 たとえば、C:\My_transformations です。
5	profiles.yml ファイルを含むフォルダーのファイル パスを使用して、DBT_PROFILES_DIR という環境変数を作成します。

注: 既定では、ソース データは変換が実行されるスキーマに保存されます。ソース テーブルが別のスキーマ内にある場合は、このスキーマを schema_sources 変数として定義できます。

プロファイルの設定方法について詳しくは、dbt の公式ドキュメントをご覧ください。

変換を実行する

変換を実行するには、以下の手順に従います。

手順	操作
1	Visual Studio Code で「models」フォルダーを右クリックし、コンテキスト メニューから [Open in Integrated Terminal] を選択します。
2	統合ターミナルのコマンド プロンプトで dbt build と入力します。

4. 変換を編集する

変換の編集に関するガイドラインは、「変換を編集する」と「SQL を記述するためのヒント」をご覧ください。

5. ローカルのテスト環境で変換をテストする

重要: 変換のテストが適用されるのは、Process Mining の外のローカルのテスト環境で変換をテストする場合のみです。

変換をテストするには、以下の手順に従います。

手順	操作
1	Visual Studio Code の統合ターミナルで、コマンド プロンプトで dbt build と入力します。
2	SQL Server Management Studio のデータを確認して値を検証します。 テーブルを右クリックして、[Select top 1000 rows] を選択します。 必要に応じて、必要な結果を取得できるようにクエリを変更します。

エラーが発生せずに変換が実行され、データが正しくなるまで、ローカルのテスト環境で変換を編集およびテストします。

6. Process Mining のテスト プロセス アプリに変換をインポートしてテストする

元のプロセス アプリに変換をインポートする前に、Process Mining のテスト プロセス アプリで新しい変換を実行することを強くお勧めします。変換はローカルの SQL Server 環境でテストされるため、Snowflake で新しい変換を実行する際にエラーが発生する可能性があります。

「4. 変換を編集する」もご覧ください。

重要: Snowflake では、SQL Server と異なる日付および時刻の形式が使用されます。SQL Server で変換のテストを行うために dbt_project.yml の日付と時刻の形式を変更した場合は、新しい変換を含む .zip ファイルを作成する前に、日付と時刻を Snowflake で求められる形式に戻す必要があります。

Process Mining 内のテスト プロセス アプリに変換をインポートしてテストするには、以下の手順に従います。

手順	操作
1	Windows エクスプローラーで、変換が保存されているフォルダーに移動します。 例: C:\My_transformations\TemplateOne-MultiFiles。新しい .zip ファイルに変換を追加します。
2	Process Mining ポータルに移動し、プロセス アプリと同じアプリ テンプレートに基づいて新しいプロセス アプリを作成します。
3	[プロセス アプリ] タブで、テスト プロセス アプリを見つけます。
4	変換をインポートするプロセス アプリの [アクション] 列で アイコンをクリックし、[変換をインポート] を選択します。
5	新しい変換を含む .zip ファイルを選択し、[OK] をクリックします。
6	ダッシュボードにデータが正しく表示されているかどうか確認します。

7. プロセス アプリに変換をインポートする

重要:

変換がインポートされると、新しい変換が自動的に実行されます。これにより、パブリッシュ済みのプロセス アプリに表示されるデータは直ちに影響を受けます。エラーの発生を防ぐために、個別のテスト プロセス アプリで新しい変換をテストすることを強くお勧めします (「手順 4: Process Mining のテスト プロセス アプリに変換をインポートしてテストする」をご覧ください)。

誤った変換を実行すると、パブリッシュ済みのアプリがエンド ユーザーに表示されなくなります。

カスタマイズ済みの変換をプロセス アプリにインポートするには、以下の手順に従います。

手順	操作
1	Process Mining ポータルを開きます。
2	[プロセス アプリ] タブに移動し、データ変換をインポートするアプリを見つけます。
3	注: 新しい入力テーブルまたは既存のテーブルの新しい入力フィールドをデータ変換に追加した場合、データ変換をインポートする前に新しいデータセットをアップロードする必要があります。 変換をインポートするプロセス アプリの [アクション] 列で アイコンをクリックし、[変換をインポート] を選択します。

変換がインポートされた後に実行され、新しいデータがプロセス アプリに表示されます。