ローカル環境でデータ変換を編集する

はじめに

注:

It is strongly recommended to customize data transformations from within Process Mining using the Data Transformations editor. Check out Data transformations for more information on how to customize data transformations from within Process Mining.

このページでは、Process Mining の外でデータ変換をカスタマイズする方法について説明します。

アプリ テンプレートからプロセス アプリを作成する際は、プロセス アプリで使用されているデータが、業務プロセスを正しい方法で反映していることを確認する必要があります。データ変換によって、Process Mining で使用されるデータをカスタマイズできます。

データ変換では、以下のことが可能です。

• グループ化やフィルターの新しいフィールドを追加する。例: 品質チェックの種類

• イベントを追加する。例: 請求書の品質チェックの完了

• タグを追加する。例: SLA の達成に失敗、複数名確認違反

• KPI を計算するためのビジネス ロジックを追加する。例: Case_has_maverick_buying

• 計算用の新しい入力フィールドを定義する。

データ変換エディター

Process Mining 内でデータ変換を使用して変換をカスタマイズするか、Process Mining から変換をエクスポートし、ローカルのテスト環境を使用して編集およびテストすることができます。

注:

Process Mining のデータ変換エディターを使用して変換を編集する場合、ローカルの開発環境は必要ありません。

変換をバージョン管理する

現在、本製品に変換コードのバージョン管理機能はありません。新しい変換をインポートすると、以前の変換は上書きされます。以前のバージョンの変換に戻すことはできません。

注: 変更を加える場合は、コードの以前のバージョンをローカルにコピーしておくことをお勧めします。変更を追跡するには、ローカル マシン上の変換を Git や SVN などのバージョン管理システムでバージョン管理できます。これにより、バージョン管理システムを使用して以前のバージョンにロールバックし、必要に応じてその変換を製品にインポートできます。

前提条件

データ変換の編集を開始する際は、以下のことを強くお勧めします。

• SQL に精通している。
• データ抽出に使用するソース システムに精通している。

権限

データ変換をカスタマイズするには、プロセス アプリに対する変換の編集権限が必要です。

Check out Managing access for process apps.

ツール

データ変換を編集するにはコード エディターが必要です。Visual Studio Code は、データ変換の編集に推奨されるコード エディターです。Visual Studio Code は、「Download Visual Studio Code」の Web ページからダウンロードできます。

編集した変換をプロセス アプリにインポートする前に、Process Mining の外部でデータ変換の実行とテストを行うことをお勧めします。データ変換を実行およびテストするには、ローカルのテスト環境が必要です。

Check out Setting up a local test environment.

変換をカスタマイズする

各プロセス アプリには、対応するデータ変換が一式あります。データ変換をカスタマイズするには、いくつかの手順を実行する必要があります。

1. プロセス アプリから変換をエクスポートします。

2. Visual Studio Code で変換を開きます。

3. 変換を実行します*。

4. 変換を編集します。

5. ローカルのテスト環境で変換をテストします*。

6. Process Mining のテスト プロセス アプリに変換をインポートしてテストします。

7. プロセス アプリに変換をインポートします。

* ローカルのテスト環境で変換を実行およびテストする (任意)

1. プロセス アプリから変換をエクスポートする

Refer to Exporting transformations.

2. Visual Studio Code で変換を開く

Visual Studio Code で変換を開くには、以下の手順に従います。

手順	アクション
1	Windows エクスプローラーで、仮想環境があるフォルダーに、エクスポートされる変換用のフォルダーを作成します。 たとえば、C:\My_transformations\TemplateOne-MultiFiles です。
2	エクスポートした変換の .zip ファイルをそのフォルダーに解凍します。

次の図に例を示します。

手順	操作
3	Visual Studio Code で [ファイル] -> [フォルダーを開く...] に移動し、解凍した変換を含むフォルダーを選択します。

次の図に例を示します。

dbt プロジェクトが解釈されます。

日付と時刻の形式

重要:

Snowflake では、SQL Server と異なる日付と時刻の形式が使用されます。お使いのプロセス アプリの変換に日付や時刻の変数が定義されている場合は、dbt_project.yml の日付と時刻の形式を、SQL Server で求められる形式に変更する必要があります。新しい変換を含む .zip ファイルを作成する前には、日付と時刻の形式を Snowflake で求められる形式に戻す必要があります。

日付と時刻の形式が dbt_project.yml ファイルで定義されていない場合は、既定値が使用されます。

SQL Server では日付と時刻は整数で定義され、Snowflake では文字列で定義されます。

The following table describes the different (default) formats for SQL Server and Snowflake.

変数	SQL Server の形式	Snowflake の形式
date_format	23	'YYYY-MM-DD'
time_format	14	'hh24:mi:ss.ff3'
datetime_format	21	'YYYY-MM-DD hh24:mi:ss.ff3'

詳しくは、以下をご覧ください。

• Snowflake を使用した変換の日付と時刻の形式については、Snowflake の公式ドキュメントをご覧ください。

• SQL Server を使用した変換の日付と時刻の形式については、Microsoft SQL Server の公式ドキュメントをご覧ください。

3. 変換を実行する

重要: 変換のテストが適用されるのは、Process Mining の外のローカルのテスト環境で変換を実行する場合のみです。

変換の編集を開始する前に変換を実際に実行することをお勧めします。これにより、設定が適切であり、データが正しく読み込まれているかどうかを確認できます。

はじめる前に

変換を実行するには、以下の手順を実行する必要があります。

• プロセス アプリ用の新しいデータベース スキーマを作成します。これは、Microsoft SQL Server Management Studio で行うことができます。次の手順を実行します。

  手順	操作
  1	Microsoft SQL Server Management Studio の [オブジェクト エクスプローラー] で、「データベース」フォルダー内の、お使いのデータベースのフォルダーに移動します。
  2	[セキュリティ] を右クリックして、[新規作成] -> [スキーマ...] を選択します。

次の図に、SQL Server の認証ウィンドウを示します。

詳しくは、Microsoft の公式ドキュメントをご覧ください。

• 新しいスキーマにデータを読み込み、必要な入力テーブルがスキーマ内で利用可能であることを確認します。抽出器を使用してデータを読み込むか、Microsoft SQL Server Management Studio 内で .csv ファイルから直接データを読み込むことができます。次の手順を実行します。

  手順	操作
  1	Microsoft SQL Server Management Studio の [オブジェクト エクスプローラー] で、「データベース」フォルダーから、お使いのデータベースを見つけます。
  2	データベースの名前を右クリックして、[タスク] -> [フラット ファイルのインポート...] を選択します。

  注: データ変換のテストには、小さいデータセットを使用することをお勧めします。データセットのレコード数が少ないほど、変換が高速で実行されます。

profiles.yml をセットアップする

Visual Studio Code で dbt プロジェクトを初めて開くと、新しい変換に対応するプロファイルが見つからないことを示す dbt メッセージが表示されます。次の図に例を示します。

注: 変換の編集を開始するには、最初に Microsoft SQL Server のデータベースに接続される profiles.yml ファイルをセットアップする必要があります。新しい変換では、新しいエントリを追加して profiles.yml ファイルを拡張できます。

The following code block contains a template for the profiles.yml file, or click the link to download the template: profiles.yml.

my-app-template:
  outputs:
    default:
      type: sqlserver
      driver: 'ODBC Driver 17 for SQL Server'
      server: 
      port: 
      user: 
      password: 
      database: 
      schema: 
      encrypt:
      trust_cert:
      
  target: default

手順	操作
1	テキスト エディターを開きます。例: Notepad++。
2	上記のテンプレートの内容をコピーして貼り付けます。
3	my-app-template を dbt_project.yml に表示される profile の名前に置き換えます。 例: uipathTemplateOne
3	ファイルを編集して、先ほど作成されたスキーマをファイルがポイントするよう設定します。
4	Save the profiles.yml file in the folder that does not contain a dbt project たとえば、C:\My_transformations です。
5	profiles.yml ファイルを含むフォルダーのファイル パスを使用して、DBT_PROFILES_DIR という環境変数を作成します。

注: 既定では、ソース データは変換が実行されるスキーマに保存されます。ソース テーブルが別のスキーマ内にある場合は、このスキーマを schema_sources 変数として定義できます。

Refer to the official dbt documentation for more information on how to configure your profile.

変換を実行する

変換を実行するには、以下の手順に従います。

手順	操作
1	Visual Studio Code で「models」フォルダーを右クリックし、コンテキスト メニューから [Open in Integrated Terminal] を選択します。
2	統合ターミナルのコマンド プロンプトで dbt build と入力します。

4. 変換を編集する

For guidelines on editing transformation refer to Transformations and Tips for writing SQL.

5. ローカルのテスト環境で変換をテストする

重要: 変換のテストが適用されるのは、Process Mining の外のローカルのテスト環境で変換をテストする場合のみです。

変換をテストするには、以下の手順に従います。

手順	操作
1	Visual Studio Code の統合ターミナルで、コマンド プロンプトで dbt build と入力します。
2	SQL Server Management Studio のデータを確認して値を検証します。 テーブルを右クリックして、[Select top 1000 rows] を選択します。 必要に応じて、必要な結果を取得できるようにクエリを変更します。

エラーが発生せずに変換が実行され、データが正しくなるまで、ローカルのテスト環境で変換を編集およびテストします。

6. Process Mining のテスト プロセス アプリに変換をインポートしてテストする

元のプロセス アプリに変換をインポートする前に、Process Mining のテスト プロセス アプリで新しい変換を実行することを強くお勧めします。変換はローカルの SQL Server 環境でテストされるため、Process Mining で新しい変換を実行する際にエラーが発生する可能性があります。

Check out 4. Edit the transformations.

重要: Snowflake では、SQL Server と異なる日付および時刻の形式が使用されます。SQL Server で変換のテストを行うために dbt_project.yml の日付と時刻の形式を変更した場合は、新しい変換を含む .zip ファイルを作成する前に、日付と時刻を Snowflake で求められる形式に戻す必要があります。

Process Mining 内のテスト プロセス アプリに変換をインポートしてテストするには、以下の手順に従います。

手順	操作
1	Windows エクスプローラーで、変換が保存されているフォルダーに移動します。 例: C:\My_transformations\TemplateOne-MultiFiles。新しい .zip ファイルに変換を追加します。
2	Process Mining ポータルに移動し、プロセス アプリと同じアプリ テンプレートに基づいて新しいプロセス アプリを作成します。
3	テスト プロセス アプリに変換をインポートします。
4	ダッシュボードにデータが正しく表示されているかどうか確認します。

7. プロセス アプリに変換をインポートする

重要:

When the transformations are imported the new transformations are automatically run. This will immediately affect the data displayed in the published process app. It is strongly recommended to test the new transformations in a separate test process app to prevent any errors (refer to Step 6: Import and test the transformations in a test process app in Process Mining).

誤った変換を実行すると、パブリッシュ済みのアプリがエンド ユーザーに表示されなくなります。

Check out Importing transformations.