ローカル環境でデータ変換を編集する
はじめに
アプリ テンプレートからプロセス アプリを作成する際は、プロセス アプリで使用されているデータが、業務プロセスを正しい方法で反映していることを確認する必要があります。データ変換によって、Process Mining で使用されるデータをカスタマイズできます。
データ変換では、以下のことが可能です。
group by
とfilters
の新しいフィールドを追加する。例: 品質チェックの種類- イベントを追加する。例: 請求書の品質チェックの完了
- タグを追加する。例: SLA の達成に失敗、複数名確認違反
- KPI を計算するためのビジネス ロジックを追加する。例:
Case_has_maverick_buying
- 計算用の新しい入力フィールドを定義する。
変換をバージョン管理する
現在、本製品に変換コードのバージョン管理機能はありません。新しい変換をインポートすると、以前の変換は上書きされます。以前のバージョンの変換に戻すことはできません。前提条件
データ変換の編集を開始する際は、以下のことを強くお勧めします。
- SQL に精通している。
- データ抽出に使用するソース システムに精通している。
ツール
データ変換を編集するにはコード エディターが必要です。Visual Studio Code は、データ変換の編集に推奨されるコード エディターです。Visual Studio Code は、「Download Visual Studio Code」の Web ページからダウンロードできます。
編集した変換をプロセス アプリにインポートする前に、Process Mining の外部でデータ変換の実行とテストを行うことをお勧めします。データ変換を実行およびテストするには、ローカルのテスト環境が必要です。
詳しくは、「ローカルのテスト環境を設定する」をご覧ください。
変換をカスタマイズする
各プロセス アプリには、対応するデータ変換が一式あります。データ変換をカスタマイズするには、いくつかの手順を実行する必要があります。
-
プロセス アプリから変換をエクスポートします。
-
Visual Studio Code で変換を開きます。
-
変換を実行します*。
-
変換を編集します。
-
ローカルのテスト環境で変換をテストします*。
-
Process Mining のテスト プロセス アプリに変換をインポートしてテストします。
-
プロセス アプリに変換をインポートします。
* ローカルのテスト環境で変換を実行およびテストする (任意)
1. プロセス アプリから変換をエクスポートする
プロセス アプリから変換をエクスポートするには、以下の手順に従います。
手順 |
操作 |
---|---|
1 |
Process Mining ポータルを開きます。 |
2 |
[プロセス アプリ] タブに移動し、変換をエクスポートするアプリを見つけます。 |
3 |
変換をエクスポートするプロセス アプリの [アクション] 列で |
変換がエクスポートされ、既定のダウンロード フォルダーに .zip
ファイルとしてダウンロードされます。
2. Visual Studio Code で変換を開く
Visual Studio Code で変換を開くには、以下の手順に従います。
手順 |
アクション |
---|---|
1 |
Windows エクスプローラーで、仮想環境があるフォルダーに、エクスポートされる変換用のフォルダーを作成します。 たとえば、 |
2 |
エクスポートした変換の |
以下の画像で例をご確認ください。
手順 |
操作 |
---|---|
3 |
Visual Studio Code で [ファイル] -> [フォルダーを開く...] に移動し、解凍した変換を含むフォルダーを選択します。 |
以下の画像で例をご確認ください。
dbt プロジェクトが解釈されます。
日付と時刻の形式
Snowflake では、SQL Server と異なる日付と時刻の形式が使用されます。お使いのプロセス アプリの変換に日付や時刻の変数が定義されている場合は、dbt_project.yml
の日付と時刻の形式を、SQL Server で求められる形式に変更する必要があります。新しい変換を含む .zip
ファイルを作成する前には、日付と時刻の形式を Snowflake で求められる形式に戻す必要があります。
日付と時刻の形式が dbt_project.yml
ファイルで定義されていない場合は、既定値が使用されます。
SQL Server では日付と時刻は整数で定義され、Snowflake では文字列で定義されます。
SQL Server と Snowflake の異なるデータ形式 (既定) の概要を以下に示します。
変数 |
SQL Server の形式 |
Snowflake の形式 |
---|---|---|
|
23 |
'YYYY-MM-DD' |
|
14 |
'hh24:mi:ss.ff3' |
|
21 |
'YYYY-MM-DD hh24:mi:ss.ff3' |
以下の記事もご覧ください。
-
Snowflake を使用した変換の日付と時刻の形式については、Snowflake の公式ドキュメントをご覧ください。
-
SQL Server を使用した変換の日付と時刻の形式については、Microsoft SQL Server の公式ドキュメントをご覧ください。
3. 変換を実行する
変換の編集を開始する前に変換を実際に実行することをお勧めします。これにより、設定が適切であり、データが正しく読み込まれているかどうかを確認できます。
はじめる前に
変換を実行するには、以下の手順を実行する必要があります。
-
プロセス アプリ用の新しいデータベース スキーマを作成します。これは、Microsoft SQL Server Management Studio で行うことができます。次の手順を実行します。
手順
操作
1
Microsoft SQL Server Management Studio の [オブジェクト エクスプローラー] で、「データベース」フォルダー内の、お使いのデータベースのフォルダーに移動します。
2
[セキュリティ] を右クリックして、[新規作成] -> [スキーマ...] を選択します。
以下の画像でご確認ください。
詳しくは、 Microsoft の公式ドキュメントをご覧ください。
-
新しいスキーマにデータを読み込み、必要な入力テーブルがスキーマ内で利用可能であることを確認します。抽出器を使用してデータを読み込むか、Microsoft SQL Server Management Studio 内で
.csv
ファイルから直接データを読み込むことができます。次の手順を実行します。手順
操作
1
Microsoft SQL Server Management Studio の [オブジェクト エクスプローラー] で、「データベース」フォルダーから、お使いのデータベースを見つけます。
2
データベースの名前を右クリックして、[タスク] -> [フラット ファイルのインポート...] を選択します。
注: データ変換のテストには、小さいデータセットを使用することをお勧めします。データセットのレコード数が少ないほど、変換が高速で実行されます。
profiles.yml をセットアップする
Visual Studio Code で dbt プロジェクトを初めて開くと、新しい変換に対応するプロファイルが見つからないことを示す dbt メッセージが表示されます。以下の画像で例をご確認ください。
profiles.yml
ファイルをセットアップする必要があります。新しい変換では、新しいエントリを追加して profiles.yml
ファイルを拡張できます。
以下に profiles.yml
ファイルのテンプレートを示します。または、こちらのリンクをクリックして profiles.yml をダウンロードします。
my-app-template:
outputs:
default:
type: sqlserver
driver: 'ODBC Driver 17 for SQL Server'
server:
port:
user:
password:
database:
schema:
target: default
my-app-template:
outputs:
default:
type: sqlserver
driver: 'ODBC Driver 17 for SQL Server'
server:
port:
user:
password:
database:
schema:
target: default
手順 |
操作 |
---|---|
1 |
テキスト エディターを開きます。例: Notepad++。 |
2 |
上記のテンプレートの内容をコピーして貼り付けます。 |
3 |
例: |
3 |
ファイルを編集して、先ほど作成されたスキーマをファイルがポイントするよう設定します。 |
4 |
dbt プロジェクトが含まれていないフォルダーに たとえば、 |
5 |
|
schema_sources
変数として定義できます。
プロファイルの設定方法について詳しくは、dbt の公式ドキュメントをご覧ください。
変換を実行する
変換を実行するには、以下の手順に従います。
手順 |
操作 |
---|---|
1 |
Visual Studio Code で「models」フォルダーを右クリックし、コンテキスト メニューから [Open in Integrated Terminal] を選択します。 |
2 |
統合ターミナルのコマンド プロンプトで |
4. 変換を編集する
変換の編集に関するガイドラインは、「変換を編集する」と「SQL を記述するためのヒント」をご覧ください。
5. ローカルのテスト環境で変換をテストする
変換をテストするには、以下の手順に従います。
手順 |
操作 |
---|---|
1 |
Visual Studio Code の統合ターミナルで、コマンド プロンプトで |
2 |
SQL Server Management Studio のデータを確認して値を検証します。
|
エラーが発生せずに変換が実行され、データが正しくなるまで、ローカルのテスト環境で変換を編集およびテストします。
6. Process Mining のテスト プロセス アプリに変換をインポートしてテストする
元のプロセス アプリに変換をインポートする前に、Process Mining のテスト プロセス アプリで新しい変換を実行することを強くお勧めします。変換はローカルの SQL Server 環境でテストされるため、Snowflake で新しい変換を実行する際にエラーが発生する可能性があります。
「4. 変換を編集する」もご覧ください。
dbt_project.yml
の日付と時刻の形式を変更した場合は、新しい変換を含む .zip
ファイルを作成する前に、日付と時刻を Snowflake で求められる形式に戻す必要があります。
Process Mining 内のテスト プロセス アプリに変換をインポートしてテストするには、以下の手順に従います。
手順 |
操作 |
---|---|
1 |
Windows エクスプローラーで、変換が保存されているフォルダーに移動します。 例: |
2 |
Process Mining ポータルに移動し、プロセス アプリと同じアプリ テンプレートに基づいて新しいプロセス アプリを作成します。 |
3 |
[プロセス アプリ] タブで、テスト プロセス アプリを見つけます。 |
4 |
変換をインポートするプロセス アプリの [アクション] 列で |
5 |
新しい変換を含む |
6 |
ダッシュボードにデータが正しく表示されているかどうか確認します。 |
7. プロセス アプリに変換をインポートする
変換がインポートされると、新しい変換が自動的に実行されます。これにより、パブリッシュ済みのプロセス アプリに表示されるデータは直ちに影響を受けます。エラーの発生を防ぐために、個別のテスト プロセス アプリで新しい変換をテストすることを強くお勧めします (「手順 4: Process Mining のテスト プロセス アプリに変換をインポートしてテストする」をご覧ください)。
誤った変換を実行すると、パブリッシュ済みのアプリがエンド ユーザーに表示されなくなります。
カスタマイズ済みの変換をプロセス アプリにインポートするには、以下の手順に従います。
手順 |
操作 |
---|---|
1 |
Process Mining ポータルを開きます。 |
2 |
[プロセス アプリ] タブに移動し、データ変換をインポートするアプリを見つけます。 |
3 |
注: 新しい入力テーブルまたは既存のテーブルの新しい入力フィールドをデータ変換に追加した場合、データ変換をインポートする前に新しいデータセットをアップロードする必要があります。
変換をインポートするプロセス アプリの [アクション] 列で |
変換がインポートされた後に実行され、新しいデータがプロセス アプリに表示されます。