ローカルのテスト環境を設定する

はじめに

データ変換を編集するには、データエンジニアが編集やテストを行いやすいよう、ローカルのテスト環境をセットアップすることをお勧めします。

ローカルのテスト環境には、次のツール一式が含まれています。

ツール	使用状況
dbt	ローカルデータベースでデータ変換を実行するために使用します。
Visual Studio Code	データ変換の SQL コードを編集するために使用します。
SQL Server (Express Edition)	データ変換をテストするために使用します。
SQL Server Management Studio	ローカルデータベースのデータ変換の結果をレビューするために使用します。

Python の仮想環境を作成する

dbt をインストールする Python 仮想環境を作成することをお勧めします。変換専用のフォルダーの作成も、必ずではありませんがお勧めです。このフォルダーを使用して Python 仮想環境を作成することもできます。

手順	操作
1	Windows Explorer を開き、仮想環境を置くフォルダーを作成します。例: `C:\My_transformations`
2	Windows のコマンドプロンプトを開きます。

以下の手順で説明するコマンドを実行して、Python の仮想環境を作成します。

手順	操作	コマンド
1	Python パッケージ `virtualenv` をインストールします。	`py -m pip install virtualenv`
2	環境を作成するフォルダーに移動します。	`cd [path_to_your_folder]`たとえば `cd C:\My_transformations` です。
3	仮想環境を作成します (名前: `venv`)。	`py -m virtualenv venv`

dbt をインストールする

仮想環境がまだアクティブ化されていることを確認します。dbt をインストールして変換を実行するには、以下の手順に従います。

重要:

スクリプトの実行をシステムで有効化する必要があります。次の手順を実行します。

管理者モードで PowerShell を開きます。
コマンド「Set-ExecutionPolicy RemoteSigned」または「Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser」を入力します。
プロンプトが表示されたら「Y」と入力します。

手順	操作	コマンド
1	仮想環境をアクティブ化します。	`venv\Scripts\activate`
2	dbt パッケージをインストールします。	`pip install dbt-sqlserver==1.1.0`
3	インストールが成功したかどうかを確認します。	`dbt --version`

Visual Studio Code

Visual Studio Code は、データ変換の編集に推奨されるコードエディターです。

Visual Studio Code をインストールする

Visual Studio Code は、「Download Visual Studio Code」の Web ページからダウンロードできます。

拡張機能

Visual Studio Code をインストールしたら、dbt の作業を行いやすいよう、以下の拡張機能をインストールします。

Dbt Power User

Visual Studio Code に拡張機能をインストールするには、以下の手順に従います。

手順	操作
1	Visual Studio Code を起動します。
2	[Extensions] パネルに移動します (Ctrl+Shift+X)。以下の画像に例を示します。
3	[Search Extensions in Marketplace] テキストボックスに名前を入力して「dbt Power User」の拡張機能を検索します。
4	[インストール] をクリックします。

以下の画像でご確認ください。

Python のインタープリターパスを設定する

作成された仮想環境から Python を実行するには、Visual Studio コードでパスを設定する必要があります。

次の手順を実行します。

手順	操作
1	[File] > [Preference] > [Settings] に移動します。
2	Python を検索します。
3	[Default Interpreter Path] で、必ず `python.exe` へのパスを確認してください。これは次の場所に位置している必要があります。 `[path_to_your_folder]\venv\Scripts` フォルダー以下の画像で例をご確認ください。

Microsoft SQL Server

Microsoft SQL Server は、変換をテストするために必要なデータベースです。このデータベースサーバーは、Process Mining 製品の一部としては提供されていません。変換の編集とテストには、SQL Server Express も使用できます。Microsoft SQL Server Express は、Microsoft SQL Server の公式の Web ページからダウンロードできます。

注: 変換のテストは、小規模な開発データセットを使用して行うことをお勧めします。これにより、最小限の要件で SQL Server を使用してテストできます。利用可能な Microsoft SQL Server がない場合、またはローカルデスクトップマシンで変換をテストする場合は、Microsoft SQL Server Express の使用をお勧めします。

注:

既定では、SQL Server では大文字と小文字が区別されません。一方 Process Mining では大文字と小文字が区別されます。問題が発生しないように、ローカルの SQL Server データベースの挙動をこの挙動と一致するように変更することをお勧めします。これは、インストール時に適切な照合方法を設定することで達成できます。照合順序の既定値はお使いのロケールによって異なります。

照合順序で大文字と小文字が区別されるように変更するには、CI の部分を CS に置き換えます (例: Latin1_General_CI_AS を Latin1_General_CS_AS に変更します)。SQL Server が既にインストールされている場合は、「サーバーの照合順序の設定または変更」の指示に従って照合順序を更新してください。

最小要件

以下に、ローカル開発環境での SQL Server の最小要件の概要を示します。開発環境で 1000 万件を超えるレコードを使用する場合は、要件算出ツールを使用して SQL Server のシステム要件を計算してください。

入力	最小要件 (1000 万イベント)
バージョン	SQL Server 2019 以降
CPU	8 vCPU/コア (16 を推奨)
メモリ	32 GiB RAM
ディスク	レイテンシが低い専用のディスクの使用を推奨
データディスク	256 GiB
一時 DB	128 GiB