Setting up a local test environment

简介

要编辑数据转换，建议使用本地测试设置，以改善数据工程师的编辑和测试体验。

本地测试环境包括以下工具集。

工具	用法
数据库	在本地数据库上执行数据转换。
Visual Studio 代码	以编辑数据转换的 SQL 代码。
SQL Server（快捷版）	用于测试数据转换。
SQL Server Management Studio	用于查看本地数据库中数据转换的结果。

先决条件

要安装并运行dbt项目，您需要 Python 3.9。 您可以从 Python 官方网站下载Python 3.9 。

Create a Python virtual environment

建议创建一个 Python 虚拟环境，您将在其中安装 dbt。 为转换创建专用文件夹是一种很好的做法。 您还可以使用此文件夹创建 Python 虚拟环境。

步骤	操作
1	打开 Windows 资源管理器，然后创建一个文件夹，用于存放您的虚拟环境。 例如C:\My_transformations 。
2	打开 Windows 命令提示符。

运行以下步骤中描述的命令以创建 Python 虚拟环境。

步骤	操作	命令
1	安装 Python 包virtualenv 。	py -m pip install virtualenv
2	转到要在其中创建环境的文件夹。	cd [path_to_your_folder]。例如 cd C:\My_transformations。
3	创建虚拟环境（名为venv ）。	py -m virtualenv venv

安装 Dbt

确保虚拟环境仍处于激活状态。 请按照以下步骤安装 dbt 以运行转换。

重要提示：

必须在系统上启用正在运行的脚本。 请按照以下步骤操作：

1. 以管理员模式打开 Powershell。

2. 输入命令 Set-ExecutionPolicy RemoteSigned 或 Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser。

3. 出现提示时，输入 Y。

步骤	操作	命令
1	激活虚拟环境。	venv\Scripts\activate
2	安装 dbt 包	pip install dbt-sqlserver==1.1.0
3	检查是否安装成功	dbt --version

Visual Studio 代码

Visual Studio Code 是推荐用于编辑数据转换的代码编辑器。

安装 Visual Studio 代码

您可以从“下载 Visual Studio 代码网页”下载 Visual Studio 代码。

扩展程序

安装 Visual Studio Code 后，请安装以下扩展程序，以便更轻松地使用 dbt：

• Dbt 超级用户

请按照以下步骤在 Visual Studio Code 中安装扩展程序。

步骤	操作
1	启动 Visual Studio Code
2	转到“扩展程序” 面板 (CTRL+SHIFT+X)。 请参见下图。
3	通过在“ 在市场中搜索扩展程序” 文本框中键入名称来搜索dbt 超级用户扩展程序。
4	单击“安装”。

请参见下图。

设置 Python 解释器路径

要从已创建的虚拟环境运行 Python，需要在 Visual Studio Code 中设置路径。

请执行以下步骤：

步骤	操作
1	转到“ 文件” >“首选项” >“设置”。
2	搜索 Python。
3	在“ 默认解释器路径”中，确保选中python.exe的路径。 它应位于 [path_to_your_folder]\venv\Scripts 文件夹。有关示例，请参见下图。

Microsoft SQL Server

Microsoft SQL Server是测试转换所需的数据库。 此数据库服务器不是作为Process Mining产品的一部分提供的。 要编辑和测试转换，您还可以使用 SQL Server Express。 您可以从官方Microsoft SQL Server 下载网页下载 Microsoft SQL Server Express。

注意： 建议使用小型开发数据集测试转换。 这样一来，您就可以使用 SQL Server 以最低要求对其进行测试。 如果您没有可用的 Microsoft SQL Server，或者要在本地桌面计算机上测试转换，建议使用 Microsoft SQL Server Express。

备注：

默认情况下，SQL Server 不区分大小写，而 Process Mining 区分大小写。 建议您更改本地 SQL Server 数据库的行为以匹配此行为，从而防止出现任何问题。 这可以通过在安装过程中设置正确的排序规则来实现。 排序规则的默认值取决于您的区域设置。

要将排序规则更改为区分大小写，请将CI部分替换为CS ，例如 应将Latin1_General_CI_AS更改为Latin1_General_CS_AS 。 如果您已安装 SQL Server，请按照设置或更改服务器排序规则中所述的说明更新排序规则。

最低要求

下面概述了本地开发环境中 SQL Server 的最低要求。 如果要在开发环境中使用超过 10M 的记录，请使用 容量计算器 计算 SQL Server 的相应系统要求。

类型	最低要求（10M 事件）
版本	SQL Server 2019 或更高版本
CPU	8 个 vCPU/内核（建议 16 个）
内存	32 GiB RAM
磁盘	建议使用低延迟和专用磁盘
数据磁盘	256 GiB
临时数据库	128 GiB

Capacity calculator

您可以使用 容量计算器 来确定为 Process Mining设置专用 Microsoft SQL Server 计算机的硬件要求。 请参阅 容量计算器。

SQL Server Management Studio (SSMS)

要查看数据库表并管理 SQL Server 基础架构，您可以下载 SQL Server Management Studio (SSMS)，该软件可安装在任何计算机上。