在本地环境中编辑数据转换

简介

从应用程序模板创建流程应用程序时，您需要确保流程应用程序中使用的数据以正确的方式反映您的业务流程。 通过 数据转换 ，您可以自定义用于 Process Mining的数据。

数据转换 使您能够：

• 为group by和filters添加新字段。 例如， 质量检查类型。
• 添加事件。 例如，“ 发票质量检查已完成”。
• 添加标签。 例如，“ 未能满足 SLA”、“违反四眼”。
• 添加用于计算 KPI 的业务逻辑。 例如Case_has_maverick_buying 。
• 为计算定义新的输入字段。

版本控制转换

目前，产品中没有转换代码的版本控制。 导入新转换时，以前的转换将被覆盖。 无法还原到先前版本的转换。

注意： 建议在进行更改时保留先前版本代码的本地副本。 要跟踪更改，可以在版本控制系统（如 GIT 或 SVN）中对本地计算机上的转换进行版本控制。 这样，您可以使用版本控制系统回滚到以前的版本，并在需要时将这些转换导入产品。

先决条件

开始编辑数据转换时，强烈建议您：

• 对 SQL 有深入的了解；
• 熟悉用于数据提取的源系统。

工具

编辑数据转换需要代码编辑器。Visual Studio Code 是推荐用于编辑数据转换的代码编辑器。您可以从“下载 Visual Studio 代码网页”下载 Visual Studio 代码。

建议在流程应用程序中导入已编辑的转换之前，在 Process Mining外部运行并测试数据转换。 要运行和测试数据转换，需要本地测试环境。

请参阅设置本地测试环境。

Customizing the transformations

每个流程应用程序都有相应的数据转换集。 自定义数据转换需要执行多个步骤。

1. 从流程应用程序导出转换。

2. 在 Visual Studio Code 中打开转换。

3. 运行转换*。

4. 编辑转换。

5. 在本地测试环境中测试转换。*

6. 在 Process Mining 的测试流程应用程序中导入并测试转换。

7. 在流程应用程序中导入转换。

* 在本地测试环境中运行和测试转换是可选步骤。

1. Export the transformations from the process app

请按照以下步骤从流程应用程序导出转换。

步骤	操作
1	打开 Process Mining 门户。
2	转到“流程应用程序”选项卡，找到要导出其转换的应用程序。
3	单击要导出转换的流程应用程序的“操作”列中的 ，然后选择“导出转换”。

转换将作为.zip文件导出并下载到您的默认下载文件夹。

2. Open the transformations in Visual Studio Code

请按照以下步骤在 Visual Studio Code 中打开转换。

步骤	操作
1	在 Windows 资源管理器中，在虚拟环境所在的文件夹中为导出的转换创建一个文件夹。 例如 C:\My_transformations\TemplateOne-MultiFiles。
2	解压缩文件夹中导出的转换.zip文件。

有关示例，请参见下图。

步骤	操作
3	在 Visual Studio Code 中，转到“ 文件” -> “打开文件夹...” ，然后选择包含解压缩转换的文件夹。

有关示例，请参见下图。

已解释 dbt 项目。

Date and time formats

重要提示：

Snowflake 使用的日期和时间格式与 SQL Server 不同。 如果为流程应用程序的转换定义了日期和时间变量，则必须将dbt_project.yml中的日期和时间格式更改为 SQL Server 所需的格式。 在使用新转换创建.zip文件之前，您必须将日期和时间格式更改回 Snowflake 所需的格式。

如果未在dbt_project.yml文件中定义日期和时间格式，则使用默认值。

对于 SQL Server，日期和时间格式由整数定义，而对于 Snowflake，日期和时间格式由字符串定义。

下面概述了 SQL Server 和 Snowflake 的不同（默认）格式。

变量	SQL Server 格式	雪花格式
date_format	23	'YYYY-MM-DD'
time_format	14	'hh24:mi:ss.ff3'
datetime_format	21	'YYYY-MM-DD hh24:mi:ss.ff3'

另请参阅：

• 有关使用 Snowflake 转换中的日期和时间格式的官方 Snowflake 文档。

• 有关使用 SQL Server 进行日期和时间转换的 Microsoft SQL Server 官方文档。

3. Run the transformations

重要提示： 仅当您要在本地测试环境中在 Process Mining 外部测试转换时，才适用运行转换。

最好在开始编辑转换之前运行转换。 这使您可以检查设置是否正确以及数据是否正确加载。

在开始之前

要运行转换，您必须：

• 为流程应用程序创建新的数据库架构。 您可以在 Microsoft SQL Server Management Studio 中执行此操作。 请按照以下步骤操作。

  步骤	操作
  1	在 Microsoft SQL Server Management Studio 的“ 对象资源管理器 ” 中，转到“数据库” 文件夹中的 数据库 文件夹。
  2	右键单击“ 安全 性”，然后选择 “新建”->“架构...”

请参见下图。

有关更多信息，请参阅 Microsoft 官方文档 。

• 在新架构中加载数据，并确保架构中提供所需的输入表。 您可以使用提取程序加载数据，直接从 Microsoft SQL Server Management Studio 中的 .csv 文件加载数据。 请按照以下步骤操作

  步骤	操作
  1	在 Microsoft SQL Server Management Studio 的“对象资源管理器”中，前往“数据库”文件夹中找到您的数据库。
  2	右键单击数据库名称，然后选择“ 任务” -> “导入平面文件...”

  注意： 建议使用小型数据集来测试数据转换。 数据集的记录计数越低，执行转换的速度就越快。

设置 Profiles.yml

首次在 Visual Studio Code 中打开 dbt 项目时，系统会显示一条 dbt 消息，指示找不到与新转换对应的配置文件。 有关示例，请参见下图。

注意： 如果您开始编辑转换，则必须首先设置一个连接到 Microsoft SQL Server 数据库的profiles.yml文件。 对于新的转换，您可以通过添加新条目来扩展profiles.yml文件。

以下是 profiles.yml 文件的模板，或单击以下链接下载模板： profiles.yml。

my-app-template:
  outputs:
    default:
      type: sqlserver
      driver: 'ODBC Driver 17 for SQL Server'
      server: 
      port: 
      user: 
      password: 
      database: 
      schema: 
      
  target: default

步骤	操作
1	打开文本编辑器。 例如记事本++。
2	复制并粘贴上述模板中的内容。
3	将my-app-template替换为dbt_project.yml中显示的profile名称。 例如 uipathTemplateOne。 请参见下图。
3	编辑文件，使其指向刚刚创建的架构。
4	将profiles.yml文件保存在不包含 dbt 项目的文件夹中（请参见下面的屏幕截图）。 例如 C:\My_transformations。
5	使用包含 profiles.yml 文件的文件夹的文件路径创建一个名为 DBT_PROFILES_DIR 的环境变量。

注意： 默认情况下，源数据存储在运行转换的架构中。 如果源表位于不同的架构中，则可以在schema_sources变量中定义此架构。

有关如何配置配置文件的更多信息，请参阅 官方 dbt 文档 。

Running the transformations

请按照以下步骤运行转换。

步骤	操作
1	在 Visual Studio Code 中，右键单击 模型 文件夹，然后从上下文菜单中选择 “在集成终端中打开 ”。
2	在集成终端的命令提示符处输入dbt build 。

4. Edit the transformations

有关编辑转换的准则，请参阅编辑转换和编写 SQL 的提示。

5. Test the transformations on a local test environment

重要提示：仅当您要在本地测试环境中在 Process Mining 外部测试转换时，测试转换才适用。

请按照以下步骤测试转换。

步骤	操作
1	在 Visual Studio Code 的集成终端的命令提示符处输入dbt build 。
2	检查 SQL Server Management Studio 中的数据以验证值。 右键单击表格，然后选择“ 选择前 1000 行”。 如有必要，请修改查询以获得所需的结果。

在本地测试环境中编辑并测试转换，直到转换运行没有任何错误并且数据正确为止。

6. Import and test the transformations in a test process app in Process Mining

强烈建议先在 Process Mining 的测试流程应用程序中运行新转换，然后再将转换导入原始流程应用程序。 由于转换是在本地 SQL Server 环境中测试的，因此在 Snowflake 中运行新转换时可能会发生错误。

另请参阅4. 编辑转换。

重要提示： Snowflake 使用的日期和时间格式与 SQL Server 不同。 如果您已将dbt_project.yml中的日期和时间格式更改为 SQL Server，则必须将日期和时间格式更改回 Snowflake 所需的格式，然后才能使用新的转换创建.zip文件。

请按照以下步骤在 Process Mining的测试流程应用程序中导入和测试转换。

步骤	操作
1	在 Windows 资源管理器中，转到存储转换的文件夹 例如C:\My_transformations\TemplateOne-MultiFiles ，然后将转换添加到新的.zip文件中。
2	转到 Process Mining 门户，然后根据与流程应用程序相同的应用程序模板创建新的流程应用程序。
3	在“ 流程应用程序 ” 选项卡上，找到测试流程应用程序。
4	单击要导入转换的流程应用程序的“操作”列中的 ，然后选择“导入转换”。
5	选择包含新转换的.zip文件，然后单击“ 确定”。
6	检查仪表板以查看数据是否正确显示。

7. Import the transformations in the process app

重要提示：

导入转换后，新的转换将自动运行。 这将立即影响已发布的流程应用程序中显示的数据。 强烈建议在单独的测试流程应用程序中测试新转换，以防止出现任何错误（请参阅步骤 4：在 Process Mining 的测试流程应用程序中导入和测试转换）。

运行错误的转换将导致最终用户无法看到已发布的应用程序。

请按照以下步骤在流程应用程序中导入自定义转换。

步骤	操作
1	打开 Process Mining 门户。
2	转到“ 流程应用程序”选项卡，找到要为其导入数据转换的应用程序。
3	注意： 如果您已将新输入表或现有表的新输入字段添加到数据转换中，则必须在导入数据转换之前上传新数据集。 单击要导入转换的流程应用程序的“操作”列中的 ，然后选择“导入转换”。

系统将导入并运行转换，新数据将显示在流程应用程序中。