Editar transformaciones de datos en un entorno local

Introducción

Cuando creas una aplicación de proceso a partir de una plantilla de aplicación, quieres asegurarte de que los datos utilizados en la aplicación de proceso reflejen tu proceso empresarial de la manera correcta. Con Transformaciones de datos puedes personalizar los datos utilizados para Process Mining.

Las transformaciones de datos te permiten:

• add new fields for group by and filters. For example, Quality check type.
• add events. For example, Invoice quality check done.
• añadir etiquetas. Por ejemplo, No se ha cumplido el SLA, Infracción de cuatro ojos.
• añadir lógica empresarial para calcular los KPI. Por ejemplo, Case_has_maverick_buying.
• definir nuevos campos de entrada para los cálculos.

Transformaciones de versiones

Actualmente, no hay control de versiones del código de transformación en el producto. Cuando se importan nuevas transformaciones, se sobrescriben las anteriores. No es posible volver a la versión anterior de las transformaciones.

Nota:

Se recomienda mantener copias locales de versiones anteriores del código al realizar cambios. Para realizar un seguimiento de los cambios, las transformaciones en tu máquina local pueden versionarse en un sistema de control de versiones como GIT o SVN. De esta manera, puedes revertir a una versión anterior utilizando el sistema de control de versiones e importar esas transformaciones al producto cuando sea necesario.

Requisitos previos

Al iniciar la edición de transformaciones de datos, se recomienda encarecidamente que:

• tener un conocimiento profundo de SQL;
• están familiarizados con el sistema de origen que se utiliza para la extracción de datos.

Herramientas

Se requiere un editor de código para editar las transformaciones de datos. Visual Studio Code es el editor de código recomendado para editar transformaciones de datos. Puedes descargar Visual Studio Code desde la página web Descargar Visual Studio Code.

It is recommended to run and test the data transformations outside Process Mining, before you import the edited transformation in your process app. To run and test the data transformations, a local test environment is required.

Consulta Configurar un entorno de prueba local.

Customizing the transformations

Cada aplicación de proceso tiene un conjunto de transformaciones de datos correspondientes. La personalización de las transformaciones de datos requiere varios pasos.

1. Exporta las transformaciones desde la aplicación de proceso.
2. Abre las transformaciones en Visual Studio Code.
3. Ejecute las transformaciones *.
4. Editar las transformaciones.
5. Pruebe las transformaciones en un entorno de prueba local. *
6. Importa y prueba las transformaciones en una aplicación de proceso de prueba en Process Mining.
7. Importar las transformaciones en la aplicación de proceso.

• Ejecutar y probar las transformaciones en un entorno de prueba local son pasos opcionales.

1. Export the transformations from the process app

Sigue estos pasos para exportar las transformaciones desde la aplicación de proceso.

Paso	Acción
1	Abre el portal de Process Mining.
2	Go to the Process apps tab and locate the app for which you want to export the transformations.
3	Haga clic en en la columna Acciones de la aplicación de proceso para la que quieres exportar las transformaciones y selecciona Exportar transformaciones.

Las transformaciones se exportan y descargan a tu carpeta de descarga predeterminada como un archivo .zip .

2. Open the transformations in Visual Studio Code

Siga estos pasos para abrir las transformaciones en el código de Visual Studio.

Paso	Acciones
1	En el Explorador de Windows, crea una carpeta para las transformaciones exportadas en la carpeta donde se encuentra tu entorno virtual. Por ejemplo, C:\My_transformations\TemplateOne-MultiFiles.
2	Descomprime el archivo de transformaciones .zip exportado en la carpeta.

La siguiente ilustración muestra un ejemplo.

Paso	Acción
3	In Visual Studio Code, go to File -> Open Folder... and select the folder that contains the unzipped transformations.

La siguiente ilustración muestra un ejemplo.

The dbt project is interpreted.

Date and time formats

Importante:

Snowflake utiliza formatos de fecha y hora distintos a los de SQL Server. Si se definen variables de fecha y hora para las transformaciones de tu app de proceso, debes cambiar los formatos de fecha y hora en dbt_project.yml al formato requerido por SQL Server. Antes de crear el archivo .zip con las nuevas transformaciones, debes volver a cambiar los formatos de fecha y hora al formato requerido por Snowflake.

Si los formatos de fecha y hora no están definidos en tu archivo dbt_project.yml , se utilizan los valores predeterminados.

Para SQL Server, los formatos de fecha y hora se definen con números enteros y para Snowflake con cadenas.

La siguiente tabla describe los diferentes formatos (predeterminados) para SQL Server y Snowflake.

variable	Formato de SQL Server	Formato de Snowflake
date_format	23	'YYYY-MM-DD'
time_format	14	'hh24:mi:ss.ff3'
datetime_format	21	'YYYY-MM-DD hh24:mi:ss.ff3'

Para obtener más información, consulta:

• La documentación oficial de Snowflake sobre Formatos de fecha y hora en Conversiones mediante Snowflake.
• La documentación oficial de Microsoft SQL Server sobre Conversiones de fecha y hora con SQL Server.

3. Run the transformations

Importante:

Running the transformations is only applicable if you want to test the transformations outside Process Mining on a local test environment.

Es una buena práctica ejecutar las transformaciones antes de empezar a editar las transformaciones. Esto le permite comprobar si la configuración es correcta y los datos se cargan correctamente.

Antes de empezar

Para ejecutar las transformaciones debe:

• crear un nuevo esquema de base de datos para la aplicación de proceso. Puede hacerlo en Microsoft SQL Server Management Studio. Siga estos pasos.

  Paso	Acción
  1	In the Object Explorer in Microsoft SQL Server Management Studio, go the folder of your database in the Databases folder.
  2	Right-click on Security and select New -> Schema...

Las siguientes ilustraciones muestran la ventana de autenticación de SQL Server.

Consulta la documentación oficial de Microsoft para obtener más información.

• cargue datos en el nuevo esquema y asegúrese de que las tablas de entrada necesarias estén disponibles en el esquema. Puedes cargar datos con un extractor cargar datos directamente desde los archivos .csv en Microsoft SQL Server Management Studio. Siga estos pasos

  Paso	Acción
  1	In the Object Explorer in Microsoft SQL Server Management Studio, locate your database in the Databases folder.
  2	Right-click on the name of your database and select Tasks -> Import Flat File...

  Nota:

  It is recommended to use a small dataset for testing data transformations. The lower the record count of the dataset, the faster transformations will be executed.

Configurar Profiles.yn

When you open a dbt project in Visual Studio Code for the first time, a dbt message is displayed, indicating that the profile corresponding to your new transformations cannot be found. See the illustration below for an example.

Nota:

If you start editing transformations, you must first set up a profiles.yml file that is connected to your Microsoft SQL Server database. For new transformations, you can extend the profiles.yml file by adding a new entry.

A continuación se muestra una plantilla para el archivo profiles.yml o haz clic en el enlace para descargar la plantilla: profiles.yml.

my-app-template:
  outputs:
    default:
      type: sqlserver
      driver: 'ODBC Driver 17 for SQL Server'
      server:
      port:
      user:
      password:
      database:
      schema:

  target: default

Paso	Acción
1	Abre un editor de texto. Por ejemplo Notepad ++.
2	Copia y pega el contenido de la plantilla de arriba.
3	Reemplaza my-app-template con el nombre profile como se muestra en dbt_project.yml. Por ejemplo uipathTemplateOne. Consulta la siguiente ilustración.
3	Edite el archivo, de modo que apunte al esquema que se acaba de crear.
4	Guarde el archivo profiles.yml en la carpeta que no contiene un proyecto dbt (vea la captura de pantalla a continuación). Por ejemplo, C:\My_transformations.
5	Crea una variable de entorno llamada DBT_PROFILES_DIR con la ruta del archivo de la carpeta que contiene el archivo profiles.yml .

Nota:

By default, the source data is stored in the schema where the transformations run. If your source tables are in a different schema, you can define this schema in the schema_sources variable.

Consulta la documentación oficial de dbt para obtener más información sobre cómo configurar tu perfil.

Running the transformations

Sigue estos pasos para ejecutar las transformaciones.

Paso	Acción
1	In Visual Studio Code, right-click on the models folder and select Open in Integrated Terminal from the context menu.
2	Introduce dbt build en el símbolo del sistema del terminal integrado.

4. Edit the transformations

Para obtener directrices sobre la edición de transformaciones, consulta Editar transformaciones y Consejos para escribir SQL.

5. Test the transformations on a local test environment

Importante:

Test the transformations is only applicable if you want to test the transformations outside Process Mining on a local test environment.

Sigue estos pasos para probar las transformaciones.

Paso	Acción
1	Introduce dbt build en el símbolo del sistema del terminal integrado en Visual Studio Code.
2	Compruebe los datos en SQL Server Management Studio para verificar los valores. Right-click on a table and select Select top 1000 rows. Si es necesario, modifica la consulta para obtener los resultados deseados.

Edita y prueba las transformaciones en un entorno de prueba local hasta que las transformaciones se ejecuten sin errores y los datos sean correctos.

6. Import and test the transformations in a test process app in Process Mining

It is strongly recommended to run the new transformations in a test process app in Process Mining before importing the transformations in the original process app. Since the transformations are tested on a local SQL Server environment, errors may occur when running the new transformations in Snowflake.

Consulta también 4. Editar las transformaciones.

Importante:

Snowflake uses a different date and time formats than SQL Server. If you have changed the date and time formats in dbt_project.yml to to test the transformations SQL Server you must change the date and time formats back to the format required by Snowflake, before you create the .zip file with the new transformations.

Follow these steps to import and test the transformations in a test process app in Process Mining.

Paso	Acción
1	En el Explorador de Windows, vaya a la carpeta donde se almacenan sus transformaciones Por ejemplo, C:\My_transformations\TemplateOne-MultiFiles y añade las transformaciones a un nuevo archivo .zip .
2	Dirígete al portal de Process Mining, y crea una nueva aplicación de proceso basada en la misma plantilla de aplicación que tu aplicación de proceso.
3	On the Process apps tab and locate the test process app.
4	Haga clic en en la columna Acciones de la aplicación de proceso para la que quieres importar las transformaciones y selecciona Importar transformaciones.
5	Select the .zip file that contains your new transformations, and click on OK.
6	Compruebe los paneles para ver si los datos se presentan correctamente.

7. Import the transformations in the process app

Importante:

Cuando se importan las transformaciones, las nuevas transformaciones se ejecutan automáticamente. Esto afectará inmediatamente a los datos que se muestran en la aplicación de proceso publicada. Se recomienda encarecidamente probar las nuevas transformaciones en una aplicación de proceso de prueba independiente para evitar cualquier error (consulta Paso 4: Importar y probar las transformaciones en una aplicación de proceso de prueba en Process Mining).

Ejecutar una transformación errónea hará que la aplicación publicada no sea visible para los usuarios finales.

Sigue estos pasos para importar las transformaciones personalizadas en la aplicación de proceso.

Paso	Acción
1	Abre el portal de Process Mining.
2	Go to the Process apps tab and locate the app for which you want to import the data transformations.
3	Si has añadido nuevas tablas de entrada o nuevos campos de entrada para las tablas existentes a las transformaciones de datos, debes cargar un nuevo conjunto de datos antes de importar las transformaciones de datos. Haga clic en en la columna Acciones de la aplicación de proceso para la que quieres importar las transformaciones y selecciona Importar transformaciones.

Las transformaciones se importan y se ejecutan, y los nuevos datos se muestran en la aplicación de proceso.