Editar transformaciones de datos en un entorno local

Introducción

Cuando creas una aplicación de proceso a partir de una plantilla de aplicación, quieres asegurarte de que los datos utilizados en la aplicación de proceso reflejan tu proceso empresarial de la forma correcta. Con las transformaciones de datos puedes personalizar los datos utilizados para Process Mining.

Las transformaciones de datos le permiten:

• añadir nuevos campos para group by y filters. Por ejemplo, Tipo de comprobación de calidad.
• añadir eventos. Por ejemplo, Comprobación de la calidad de la factura.
• añadir etiquetas. Por ejemplo, Error al cumplir con el SLA,Infracción de cuatro ojos.
• añadir lógica empresarial para calcular los KPI. Por ejemplo, Case_has_maverick_buying.
• definir nuevos campos de entrada para los cálculos.

Transformaciones de versiones

Actualmente, no hay control de versiones del código de transformación en el producto. Cuando se importan nuevas transformaciones, se sobrescriben las anteriores. No es posible volver a la versión anterior de las transformaciones.

Nota: se recomienda mantener copias locales de las versiones anteriores del código al realizar cambios. Para realizar un seguimiento de los cambios, puedes controlar las versiones de las transformaciones en tu máquina local en un sistema de control de versiones como GIT o SVN. De esta manera, puedes revertir a una versión anterior usando el sistema de control de versiones e importar esas transformaciones en el producto cuando sea necesario.

Requisitos previos

Al iniciar la edición de transformaciones de datos, se recomienda encarecidamente que:

• tener un conocimiento profundo de SQL;
• están familiarizados con el sistema de origen que se utiliza para la extracción de datos.

Herramientas

Se requiere un editor de código para editar transformaciones de datos. Visual Studio Code es el editor de código recomendado para editar transformaciones de datos. Puedes descargar Visual Studio Code desde la página web Descargar Visual Studio Code.

Se recomienda ejecutar y probar las transformaciones de datos fuera de Process Miningantes de importar la transformación editada en tu aplicación de proceso. Para ejecutar y probar las transformaciones de datos, se requiere un entorno de prueba local.

Consulta Configurar un entorno de prueba local.

Customizing the transformations

Cada aplicación de proceso tiene un conjunto de transformaciones de datos correspondientes. La personalización de las transformaciones de datos requiere varios pasos.

1. Exporta las transformaciones desde la aplicación de proceso.

2. Abre las transformaciones en Visual Studio Code.

3. Ejecute las transformaciones *.

4. Editar las transformaciones.

5. Pruebe las transformaciones en un entorno de prueba local. *

6. Importa y prueba las transformaciones en una aplicación de proceso de prueba en Process Mining.

7. Importar las transformaciones en la aplicación de proceso.

* Ejecutar y probar las transformaciones en un entorno de prueba local son pasos opcionales.

1. Export the transformations from the process app

Sigue estos pasos para exportar las transformaciones desde la aplicación de proceso.

Paso	Acción
1	Abre el portal Process Mining.
2	Ve a la pestaña Aplicaciones de proceso y localiza la aplicación para la que quieres exportar las transformaciones.
3	Haz clic en en la columna Acciones de la aplicación de proceso para la que deseas exportar las transformaciones y selecciona Exportar transformaciones.

Las transformaciones se exportan y descargan a tu carpeta de descarga predeterminada como un archivo .zip .

2. Open the transformations in Visual Studio Code

Siga estos pasos para abrir las transformaciones en el código de Visual Studio.

Paso	Acciones
1	En el Explorador de Windows, crea una carpeta para las transformaciones exportadas en la carpeta donde se encuentra tu entorno virtual. Por ejemplo, C:\My_transformations\TemplateOne-MultiFiles.
2	Descomprime el archivo de transformaciones .zip exportado en la carpeta.

La siguiente ilustración muestra un ejemplo.

Paso	Acción
3	En el código de Visual Studio, ve a Archivo -> Abrir carpeta ... y selecciona la carpeta que contiene las transformaciones descomprimidas.

La siguiente ilustración muestra un ejemplo.

Se interpreta el proyecto dbt .

Date and time formats

Importante:

Snowflake utiliza formatos de fecha y hora distintos a los de SQL Server. Si se definen variables de fecha y hora para las transformaciones de tu app de proceso, debes cambiar los formatos de fecha y hora en dbt_project.yml al formato requerido por SQL Server. Antes de crear el archivo .zip con las nuevas transformaciones, debes volver a cambiar los formatos de fecha y hora al formato requerido por Snowflake.

Si los formatos de fecha y hora no están definidos en tu archivo dbt_project.yml , se utilizan los valores predeterminados.

Para SQL Server, los formatos de fecha y hora se definen con números enteros y para Snowflake con cadenas.

A continuación se muestra una descripción general de los diferentes formatos (predeterminados) para SQL Server y Snowflake.

variable	Formato de SQL Server	Formato de Snowflake
date_format	23	'YYYY-MM-DD'
time_format	14	'hh24:mi:ss.ff3'
datetime_format	21	'YYYY-MM-DD hh24:mi:ss.ff3'

Para obtener más información, consulta:

• La documentación oficial de Snowflake sobre los formatos de fecha y hora en las conversiones mediante Snowflake.

• La documentación oficial de Microsoft SQL Server sobre Conversiones de fecha y hora con SQL Server.

3. Run the transformations

Importante: ejecutar las transformaciones solo es aplicable si quieres probar las transformaciones fuera de Process Mining en un entorno de prueba local.

Es una buena práctica ejecutar las transformaciones antes de empezar a editar las transformaciones. Esto le permite comprobar si la configuración es correcta y los datos se cargan correctamente.

Antes de empezar

Para ejecutar las transformaciones debe:

• crear un nuevo esquema de base de datos para la aplicación de proceso. Puede hacerlo en Microsoft SQL Server Management Studio. Siga estos pasos.

  Paso	Acción
  1	En el Explorador de objetos de Microsoft SQL Server Management Studio, vaya a la carpeta de su base de datos en la carpeta Bases de datos.
  2	Haz clic con el botón derecho en Seguridad y selecciona Nuevo -> Esquema ...

Las siguientes ilustraciones muestran la ventana de autenticación de SQL Server.

Consulta la documentación oficial de Microsoft para obtener más información.

• cargue datos en el nuevo esquema y asegúrese de que las tablas de entrada necesarias estén disponibles en el esquema. Puedes cargar datos con un extractor cargar datos directamente desde los archivos .csv en Microsoft SQL Server Management Studio. Siga estos pasos

  Paso	Acción
  1	En el Explorador de objetos de Microsoft SQL Server Management Studio, localiza tu base de datos en la carpeta Bases de datos.
  2	Haga clic con el botón derecho en el nombre de su base de datos y seleccione Tareas -> Importar archivo sin formato ...

  Nota: se recomienda usar un conjunto de datos pequeño para probar las transformaciones de datos. Cuanto menor sea el recuento de registros del conjunto de datos, se ejecutarán las transformaciones más rápido.

Configurar Profiles.yn

Cuando abres un proyecto dbt en código de Visual Studio por primera vez, se muestra un mensaje dbt que indica que no se puede encontrar el perfil correspondiente a tus nuevas transformaciones. Consulta la siguiente ilustración para ver un ejemplo.

Nota: si empiezas a editar transformaciones, primero debes configurar un archivo profiles.yml que esté conectado a tu base de datos de Microsoft SQL Server. Para nuevas transformaciones, puedes ampliar el archivo profiles.yml añadiendo una nueva entrada.

A continuación se muestra una plantilla para el archivo profiles.yml , o haz clic en el enlace para descargar la plantilla: perfiles.yml.

my-app-template:
  outputs:
    default:
      type: sqlserver
      driver: 'ODBC Driver 17 for SQL Server'
      server: 
      port: 
      user: 
      password: 
      database: 
      schema: 
      
  target: default

Paso	Acción
1	Abre un editor de texto. Por ejemplo Notepad ++.
2	Copia y pega el contenido de la plantilla de arriba.
3	Reemplaza my-app-template con el nombre profile como se muestra en dbt_project.yml. Por ejemplo uipathTemplateOne. Consulta la siguiente ilustración.
3	Edite el archivo, de modo que apunte al esquema que se acaba de crear.
4	Guarde el archivo profiles.yml en la carpeta que no contiene un proyecto dbt (vea la captura de pantalla a continuación). Por ejemplo, C:\My_transformations.
5	Crea una variable de entorno llamada DBT_PROFILES_DIR con la ruta de archivo de la carpeta que contiene el archivo profiles.yml .

Nota: de forma predeterminada, los datos de origen se almacenan en el esquema donde se ejecutan las transformaciones. Si tus tablas de origen están en un esquema diferente, puedes definir este esquema en la variable schema_sources .

Consulte la documentación oficial de dbt para obtener más información sobre cómo configurar su perfil.

Running the transformations

Sigue estos pasos para ejecutar las transformaciones.

Paso	Acción
1	En el código de Visual Studio, haz clic con el botón derecho en la carpeta de modelos y selecciona Abrir en terminal integrado en el menú contextual.
2	Introduce dbt build en el símbolo del sistema del terminal integrado.

4. Edit the transformations

Para obtener directrices sobre la edición de transformaciones, consulta Editar transformaciones y Consejos para escribir SQL.

5. Test the transformations on a local test environment

Importante: probar las transformaciones solo es aplicable si quieres probar las transformaciones fuera de Process Mining en un entorno de prueba local.

Sigue estos pasos para probar las transformaciones.

Paso	Acción
1	Introduce dbt build en el símbolo del sistema del terminal integrado en Visual Studio Code.
2	Compruebe los datos en SQL Server Management Studio para verificar los valores. Haga clic con el botón derecho en una tabla y seleccione Seleccionar las 1000 filas superiores. Si es necesario, modifica la consulta para obtener los resultados deseados.

Edita y prueba las transformaciones en un entorno de prueba local hasta que las transformaciones se ejecuten sin errores y los datos sean correctos.

6. Import and test the transformations in a test process app in Process Mining

Se recomienda encarecidamente ejecutar las nuevas transformaciones en una aplicación de proceso de prueba en Process Mining antes de importar las transformaciones en la aplicación de proceso original. Dado que las transformaciones se prueban en un entorno local de SQL Server, pueden producirse errores al ejecutar las nuevas transformaciones en Snowflake.

Consulta también 4. Editar las transformaciones.

Importante: Snowflake usa formatos de fecha y hora distintos a los de SQL Server. Si has cambiado los formatos de fecha y hora en dbt_project.yml a para probar las transformaciones de SQL Server debes cambiar los formatos de fecha y hora al formato requerido por Snowflake, antes de crear el archivo .zip con las nuevas transformaciones.

Sigue estos pasos para importar y probar las transformaciones en una aplicación de proceso de prueba en Process Mining.

Paso	Acción
1	En el Explorador de Windows, vaya a la carpeta donde se almacenan sus transformaciones Por ejemplo, C:\My_transformations\TemplateOne-MultiFiles y añade las transformaciones a un nuevo archivo .zip .
2	Dirígete al portal de Process Mining, y crea una nueva aplicación de proceso basada en la misma plantilla de aplicación que tu aplicación de proceso.
3	En la pestaña Aplicaciones de proceso , localice la aplicación proceso de prueba.
4	Haz clic en en la columna Acciones de la aplicación de proceso para la que deseas importar las transformaciones y selecciona Importar transformaciones.
5	Selecciona el archivo .zip que contiene tus nuevas transformaciones y haz clic en Aceptar.
6	Compruebe los paneles para ver si los datos se presentan correctamente.

7. Import the transformations in the process app

Importante:

Cuando se importan las transformaciones, las nuevas transformaciones se ejecutan automáticamente. Esto afectará inmediatamente a los datos que se muestran en la aplicación de proceso publicada. Se recomienda encarecidamente probar las nuevas transformaciones en una aplicación de proceso de prueba independiente para evitar cualquier error (consulta Paso 4: Importar y probar las transformaciones en una aplicación de proceso de prueba en Process Mining).

Ejecutar una transformación errónea hará que la aplicación publicada no sea visible para los usuarios finales.

Sigue estos pasos para importar las transformaciones personalizadas en la aplicación de proceso.

Paso	Acción
1	Abre el portal de Process Mining.
2	Ve a la pestaña Aplicaciones de proceso y localiza la aplicación para la que deseas importar las transformaciones de datos.
3	Nota: Si has agregado nuevas tablas de entrada o nuevos campos de entrada para tablas existentes a las transformaciones de datos, debes cargar un nuevo conjunto de datos antes de importar las transformaciones de datos. Haz clic en en la columna Acciones de la aplicación de proceso para la que deseas importar las transformaciones y selecciona Importar transformaciones.

Las transformaciones se importan y se ejecutan, y los nuevos datos se muestran en la aplicación de proceso.