Editar transformaciones de datos en un entorno local

Introducción

Nota:

Se recomienda encarecidamente personalizar las transformaciones de datos desde Process Mining utilizando el editor de transformaciones de datos . Consulta Transformaciones de datos para obtener más información sobre cómo personalizar las transformaciones de datos desde Process Mining.

En esta página se muestra cómo personalizar las transformaciones de datos fuera de Process Mining.

Cuando creas una aplicación de proceso a partir de una plantilla de aplicación, quieres asegurarte de que los datos utilizados en la aplicación de proceso reflejen tu proceso empresarial de la manera correcta. Con Transformaciones de datos puedes personalizar los datos utilizados para Process Mining.

Las transformaciones de datos te permiten:

• añadir nuevos campos para agrupar por y filtros. Por ejemplo, Tipo de comprobación de calidad.
• add events. For example, Invoice quality check done.
• añadir etiquetas. Por ejemplo, No se ha cumplido el SLA, Infracción de cuatro ojos.
• añadir lógica empresarial para calcular los KPI. Por ejemplo, Case_has_maverick_buying.
• definir nuevos campos de entrada para los cálculos.

Editor de transformaciones de datos

Puedes personalizar las transformaciones desde Process Mining con Transformaciones de datos o puedes exportar las transformaciones desde Process Mining y editarlas y probarlas utilizando un entorno de prueba local.

Nota:

Editar las transformaciones utilizando el editor Transformaciones de datos en Process Mining no requiere un entorno de desarrollo local.

Transformaciones de control de versiones

Actualmente, no hay control de versiones del código de transformación en el producto. Cuando se importan nuevas transformaciones, se sobrescriben las anteriores. No es posible volver a la versión anterior de las transformaciones.

Nota:

Se recomienda mantener copias locales de versiones anteriores del código al realizar cambios. Para realizar un seguimiento de los cambios, las transformaciones en tu máquina local pueden versionarse en un sistema de control de versiones como GIT o SVN. De esta manera, puedes revertir a una versión anterior utilizando el sistema de control de versiones e importar esas transformaciones al producto cuando sea necesario.

Requisitos previos

Al iniciar la edición de transformaciones de datos, se recomienda encarecidamente que:

• tener un conocimiento profundo de SQL;
• están familiarizados con el sistema de origen que se utiliza para la extracción de datos.

Permisos

Necesita el permiso Editar transformaciones para la aplicación de proceso para personalizar las transformaciones de datos.

Consulta Gestionar el acceso a las apps de proceso.

Herramientas

Se requiere un editor de código para editar las transformaciones de datos. Visual Studio Code es el editor de código recomendado para editar transformaciones de datos. Puedes descargar Visual Studio Code desde la página web Descargar Visual Studio Code.

It is recommended to run and test the data transformations outside Process Mining, before you import the edited transformation in your process app. To run and test the data transformations, a local test environment is required.

Consulta Configurar un entorno de prueba local.

Customizing the transformations

Cada aplicación de proceso tiene un conjunto de transformaciones de datos correspondientes. La personalización de las transformaciones de datos requiere varios pasos.

1. Exporta las transformaciones desde la aplicación de proceso.
2. Abre las transformaciones en Visual Studio Code.
3. Ejecute las transformaciones *.
4. Editar las transformaciones.
5. Pruebe las transformaciones en un entorno de prueba local. *
6. Importa y prueba las transformaciones en una aplicación de proceso de prueba en Process Mining.
7. Importar las transformaciones en la aplicación de proceso.

• Ejecutar y probar las transformaciones en un entorno de prueba local son pasos opcionales.

1. Exportar las transformaciones desde la aplicación Proceso

Consulta Exportar transformaciones.

2. Open the transformations in Visual Studio Code

Siga estos pasos para abrir las transformaciones en el código de Visual Studio.

Paso	Acciones
1	En el Explorador de Windows, crea una carpeta para las transformaciones exportadas en la carpeta donde se encuentra tu entorno virtual. Por ejemplo, C:\My_transformations\TemplateOne-MultiFiles.
2	Descomprime el archivo de transformaciones .zip exportado en la carpeta.

La siguiente ilustración muestra un ejemplo.

Paso	Acción
3	In Visual Studio Code, go to File -> Open Folder... and select the folder that contains the unzipped transformations.

La siguiente ilustración muestra un ejemplo.

The dbt project is interpreted.

Date and time formats

Importante:

Snowflake utiliza formatos de fecha y hora diferentes a los de SQL Server. Si se definen variables de fecha y hora para las transformaciones de tu aplicación de proceso, debes cambiar los formatos de fecha y hora en dbt_project.yml al formato requerido por SQL Server. Antes de crear el archivo .zip con las nuevas transformaciones, debes cambiar los formatos de fecha y hora al formato requerido por Snowflake. Si los formatos de fecha y hora no están definidos en tu archivo dbt_project.yml , se utilizan los valores predeterminados. Para SQL Server, los formatos de fecha y hora se definen por números enteros y para Snowflake se definen por cadenas.

La siguiente tabla describe los diferentes formatos (predeterminados) para SQL Server y Snowflake.

variable	Formato de SQL Server	Formato de Snowflake
date_format	23	'YYYY-MM-DD'
time_format	14	'hh24:mi:ss.ff3'
datetime_format	21	'YYYY-MM-DD hh24:mi:ss.ff3'

Para obtener más información, consulta:

• La documentación oficial de Snowflake sobre Formatos de fecha y hora en Conversiones mediante Snowflake.
• La documentación oficial de Microsoft SQL Server sobre Conversiones de fecha y hora con SQL Server.

3. Run the transformations

Importante:

Running the transformations is only applicable if you want to test the transformations outside Process Mining on a local test environment.

Es una buena práctica ejecutar las transformaciones antes de empezar a editar las transformaciones. Esto le permite comprobar si la configuración es correcta y los datos se cargan correctamente.

Antes de empezar

Para ejecutar las transformaciones debe:

• crear un nuevo esquema de base de datos para la aplicación de proceso. Puede hacerlo en Microsoft SQL Server Management Studio. Siga estos pasos.

  Paso	Acción
  1	In the Object Explorer in Microsoft SQL Server Management Studio, go the folder of your database in the Databases folder.
  2	Right-click on Security and select New -> Schema...

Las siguientes ilustraciones muestran la ventana de autenticación de SQL Server.

Consulta la documentación oficial de Microsoft para obtener más información.

• cargue datos en el nuevo esquema y asegúrese de que las tablas de entrada necesarias estén disponibles en el esquema. Puedes cargar datos con un extractor cargar datos directamente desde los archivos .csv en Microsoft SQL Server Management Studio. Siga estos pasos

  Paso	Acción
  1	In the Object Explorer in Microsoft SQL Server Management Studio, locate your database in the Databases folder.
  2	Right-click on the name of your database and select Tasks -> Import Flat File...

  Nota:

  It is recommended to use a small dataset for testing data transformations. The lower the record count of the dataset, the faster transformations will be executed.

Configurar Profiles.yn

Al abrir un proyecto dbt en Visual Studio Code por primera vez, se muestra un mensaje dbt que indica que no se puede encontrar el perfil correspondiente a tus nuevas transformaciones. La siguiente ilustración muestra un ejemplo.

Nota:

If you start editing transformations, you must first set up a profiles.yml file that is connected to your Microsoft SQL Server database. For new transformations, you can extend the profiles.yml file by adding a new entry.

El siguiente bloque de código contiene una plantilla para el archivo profiles.yml , o haz clic en el enlace para descargar la plantilla: profiles.yml.

my-app-template:
  outputs:
    default:
      type: sqlserver
      driver: 'ODBC Driver 17 for SQL Server'
      server: 
      port: 
      user: 
      password: 
      database: 
      schema: 
      encrypt:
      trust_cert:
      
  target: default

Paso	Acción
1	Abre un editor de texto. Por ejemplo Notepad ++.
2	Copia y pega el contenido de la plantilla de arriba.
3	Reemplaza my-app-template por el nombre profile como se muestra en el dbt_project.yml. Por ejemplo uipathTemplateOne.
3	Edite el archivo, de modo que apunte al esquema que se acaba de crear.
4	Guarda el archivo profiles.yml en la carpeta que no contenga un proyecto dbt Por ejemplo, C:\My_transformations.
5	Crea una variable de entorno llamada DBT_PROFILES_DIR con la ruta del archivo de la carpeta que contiene el archivo profiles.yml .

Nota:

By default, the source data is stored in the schema where the transformations run. If your source tables are in a different schema, you can define this schema in the schema_sources variable.

Consulta la documentación oficial de dbt para obtener más información sobre cómo configurar tu perfil.

Running the transformations

Sigue estos pasos para ejecutar las transformaciones.

Paso	Acción
1	In Visual Studio Code, right-click on the models folder and select Open in Integrated Terminal from the context menu.
2	Introduce dbt build en el símbolo del sistema del terminal integrado.

4. Edit the transformations

Para obtener directrices sobre la edición de transformaciones, consulta Transformaciones y Consejos para escribir SQL.

5. Test the transformations on a local test environment

Importante:

Test the transformations is only applicable if you want to test the transformations outside Process Mining on a local test environment.

Sigue estos pasos para probar las transformaciones.

Paso	Acción
1	Introduce dbt build en el símbolo del sistema del terminal integrado en Visual Studio Code.
2	Compruebe los datos en SQL Server Management Studio para verificar los valores. Haz clic con el botón derecho en una tabla y selecciona Seleccionar las 1000 primeras filas . Si es necesario, modifica la consulta para obtener los resultados deseados.

Edita y prueba las transformaciones en un entorno de prueba local hasta que las transformaciones se ejecuten sin errores y los datos sean correctos.

6. Importar y probar las transformaciones en una aplicación de procesos de prueba en Process Mining

Se recomienda encarecidamente ejecutar las nuevas transformaciones en una aplicación de proceso de prueba en Process Mining antes de importar las transformaciones en la aplicación de proceso original. Dado que las transformaciones se prueban en un entorno SQL Server local, pueden producirse errores al ejecutar las nuevas transformaciones en Process Mining.

Consulta 4. Editar las transformaciones.

Importante:

Snowflake uses a different date and time formats than SQL Server. If you have changed the date and time formats in dbt_project.yml to to test the transformations SQL Server you must change the date and time formats back to the format required by Snowflake, before you create the .zip file with the new transformations.

Follow these steps to import and test the transformations in a test process app in Process Mining.

Paso	Acción
1	En el Explorador de Windows, ve a la carpeta donde se almacenan tus transformaciones Por ejemplo, C:\My_transformations\TemplateOne-MultiFiles y añade las transformaciones a un nuevo archivo .zip .
2	Dirígete al portal de Process Mining, y crea una nueva aplicación de proceso basada en la misma plantilla de aplicación que tu aplicación de proceso.
3	Importa las transformaciones en la aplicación de proceso de prueba.
4	Compruebe los paneles para ver si los datos se presentan correctamente.

7. Importar las transformaciones en la aplicación Proceso

Importante:

Cuando se importan las transformaciones, las nuevas transformaciones se ejecutan automáticamente. Esto afectará inmediatamente a los datos mostrados en la aplicación de proceso publicada. Se recomienda encarecidamente probar las nuevas transformaciones en una aplicación de proceso de prueba independiente para evitar cualquier error (consulta el Paso 6: Importar y probar las transformaciones en una aplicación de proceso de prueba en Process Mining). Ejecutar una transformación errónea hará que la aplicación publicada no sea visible para los usuarios finales.

Consulta Importar transformaciones.