Transformaciones de datos

Enlaces útiles

• Registros de evento

• Tips for writing SQL

• Ejemplos de SQL para configurar etiquetas

• Ejemplos de SQL para configurar fechas de vencimiento

Editar transformaciones localmente

Cuando creas una aplicación de proceso a partir de una plantilla de aplicación, quieres asegurarte de que los datos utilizados en la aplicación de proceso reflejan tu proceso empresarial de la forma correcta. Con las transformaciones de datos puedes personalizar los datos utilizados para Process Mining.

Puedes personalizar las transformaciones desde Process Mining utilizando Transformaciones de datos, o puedes editarlas localmente en tu escritorio, consulta Editar transformaciones de datos en un entorno local

En esta página se muestra cómo personalizar las transformaciones de datos desde Process Mining. Las transformaciones de datos se integran en el editor del panel. Consulta Trabajar con el editor del panel.

Las transformaciones de datos le permiten:

• añadir nuevos campos para group by y los filtros. Por ejemplo, Tipo de comprobación de calidad.

• añadir eventos. Por ejemplo, Comprobación de la calidad de la factura.

• añadir etiquetas. Por ejemplo, No se ha cumplido el SLA, Infracción de cuatro ojos.

• añadir lógica empresarial para calcular los KPI. Por ejemplo, Case_has_maverick_buying.

Requisitos previos

Al iniciar la edición de transformaciones de datos, se recomienda encarecidamente que:

• tener un conocimiento profundo de SQL;

• están familiarizados con el sistema de origen que se utiliza para la extracción de datos.

Abrir las transformaciones de datos

1. Selecciona el botón Transformaciones de datos en la esquina superior derecha del editor del panel para abrir Transformaciones de datos.

Nota:

Si abres el editor en línea por primera vez, tardará un poco en cargar el editor.

Aparece el editor de transformaciones de datos en línea.

Input data

El panel de datos de entrada muestra las tablas de entrada que se han cargado en la aplicación de proceso como datos sin procesar. Selecciona una tabla para ver los campos y el contenido de los datos en la vista previa de los datos. La vista previa de datos te permite comprobar si los datos de entrada tienen el aspecto esperado.

Nota:

La vista previa muestra 1000 registros de datos. Si quieres filtrar datos específicos, crea una consulta de depuración temporal, ver Transformaciones de datos.

Nota:

El panel Vista previa muestra los datos de la última ejecución de datos en la que se volvió a calcular esta tabla. Si has realizado cambios recientes, inicia una nueva ejecución de datos para ver sus resultados, consulta Editar y probar transformaciones de datos.

Transformaciones

1. Selecciona Transformaciones para ver la estructura de las transformaciones y mostrar los archivos .sql.

Consulta Estructura de las transformaciones para obtener más información sobre la estructura de las transformaciones.

Cada archivo .sql define una nueva tabla en el modelo de datos. Si seleccionas el archivo .sql en el panel Trasformaciones, la consulta SQL se muestra en las Transformaciones y una vista previa del archivo de datos que estás editando se muestra en el panel Vista previa.

Al editar una consulta, puedes ver una vista previa de los datos de la última vez que se ejecutó la consulta en el panel Vista previa.

Importante:

Si hay algún cambio que no se ha guardado en las transformaciones, el botón Guardar está habilitado. Selecciona Guardar para guardar los cambios. El estado de la transformación se establecerá en Actualizado.

Ver y editar el modelo de datos

Importante:

Asegúrate siempre de que tu modelo de datos cumple los requisitos. Consulta Requisitos del modelo de datos.

1. Selecciona Modelo de datos para ver el modelo de datos de tu app de proceso.

Consulta Editar y probar transformaciones de datos para obtener más información sobre cómo cambiar el modelo de datos.

Comprobación de validación

Se muestra una notificación si tu modelo de datos no cumple los requisitos.

Consulta Requisitos del modelo de datos.

Añadir una tabla

1. Selecciona + Añadir tabla. Se mostrará el cuadro de diálogo Añadir tabla .

2. Selecciona la tabla que define la nueva tabla de salida.

3. Selecciona la Clave principal para la nueva tabla y selecciona Listo.

Consulta Añadir tablas para obtener más información sobre cómo añadir una tabla en las transformaciones.

Añadir relaciones

1. Selecciona la tabla que quieres relacionar con otra tabla.

   Se mostrará el panel Editar tabla .

2. En el panel Editar tabla , selecciona + Añadir nuevo para crear una nueva relación.

3. Selecciona el campo que quieres usar en esta tabla de la lista Clave .

4. Selecciona la tabla a la que deseas conectarte y selecciona el campo que se utiliza para conectarse de la lista Clave .

5. Selecciona Aplicar.

Cambiar la clave de una tabla

1. Selecciona la tabla para la que quieres cambiar la clave.

   Se mostrará el panel Editar tabla .

2. En el panel Editar tabla , localiza la relación para la que quieres cambiar la clave.

3. Selecciona el nuevo campo que se utilizará como clave para unir las tablas.

4. Selecciona Aplicar.

Nota:

Si cambias la clave principal, el campo que seleccionas como la nueva clave principal se duplica en la tabla. Puedes eliminar el campo original en Data Manager.

Eliminar una relación

1. Selecciona la tabla para la que quieres eliminar una relación saliente.

   Se mostrará el panel Editar tabla .

2. En el panel Editar tabla , localiza la relación que quieres eliminar y selecciona Eliminar relación.

3. Selecciona Aplicar.

Eliminar una tabla

1. Selecciona la tabla que quieres eliminar en el editor del modelo de datos.

   Se mostrará el panel Editar tabla .

2. Selecciona Eliminar tabla.

   Se mostrará un mensaje de confirmación.

3. Selecciona Eliminar para continuar.

La tabla y las relaciones se eliminan del modelo de datos.

Hacer que el nuevo modelo de datos esté disponible para su uso en paneles

1. Selecciona Guardar para guardar el modelo de datos.

2. Selecciona Aplicar a los paneles para ejecutar las transformaciones y hacer que la tabla esté disponible para su uso en los paneles.

   Nota:

   Esto puede tardar varios minutos. Si la ejecución finaliza correctamente, los cambios en el modelo de datos se mostrarán en Data Manager.

Nota:

La opción Guardar solo está habilitada después de realizar cualquier cambio en el modelo de datos.

Ver el registro de transformaciones

El panel Registro muestra lo que sucede en segundo plano. El panel Registro se actualiza automáticamente cada dos segundos. Consulta la siguiente ilustración para ver un ejemplo.

Niveles de registro

El registro contiene diferentes niveles para indicar la gravedad del mensaje:

Nivel de registro	Descripción	Estado de ejecución de datos
Information	Un mensaje informativo contiene información útil sobre el progreso de la ejecución de datos.	Correcto
Advertencia	Una advertencia se refiere a un posible problema en tus datos que podría afectar a lo que se mostrará en un gráfico en la aplicación de proceso publicada. Se recomienda resolver cualquier advertencia para evitar posibles problemas en el futuro.	Correcto
Error	Un error se refiere a un error en tus datos que impide que la aplicación de proceso cargue los datos o ejecute las transformaciones. Debe resolver todos los errores para permitir una ejecución de datos correcta.	Erróneo

Registros de filtrado

Puede utilizar el menú Filtro para cambiar el nivel de registro. Consulta la siguiente ilustración para ver un ejemplo.

Guardar el archivo de registro

Puede seleccionar el para copiar el contenido del archivo de registro y pegarlo, por ejemplo, en un archivo de Bloc de notas que puedes guardar en tu ordenador. Esto te permite ver los mensajes cuando trabajas para resolver los problemas que causan errores o advertencias.

Nota:

Esto también te permite compartir el contenido del archivo de registro, por ejemplo, si necesitas ayuda.

Editar y probar transformaciones de datos

Editing transformations

Consulta las páginas enumeradas a continuación para obtener más información sobre la edición de las transformaciones de datos.

• Structure of transformations

• Designing an event log

• Tips for writing SQL

Ejecutar las consultas

Atención:

Para las versiones anteriores a la 2023.10.3, Ejecutar todo está limitado a 10 minutos. A partir de la versión 2023.10.4, Ejecutar todo está limitado a 1 hora. Por lo tanto, se recomienda encarecidamente utilizar un pequeño conjunto de datos para el desarrollo y las pruebas de las transformaciones de datos, para asegurarse de que tus transformaciones no superen este límite de tiempo. Consulta también: Portal de Process Mining.

Al editar transformaciones, puedes seleccionar Ejecutar consultas para probar tus cambios y ver una vista previa. Ejecuta las consultas modificadas y todas las consultas relacionadas. Por ejemplo, si se ha modificado cases_input.sql. El comando Ejecutar consultas ejecutaría cases_input.sql y cases.sql, que utiliza los resultados de cases_input.sql.

Los datos resultantes solo estarán disponibles en el editor Transformaciones de datos, no en el editor del panel.

Hay dos tipos de ejecuciones:

• Ejecutar consultas: inicia una ejecución de datos y vuelve a calcular todas las consultas modificadas y sus dependencias.

• Archivo de ejecución: inicia una ejecución para volver a calcular solo el archivo SQL seleccionado actualmente y sus consultas principales. Esta opción te permite probar y depurar personalizaciones en archivos SQL específicos.

Consejo:

Puede seleccionar Cancelar ejecución en cualquier momento para cancelar la ejecución de transformaciones.

Los resultados se muestran en el panel Vista previa.

Nota:

Ejecutar consultas suele ser mucho más rápido que Aplicar a los paneles, que inicia una ejecución de datos completa.

Nota:

Ejecutar consultas no afecta a los datos de la aplicación de proceso publicada.

Añadir carpetas y archivos

Puedes crear nuevas carpetas y añadir nuevos archivos en tus transformaciones.

Convenciones de nombres

• Para nombres de archivos, carpetas, campos y tablas:

  • solo puedes utilizar caracteres en minúsculas (az), caracteres en mayúsculas (AZ) y números (0-9);

  • no se pueden utilizar caracteres especiales |*:?"<>\/ para nombres de archivos, carpetas, campos y tablas.
• Para los nombres de archivo, solo puedes utilizar _:. como caracteres especiales.
• Un nombre de archivo no puede comenzar con un _ (guion bajo).

Crear una nueva carpeta o archivo desde el menú de transformaciones

Sigue estos pasos para crear una nueva carpeta o archivo.

Pasos	Acción
1	Navega hasta la ubicación en las transformaciones donde quieres añadir un nuevo archivo o carpeta.
2	Ve al panel Transformaciones y selecciona el icono de menú para abrir el menú de transformaciones.
3	Selecciona la opción aplicable en el menú.
4	Introduce un nombre descriptivo para la nueva carpeta o archivo y selecciona Intro.

La nueva carpeta o archivo se crea en la carpeta seleccionada.

Crear una nueva carpeta o archivo desde el menú contextual

Sigue estos pasos para crear una nueva carpeta o archivo desde el menú contextual.

Pasos	Acción
1	Haz clic con el botón derecho en la carpeta de las transformaciones donde quieres añadir un nuevo archivo o carpeta.
2	Selecciona la opción aplicable en el menú.
3	Introduce un nombre descriptivo para la nueva carpeta o archivo y selecciona Intro.

La nueva carpeta o archivo se crea en la carpeta seleccionada.

Cambios no guardados en archivos

Cuando editas un archivo .sql , se indica en la estructura de carpetas de Transformaciones que hay cambios sin guardar.

En el ejemplo anterior, hay cambios sin guardar en el archivo Tags.sql que se encuentra en la carpeta models -> 5_business_logic .

Cambiar el nombre de una carpeta o archivo

Sigue estos pasos para crear una nueva carpeta o archivo.

Pasos	Acción
1	Haz clic con el botón derecho en la carpeta o el archivo cuyo nombre deseas cambiar para abrir el menú contextual.
2	Selecciona Cambiar nombre.
3	Edita el nombre como desees y selecciona Intro.

Se ha cambiado el nombre de la carpeta o el archivo.

Eliminar una carpeta o un archivo

Sigue estos pasos para crear una nueva carpeta o archivo.

Pasos	Acción
1	Haz clic derecho en la carpeta o archivo que deseas eliminar para abrir el menú contextual.
2	Selecciona Eliminar. Se mostrará un mensaje de confirmación.
3	Selecciona Eliminar para confirmar la eliminación.

La carpeta o el archivo se elimina.

Cómo añadir comentarios en los archivos

Si quieres incluir comentarios en tus archivos de transformaciones SQL o comentar partes del archivo, recomendamos encarecidamente que utilices la sintaxis de comentarios Jinja, que está establecida de forma predeterminada como {# ... #}. Esto también te permite comentar macros.

Sql

{# {{ pm_utils.optional(ref('Cases_base'), '"Case_status"') }} as "Case_status", #}

{# case
    when {{ pm_utils.optional(ref('Cases_base'), '"Case_value"', 'double') }} >= 1000000 
      then {{ pm_utils.as_varchar('>= 1M') }}
    when {{ pm_utils.optional(ref('Cases_base'), '"Case_value"', 'double') }} >= 0 
     then {{ pm_utils.as_varchar('0 - 1M') }}
   when {{ pm_utils.optional(ref('Cases_base'), '"Case_value"', 'double') }} is not null
     then {{ pm_utils.as_varchar('< 0') }}
  end as "Case_value_group", #}

Buscar / reemplazar en archivos

En el editor de Transformaciones de datos , puedes buscar y reemplazar textos dentro de un solo archivo.

Buscar texto

Para buscar un texto en el editor de transformación de datos:

1. Haz clic en un lugar aleatorio en el editor de código, o selecciona el texto en el que deseas buscar otras ocurrencias.

2. Pulsa CTRL+F.

3. Introduce la prueba que deseas buscar en el campo Buscar.

   Se resaltan todas las ocurrencias del texto en el archivo actual.

4. Selecciona ENTER para pasar a la siguiente repetición.

Buscar y reemplazar

Para buscar un texto en el editor de transformación de datos:

1. Haz clic en un lugar aleatorio en el editor de código, o selecciona el texto en el que deseas buscar otras ocurrencias.

2. Pulsa CTRL+H.

3. Introduce la prueba que deseas buscar en el campo Buscar e introduce la nueva prueba en el campo Reemplazar.

   Se resaltan todas las ocurrencias del texto en el archivo actual.

4. Selecciona ENTER para reemplazar el texto y pasar a la siguiente aparición.

Para buscar un texto en el editor de transformación de datos:

1. Haz clic en el editor de código.

2. Pulsa CTRL+H.

3. Introduce la prueba que deseas buscar en el campo Buscar e introduce la nueva prueba en el campo Reemplazar.

   Se resaltan todas las ocurrencias del texto en el archivo actual.

4. Pulsa Crtl+Alt+Enter.

Consejo:

También puedes utilizar los iconos Reemplazar o Reemplazar todo.

Buscar/reemplazar en varios archivos

Si quieres Buscar/reemplazar textos en varios archivos, solo puedes hacerlo en un editor externo.

Sigue estos pasos para buscar/reemplazar textos en varios archivos:

1. Exporte transformaciones desde su aplicación de proceso.

   Nota:

   Si tienes cambios pendientes en el editor Transformaciones de datos, utiliza primero Aplicar a los paneles y exporta las transformaciones una vez finalizada la ejecución de datos.

2. Descomprime las transformaciones.

3. Abre las transformaciones en tu editor de código favorito, por ejemplo, Notepad++ o Visual Studio Code.

4. Usar la funcionalidad de esas herramientas para buscar o reemplazar textos en varios archivos.

5. Guarda los archivos.

6. Añadir los archivos de transformación a un archivo .zip archivo.

7. Importe las transformaciones en su aplicación de proceso.

Nota:

Cuando se te pregunte qué datos usar para una ejecución de datos, selecciona Cancelar si quieres seguir editando las transformaciones antes de realizar una nueva ejecución de datos.

Editar archivos de configuración del proyecto dbt

También puedes abrir los archivos de configuración del proyecto dbt en el editor Transformaciones de datos, por ejemplo dbt_project.yml.

ADVERTENCIA:

Recomendamos editar la sección vars solo si es necesario. Las otras partes del dbt_project.yml no deben modificarse para garantizar que las transformaciones sigan funcionando correctamente.

Para obtener información detallada sobre dbt, consulta la documentación oficial de dbt.

Hacer que las transformaciones estén disponibles en los paneles

Para que los cambios estén disponibles en los paneles, debes ejecutar una ejecución de datos completa para cargar los datos y ejecutar las transformaciones. Selecciona el botón Aplicar a los paneles para iniciar una ejecución de datos.

Nota:

Dependiendo del tamaño del conjunto de datos, esto puede llevar algo de tiempo.

Tras una ejecución de datos exitosa, las nuevas transformaciones estarán disponibles en el editor del panel y se pueden utilizar para ajustar los paneles.

Atención:

Si tienes una versión publicada de la aplicación de proceso, los usuarios empresariales verán instantáneamente los nuevos datos. Si quieres asegurarte de que tu aplicación publicada sigue funcionando correctamente mientras editas las transformaciones, se recomienda encarecidamente utilizar una aplicación de desarrollo.

Sigue estos pasos.

1. Clona tu aplicación para crear una aplicación de desarrollo.

2. Edita y prueba las transformaciones.

3. Exporta las transformaciones de la aplicación de desarrollo.

4. Importa las transformaciones en tu aplicación de proceso publicada.

Combinar registros de eventos

Si tu registro de eventos está dividido en varios archivos de registro de eventos, puedes combinar los registros de eventos en un único registro de eventos en Transformaciones de datos.

Nota:

Para fusionar varios registros de eventos, Case_ID debe apuntar al mismo objeto para todos los archivos. Por ejemplo, todos los ID de casos apuntan a ID de órdenes de venta, de modo que ID_Caso apunta a la misma tabla para todos los registros de eventos.

1. Crea una nueva aplicación, basada en la plantilla de aplicación Registro de eventos . Consulta Plantillas de aplicación.

2. Utiliza la opción Cargar datos en el paso Seleccionar el origen de datos y selecciona los archivos de registro de eventos que deseas fusionar.

3. Continúa con el asistente Crear nueva aplicación para crear la aplicación y transformar los datos.

   La ejecución de datos fallará y el estado de la aplicación mostrará Ejecución fallida.

4. Selecciona Ver registro para ver el archivo de registro.

   Se muestra un mensaje de error que indica que no se ha encontrado el archivo Event_log_raw.sql esperado.

   

5. Ve al editor de transformaciones de datos.

6. Para cada archivo de entrada:

   1. Crea un archivo .sql con el mismo contenido que el Event_log_input.sql ya disponible.

      

   2. Ajusta el archivo para seleccionar los campos de entrada necesarios y escribe correctamente.

   3. Añade el nombre de las nuevas tablas de origen a sources.yml.

      Ahora todos los archivos de entrada nuevos pueden combinarse en un único registro de eventos.

      Atención:

      Asegúrate de que todos los archivos de entrada tengan exactamente el mismo conjunto de campos.

7. Selecciona el archivo Event_log_input.sql y reemplaza el contenido con:

   -- The following code merges 3 input tables.
   select * from {{ ref('Event_log_input_1') }}
   union all
   select * from {{ ref('Event_log_input_2') }}
   union all
   select * from {{ ref('Event_log_input_3') }}

   
   Nota: ajusta el código para que coincida con los nombres de las tablas de entrada necesarias.

8. Selecciona Aplicar a los paneles para ejecutar las transformaciones de datos y hacer que la tabla resultante esté disponible para su uso en los paneles.