Transformaciones

Estructura de la carpeta

Importante:

La información de esta página solo es aplicable a las plantillas de aplicación que tienen archivos de configuración de fechas de vencimiento y una carpeta seeds\ .

Las transformaciones de una aplicación de proceso consisten en un proyecto dbt . La siguiente tabla describe el contenido de una carpeta de proyecto dbt .

Carpeta/Archivo	Contiene
dbt_packages\	el paquete pm_utils y sus macros.
macros\	carpeta opcional para macros personalizadas
models\	.sql archivos que definen las transformaciones.
models\schema\	.yml archivos que definen pruebas en los datos.
seeds	.csv archivos con los ajustes de configuración.
dbt_project.yml	la configuración del proyecto dbt .

Nota:

Las plantillas de aplicación Registro de eventos y Proceso personalizado tienen una estructura de transformaciones de datos simplificada. Las aplicaciones de proceso creadas con estas plantillas de aplicación no tienen esta estructura de carpetas.

dbt_project.yml

El archivo dbt_project.yml contiene la configuración del proyecto dbt que define tus transformaciones. La sección vars contiene variables que se utilizan en las transformaciones.

Formato de fecha / hora

Cada plantilla de aplicación contiene variables que determinan el formato para analizar los datos de fecha / hora. Estas variables deben ajustarse si los datos de entrada tienen un formato de fecha / hora diferente al esperado.

Transformaciones de datos

Las transformaciones de datos se definen en archivos .sql en el directorio models\ . Las transformaciones de datos se organizan en un conjunto estándar de subdirectorios.

Consulta Estructura de las transformaciones para obtener más información.

The .sql files are written in Jinja SQL, which allows you to insert Jinja statements inside plain SQL queries. When dbt runs all .sql files, each .sql file results in a new view or table in the database.

Normalmente, los archivos .sql tienen la siguiente estructura: Select * from {{ ref('Table_A') }} Table_A.

El siguiente código muestra un ejemplo de consulta SQL.

select
    tableA."Field_1" as "Alias_1",
    tableA."Field_2",
    tableA."Field_3"
from {{ ref('tableA') }} as tableA

Nota:

En algunos casos, para las aplicaciones de proceso creadas con versiones anteriores de las plantillas de aplicación, los archivos .sql tienen la siguiente estructura:

1. Con declaraciones: una o más declaraciones con para incluir las subtablas necesarias.

• {{ ref(‘My_table) }} se refiere a la tabla definida por otro archivo .sql archivo.
• {{ source(var("schema_sources"), 'My_table') }} se refiere a una tabla de entrada.

2. Consulta principal: la consulta que define la nueva tabla.

3. Consulta final: normalmente se utiliza una consulta como Select * from table al final. Esto facilita la realización de subselecciones durante la depuración.

   

Para obtener más consejos sobre cómo escribir transformaciones de forma efectiva, consulta Consejos para escribir SQL.

Añadir tablas de origen

Al cargar un nuevo archivo de entrada, se añade automáticamente una nueva tabla de origen en models\schema\sources.yml en el proyecto dbt . De esta manera, otros modelos pueden referirse a él utilizando {{ source(var("schema_sources"), 'My_table') }}. ConsultaGestionar datos de entrada para obtener más información sobre cómo configurar las tablas de entrada.

La siguiente ilustración muestra un ejemplo.

Para obtener información más detallada, consulta la documentación oficial de dbt en Fuentes.

Salida de datos

Las transformaciones de datos deben generar el modelo de datos que requiere la aplicación correspondiente; todas las tablas y campos esperados deben estar presentes.

Si quieres añadir nuevos campos a tu aplicación de proceso, puedes añadir estos campos en las transformaciones.

Macros

Las macros facilitan la reutilización de construcciones SQL comunes. Para obtener información detallada, consulta la documentación oficial de dbt sobre las macros de Jinja.

pm_utils

El paquete pm-utils contiene un conjunto de macros que se utilizan normalmente en las transformaciones de Process Mining. Para obtener más información sobre las macros pm_utils , consulta ProcessMining-pm-utils.

La siguiente ilustración muestra un ejemplo de código Jinja que llama a la macro pm_utils.optional() .

Semillas

Las semillas son archivos csv que se utilizan para añadir tablas de datos a tus transformaciones. Para obtener información detallada, consulta la documentación oficial de dbt sobre semillas de jinja.

En Process Mining, esto se utiliza normalmente para facilitar la configuración de las asignaciones en tus transformaciones.

Después de editar los archivos semilla, ejecuta el archivo seleccionando Ejecutar archivo o Ejecutar todo, para actualizar la tabla de datos correspondiente.

Consulta Configuración de actividades: definir el orden de las actividades y Simular el potencial de automatización para ver ejemplos de uso de archivos de semillas.

Pruebas

La carpeta models\schema\ contiene un conjunto de archivos .yml que definen pruebas. Estos validan la estructura y el contenido de los datos esperados. Para obtener información detallada, consulta la documentación oficial de dbt sobre pruebas.

Proyectos Dbt

Las transformaciones de datos se utilizan para transformar los datos de entrada en datos adecuados para Process Mining. Las transformaciones en Process Mining se escriben como proyectos dbt .

Esta página ofrece una introducción a dbt. Para obtener información más detallada, consulta la documentación oficial de dbt.

pm-utils package

Las plantillas de aplicación de Process Mining vienen con un paquete dbt llamado pm_utils. Este paquete pm-utils contiene funciones de utilidad y macros para proyectos dbt de Process Mining. Para obtener más información sobre pm_utils , consulta ProcessMining-pm-utils.

Actualizar la versión de pm-utils utilizada para la plantilla de su aplicación

UiPath® mejora constantemente el paquete pm-utils añadiendo nuevas funciones.

Cuando se lanza una nueva versión del paquete pm-utils , se recomienda actualizar la versión utilizada en tus transformaciones, para asegurarte de que utilizas las últimas funciones y macros del paquete pm-utils .

Encontrarás el número de versión de la última versión del paquete pm-utils en el panel Versiones de ProcessMining-pm-utils.

Siga estos pasos para actualizar la versión pm-utils en sus transformaciones.

1. Descarga el código fuente (zip) de la versión de pm-utils.
2. Extrae el archivo zip y cámbiale el nombre a la carpeta pm_utils.
3. Exporta las transformaciones desde el editor de transformaciones de datos en línea y extrae los archivos.
4. Reemplaza la carpeta pm_utils de las transformaciones exportadas con la nueva carpeta pm_utils .
5. Vuelve a comprimir el contenido de las transformaciones e impórtalo en el editor Transformaciones de datos .