Utilice la fragmentación en sus aplicaciones

Introducción

La fragmentación es una solución innovadora para mejorar el rendimiento de sus aplicaciones de procesos de minería. En resumen, la fragmentación divide los datos de su registro de eventos en partes más pequeñas llamadas "fragmentos". Cuanto más pequeño sea cada fragmento, más rápido será.

Con un fragmento, los usuarios finales solo consideran la parte aplicable de los datos que les interesa. Cuando un usuario inicia sesión en la aplicación, solo se cargará el fragmento de datos aplicable.

Tipos de fragmentos

Los fragmentos se pueden dividir en dos tipos diferentes:

• Fragmentos regulares, que contienen partes de sus datos a nivel detallado.
• Fragmentos de referencia, que contienen una vista agregada de alto nivel de todos sus datos.

Existen múltiples técnicas para crear fragmentos regulares y para fragmentos de referencia. Se pueden crear fragmentos regulares dividiendo tus datos en función de los atributos del caso. Los fragmentos de referencia combinan los datos de todos los fragmentos. Normalmente, el nivel de detalle de los datos se reduce mediante la agregación previa, el filtrado o el muestrario.

Fragmentos regulares

Un atributo de ejemplo para la fragmentación podría ser el Código de empresa, donde cada fragmentación contiene todos los casos que pertenecen a un único código de empresa. Si tuvieras 10 códigos de empresa en tu conjunto de datos, cada fragmento sería aproximadamente 10 veces más rápido que el original (suponiendo divisiones iguales).

Consulta la siguiente ilustración.

 

Fragmentos de referencias

Además de dividir sus datos en fragmentos separados, es útil tener un fragmento de información general que contenga una vista de nivel superior de todos los datos, un 'fragmento de referencia'.

Puedes configurarlo de varias maneras:

• Agregando previamente valores o atributos: esto le impide hacer análisis detallados, pero le permite comparar las diferencias entre fragmentos.
• Reduciendo el nivel de detalle filtrando los eventos detallados: esto le permite comparar procesos en un nivel básico.
• Filtrando: puede eliminar todos los datos de eventos y mantener solo las etiquetas y los casos respectivos, de esta manera puede comparar etiquetas en varios fragmentos.
• Por muestra: puedes muestrear casos en tu conjunto de datos para mantener solo una parte de los casos, manteniendo una muestra representativa de casos como conjunto de datos de referencia.

También puede configurar múltiples fragmentos de referencia utilizando diferentes métodos.

Configurar tu conector

Fragmento regular

Puede usar un solo conector para su ETL, incluso cuando usa fragmentación. Puede hacerlo configurando módulos de aplicación, usando un módulo por fragmento que desee crear.

En tu conector, añade una tabla del sistema con el ámbito de la tabla establecido en "usuario actual" para obtener el ActiveApplicationCode, que indica el módulo que está actualmente activo. Puede usar este atributo de la tabla del sistema para crear condiciones para la carga de datos.

Ejemplo

Al aplicar la fragmentación mediante tipos de caso, configura una expresión Case_Type_S Difícil basada en el atributo ActiveApplicationCode para determinar qué tipo de caso pertenece a qué código de aplicación. Luego, en la tabla casos_base , establece la condición de unión en:

Cases_preprocessing where Case_type_Shard = Case_type

Esto garantiza que solo los casos que tienen un tipo de caso que pertenece al fragmento actual pasen por la salida final.

También debe asegurarse de que solo los eventos que pertenecen a los casos en el fragmento actual estén en la salida. Por tanto, en la tabla events_preprocessing , crearemos una expresión de búsqueda en la tabla cases_base que compruebe si los casos están en el fragmento seleccionado.

 

Consulta la siguiente ilustración.

Utilice este atributo de expresión en la condición de unión de la tabla Events_base con la expresión:

Events_preprocessing where Case_in_shard.

Fragmento de referencia

El fragmento de referencia también se configura mediante el atributo ActiveApplicationCode . El filtrado depende del tipo de fragmento de referencia que desee usar y es similar a lo que se describe anteriormente para los fragmentos normales.

Configurar tu aplicación

Para configurar tu aplicación para la fragmentación, también necesitas un módulo por fragmento. Estos módulos deben tener los mismos códigos de módulo que los de tu conector.

Además, dependiendo del tipo de fragmento de referencia que utilice, la estructura de datos puede ser diferente para los fragmentos regulares y el fragmento de referencia. Si este es el caso, necesitará una aplicación independiente para el fragmento de referencia.

Recargando sus datos

Dado que utiliza varios módulos, debe volver a cargar los datos con un script para asegurarse de que los datos de todos los módulos del conector terminen en el mismo conjunto de datos. De esta manera, la aplicación sabe, según el módulo abierto, qué parte de los datos considerar. Consulta Configurar actualizaciones de datos automatizadas para obtener el script para volver a cargar tus datos.