Política de retención de datos de proceso

Información general

La ejecución de procesos genera grandes cantidades de datos de trabajos, que pueden saturar rápidamente la base de datos de Orchestrator. Una política de retención te ayuda a liberar espacio en la base de datos de forma organizada.

¿Qué es una política de retención?Es un acuerdo para garantizar capacidades de descarga de datos integradas, estableciendo una acción para eliminar datos de la base de datos tras un período de tiempo. ¿Qué esperar? Como la base de datos es más ligera, Cloud Orchestrator tiene mejor rendimiento.

Condiciones de trabajo

Para el proceso especificado, la política de retención que configures se aplica a todos los trabajos que cumplan a la vez las siguientes condiciones:

• Para trabajos completados:
  • Tienen un estado final: Fallido, Correcto, Detenido.
  • Han finalizado hace más de X días, siendo X la duración de la retención.
• Para trabajos incompletos:
  • Tienen un estado no final: Pendiente, Deteniendo, Terminando.
  • No se han modificado en más de X días, siendo X la duración de la retención.

Determinar cuándo se elimina un trabajo

La retención se calcula basándose en días naturales. Por tanto, los trabajos en cola pertinentes se eliminan el día natural X+1, siendo X la duración de la retención, y +1 representa la eliminación el día natural siguiente.

Ten en cuenta que la eliminación puede ejecutarse al mismísimo inicio del día natural siguiente, por tanto, con un par de horas de diferencia sobre el momento en que termina el período de retención.

Por ejemplo, digamos que estableces una duración de retención de un día:

Si la hora de finalización de un trabajo es el 6 de junio de 2022 a las 00:01:00 (el primer minuto del día natural) o el 6 de junio de 2022 a las 23:59:00 (el último minuto del día natural), podrá eliminarse el 8 de junio (6 de junio + un día de duración de la retención + un día después = 8 de junio).

Por tanto:

• nos aseguramos de que los datos de tu trabajo se conserven durante al menos un día natural (la duración de retención) archivándolos al día natural siguiente, y
• nuestro objetivo es garantizar que tus artículos se archivan al final del día natural siguiente.

Tipos de política

Estos son los tipos de política de retención:

• la política predeterminada para los procesos recién creados: todos los trabajos que se crean a partir de procesos nuevos se eliminan a los 30 días, sin posibilidad de deshacer su eliminación. Esta es la opción integrada.
• La política personalizada: todos los trabajos se eliminan o archivan después de una duración de retención de tu elección. Esta opción se puede configurar como se indica en la sección Configurar una política de retención personalizada .
  • Trabajos completados:
    • La duración predeterminada es de 30 días.
    • La duración máxima es de 180 días.
  • Trabajos no completados:
    • La duración predeterminada es de 180 días.
    • La duración máxima es de 540 días.

Importante:

La política predeterminada de 30 días se aplica a:

• trabajos sin proceso asociado
• trabajos cuyo proceso asociado se eliminó

Resultados de politica

Una política de retención personalizada tiene los siguientes resultados:

• elimina los trabajos que tienen una duración superior a la especificada.

• elimina los trabajos válidos que son más antiguos que la duración especificada, pero archiva sus datos en un depósito de almacenamiento existente, para futuras consultas. De esta manera, descargas la base de datos de Orchestrator sin perder la información.

  Nota:

  Los paneles Insights que contengan información sobre trabajos eliminados seguirán mostrando los datos correctos.

  La eliminación en Orchestrator no se propagará hacia Insights.

  Nota: Conservamos las referencias únicas de los trabajos eliminados, por lo que añadir un nuevo trabajo no crea una referencia única duplicada.

Mecanismo de descarga

Diariamente, se ejecutará un trabajo en segundo plano en un momento en que tu servidor no esté ocupado; dicho trabajo realizará las acciones necesarias para todas las políticas de retención.

Inicialmente deberá manejarse un gran volumen de datos. Para evitar cualquier impacto en el rendimiento del funcionamiento, el trabajo puede tardar alrededor de un mes en analizar la reserva de datos y llegar a la precisión del día.

Por tanto, puede que las políticas no se apliquen inmediatamente, pero se pondrán al día en aproximadamente un mes.

Por ejemplo, digamos que configuras una política de eliminación de 45 días para un proceso. La política se activa al final de la fase 1, pero tarda aproximadamente un mes en garantizar que se gestionen todos los artículos con una antigüedad superior a 45 días. Se trata de una excepción de primer día, para permitir que el trabajo analice la reserva de datos.

Configuración de una política de retención personalizada

Para configurar una política de retención personalizada:

1. En Orchestrator, ve hasta la carpeta deseada en tu tenant.
2. Abre la página Procesos .
3. Para añadir un nuevo proceso, haz clic en Añadir proceso. Respectivamente, para editar un proceso existente, haz clic en Más acciones > Editar para el proceso deseado. Se abre la página Crear/Actualizar proceso.
4. En la sección Política de retención, selecciona el resultado de tu política desde el menú desplegable Acción.

   Puedes establecer diferentes resultados de política y duraciones de retención para trabajos completados y no completados.

   Para eliminar trabajos, conservando su información, sigue los pasos indicados en la sección Archivar trabajos.

   Para eliminar de forma permanente los trabajos, consulta los pasos de la sección Eliminar trabajos.

Archivado de trabajos

Si no quieres perder los datos de tus trabajos, pero necesitas descargar esta información de la base de datos de Orchestrator, archiva tus trabajos.

Requisito previo: necesitas un depósito de almacenamiento para almacenar tus trabajos archivados.

1. Selecciona Archivar en el menú desplegable Acción.
2. Selecciona una Duración de retención tanto para los trabajos completados como para los no completados.

   Para los trabajos completados, puedes elegir un valor entre 1 y 180, siendo 30 el valor predeterminado.

   Para los trabajos no completados, puedes elegir un valor entre 180 y 540, siendo 180 el valor predeterminado.

   Al final de esta duración, todos los trabajos (incluidos los eventos de trabajo y los medios de ejecución) que no se hayan actualizado mientras tanto se eliminan y su información se almacena en un depósito de destino.

3. Selecciona un Depósito de destino para almacenar tus artículos archivados.

Para recuperar la información archivada, accede a los archivos desde el depósito de almacenamiento asociado.

Nota:

Nota 1: puede utilizar un depósito de almacenamiento de Orchestrator o enlazar un depósito de almacenamiento externo.

Nota 2: el depósito de almacenamiento que uses no debe ser de solo lectura, de modo que la operación de archivado pueda añadirle artículos.

Nota 3: Puedes utilizar el mismo depósito de almacenamiento para archivar elementos de proceso de distintos procesos.

Nota 4: este campo solo está disponible para la opción Archivar .

Nota 5: Una operación de archivado con éxito se registra en la página Tenant > Auditoría, identificable por el tipo Acción como Archivo.

Nota 6: Si algún error interrumpe la operación de archivado, aparecerá una alerta para que el error se solucione. La operación de archivado se vuelve a intentar la siguiente vez que se ejecute la eliminación (el siguiente día natural). Hasta que el archivado se vuelva a intentar con éxito, no se podrá ver ni acceder a los trabajos afectados.

Salida de archivo

El archivo .zip

Cuando archivas tus trabajos, se crea un archivo .zip al final de la duración de la retención con la ruta:

"Archivo / Procesos / Proceso - {process_key} / {archivar_operation_date} - {archivar_operation_timetamp}. Zip", en el que:

• {process_key}: el identificador único del proceso que contiene los trabajos
• {archiving_operation_date}: la fecha en UTC cuando se generó el archivo, en formato yyyy-MM-dd
• {archiving_operation_timestamp}: la hora UTC cuando se generó el archivo, en formato HH-mm-ss-fff
  Por ejemplo, un archivo se podría llamar Archive/Processes/Process-1d1ad84a-a06c-437e-974d-696ae66e47c2/2022-05-26-03-00-08-496.zip.

El archivo .csv

Una vez extraído, el archivo .zip muestra un archivo .csv con la misma sintaxis de nombre:

"Proceso - {process_key} - {archivar_operation_date} - {archivar_operation_intimes}. Csv.

El archivo Metadata.json

El archivo .json contiene detalles sobre la cola del contenedor, para ayudarte a identificarlo más fácilmente.

Volúmenes de datos grandes

Para los procesos que han tramitado un gran número de trabajos, estos se archivan por lotes. En este caso, el archivo .zip de cada lote tiene un {archiving-operation-timestamp} diferente, dependiendo de la hora de creación del archivo por lotes.

Eliminar trabajos

Si decides que los datos de los trabajos procesados ya no son útiles, puedes eliminar toda esa información de la base de datos de Orchestrator.

1. Seleccione Eliminar en el menú desplegable Acción.
2. Selecciona una Duración de retención tanto para los trabajos completados como para los no completados.

   Para los trabajos completados, puedes elegir un valor entre 1 y 180, siendo 30 el valor predeterminado.

   Para los trabajos no completados, puedes elegir un valor entre 180 y 540, siendo 180 el valor predeterminado.

   Al final de esta duración, todos los trabajos (incluidos los eventos de trabajo y los medios de ejecución) que no se hayan actualizado mientras tanto se eliminan y su información se almacena en un depósito de destino.

Mantener trabajos

Si quieres conservar los datos de los trabajos procesados durante un tiempo indefinido, selecciona Conservar en el menú desplegable Acción .

Todos los trabajos, ya sean en estado final o no final, se mantienen indefinidamente en tu base de datos configurada.

API de política de retención de procesos

Para incorporar la política de retención en tu cliente, usa los puntos de conexión dedicados de la API de ReleaseRetention en tu archivo Swagger:

• GET /odata/ReleaseRetention: devuelve la lista de todas las políticas activas, conteniendo información como la acción de política, la duración de retención en días, el ID del proceso al que se aplica la política.
• GET /odata/ReleaseRetention({key}): devuelve la información sobre la política del proceso especificado.
• PUT /odata/ReleaseRetention({key}): actualiza la información de la política del proceso especificado.
• DELETE /odata/ReleaseRetention({key}): restablece la política del proceso especificada a la predeterminada de una retención y una eliminación pasados 30 días.

Nota: Si llamas al punto final DELETE para procesos creados antes de la introducción de la característica de política de retención, se aplica la política de retención incorporada de 30 días y posterior eliminación.

Puedes ver un ejemplo en nuestra guía de referencia.

Columnas y auditoría de seguimiento de politica

Para identificar fácilmente qué procesos tienen una política de retención personalizada, activa las columnas Acción de retención y Retención (días) en la página Procesos, seleccionando las casillas de verificación correspondientes en el menú desplegable Columnas.

Seleccione Eliminar en el menú desplegable Acción.

Como ya se ha mencionado, se aplica una política de conservación de 30 días a los procesos de nueva creación. Sin embargo, no siempre puedes confiar en este valor para identificar los procesos que tienen aplicada una política predeterminada. Por ejemplo, si configuras una duración de retención personalizada de 55 días y más tarde la actualizas a 30 días, la política resultante no es la predeterminada. Para ver si estos escenarios representan políticas predeterminadas o no, comprueba la página Auditoría.

Cada vez que el trabajo en segundo plano realiza acciones de limpieza relacionadas con la Política de retención (archivar + eliminar o simplemente eliminar) se crea una entrada correspondiente en la auditoría en nombre del administrador.

1 representa el tipo de acción Archivar. 0 representa el tipo de acción Eliminar.