Política de retención de datos de proceso

Información general

La ejecución de procesos genera grandes cantidades de datos de trabajos, que pueden saturar rápidamente la base de datos de Orchestrator. Una política de retención te ayuda a liberar espacio en la base de datos de forma organizada.

¿Qué es una política de retención?Es un acuerdo para garantizar capacidades de descarga de datos integradas, estableciendo una acción para eliminar datos de la base de datos tras un período de tiempo. ¿Qué esperar? Como la base de datos es más ligera, Cloud Orchestrator tiene mejor rendimiento.

Condiciones de trabajo

Para el proceso especificado, la política de retención que configures se aplica a todos los trabajos que cumplan a la vez las siguientes condiciones:

• they have a final status, such as Faulted, Successful, or Stopped
• han finalizado hace más de X días, siendo X la duración de la retención

Determinar cuándo se elimina un trabajo

La retención se calcula basándose en días naturales. Por tanto, los trabajos en cola pertinentes se eliminan el día natural X+1, siendo X la duración de la retención, y +1 representa la eliminación el día natural siguiente.

Ten en cuenta que la eliminación puede ejecutarse al mismísimo inicio del día natural siguiente, por tanto, con un par de horas de diferencia sobre el momento en que termina el período de retención.

Por ejemplo, digamos que estableces una duración de retención de un día:

Si la hora de finalización de un trabajo es el 6 de junio de 2022 a las 00:01:00 (el primer minuto del día natural) o el 6 de junio de 2022 a las 23:59:00 (el último minuto del día natural), podrá eliminarse el 8 de junio (6 de junio + un día de duración de la retención + un día después = 8 de junio).

Por tanto:

• nos aseguramos de que los datos de tu trabajo se conserven durante al menos un día natural (la duración de retención) archivándolos al día natural siguiente, y
• nuestro objetivo es garantizar que tus artículos se archivan al final del día natural siguiente.

Tipos de política

Hay tres tipos de política de retención:

• la política predeterminada para los procesos recién creados: todos los trabajos que se crean a partir de procesos nuevos se eliminan a los 30 días, sin posibilidad de deshacer su eliminación. Esta es la opción integrada.
• la política personalizada: todos los trabajos se eliminan o archivan después de una duración de retención de tu elección, que es de un máximo de 180 días. Esta opción puede configurarse como se indica en la sección Configurar una política de retención personalizada .
• la política de mantener: los procesos y trabajos preexistentes no tienen una política de retención inicial definida, lo que significa que sus datos se mantienen indefinidamente hasta que establezcas una política predeterminada o personalizada.
  Importante:

  La política predeterminada de 30 días se aplica a:

  • trabajos sin proceso asociado
  • trabajos cuyo proceso asociado se eliminó

Resultados de politica

Una política de retención personalizada tiene los siguientes resultados:

• elimina los trabajos que tienen una duración superior a la especificada.
• elimina los trabajos válidos que son más antiguos que la duración especificada, pero archiva sus datos en un depósito de almacenamiento existente, para futuras consultas. De esta manera, descargas la base de datos de Orchestrator sin perder la información.
  Nota:

  Los paneles de Insights que contengan información sobre trabajos eliminados seguirán mostrando los datos correctos. La eliminación en Orchestrator no se propagará a Insights.

  Nota:

  We preserve unique references of deleted job, therefore adding a new job does not create a duplicate unique reference.

Fases de implementación

Reconocemos el impacto que esta funcionalidad puede tener sobre tus datos, por lo que implementamos la opción de política de retención en tres fases. Esto tiene como objetivo darte tiempo suficiente para evaluar y determinar qué política se adapta mejor a tus necesidades empresariales. Ten en cuenta que incluso si no configuras una política de retención personalizada, la predeterminada sigue aplicándose y elimina todos los elementos del proceso existentes con más de 120 días.

Fase	Qué sucede
Fase 0	Se trata de una fase informativa, en la que se informa a todas las organizaciones sobre la próxima política, su impacto en las cuentas, el comportamiento de la característica y el mecanismo de implementación. Al final de la fase 0, la IU y la funcionalidad de la característica se implementan en todos los entornos de nube pero no se activa ninguna política.
Fase 1	Se trata de un período de tiempo de seis semanas entre la implementación de la característica y la primera activación de la política, que te permite ajustar y preparar tus procesos. Un contador de información de aplicación muestra los días restantes hasta que se inicie la política de retención, para que no se te pase por alto preparar tu cuenta antes de la fecha de entrada en vigor de la política. Al final de la fase 1 se aplicarán todas las políticas, bien sea las predeterminadas o las que configuraste.
Fase 2	Todas las políticas se activan y los datos de tu cuenta se descargan en función de la configuración de la política. La fase 2 no tiene fecha de finalización. Esto significa que si configuras una nueva política, se aplicará inmediatamente.

Mecanismo de descarga

Diariamente, se ejecutará un trabajo en segundo plano en un momento en que tu servidor no esté ocupado; dicho trabajo realizará las acciones necesarias para todas las políticas de retención.

Inicialmente deberá manejarse un gran volumen de datos. Para evitar cualquier impacto en el rendimiento del funcionamiento, el trabajo puede tardar alrededor de un mes en analizar la reserva de datos y llegar a la precisión del día.

Por tanto, puede que las políticas no se apliquen inmediatamente, pero se pondrán al día en aproximadamente un mes.

Por ejemplo, digamos que configuras una política de eliminación de 45 días para un proceso. La política se activa al final de la fase 1, pero tarda aproximadamente un mes en garantizar que se gestionen todos los artículos con una antigüedad superior a 45 días. Se trata de una excepción de primer día, para permitir que el trabajo analice la reserva de datos.

Configuración de una política de retención personalizada

Para configurar una política de retención personalizada:

1. En Orchestrator, ve hasta la carpeta deseada en tu tenant.
2. Open the Processes page.
3. To add a new process, click Add Process. Respectively, to edit an existing process, click More Actions > Edit for the desired process. The Create/Update Process page opens.
4. En la sección Política de retención, selecciona el resultado de tu política desde el menú desplegable Acción.

Para eliminar trabajos, pero conservar su información, lee los pasos de la sección Archivar trabajos .

Para eliminar trabajos de forma permanente, lee los pasos de la sección Eliminar trabajos .

Archivado de trabajos

Si no quieres perder los datos de tus trabajos, pero necesitas descargar esta información de la base de datos de Orchestrator, archiva tus trabajos.

Prerequisite: You need a storage bucket to store your archived jobs.

1. Selecciona Archivar en el menú desplegable Acción.
2. Selecciona una Duración de retención. Escribe un valor entre 1 y 180. El valor predeterminado es 30.

Al final de esta duración, todos los trabajos de estado final (incluidos los eventos de trabajo y los medios de ejecución) que no se hayan actualizado mientras tanto se eliminan y su información se almacena en un Depósito de destino.

3. Selecciona un Depósito de destino para almacenar tus artículos archivados.

Para recuperar la información archivada, accede a los archivos desde el depósito de almacenamiento asociado.

Nota:

Nota 1: puede utilizar un depósito de almacenamiento de Orchestrator o enlazar un depósito de almacenamiento externo.

Nota 2: el depósito de almacenamiento que uses no debe ser de solo lectura, de modo que la operación de archivado pueda añadirle artículos.

Note 3: You can use the same storage bucket to archive process items from different processes .

Nota 4: este campo solo está disponible para la opción Archivar.

Note 5: A successful archiving operation is logged on the Tenant > Audit page, identifiable by the Action type as Archive.

Note 6: If an error interrupts the archiving operation, an alert informs you in order to fix the error. The archiving operation is retried the next time the deletion runs (the next calendar day). Until the archiving is successfully retried, the affected jobs cannot be viewed or accessed.

Eliminar trabajos

Si decides que los datos de los trabajos procesados ya no son útiles, puedes eliminar toda esa información de la base de datos de Orchestrator.

1. Seleccione Eliminar en el menú desplegable Acción.
2. Selecciona una Duración de retención. Escribe un valor entre 1 y 180. El valor predeterminado es 30.

Al final de esta duración, todos los trabajos de estado final(incluidos los eventos de trabajo y los medios de ejecución) que no se hayan actualizado mientras tanto se eliminan de forma permanente.

Mantener trabajos

Si deseas mantener los datos de los trabajos procesados durante un tiempo indefinido, selecciona Conservar en el menú desplegable Acción.

Todos los trabajos de estado final se mantienen indefinidamente en tu base de datos configurada.

Salida de archivo

El archivo .zip

Cuando archivas tus trabajos, se crea un archivo .zip al final de la duración de la retención con la ruta:

"Archivo / Procesos / Proceso - {process_key} / {archivar_operation_date} - {archivar_operation_timetamp}. Zip", en el que:

• {process_key}: el identificador único del proceso que contiene los trabajos
• {archiving_operation_date}: la fecha en UTC cuando se generó el archivo, en formato yyyy-MM-dd
• {archiving_operation_timestamp}: la hora UTC cuando se generó el archivo, en formato HH-mm-ss-fff

Por ejemplo, un archivo se podría llamar Archive/Processes/Process-1d1ad84a-a06c-437e-974d-696ae66e47c2/2022-05-26-03-00-08-496.zip.

El archivo .csv

Una vez extraído, el archivo .zip muestra un archivo .csv con la misma sintaxis de nombre:

"Proceso - {process_key} - {archivar_operation_date} - {archivar_operation_intimes}. Csv.

El archivo Metadata.json

El archivo .json contiene detalles sobre la cola del contenedor, para ayudarte a identificarlo más fácilmente.

Volúmenes de datos grandes

Para los procesos que han tramitado un gran número de trabajos, estos se archivan por lotes. En este caso, el archivo .zip de cada lote tiene un {archiving-operation-timestamp} diferente, dependiendo de la hora de creación del archivo por lotes.

API de política de retención de procesos

Para incorporar la política de retención en tu cliente, utiliza los puntos finales dedicados de la API ReleaseRetention en tu archivo Swagger:

• GET /odata/ReleaseRetention: devuelve la lista de todas las políticas activas, conteniendo información como la acción de política, la duración de retención en días, el ID del proceso al que se aplica la política.
• GET /odata/ReleaseRetention({key}): devuelve la información sobre la política del proceso especificado.
• PUT /odata/ReleaseRetention({key}): actualiza la información de la política del proceso especificado.
• DELETE /odata/ReleaseRetention({key}): restablece la política del proceso especificada a la predeterminada de una retención y una eliminación pasados 30 días.
  Nota:

  Si llamas al punto final DELETE para procesos creados antes de la introducción de la característica de política de retención, se aplica la política de retención integrada de 30 días + eliminación.

Puede ver un ejemplo en nuestra guía de referencia.

Columnas y auditoría de seguimiento de politica

To easily identify which processes have a custom retention policy in place, enable the Retention action and Retention (days) columns on the Processs page, by selecting the corresponding checkboxes from the Columns dropdown.

Seleccione Eliminar en el menú desplegable Acción.

Figura 1. Filtro de columnas

Como ya se ha mencionado, se aplica una política de conservación de 30 días a los procesos de nueva creación. Sin embargo, no siempre puedes confiar en este valor para identificar los procesos que tienen aplicada una política predeterminada. Por ejemplo, si configuras una duración de retención personalizada de 55 días y más tarde la actualizas a 30 días, la política resultante no es la predeterminada. Para ver si estos escenarios representan políticas predeterminadas o no, comprueba la página Auditoría.

Cada vez que el trabajo en segundo plano realiza acciones de limpieza relacionadas con la Política de retención (archivar + eliminar o simplemente eliminar) se crea una entrada correspondiente en la auditoría en nombre del administrador.

1 representa el tipo de acción Archivar. 0 representa el tipo de acción Eliminar.