Política de retención de artículos en cola

Información general

El procesamiento de los elementos en cola genera grandes cantidades de transacciones, que pueden saturar rápidamente su base de datos Orchestrator. Una política de retención te ayuda a liberar espacio en la base de datos de forma organizada.

¿Qué es una política de retención?Es un acuerdo para garantizar capacidades de descarga de datos integradas, estableciendo una acción para eliminar datos de la base de datos tras un período de tiempo. ¿Qué esperar? Como la base de datos es más ligera, Cloud Orchestrator tiene mejor rendimiento.

Condiciones del artículo en cola

Para la cola especificada, la política de retención que configures se aplica a todos los artículos en cola que cumplen simultáneamente las siguientes condiciones:

• Para artículos en cola completados:
  • Tienen un estado final: Fallido, Correcto, Abandonado, Reintentado, Eliminado.
  • No se han modificado en más de X días, siendo X la duración de la retención.
• Para artículos en cola no completados:
  • Tienen el estado Nuevo .
  • No se han modificado en más de X días, siendo X la duración de la retención.

Artículos en cola pospuestos

La duración de la retención de los elementos en cola que estaban en curso y pospuestos se calcula de la siguiente manera: número de días hasta la fecha de aplazamiento + número de días configurados para la duración de la retención.

Ejemplo

• Estableces una acción de eliminación con una duración de retención de 30 días para la cola A.
• El elemento B de la cola perteneciente a la cola A se pospone 10 días.

El elemento B de la cola se eliminará en 40 días.

Suspended jobs

Las políticas de retención personalizadas no se aplican a los elementos en cola que están vinculados a un trabajo suspendido hasta que ese trabajo pasa a un estado completado o hasta que se elimina o archiva.

Ejemplo

• Estableces una acción de eliminación con una duración de retención de 30 días para la cola A.
• La cola A está vinculada al trabajo B, que está suspendido.
• El trabajo B se vuelve a habilitar y se completa dentro de los 10 días posteriores a la configuración de la duración de retención para la cola A.

Los elementos de la cola pertenecientes a la cola A se eliminarán en 40 días.

Determinación de la última vez que se modificó un artículo en cola

El algoritmo de validación del artículo en cola busca en todas las colas y determina qué artículos en cola cumplen las condiciones basándose en cuatro propiedades, en el siguiente orden:

• 1 - LastModificationTime
• 2 - EndProcessingTime
• 3 - StartProcessingTime
• 4 - CreationTime

Si un artículo en cola no tiene un valor de LastModificationTime (1), o si el valor es nulo, el algoritmo busca el valor EndProcessingTime (2). Si el valor de EndProcessingTime es nulo, el Algoritmo busca el valor de StartProcessingTime (3). Si el valor de StartProcessingTime es nulo, el algoritmo busca el valor de CreationTime (4), y aplica la política basada en el primer valor no nulo encontrado.

Determinación de cuándo se elimina un artículo en cola

La retención se calcula basándose en días naturales. Por tanto, los artículos en cola pertinentes se eliminan el día natural X+1, siendo X la duración de la retención, y +1 representa la ejecución del trabajo de eliminación el día natural siguiente.

Ten en cuenta que el trabajo puede ejecutarse al mismísimo inicio del día natural siguiente, por tanto, con un par de horas de diferencia sobre el momento en que termina el período de retención.

Por ejemplo, digamos que estableces una duración de retención de 1 día:

Si la última fecha de modificación de un artículo en cola es o bien 10-06-2022 00:01:00 (el primer minuto del día natural) o 10-06-2022 23:59:00 (el último minuto del día natural), es apto para el trabajo de eliminación que se ejecute el 12 de junio (10 de junio + 1 día de duración de retencíon + 1 día después = 12 de junio).

Por tanto:

• aseguramos que los datos de tu artículo en cola se conservan durante al menos 1 día natural (la duración de la retención) archivándolos el día natural siguiente.
• nuestro objetivo es garantizar que tus artículos se archivan al final del día natural siguiente.

Tipos de política

Estos son los tipos de política de retención:

• la política predeterminada para colas de nueva creación: todas las transacciones que forman parte de las colas nuevas se eliminan después de 30 días, sin la posibilidad de deshacer su eliminación. Esta es la opción integrada.
• La política personalizada: todas las transacciones se eliminan o archivan después de una duración de retención de tu elección. Esta opción se puede configurar como se indica en la sección Configurar una política de retención personalizada .
  • Artículos en cola completados:
    • La duración predeterminada es de 30 días.
    • La duración máxima es de 180 días.
  • Artículos en cola no completados:
    • La duración predeterminada es de 180 días.
    • La duración máxima es de 540 días.

Importante: Las políticas de retención predeterminadas se aplican a todas las colas del tenant.

Resultados de politica

Una política de retención personalizada tiene los siguientes resultados:

• elimina los artículos en cola válidos que son más antiguos que la duración especificada.
• elimina los artículos en cola válidos que son más antiguos que la duración especificada, pero archiva sus datos en un depósito de almacenamiento existente, para referencia futura. De esta manera, descargas la base de datos de Orchestrator sin perder la información.
• preserva las referencias únicas de los artículos en cola, para garantizar la repetición de validaciones después de la política aplicada.
  Nota: Los paneles de Insights que contienen información de artículo en cola eliminado seguirán mostrando los datos correctos.

Página de colas

La política de retención no se refleja de inmediato en la página de Colas.

Un nuevo cálculo de los datos viene desencadenado por cualquier evento de artículo en cola, como Crear, Editar, Eliminar, Estado o Reintentar. Los artículos en cola eliminados ya no se incluyen en el listado del nuevo cálculo.

Configuración de una política de retención personalizada

Para configurar una política de retención personalizada:

1. En Orchestrator, ve hasta la carpeta deseada en tu tenant.
2. Abre la página Colas.
3. Para añadir una nueva cola, haz clic en Añadir cola. Respectivamente, para editar una cola existente, haz clic en Más acciones > Editar para la cola deseada. Se abre la página Crear/Actualizar cola.
4. En la sección Política de retención, selecciona el resultado de tu política desde el menú desplegable Acción.

   Puedes establecer diferentes resultados de política y duraciones de retención para los elementos en cola completados y no completados.

   Para eliminar artículos en cola, pero conservar su información, lee los pasos de la sección Archivar artículos en cola.

   Para eliminar de forma permanente artículos en cola, lee los pasos de la sección Eliminación de artículos en cola.

Archivado de artículos en cola

Si no quieres perder los datos de tus elementos en cola, pero necesitas descargar esta información desde la base de datos de Orchestrator, archiva tus artículos en cola.

Requisito previo: necesitas un depósito de almacenamiento para almacenar tus artículos en cola archivados.

1. Selecciona Archivar en el menú desplegable Acción.
2. Selecciona una Duración de retención para los elementos en cola completados y no completados.

   Para los artículos en cola completados, puedes elegir un valor entre 1 y 180, siendo 30 el valor predeterminado.

   Para los artículos en cola no completados, puedes elegir un valor entre 180 y 540, siendo 180 el valor predeterminado.

   Al final de esta duración, todos los elementos de la cola (incluidos los eventos y comentarios de los elementos de la cola) que no se hayan actualizado mientras tanto se eliminan y su información se almacena en el depósito de destino.

3. Selecciona un Depósito de destino para almacenar tus artículos archivados.

Para recuperar la información archivada, accede a los archivos desde el depósito de almacenamiento asociado.

Nota:

Nota 1: puede utilizar un depósito de almacenamiento de Orchestrator o enlazar un depósito de almacenamiento externo.

Nota 2: el depósito de almacenamiento que uses no debe ser de solo lectura, de modo que la operación de archivado pueda añadirle artículos.

Nota 3: puedes usar el mismo depósito de almacenamiento para archivar artículos de cola de colas diferentes.

Nota 4: este campo solo está disponible para la opción Archivar .

Nota 5: los datos específicos y de salida de los elementos de cola cifrados son visibles en el depósito de almacenamiento, ya que la operación de archivado descifra los datos al recuperarlos y los exporta al almacenamiento de destino.

Nota 6: una operación de archivado con éxito se registra en la página Tenant > Auditoría, identificable por el tipo Acción como Archivo.

Nota 7: si algún error interrumpe la operación de archivado, aparecerá una alerta para que el error se solucione. La operación de archivado se vuelve a intentar la siguiente vez que se ejecute el trabajo de eliminación (el siguiente día natural). Hasta que el archivado se vuelva a intentar con éxito, no se podrá ver ni acceder a los artículos en cola afectados.

Salida de archivo

El archivo .zip

Cuando archivas tus artículos en cola, se crea un archivo .zip al final de la duración de la retención con la ruta:

"Archivo / Colas / Cola - {queue_key} / {archining_operation_date} - {archivar_operation_intimes}. Zip", en el que:

• {queue_key}: el identificador único de la cola que contiene los artículos en cola
• {archiving_operation_date}: la fecha en UTC cuando se generó el archivo, en formato yyyy-MM-dd
• {archiving_operation_timestamp}: la hora UTC cuando se generó el archivo, en formato HH-mm-ss-fff
  Por ejemplo, un archivo se podría llamar Archive/Queues/Queue-1d1ad84a-a06c-437e-974d-696ae66e47c2/2022-05-26-03-00-08-496.zip.

El archivo .csv

Una vez extraído, el archivo .zip muestra un archivo .csv con la misma sintaxis de nombre:

"Cola - {queue_key} - {archivar_operation_date} - {archivar_operation_timetamp}. Csv.

El .csvarchivo contiene la siguiente información sobre tus artículos en cola archivados:

El archivo Metadata.json

El archivo .json contiene detalles sobre la cola del contenedor, para ayudarte a identificarlo más fácilmente.

Volúmenes de datos grandes

Para colas que procesaron un gran número de transacciones, los artículos en cola se archivan por lotes. En este caso, el archivo .zip de cada lote tiene una {archiving-operation-timestamp} diferente, dependiendo de la hora en que se haya creado el archivo por lotes.

Eliminación de artículos en cola

Si decides que los datos de los artículos en cola procesados ya no son útiles, puedes eliminar toda la información de la base de datos de Orchestrator.

1. Seleccione Eliminar en el menú desplegable Acción.
2. Selecciona una Duración de retención para los elementos en cola completados y no completados.

   Para los artículos en cola completados, puedes elegir un valor entre 1 y 180, siendo 30 el valor predeterminado.

   Para los artículos en cola no completados, puedes elegir un valor entre 180 y 540, siendo 180 el valor predeterminado.

   Al final de esta duración, todos los elementos de la cola (incluidos los eventos y comentarios de los elementos de la cola) que no se hayan actualizado mientras tanto se eliminarán de forma permanente.

API de política de retención de cola

Para incorporar la política de retención en tu cliente, usa los puntos de conexión dedicados de la API de QueueRetention en tu archivo Swagger:

• GET /odata/QueueRetention: devuelve la lista de todas las políticas activas, conteniendo información como la acción de política, la duración de retención en días, la ID de la cola a la que se aplica la política.
• GET /odata/QueueRetention({key}): devuelve la información de la política sobre la cola especificada.
• PUT /odata/QueueRetention({key}): actualiza la información de la política sobre la cola especificada.
• DELETE /odata/QueueRetention({key}): restablece la política de cola especificada a la predeterminada de una retención + eliminación de 30 días.

Nota: si llamas al punto final DELETE para colas creadas antes de la introducción de la característica de política de retención, se aplica la política de retención integrada de 30 días + eliminación. Puedes ver un ejemplo en nuestra guía de referencia.

Columnas y auditoría de seguimiento de politica

Para identificar fácilmente qué colas tienen una política de retención personalizada aplicada, habilita las columnas Acción de retención y Retención (días) en la página Colas, seleccionando las casillas de verificación correspondientes en el menú desplegable Columnas.

Seleccione Eliminar en el menú desplegable Acción.

Como dijimos, a las colas de nueva creación se les aplica una política de retención de 30 días. Sin embargo, no siempre puede confiar en este valor para identificar las colas que tienen aplicada una política predeterminada. Por ejemplo, si configuras una duración de retención personalizada de 55 días y más tarde la actualizas a 30 días, la política resultante no es la predeterminada. Para ver si estos escenarios representan políticas predeterminadas o no, comprueba la página Auditoría.

1 representa el tipo de acción Archivar

0 representa el tipo de acción Eliminar