Política de retención de artículos en cola

Información general

El procesamiento de los elementos en cola genera grandes cantidades de transacciones, que pueden saturar rápidamente su base de datos Orchestrator. Una política de retención te ayuda a liberar espacio en la base de datos de forma organizada.

¿Qué es una política de retención?Es un acuerdo para garantizar capacidades de descarga de datos integradas, estableciendo una acción para eliminar datos de la base de datos tras un período de tiempo. ¿Qué esperar? Como la base de datos es más ligera, Cloud Orchestrator tiene mejor rendimiento.

Condiciones del artículo en cola

Para la cola especificada, la política de retención que configures se aplica a todos los artículos en cola que cumplen simultáneamente las siguientes condiciones:

• tienen un estado final, como Fallido, Con éxito, Abandonado, Reintentado o Eliminado, y
• han sido modificados por última vez hace más de X días, siendo X la duración de la retención.

Determinación de la última vez que se modificó un artículo en cola

El algoritmo de validación del artículo en cola busca en todas las colas y determina qué artículos en cola cumplen las condiciones basándose en cuatro propiedades, en el siguiente orden:

• 1 - LastModificationTime
• 2 - EndProcessingTime
• 3 - StartProcessingTime
• 4 - CreationTime

Si un artículo en cola no tiene un valor de LastModificationTime (1), o si el valor es nulo, el algoritmo busca el valor EndProcessingTime (2). Si el valor de EndProcessingTime es nulo, el Algoritmo busca el valor de StartProcessingTime (3). Si el valor de StartProcessingTime es nulo, el algoritmo busca el valor de CreationTime (4), y aplica la política basada en el primer valor no nulo encontrado.

Determinación de cuándo se elimina un artículo en cola

La retención se calcula basándose en días naturales. Por tanto, los artículos en cola pertinentes se eliminan el día natural X+1, siendo X la duración de la retención, y +1 representa la ejecución del trabajo de eliminación el día natural siguiente.

Ten en cuenta que el trabajo puede ejecutarse al mismísimo inicio del día natural siguiente, por tanto, con un par de horas de diferencia sobre el momento en que termina el período de retención.

Por ejemplo, digamos que estableces una duración de retención de 1 día:

Si la última fecha de modificación de un artículo en cola es o bien 10-06-2022 00:01:00 (el primer minuto del día natural) o 10-06-2022 23:59:00 (el último minuto del día natural), es apto para el trabajo de eliminación que se ejecute el 12 de junio (10 de junio + 1 día de duración de retencíon + 1 día después = 12 de junio).

Por tanto:

• aseguramos que los datos de tu artículo en cola se conservan durante al menos 1 día natural (la duración de la retención) archivándolos el día natural siguiente.
• nuestro objetivo es garantizar que tus artículos se archivan al final del día natural siguiente.

Tipos de política

Estos son los tipos de política de retención:

• la política predeterminada para las colas recién creadas: todas las transacciones que forman parte de las nuevas colas se mantienen indefinidamente en tu base de datos configurada. Esta es la opción integrada.
  Importante:

  Te recomendamos encarecidamente que archives o elimines artículos en cola. De este modo, evitas que tu base de datos aumente de tamaño y ocasione degradaciones del rendimiento.

• la política predeterminada para las colas existentes: todas las transacciones existentes se mantienen de manera indefinida en tu base de datos configurada.

• la política personalizada: todas las transacciones se eliminan o archivan transcurrida una duración de retención deseada, como máximo 180 días, o se conservan de manera indefinida en tu base de datos configurada. Esta opción se puede configurar tal como se indica en la sección Configuración de una política de retención personalizada.

Importante: Las políticas de retención predeterminadas se aplican a todas las colas del tenant.

Resultados de politica

Una política de retención personalizada tiene los siguientes resultados:

• mantiene los artículos en cola válidos en tu base de datos configurada.

• elimina los artículos en cola válidos que son más antiguos que la duración especificada.
• elimina los artículos en cola válidos que son más antiguos que la duración especificada, pero archiva sus datos en un depósito de almacenamiento existente, para referencia futura. De esta manera, descargas la base de datos de Orchestrator sin perder la información.

• preserva las referencias únicas de los artículos en cola, para garantizar la repetición de validaciones después de la política aplicada.

  Nota: Los paneles de Insights que contienen información de artículo en cola eliminado seguirán mostrando los datos correctos.

Página de colas

La política de retención no se refleja de inmediato en la página de Colas.

Un nuevo cálculo de los datos viene desencadenado por cualquier evento de artículo en cola, como Crear, Editar, Eliminar, Estado o Reintentar. Los artículos en cola eliminados ya no se incluyen en el listado del nuevo cálculo.

Mecanismo de descarga

Diariamente se ejecutará un trabajo en segundo plano en un momento en que tu servidor no esté ocupado; dicho trabajo realizará las acciones necesarias para todas las políticas de retención.

Inicialmente deberá manejarse un gran volumen de datos. Para evitar cualquier impacto en el rendimiento del funcionamiento, el trabajo puede tardar alrededor de un mes en analizar la reserva de datos y llegar a la precisión del día.

Por tanto, puede que las políticas no se apliquen inmediatamente, pero se pondrán al día en aproximadamente un mes.

Por ejemplo, configure una política de eliminación de 45 días para una cola. La política se activa al final de la fase 1, pero tarda aproximadamente un mes en garantizarse que todos los artículos en cola con antigüedad mayor que 45 días se eliminen. Se trata de una excepción de primer día, para permitir que el trabajo analice la reserva de datos.

Configuración de una política de retención personalizada

Para configurar una política de retención personalizada:

1. En Orchestrator, ve hasta la carpeta deseada en tu tenant.
2. Abre la página Colas.
3. Para añadir una nueva cola, haz clic en Añadir cola. Respectivamente, para editar una cola existente, haz clic en Más acciones > Editar para la cola deseada. Se abre la página Crear/Actualizar cola.

4. En la sección Política de retención, selecciona el resultado de tu política desde el menú desplegable Acción.

   Para eliminar artículos en cola, pero conservar su información, lee los pasos de la sección Archivar artículos en cola.

   Para eliminar de forma permanente artículos en cola, lee los pasos de la sección Eliminación de artículos en cola.

   Para mantener los artículos en cola en tu base de datos durante un tiempo indefinido, consulta los pasos de la sección Mantener artículos en cola.

Archivado de artículos en cola

Si no quieres perder los datos de tus elementos en cola, pero necesitas descargar esta información desde la base de datos de Orchestrator, archiva tus artículos en cola.

Requisito previo: necesitas un depósito de almacenamiento para almacenar tus artículos en cola archivados.

1. Selecciona Archivar en el menú desplegable Acción.

2. Selecciona una Duración de retención. Escribe un valor entre 1 y 180. El valor predeterminado es 30. Al final de esta duración, todos los artículos en cola de estado final (incluyendo los eventos y los comentarios de artículo en cola) que no se hayan actualizado entretanto, se eliminan, y su información se almacena en el Depósito de destino.

3. Selecciona un Depósito de destino para almacenar tus artículos archivados.

Para recuperar la información archivada, accede a los archivos desde el depósito de almacenamiento asociado.

Nota:

Nota 1: Puedes utilizar un depósito de almacenamiento de Orchestrator, un enlace a un depósito de almacenamiento externo o el depósito del SistemaDeArchivos en tu máquina.

Nota 2: el depósito de almacenamiento que uses no debe ser de solo lectura, de modo que la operación de archivado pueda añadirle artículos.

Nota 3: puedes usar el mismo depósito de almacenamiento para archivar artículos de cola de colas diferentes.

Nota 4: este campo solo está disponible para la opción Archivar .

Nota 5: los datos específicos y de salida de artículos en cola cifrados son visibles en el depósito de almacenamiento, ya que la operación de archivado descifra los datos al recuperarlos y los exporta al almacenamiento de destino.

Nota 6: una operación de archivado con éxito se registra en la página Tenant > Auditoría, identificable por el tipo Acción como Archivo.

Nota 7: si algún error interrumpe la operación de archivado, aparecerá una alerta para que el error se solucione. La operación de archivado se vuelve a intentar la siguiente vez que se ejecute el trabajo de eliminación (el siguiente día natural). Hasta que el archivado se vuelva a intentar con éxito, no se podrá ver ni acceder a los artículos en cola afectados.

Eliminación de artículos en cola

Si decides que los datos de los artículos en cola procesados ya no son útiles, puedes eliminar toda la información de la base de datos de Orchestrator.

1. Seleccione Eliminar en el menú desplegable Acción.

2. Selecciona una Duración de retención. Escribe un valor entre 1 y 180. El valor predeterminado es 30. Al final de esta duración, todos los artículos en cola de estado final (incluyendo eventos y comentarios de artículos en cola) que no se hayan actualizado en el interim se eliminan de forma permanente.

Mantener artículos en cola

Si deseas mantener los datos de los artículos en cola procesados durante un tiempo indefinido, selecciona Mantener en el menú desplegable Acción.

Todos los artículos en cola de estado final (incluidos los eventos y comentarios de los artículos en cola) se mantienen indefinidamente en tu base de datos configurada.

Salida de archivo

El archivo .zip

Cuando archivas tus artículos en cola, se crea un archivo .zip al final de la duración de la retención con la ruta:

"Archivo / Colas / Cola - {queue_key} / {archining_operation_date} - {archivar_operation_intimes}. Zip", en el que:

• {queue_key}: el identificador único de la cola que contiene los artículos en cola
• {archiving_operation_date}: la fecha en UTC cuando se generó el archivo, en formato yyyy-MM-dd
• {archiving_operation_timestamp}: la hora UTC cuando se generó el archivo, en formato HH-mm-ss-fff
  Por ejemplo, un archivo se podría llamar Archive/Queues/Queue-1d1ad84a-a06c-437e-974d-696ae66e47c2/2022-05-26-03-00-08-496.zip.

El .csv Archivo

Una vez extraído, el archivo .zip muestra un archivo .csv con la misma sintaxis de nombre:

"Cola - {queue_key} - {archivar_operation_date} - {archivar_operation_timetamp}. Csv.

El .csvarchivo contiene la siguiente información sobre tus artículos en cola archivados:

El archivo Metadata.json

El archivo .json contiene detalles sobre la cola del contenedor, para ayudarte a identificarlo más fácilmente.

Volúmenes de datos grandes

Para colas que procesaron un gran número de transacciones, los artículos en cola se archivan por lotes. En este caso, el archivo .zip de cada lote tiene una {archiving-operation-timestamp} diferente, dependiendo de la hora en que se haya creado el archivo por lotes.

API de política de retención de cola

Para incorporar la política de retención en tu cliente, usa los puntos de conexión dedicados de la API de QueueRetention en tu archivo Swagger:

• GET /odata/QueueRetention: devuelve la lista de todas las políticas activas, conteniendo información como la acción de política, la duración de retención en días, la ID de la cola a la que se aplica la política.
• GET /odata/QueueRetention({key}): devuelve la información de la política sobre la cola especificada.
• PUT /odata/QueueRetention({key}): actualiza la información de la política sobre la cola especificada.
• DELETE /odata/QueueRetention({key}): restablece la política de cola especificada a la predeterminada de una retención + eliminación de 30 días.

Nota: si llamas al punto final DELETE para colas creadas antes de la introducción de la característica de política de retención, se aplica la política de retención integrada de 30 días + eliminación. Puedes ver un ejemplo en nuestra guía de referencia.

Columnas y auditoría de seguimiento de politica

Para identificar fácilmente qué colas tienen una política de retención personalizada aplicada, habilita las columnas Acción de retención y Retención (días) en la página Colas, seleccionando las casillas de verificación correspondientes en el menú desplegable Columnas.

Seleccione Eliminar en el menú desplegable Acción.

Como dijimos, a las colas de nueva creación se les aplica una política de retención de 30 días. Sin embargo, no siempre puede confiar en este valor para identificar las colas que tienen aplicada una política predeterminada. Por ejemplo, si configuras una duración de retención personalizada de 55 días y más tarde la actualizas a 30 días, la política resultante no es la predeterminada. Para ver si estos escenarios representan políticas predeterminadas o no, comprueba la página Auditoría.

1 representa el tipo de acción Archivar

0 representa el tipo de acción Eliminar