Política de retenção de item da fila

Visão geral

O processamento de itens de fila gera grandes quantidades de transações, que podem lotar rapidamente seu banco de dados do Orchestrator. Uma política de retenção ajuda você a liberar o banco de dados de forma organizada.

O que é uma política de retenção? É um acordo para assegurar recursos de descarregamento de dados integrados, ao definir uma ação para remover dados de seu banco de dados após um período de tempo. O que esperar? Devido a um banco de dados mais leve, seu Cloud Orchestrator terá um melhor desempenho.

Condições do item da fila

Para a fila especificada, a política de retenção que você configurar se aplicará a todos os itens de fila que atenderem simultaneamente às seguintes condições:

• For completed queue items:
  • They have a final status: Failed, Successful, Abandoned, Retried, Deleted.
  • They have not been modified in over X days, X being the retention duration.
• For uncompleted queue items:
  • They have the New status.
  • They have not been modified in over X days, X being the retention duration.

Postponed queue items

Queue items that were in progress and postponed have their retention duration computed as follows: number of days until the defer date + number of days configured for the retention duration.

Exemplo

• You set a deletion action with a 30-day retention duration for Queue A.
• Queue item B belonging to Queue A is postponed by 10 days.

Queue item B will be deleted in 40 days.

Suspended jobs

Custom retention policies are not applied to queue items that are linked to a suspended job until that job is moved to a completed state or until it is deleted or archived.

Exemplo

• You set a deletion action with a 30-day retention duration for Queue A.
• Queue A is linked to Job B, which is suspended.
• Job B is reenabled and completed within 10 days of setting the retention duration for Queue A.

Queue items belonging to Queue A will be deleted in 40 days.

Determinando quando um item da fila foi modificado pela última vez

O algoritmo de validação de itens de fila pesquisa todas as filas e determina quais itens de fila atendem às condições com base em quatro propriedades, na seguinte ordem:

• 1 - LastModificationTime
• 2 - EndProcessingTime
• 3 - StartProcessingTime
• 4 - CreationTime

Se um item de fila não tiver um valor de LastModificationTime (1), ou se o valor for nulo, o algoritmo olhará para o valor de EndProcessingTime (2). Se o Valor de EndProcessingTime for nulo, o algoritmo olhará para o valor de StartProcessingTime (3). Se o valor de StartProcessingTime for nulo, o algoritmo olhará para o valor de CreationTime (4) e aplicará a política com base no primeiro valor não nulo localizado.

Determinando quando um item da fila é excluído

A retenção é calculada com base em dias corridos. Portanto, itens de fila qualificados são excluídos no dia corrido X+1, com X sendo a duração de retenção, e +1 representando a execução do trabalho de exclusão no dia corrido seguinte.

Observe que o trabalho pode ser executado no início do dia corrido seguinte, portanto, algumas horas depois do momento em que a duração de retenção termina.

Por exemplo, digamos que você definiu uma duração de retenção de 1 dia:

Se a data da última modificação para um item de fila for 10/06/2022 00:01:00 (o primeiro minuto no dia corrido) ou 10/06/2022 23:59:00 (o último minuto no dia corrido), ela se qualificará para o trabalho de deleção que será executado em 12 de junho (10 de junho + um dia de duração de retenção + um dia após = 12 de junho).

Portanto:

• asseguramos que os dados de seus itens de fila sejam mantidos por pelo menos um dia corrido (a duração de retenção), arquivando-os no próximo dia corrido,
• procuramos assegurar que seus itens sejam arquivados até o final do próximo dia corrido.

Tipos de políticas

Estes são os tipos de política de retenção:

• The default policy for newly created queues - all transactions that are part of new queues are deleted after 30 days, without the possibility to undo their deletion. This is the built-in option.
• The custom policy - all transactions are deleted or archived after a retention duration of your choosing. This option can be configured as instructed in the Configuring a custom retention policy section.
  • Completed queue items:
    • The default duration is 30 days.
    • The maximum duration is 180 days.
  • Uncompleted queue items:
    • The default duration is 180 days.
    • The maximum duration is 540 days.

Importante: as políticas de retenção padrão se aplicam a todas as filas no tenant.

Resultados das políticas

Uma política de retenção personalizada tem os seguintes resultados:

• exclui os itens de fila válidos mais antigos do que a duração especificada.
• exclui os itens de fila válidos mais antigos do que a duração especificada, mas arquiva seus dados em um bucket de armazenamento existente, para referência futura. Dessa forma, você descarrega o banco de dados do Orchestrator sem perder as informações.
• ele preserva as referências exclusivas dos itens de fila, para garantir a ocorrência de validações após a política aplicada.
  Observação: os painéis do Insights, que contêm informações dos itens das filas excluídos, continuarão a exibir os dados corretos.

Página Filas

A política de retenção não se reflete imediatamente na página Filas.

O recálculo de dados é acionado por um evento de item de fila, como Criar, Editar, Excluir, Status ou Tentar novamente. Os itens de fila excluídos não são mais incluídos na listagem de recálculo.

Configurando uma política de retenção personalizada

Para configurar uma política de retenção personalizada:

1. No Orchestrator, navegue até a pasta desejada em seu tenant.
2. Abra a página Filas.
3. Para adicionar uma nova fila, clique em Adicionar fila. Respectivamente, para editar uma fila existente, clique em Mais ações > Editar para a fila desejada. A página Criar/Atualizar fila é aberta.
4. Na seção Política de Retenção, selecione o resultado de sua política no menu suspenso Ação.

   You can set different policy outcomes and retention durations for completed and uncompleted queue items.

   Para excluir itens de fila mas manter as informações deles, leia as etapas na seção Arquivamento de itens de fila.

   Para excluir permanentemente itens de fila, leia as etapas na seção Excluir itens de fila.

Arquivando itens de fila

Se você não quiser perder os dados de seus itens de fila, mas precisar descarregar, essas informações do banco de dados do Orchestrator, arquive seus itens de fila.

Pré-requisito: você precisa de um bucket de armazenamento para armazenar seus itens de fila arquivados.

1. Selecione Arquivar no menu suspenso Ação.
2. Select a Retention duration for both completed and uncompleted queue items.

   For completed queue items, you can choose a value between 1 and 180, with 30 being the default.

   For uncompleted queue items, you can choose a value between 180 and 540, with 180 being the default.

   At the end of this duration, all queue items (including queue item events and comments) that have not been updated in the meantime are deleted, and their information is stored in the target bucket.

3. Selecione um Bucket de destino para armazenar seus itens arquivados.

Para recuperar as informações arquivadas, acesse os arquivo arquivados no bucket de armazenamento associado.

Observação:

Observação 1: você pode usar um bucket de armazenamento do Orchestrator ou vincular um bucket de armazenamento externo.

Observação 2: o Bucket de armazenamento que você usar não deve ser somente leitura, para que a operação de arquivamento possa adicionar itens a ele.

Observação 3: você pode usar o mesmo bucket de armazenamento para arquivar itens de fila provenientes de filas diferentes.

Observação 4: Este campo está disponível apenas para a opção Arquivo .

Note 5: Specific and Output Data of encrypted queue items is visible in the storage bucket, as the archiving operation decrypts data upon retrieval and exports it to the target storage.

Observação 6: uma operação de arquivamento bem-sucedida é registrada em log na página Tenant > Auditoria, identificável pelo tipo Ação como Arquivar.

Observação 7: se um erro interromper a operação de arquivamento, um alerta informará a você para corrigir o erro. A operação de arquivamento será tentada novamente na próxima vez em que o trabalho de exclusão for executado (no próximo dia corrido. Até que o arquivamento seja tentado novamente com sucesso, os itens de fila afetados não poderão ser visualizados ou acessados.

Saída do arquivamento

O arquivo de transações

Ao arquivar seus itens de fila, um arquivo .zip será criado no final da duração de retenção com o seguinte caminho:

"Archive/Queues/Queue-{queue_key}/{archiving_operation_date}-{archiving_operation_timestamp}.zip", em que:

• {queue_key} - o identificador exclusivo da fila que contém os itens de fila
• {archiving_operation_date} - a data UTC na qual o arquivo foi gerado, no formato yyyy-MM-dd
• {archiving_operation_timestamp} - o horário UTC no qual o arquivo foi gerado, no formato HH-mm-ss-fff
  Por exemplo, um arquivo arquivado pode receber o nome Archive/Queues/Queue-1d1ad84a-a06c-437e-974d-696ae66e47c2/2022-05-26-03-00-08-496.zip.

O arquivo .csv

Após ter sido extraído, o arquivo .zip exibe um arquivo .csv com a mesma sintaxe de nome:

"Queue-{queue_key}-{archiving_operation_date}-{archiving_operation_timestamp}.csv".

O arquivo .csv contém as seguintes informações sobre seus itens de fila arquivados:

O arquivo Metadata.json

O arquivo .json contém detalhes sobre a fila de contêineres, para ajudar você a identificá-la mais facilmente.

Grandes volumes de dados

Para filas que processaram um grande número de transações, os itens de fila são arquivados em lotes. Nesse caso, o arquivo .zip de cada lote tem um {archiving-operation-timestamp} diferente, dependendo do horário em que o arquivamento do lote foi criado.

Excluindo itens de fila

Se você decidir que os dados de itens de fila processados não são mais úteis, você pode remover todas as informações de seu banco de dados do Orchestrator.

1. Selecione Excluir no menu suspenso Ação.
2. Select a Retention duration for both completed and uncompleted queue items.

   For completed queue items, you can choose a value between 1 and 180, with 30 being the default.

   For uncompleted queue items, you can choose a value between 180 and 540, with 180 being the default.

   At the end of this duration, all queue items (including queue item events and comments) that have not been updated in the meantime are permanently deleted.

APIs de políticas de retenção de filas

Para incorporar a política de retenção em seu cliente, use os endpoints dedicados da API de QueueRetention em seu arquivo Swagger:

• GET /odata/QueueRetention - retorna a lista de todas as políticas ativas, contendo informações como a ação da política, a duração de retenção em dias e o ID da fila à qual a política se aplica.
• GET /odata/QueueRetention({key}) - retorna as informações da política sobre a fila especificada.
• PUT /odata/QueueRetention({key}) - atualiza as informações da política sobre a fila especificada.
• DELETE /odata/QueueRetention({key}) - redefine a política de fila especificada para o padrão um de retenção de 30 dias + exclusão.

Observação: se você chamar o endpoint DELETE para filas antes do lançamento da funcionalidade de política de retenção, a política de retenção integrada de 30 dias + exclusão se aplicará. Veja um exemplo em nosso guia de referência.

Colunas Rastreamento de políticas e auditoria

Para identificar facilmente quais filas têm uma política de retenção personalizada em vigor, habilite as colunas Ação de retenção e Retenção (dias) na página Filas, marcando as caixas de seleção correspondentes no menu suspenso Colunas.

A coluna Ação de retenção exibe o resultado da política, enquanto que a coluna Retenção (dias) exibe o tempo restante até que a política se aplique.

Conforme mencionado, uma política de retenção de 30 dias se aplica a filas recém-criadas. No entanto, você nem sempre pode confiar nesse valor para identificar as filas que têm uma política padrão em vigor. Por exemplo, se você definir uma duração de retenção personalizada de 55 dias e, posteriormente, atualizá-la para 30 dias, a política resultante não será a padrão. Para ver se esses cenários representam políticas padrão ou não, verifique a página Auditoria.

1 representa o tipo de ação Arquivar

0 representa o tipo de ação Excluir