Política de retenção de item da fila

Visão geral

O processamento de itens de fila gera grandes quantidades de transações, que podem lotar rapidamente seu banco de dados do Orchestrator. Uma política de retenção ajuda você a liberar o banco de dados de forma organizada.

O que é uma política de retenção? É um acordo para assegurar recursos de descarregamento de dados integrados, ao definir uma ação para remover dados de seu banco de dados após um período de tempo. O que esperar? Devido a um banco de dados mais leve, seu Cloud Orchestrator terá um melhor desempenho.

Condições do item da fila

Para a fila especificada, a política de retenção que você configurar se aplicará a todos os itens de fila que atenderem simultaneamente às seguintes condições:

• Para itens de fila concluídos:
  • Eles têm um status final: Falha, Sucesso, Abandonado, Repetido, Excluído.
  • Eles não são modificados há mais de X dias, sendo X a duração de retenção.
• Para itens de fila não concluídos:
  • Eles têm o status Novo .
  • Eles não são modificados há mais de X dias, sendo X a duração de retenção.

Itens da fila adiada

Os itens da fila que estavam em progresso e foram adiados têm sua duração de retenção computada da seguinte maneira: número de dias até a data de adiamento + número de dias configurados para a duração de retenção.

Exemplo

• Você definiu uma ação de exclusão com uma duração de retenção de 30 dias para a Fila A.
• O item da fila B pertencente à Fila A foi adiado por 10 dias.

O item da fila B será excluído em 40 dias.

Suspended jobs

As políticas de retenção personalizadas não são aplicadas a itens de fila vinculados a um trabalho suspenso até que esse trabalho seja movido para o estado de concluído ou até que seja excluído ou arquivado.

Exemplo

• Você definiu uma ação de exclusão com uma duração de retenção de 30 dias para a Fila A.
• A Fila A está vinculada ao Trabalho B, que está suspenso.
• O Trabalho B é reabilitado e concluído dentro de 10 dias após a definição da duração de retenção para a Fila A.

Os itens da fila pertencentes à fila A serão excluídos em 40 dias.

Determinando quando um item da fila foi modificado pela última vez

O algoritmo de validação de itens de fila pesquisa todas as filas e determina quais itens de fila atendem às condições com base em quatro propriedades, na seguinte ordem:

• 1 - LastModificationTime
• 2 - EndProcessingTime
• 3 - StartProcessingTime
• 4 - CreationTime

Se um item de fila não tiver um valor de LastModificationTime (1), ou se o valor for nulo, o algoritmo olhará para o valor de EndProcessingTime (2). Se o Valor de EndProcessingTime for nulo, o algoritmo olhará para o valor de StartProcessingTime (3). Se o valor de StartProcessingTime for nulo, o algoritmo olhará para o valor de CreationTime (4) e aplicará a política com base no primeiro valor não nulo localizado.

Determinando quando um item da fila é excluído

A retenção é calculada com base em dias corridos. Portanto, itens de fila qualificados são excluídos no dia corrido X+1, com X sendo a duração de retenção, e +1 representando a execução do trabalho de exclusão no dia corrido seguinte.

Observe que o trabalho pode ser executado no início do dia corrido seguinte, portanto, algumas horas depois do momento em que a duração de retenção termina.

Por exemplo, digamos que você definiu uma duração de retenção de 1 dia:

Se a data da última modificação para um item de fila for 10/06/2022 00:01:00 (o primeiro minuto no dia corrido) ou 10/06/2022 23:59:00 (o último minuto no dia corrido), ela se qualificará para o trabalho de deleção que será executado em 12 de junho (10 de junho + um dia de duração de retenção + um dia após = 12 de junho).

Portanto:

• asseguramos que os dados de seus itens de fila sejam mantidos por pelo menos um dia corrido (a duração de retenção), arquivando-os no próximo dia corrido,
• procuramos assegurar que seus itens sejam arquivados até o final do próximo dia corrido.

Tipos de políticas

Estes são os tipos de política de retenção:

• a política padrão para filas recém-criadas - todas as transações que fazem parte de novas filas são excluídas após 30 dias, sem possibilidade de desfazer sua exclusão. Essa é a opção integrada.
• A política personalizada - todas as transações são excluídas ou arquivadas após uma duração de retenção de sua escolha. Essa opção pode ser configurada conforme instruído na seção Configurando uma política de retenção personalizada .
  • Itens da fila concluídos:
    • A duração padrão é de 30 dias.
    • A duração máxima é de 180 dias.
  • Itens da fila não concluídos:
    • A duração padrão é de 180 dias.
    • A duração máxima é de 540 dias.

Importante: as políticas de retenção padrão se aplicam a todas as filas no tenant.

Resultados das políticas

Uma política de retenção personalizada tem os seguintes resultados:

• exclui os itens de fila válidos mais antigos do que a duração especificada.
• exclui os itens de fila válidos mais antigos do que a duração especificada, mas arquiva seus dados em um bucket de armazenamento existente, para referência futura. Dessa forma, você descarrega o banco de dados do Orchestrator sem perder as informações.
• ele preserva as referências exclusivas dos itens de fila, para garantir a ocorrência de validações após a política aplicada.
  Observação: os painéis do Insights, que contêm informações dos itens das filas excluídos, continuarão a exibir os dados corretos.

Página Filas

A política de retenção não se reflete imediatamente na página Filas.

O recálculo de dados é acionado por um evento de item de fila, como Criar, Editar, Excluir, Status ou Tentar novamente. Os itens de fila excluídos não são mais incluídos na listagem de recálculo.

Configurando uma política de retenção personalizada

Para configurar uma política de retenção personalizada:

1. No Orchestrator, navegue até a pasta desejada em seu tenant.
2. Abra a página Filas.
3. Para adicionar uma nova fila, clique em Adicionar fila. Respectivamente, para editar uma fila existente, clique em Mais ações > Editar para a fila desejada. A página Criar/Atualizar fila é aberta.
4. Na seção Política de Retenção, selecione o resultado de sua política no menu suspenso Ação.

   Você pode definir diferentes resultados de políticas e durações de retenção para itens de fila concluídos e não concluídos.

   Para excluir itens de fila mas manter as informações deles, leia as etapas na seção Arquivamento de itens de fila.

   Para excluir permanentemente itens de fila, leia as etapas na seção Excluir itens de fila.

Arquivando itens de fila

Se você não quiser perder os dados de seus itens de fila, mas precisar descarregar, essas informações do banco de dados do Orchestrator, arquive seus itens de fila.

Pré-requisito: você precisa de um bucket de armazenamento para armazenar seus itens de fila arquivados.

1. Selecione Arquivar no menu suspenso Ação.
2. Selecione uma Duração de retenção para itens da fila concluídos e não concluídos.

   Para itens da fila concluídos, você pode escolher um valor entre 1 e 180, com 30 sendo o padrão.

   Para itens de fila não concluídos, você pode escolher um valor entre 180 e 540, com 180 sendo o padrão.

   Ao final dessa duração, todos os itens de fila (incluindo eventos e comentários de itens de fila) que não foram atualizados nesse meio tempo serão excluídos, e suas informações serão armazenadas no bucket de destino.

3. Selecione um Bucket de destino para armazenar seus itens arquivados.

Para recuperar as informações arquivadas, acesse os arquivo arquivados no bucket de armazenamento associado.

Observação:

Observação 1: você pode usar um bucket de armazenamento do Orchestrator ou vincular um bucket de armazenamento externo.

Observação 2: o Bucket de armazenamento que você usar não deve ser somente leitura, para que a operação de arquivamento possa adicionar itens a ele.

Observação 3: você pode usar o mesmo bucket de armazenamento para arquivar itens de fila provenientes de filas diferentes.

Observação 4: Este campo está disponível apenas para a opção Arquivo .

Observação 5: dados específicos e de saída de itens de fila criptografados são visíveis no bucket de armazenamento, já que a operação de arquivamento descriptografa dados após a recuperação e os exporta para o armazenamento de destino.

Observação 6: uma operação de arquivamento bem-sucedida é registrada em log na página Tenant > Auditoria, identificável pelo tipo Ação como Arquivar.

Observação 7: se um erro interromper a operação de arquivamento, um alerta informará a você para corrigir o erro. A operação de arquivamento será tentada novamente na próxima vez em que o trabalho de exclusão for executado (no próximo dia corrido. Até que o arquivamento seja tentado novamente com sucesso, os itens de fila afetados não poderão ser visualizados ou acessados.

Saída do arquivamento

O arquivo de transações

Ao arquivar seus itens de fila, um arquivo .zip será criado no final da duração de retenção com o seguinte caminho:

"Archive/Queues/Queue-{queue_key}/{archiving_operation_date}-{archiving_operation_timestamp}.zip", em que:

• {queue_key} - o identificador exclusivo da fila que contém os itens de fila
• {archiving_operation_date} - a data UTC na qual o arquivo foi gerado, no formato yyyy-MM-dd
• {archiving_operation_timestamp} - o horário UTC no qual o arquivo foi gerado, no formato HH-mm-ss-fff
  Por exemplo, um arquivo arquivado pode receber o nome Archive/Queues/Queue-1d1ad84a-a06c-437e-974d-696ae66e47c2/2022-05-26-03-00-08-496.zip.

O arquivo .csv

Após ter sido extraído, o arquivo .zip exibe um arquivo .csv com a mesma sintaxe de nome:

"Queue-{queue_key}-{archiving_operation_date}-{archiving_operation_timestamp}.csv".

O arquivo .csv contém as seguintes informações sobre seus itens de fila arquivados:

O arquivo Metadata.json

O arquivo .json contém detalhes sobre a fila de contêineres, para ajudar você a identificá-la mais facilmente.

Grandes volumes de dados

Para filas que processaram um grande número de transações, os itens de fila são arquivados em lotes. Nesse caso, o arquivo .zip de cada lote tem um {archiving-operation-timestamp} diferente, dependendo do horário em que o arquivamento do lote foi criado.

Excluindo itens de fila

Se você decidir que os dados de itens de fila processados não são mais úteis, você pode remover todas as informações de seu banco de dados do Orchestrator.

1. Selecione Excluir no menu suspenso Ação.
2. Selecione uma Duração de retenção para itens da fila concluídos e não concluídos.

   Para itens da fila concluídos, você pode escolher um valor entre 1 e 180, com 30 sendo o padrão.

   Para itens de fila não concluídos, você pode escolher um valor entre 180 e 540, com 180 sendo o padrão.

   Ao final dessa duração, todos os itens de fila (incluindo eventos e comentários de itens de fila) que não foram atualizados nesse meio tempo serão excluídos permanentemente.

APIs de políticas de retenção de filas

Para incorporar a política de retenção em seu cliente, use os endpoints dedicados da API de QueueRetention em seu arquivo Swagger:

• GET /odata/QueueRetention - retorna a lista de todas as políticas ativas, contendo informações como a ação da política, a duração de retenção em dias e o ID da fila à qual a política se aplica.
• GET /odata/QueueRetention({key}) - retorna as informações da política sobre a fila especificada.
• PUT /odata/QueueRetention({key}) - atualiza as informações da política sobre a fila especificada.
• DELETE /odata/QueueRetention({key}) - redefine a política de fila especificada para o padrão um de retenção de 30 dias + exclusão.

Observação: se você chamar o endpoint DELETE para filas antes do lançamento da funcionalidade de política de retenção, a política de retenção integrada de 30 dias + exclusão se aplicará. Veja um exemplo em nosso guia de referência.

Colunas Rastreamento de políticas e auditoria

Para identificar facilmente quais filas têm uma política de retenção personalizada em vigor, habilite as colunas Ação de retenção e Retenção (dias) na página Filas, marcando as caixas de seleção correspondentes no menu suspenso Colunas.

A coluna Ação de retenção exibe o resultado da política, enquanto que a coluna Retenção (dias) exibe o tempo restante até que a política se aplique.

Conforme mencionado, uma política de retenção de 30 dias se aplica a filas recém-criadas. No entanto, você nem sempre pode confiar nesse valor para identificar as filas que têm uma política padrão em vigor. Por exemplo, se você definir uma duração de retenção personalizada de 55 dias e, posteriormente, atualizá-la para 30 dias, a política resultante não será a padrão. Para ver se esses cenários representam políticas padrão ou não, verifique a página Auditoria.

1 representa o tipo de ação Arquivar

0 representa o tipo de ação Excluir