Política de retenção de item da fila

Visão geral

O processamento de itens de fila gera grandes quantidades de transações, que podem lotar rapidamente seu banco de dados do Orchestrator. Uma política de retenção ajuda você a liberar o banco de dados de forma organizada.

O que é uma política de retenção? É um acordo para assegurar recursos de descarregamento de dados integrados, ao definir uma ação para remover dados de seu banco de dados após um período de tempo. O que esperar? Devido a um banco de dados mais leve, seu Cloud Orchestrator terá um melhor desempenho.

Condições do item da fila

Para a fila especificada, a política de retenção que você configurar se aplicará a todos os itens de fila que atenderem simultaneamente às seguintes condições:

• têm um status final, como Com falha, Bem-sucedido, Abandonado, Tentado novamente ou Excluído, e
• foram modificados pela última vez mais de X dias atrás, com X sendo a duração de retenção.

Determinando quando um item da fila foi modificado pela última vez

O algoritmo de validação de itens de fila pesquisa todas as filas e determina quais itens de fila atendem às condições com base em quatro propriedades, na seguinte ordem:

• 1 - LastModificationTime
• 2 - EndProcessingTime
• 3 - StartProcessingTime
• 4 - CreationTime

Se um item de fila não tiver um valor de LastModificationTime (1), ou se o valor for nulo, o algoritmo olhará para o valor de EndProcessingTime (2). Se o Valor de EndProcessingTime for nulo, o algoritmo olhará para o valor de StartProcessingTime (3). Se o valor de StartProcessingTime for nulo, o algoritmo olhará para o valor de CreationTime (4) e aplicará a política com base no primeiro valor não nulo localizado.

Determinando quando um item da fila é excluído

A retenção é calculada com base em dias corridos. Portanto, itens de fila qualificados são excluídos no dia corrido X+1, com X sendo a duração de retenção, e +1 representando a execução do trabalho de exclusão no dia corrido seguinte.

Observe que o trabalho pode ser executado no início do dia corrido seguinte, portanto, algumas horas depois do momento em que a duração de retenção termina.

Por exemplo, digamos que você definiu uma duração de retenção de 1 dia:

Se a data da última modificação para um item de fila for 10/06/2022 00:01:00 (o primeiro minuto no dia corrido) ou 10/06/2022 23:59:00 (o último minuto no dia corrido), ela se qualificará para o trabalho de deleção que será executado em 12 de junho (10 de junho + um dia de duração de retenção + um dia após = 12 de junho).

Portanto:

• asseguramos que os dados de seus itens de fila sejam mantidos por pelo menos um dia corrido (a duração de retenção), arquivando-os no próximo dia corrido,
• procuramos assegurar que seus itens sejam arquivados até o final do próximo dia corrido.

Tipos de políticas

Estes são os tipos de política de retenção:

• a política padrão para filas recém-criadas - todas as transações que fazem parte de novas filas são mantidas indefinidamente em seu banco de dados configurado. Essa é a opção integrada.
  Importante:

  Incentivamos enfaticamente que você arquive ou exclua itens de fila. Dessa forma, você impede que seu banco de dados aumente de tamanho e cause degradações de desempenho.

• a política padrão para filas existentes - todas as transações existentes são mantidas indefinidamente em seu banco de dados configurado.

• a política personalizada - todas as transações são excluídas ou arquivadas após uma duração de retenção de sua escolha, que é de no máximo 180 dias, ou mantidas indefinidamente em seu banco de dados configurado. Essa opção pode ser configurada conforme instruído na seção Configuração de uma política de retenção personalizada.

Importante: as políticas de retenção padrão se aplicam a todas as filas no tenant.

Resultados das políticas

Uma política de retenção personalizada tem os seguintes resultados:

• mantém os itens de fila válidos em seu banco de dados configurado.
• exclui os itens de fila válidos mais antigos do que a duração especificada.
• exclui os itens de fila válidos mais antigos do que a duração especificada, mas arquiva seus dados em um bucket de armazenamento existente, para referência futura. Dessa forma, você descarrega o banco de dados do Orchestrator sem perder as informações.
• ele preserva as referências exclusivas dos itens de fila, para garantir a ocorrência de validações após a política aplicada.
  Observação: os painéis do Insights, que contêm informações dos itens das filas excluídos, continuarão a exibir os dados corretos.

Página Filas

A política de retenção não se reflete imediatamente na página Filas.

O recálculo de dados é acionado por um evento de item de fila, como Criar, Editar, Excluir, Status ou Tentar novamente. Os itens de fila excluídos não são mais incluídos na listagem de recálculo.

Mecanismo de descarregamento

Um trabalho em segundo plano é executado diariamente durante um período no qual seu servidor não esteja ocupado e executa as ações necessárias para todas as políticas de retenção.

Inicialmente, é necessário lidar com um grande volume de dados. Para evitar qualquer impacto no desempenho operacional, o trabalho pode demorar cerca de um mês para analisar a lista de pendência de dados e ficar preciso até o dia.

Portanto, as políticas podem não ser aplicadas imediatamente, mas isso ocorrerá em cerca de um mês.

Por exemplo, digamos que você configure uma política de exclusão de 45 dias para uma fila. A política torna-se ativa no final da Fase 1, mas demora cerca de um mês para garantir que todos os seus itens de fila mais antigos do que 45 dias sejam excluídos. Essa é uma exceção na primeira vez, para permitir que o trabalho passe pela lista de pendência de dados.

Configurando uma política de retenção personalizada

Para configurar uma política de retenção personalizada:

1. No Orchestrator, navegue até a pasta desejada em seu tenant.
2. Abra a página Filas.
3. Para adicionar uma nova fila, clique em Adicionar fila. Respectivamente, para editar uma fila existente, clique em Mais ações > Editar para a fila desejada. A página Criar/Atualizar fila é aberta.

4. Na seção Política de Retenção, selecione o resultado de sua política no menu suspenso Ação.

   Para excluir itens de fila mas manter as informações deles, leia as etapas na seção Arquivamento de itens de fila.

   Para excluir permanentemente itens de fila, leia as etapas na seção Excluir itens de fila.

   Para manter itens de fila em seu banco de dados por um período de tempo indefinido, leia as etapas na seção Manutenção de itens de fila.

Arquivando itens de fila

Se você não quiser perder os dados de seus itens de fila, mas precisar descarregar, essas informações do banco de dados do Orchestrator, arquive seus itens de fila.

Pré-requisito: você precisa de um bucket de armazenamento para armazenar seus itens de fila arquivados.

1. Selecione Arquivar no menu suspenso Ação.

2. Selecione uma Duração de retenção. Insira um valor entre 1 e 180. O valor padrão é 30.Ao fim dessa duração, todos os itens de fila no estado Final (incluindo eventos e comentários de itens de fila) que não foram atualizados nesse meio tempo serão excluídos, e suas informações serão armazenadas em um Bucket de destino.

3. Selecione um Bucket de destino para armazenar seus itens arquivados.

Para recuperar as informações arquivadas, acesse os arquivo arquivados no bucket de armazenamento associado.

Observação:

Observação 1: você pode usar um bucket de armazenamento do Orchestrator, um link para um bucket de armazenamento externo ou o bucket FileSystem em sua máquina.

Observação 2: o Bucket de armazenamento que você usar não deve ser somente leitura, para que a operação de arquivamento possa adicionar itens a ele.

Observação 3: você pode usar o mesmo bucket de armazenamento para arquivar itens de fila provenientes de filas diferentes.

Observação 4: Este campo está disponível apenas para a opção Arquivo .

Observação 5: dados específicos e de saída de itens de fila criptografados são visíveis no bucket de armazenamento, já que a operação de arquivamento decifra dados após a recuperação e os exporta para o armazenamento de destino.

Observação 6: uma operação de arquivamento bem-sucedida é registrada em log na página Tenant > Auditoria, identificável pelo tipo Ação como Arquivar.

Observação 7: se um erro interromper a operação de arquivamento, um alerta informará a você para corrigir o erro. A operação de arquivamento será tentada novamente na próxima vez em que o trabalho de exclusão for executado (no próximo dia corrido. Até que o arquivamento seja tentado novamente com sucesso, os itens de fila afetados não poderão ser visualizados ou acessados.

Excluindo itens de fila

Se você decidir que os dados de itens de fila processados não são mais úteis, você pode remover todas as informações de seu banco de dados do Orchestrator.

1. Selecione Excluir no menu suspenso Ação.

2. Selecione uma Duração de retenção. Insira um valor entre 1 e 180. O valor padrão é 30.Ao final dessa duração, todos os itens de fila no estado Final(incluindo eventos e comentários de itens de fila) que não foram atualizados nesse meio tempo serão excluídos permanentemente.

Manutenção de itens de fila

Se você quiser manter os dados de itens de fila processados por um período de tempo indefinido, selecione Manter no menu suspenso Ação.

Todos os itens da fila no estado final (incluindo eventos e comentários de itens da fila) são mantidos indefinidamente em seu banco de dados configurado.

Saída do arquivamento

O arquivo de transações

Ao arquivar seus itens de fila, um arquivo .zip será criado no final da duração de retenção com o seguinte caminho:

"Archive/Queues/Queue-{queue_key}/{archiving_operation_date}-{archiving_operation_timestamp}.zip", em que:

• {queue_key} - o identificador exclusivo da fila que contém os itens de fila
• {archiving_operation_date} - a data UTC na qual o arquivo foi gerado, no formato yyyy-MM-dd
• {archiving_operation_timestamp} - o horário UTC no qual o arquivo foi gerado, no formato HH-mm-ss-fff
  Por exemplo, um arquivo arquivado pode receber o nome Archive/Queues/Queue-1d1ad84a-a06c-437e-974d-696ae66e47c2/2022-05-26-03-00-08-496.zip.

O arquivo .csv

Após ter sido extraído, o arquivo .zip exibe um arquivo .csv com a mesma sintaxe de nome:

"Queue-{queue_key}-{archiving_operation_date}-{archiving_operation_timestamp}.csv".

O arquivo .csv contém as seguintes informações sobre seus itens de fila arquivados:

O arquivo Metadata.json

O arquivo .json contém detalhes sobre a fila de contêineres, para ajudar você a identificá-la mais facilmente.

Grandes volumes de dados

Para filas que processaram um grande número de transações, os itens de fila são arquivados em lotes. Nesse caso, o arquivo .zip de cada lote tem um {archiving-operation-timestamp} diferente, dependendo do horário em que o arquivamento do lote foi criado.

APIs de políticas de retenção de filas

Para incorporar a política de retenção em seu cliente, use os endpoints dedicados da API de QueueRetention em seu arquivo Swagger:

• GET /odata/QueueRetention - retorna a lista de todas as políticas ativas, contendo informações como a ação da política, a duração de retenção em dias e o ID da fila à qual a política se aplica.
• GET /odata/QueueRetention({key}) - retorna as informações da política sobre a fila especificada.
• PUT /odata/QueueRetention({key}) - atualiza as informações da política sobre a fila especificada.
• DELETE /odata/QueueRetention({key}) - redefine a política de fila especificada para o padrão um de retenção de 30 dias + exclusão.

Observação: se você chamar o endpoint DELETE para filas antes do lançamento da funcionalidade de política de retenção, a política de retenção integrada de 30 dias + exclusão se aplicará. Veja um exemplo em nosso guia de referência.

Colunas Rastreamento de políticas e auditoria

Para identificar facilmente quais filas têm uma política de retenção personalizada em vigor, habilite as colunas Ação de retenção e Retenção (dias) na página Filas, marcando as caixas de seleção correspondentes no menu suspenso Colunas.

A coluna Ação de retenção exibe o resultado da política, enquanto que a coluna Retenção (dias) exibe o tempo restante até que a política se aplique.

Conforme mencionado, uma política de retenção de 30 dias se aplica a filas recém-criadas. No entanto, você nem sempre pode confiar nesse valor para identificar as filas que têm uma política padrão em vigor. Por exemplo, se você definir uma duração de retenção personalizada de 55 dias e, posteriormente, atualizá-la para 30 dias, a política resultante não será a padrão. Para ver se esses cenários representam políticas padrão ou não, verifique a página Auditoria.

1 representa o tipo de ação Arquivar

0 representa o tipo de ação Excluir