Política de Retenção de Dados de Processo

Visão geral

A execução de processos gera grandes quantidades de dados de trabalho, que podem encher o banco de dados do seu Orchestrator rapidamente. Uma política de retenção ajuda você a liberar o banco de dados de forma organizada.

O que é uma política de retenção? É um acordo para assegurar recursos de descarregamento de dados integrados, ao definir uma ação para remover dados de seu banco de dados após um período de tempo. O que esperar? Devido a um banco de dados mais leve, seu Cloud Orchestrator terá um melhor desempenho.

Condições do trabalho

Para o processo especificado, a política de retenção que você configura se aplica simultaneamente a todos os trabalhos que atendem às seguintes condições:

• Para trabalhos concluídos:
  • Eles têm um status final: Com falha, Bem- sucedido, Parado.
  • Eles terminaram há mais de X dias, com X sendo a duração de retenção.
• Para trabalhos não concluídos:
  • Eles têm um status não final: Pendente, Parando, Encerrando.
  • Eles não são modificados há mais de X dias, sendo X a duração de retenção.

Determinação quando um trabalho é excluído

A retenção é calculada com base em dias corridos. Portanto, trabalhos qualificados são excluídos no dia corrido X+1, com X sendo a duração de retenção, e +1 representando a exclusão no dia corrido seguinte.

Observe que a exclusão pode ser executada no início do dia corrido seguinte, portanto, algumas horas depois do momento em que a duração de retenção termina.

Por exemplo, digamos que você definiu uma duração de retenção de um dia:

Se a hora de término de um trabalho é 6 de junho de 2022 às 0h1min (o primeiro minuto de um dia corrido) ou 6 de junho de 2022 às 23h59 (o último minuto de um dia corrido), ele se qualifica para a exclusão que é executada em 8 de junho (6 de junho + duração de retenção de um dia + um dia a mais = 8 de junho).

Portanto:

• garantimos que os dados do seu trabalho serão mantidos por pelo menos um dia corrido (a duração de retenção), arquivando-os no dia de calendário seguinte e
• procuramos assegurar que seus itens sejam arquivados até o final do próximo dia corrido.

Tipos de políticas

Estes são os tipos de política de retenção:

• a política padrão para processos recém-criados — todos os trabalhos criados a partir de novos processos são excluídos após 30 dias, sem possibilidade de desfazer sua exclusão. Essa é a opção integrada.
• A política personalizada - todos os trabalhos são excluídos ou arquivados após uma duração de retenção de sua escolha. Essa opção pode ser configurada conforme instruído na seção Configurando uma política de retenção personalizada .
  • Trabalhos Concluídos:
    • A duração padrão é de 30 dias.
    • A duração máxima é de 180 dias.
  • Trabalhos não concluídos:
    • A duração padrão é de 180 dias.
    • A duração máxima é de 540 dias.

Importante:

A política padrão de 30 dias se aplica a:

• trabalhos sem um processo associado
• trabalhos cujo processo associado foi excluído

Resultados das políticas

Uma política de retenção personalizada tem os seguintes resultados:

• ele exclui os trabalhos mais antigos do que a duração especificada.

• exclui os trabalhos válidos que são mais antigos que a duração especificada, mas arquiva seus dados em um bucket de armazenamento existente, para referência futura.Dessa forma, você descarrega o banco de dados do Orchestrator sem perder as informações.

  Observação:

  Os painéis do Insights, que contêm informações dos itens das filas excluídos, continuarão a exibir os dados corretos.

  A exclusão no Orchestrator não será propagada para o Insights.

  Observação: preservamos as referências exclusivas do trabalho excluído, portanto, adicionar um novo trabalho não cria uma referência exclusiva duplicada.

Mecanismo de descarregamento

Um trabalho em segundo plano é executado diariamente num momento em que seu servidor não está ocupado e executa as ações necessárias para todas as políticas de retenção.

Inicialmente, é necessário lidar com um grande volume de dados. Para evitar qualquer impacto no desempenho operacional, o trabalho pode demorar cerca de um mês para analisar a lista de pendência de dados e ficar preciso até o dia.

Portanto, as políticas podem não ser aplicadas imediatamente, mas isso ocorrerá em cerca de um mês.

Por exemplo, digamos que você configure uma política de exclusão de 45 dias para um processo. A política torna-se ativa no final da Fase 1, mas demora cerca de um mês para garantir que todos os seus trabalhos de 45 dias sejam excluídos. Essa é uma exceção na primeira vez, para permitir que o trabalho passe pela lista de pendência de dados.

Configurando uma política de retenção personalizada

Para configurar uma política de retenção personalizada:

1. No Orchestrator, navegue até a pasta desejada em seu tenant.
2. Abra a página Processos .
3. Para adicionar um novo processo, clique em Adicionar processo. Respectivamente, para editar um processo existente, clique em Mais ações > Editar para o processo desejado. A página Criar/atualizar processo é aberta.
4. Na seção Política de Retenção, selecione o resultado de sua política no menu suspenso Ação.

   Você pode definir diferentes resultados de políticas e durações de retenção para trabalhos concluídos e não concluídos.

   Para excluir trabalhos, mas manter as informações deles, leia as etapas na seção Arquivamento de trabalhos.

   Para excluir permanentemente trabalhos, leia as etapas na seção Exclusão de trabalhos.

Arquivando trabalhos

Se você não quiser perder os dados do seu trabalho, mas precisa descarregar essas informações do banco de dados do Orchestrator, arquive seus trabalhos.

Pré-requisito: você precisa de um bucket de armazenamento para armazenar seus trabalhos arquivados.

1. Selecione Arquivar no menu suspenso Ação.
2. Selecione uma Duração de retenção para trabalhos concluídos e não concluídos.

   Para os trabalhos concluídos, você pode escolher um valor entre 1 e 180, com 30 sendo o padrão.

   Para trabalhos não concluídos, você pode escolher um valor entre 180 e 540, com 180 sendo o padrão.

   Ao final dessa duração, todos os trabalhos (incluindo eventos de trabalhos e mídias de execução) que não foram atualizados nesse meio tempo serão excluídos, e as informações deles serão armazenadas em um bucket de destino.

3. Selecione um Bucket de destino para armazenar seus itens arquivados.

Para recuperar as informações arquivadas, acesse os arquivo arquivados no bucket de armazenamento associado.

Observação:

Observação 1: você pode usar um bucket de armazenamento do Orchestrator ou vincular um bucket de armazenamento externo.

Observação 2: o Bucket de armazenamento que você usar não deve ser somente leitura, para que a operação de arquivamento possa adicionar itens a ele.

Observação 3: você pode usar o mesmo bucket de armazenamento para arquivar itens de diferentes processos.

Observação 4: Este campo está disponível apenas para a opção Arquivo .

Observação 5: uma operação de arquivamento bem-sucedida é registrada em log na página Tenant > Auditoria, identificável pelo tipo Ação como Arquivar.

Observação 6: se um erro interromper a operação de arquivamento, um alerta informará a você para corrigir o erro. A operação de arquivamento será tentada novamente na próxima vez em que o trabalho de exclusão for executado (no próximo dia corrido). Até que o arquivamento seja tentado novamente com sucesso, os trabalhos afetados não poderão ser visualizados ou acessados.

Arquivar saída

O arquivo de transações

Ao arquivar seus trabalhos, um arquivo .zip será criado no final da duração de retenção com o seguinte caminho:

"Archive/Processes/Process-{process_key}/{archiving_operation_date}-{archiving_operation_timestamp}.zip", em que:

• {process_key} - o identificador exclusivo do processo que contém os trabalhos
• {archiving_operation_date} - a data UTC na qual o arquivo foi gerado, no formato yyyy-MM-dd
• {archiving_operation_timestamp} - o horário UTC no qual o arquivo foi gerado, no formato HH-mm-ss-fff
  Por exemplo, um arquivo arquivado pode receber o nome Archive/Processes/Process-1d1ad84a-a06c-437e-974d-696ae66e47c2/2022-05-26-03-00-08-496.zip.

O arquivo .csv

Após ter sido extraído, o arquivo .zip exibe um arquivo .csv com a mesma sintaxe de nome:

"Process-{process_key}-{archiving_operation_date}-{archiving_operation_timestamp}.csv".

O arquivo Metadata.json

O arquivo .json contém detalhes sobre o processo em contêiner, para ajudar você a identificá-la mais facilmente.

Grandes volumes de dados

Os processos que processaram um grande número de trabalhos são arquivados em lotes. Neste caso, o arquivo .zip de cada lote possui um {carimbo-de-data-hora-da-operação-de-arquivamento}, dependendo da hora em que o arquivo do lote foi criado.

Excluindo trabalhos

Se decidir que os dados processados do trabalho não são mais úteis, você pode remover todas essas informações do banco de dados do Orchestrator.

1. Selecione Excluir no menu suspenso Ação.
2. Selecione uma Duração de retenção para trabalhos concluídos e não concluídos.

   Para os trabalhos concluídos, você pode escolher um valor entre 1 e 180, com 30 sendo o padrão.

   Para trabalhos não concluídos, você pode escolher um valor entre 180 e 540, com 180 sendo o padrão.

   Ao final dessa duração, todos os trabalhos (incluindo eventos de trabalhos e mídias de execução) que não foram atualizados nesse meio tempo serão excluídos, e as informações deles serão armazenadas em um bucket de destino.

Manutenção de trabalhos

Se você quiser manter os dados de trabalhos processados por um período de tempo indefinido, selecione Manter no menu suspenso Ação .

All final state jobs are kept indefinitely in your configured database.

APIs de política de retenção de processos

Para incorporar a política de retenção em seu cliente, use os pontos de extremidade dedicados da API de ReleaseRetention em seu arquivo Swagger:

• GET /odata/ReleaseRetention — retorna a lista de todas as políticas ativas, contendo informações como a ação da política, a duração de retenção em dias e o ID do processo ao qual a política se aplica.
• GET /odata/ReleaseRetention({key}) — retorna as informações da política relacionadas ao processo especificado.
• PUT /odata/ReleaseRetention({key}) — atualiza as informações da política relacionadas ao processo especificado.
• DELETE /odata/ReleaseRetention({key}) — redefine a política de processo especificada para o valor padrão, retenção de 30 dias + exclusão.

Observação: se você chamar o ponto de extremidade DELETE para processos criados antes da introdução do recurso de política de retenção, a política de retenção integrada de 30 dias + exclusão se aplica.

Veja um exemplo em nosso guia de referência.

Colunas Rastreamento de políticas e auditoria

Para identificar com facilidade quais processos têm uma política de retenção personalizada em vigor, habilite as colunas Ação de retenção e Retenção (dias) na página Processos selecionando as caixas de seleção correspondentes no menu suspenso Colunas.

A coluna Ação de retenção exibe o resultado da política, enquanto que a coluna Retenção (dias) exibe o tempo restante até que a política se aplique.

Como mencionado, uma política de retenção de 30 dias se aplica para os processos recém-criados. No entanto, você nem sempre pode confiar nesse valor para identificar os processos que têm uma política padrão em vigor. Por exemplo, se você definir uma duração de retenção personalizada de 55 dias e, posteriormente, atualizá-la para 30 dias, a política resultante não será a padrão. Para ver se esses cenários representam políticas padrão ou não, verifique a página Auditoria.

Sempre que o trabalho em segundo plano realiza ações de limpeza relacionadas à política de retenção (arquivar + excluir ou apenas excluir), uma entrada correspondente é criada na auditoria em nome do administrador.

1 representa o tipo de ação Arquivar. 0 representa o tipo de ação Excluir.