Política de Retenção de Dados de Processo

Visão geral

A execução de processos gera grandes quantidades de dados de trabalho, que podem encher o banco de dados do seu Orchestrator rapidamente. Uma política de retenção ajuda você a liberar o banco de dados de forma organizada.

O que é uma política de retenção? É um acordo para assegurar recursos de descarregamento de dados integrados, ao definir uma ação para remover dados de seu banco de dados após um período de tempo. O que esperar? Devido a um banco de dados mais leve, seu Cloud Orchestrator terá um melhor desempenho.

Condições do trabalho

Para o processo especificado, a política de retenção que você configura se aplica simultaneamente a todos os trabalhos que atendem às seguintes condições:

• For completed jobs:
  • They have a final status: Faulted, Successful, Stopped.
  • They have ended more than X days ago, X being the retention duration.
• For uncompleted jobs:
  • They have a non-final status: Pending, Stopping, Terminating.
  • They have not been modified in over X days, X being the retention duration.

Determinação quando um trabalho é excluído

A retenção é calculada com base em dias corridos. Portanto, trabalhos qualificados são excluídos no dia corrido X+1, com X sendo a duração de retenção, e +1 representando a exclusão no dia corrido seguinte.

Observe que a exclusão pode ser executada no início do dia corrido seguinte, portanto, algumas horas depois do momento em que a duração de retenção termina.

Por exemplo, digamos que você definiu uma duração de retenção de um dia:

Se a hora de término de um trabalho é 6 de junho de 2022 às 0h1min (o primeiro minuto de um dia corrido) ou 6 de junho de 2022 às 23h59 (o último minuto de um dia corrido), ele se qualifica para a exclusão que é executada em 8 de junho (6 de junho + duração de retenção de um dia + um dia a mais = 8 de junho).

Portanto:

• garantimos que os dados do seu trabalho serão mantidos por pelo menos um dia corrido (a duração de retenção), arquivando-os no dia de calendário seguinte e
• procuramos assegurar que seus itens sejam arquivados até o final do próximo dia corrido.

Tipos de políticas

Estes são os tipos de política de retenção:

• The default policy for newly created processes - all jobs that are created from new processes are deleted after 30 days, without the possibility to undo their deletion. This is the built-in option.
• The custom policy - all jobs are deleted or archived after a retention duration of your choosing. This option can be configured as instructed in the Configuring a custom retention policy section.
  • Completed jobs:
    • The default duration is 30 days.
    • The maximum duration is 180 days.
  • Uncompleted jobs:
    • The default duration is 180 days.
    • The maximum duration is 540 days.

Importante:

A política padrão de 30 dias se aplica a:

• trabalhos sem um processo associado
• trabalhos cujo processo associado foi excluído

Resultados das políticas

Uma política de retenção personalizada tem os seguintes resultados:

• ele exclui os trabalhos mais antigos do que a duração especificada.

• exclui os trabalhos válidos que são mais antigos que a duração especificada, mas arquiva seus dados em um bucket de armazenamento existente, para referência futura.Dessa forma, você descarrega o banco de dados do Orchestrator sem perder as informações.

  Observação:

  Os painéis do Insights, que contêm informações dos itens das filas excluídos, continuarão a exibir os dados corretos.

  A exclusão no Orchestrator não será propagada para o Insights.

  Observação: preservamos as referências exclusivas do trabalho excluído, portanto, adicionar um novo trabalho não cria uma referência exclusiva duplicada.

Mecanismo de descarregamento

Um trabalho em segundo plano é executado diariamente num momento em que seu servidor não está ocupado e executa as ações necessárias para todas as políticas de retenção.

Inicialmente, é necessário lidar com um grande volume de dados. Para evitar qualquer impacto no desempenho operacional, o trabalho pode demorar cerca de um mês para analisar a lista de pendência de dados e ficar preciso até o dia.

Portanto, as políticas podem não ser aplicadas imediatamente, mas isso ocorrerá em cerca de um mês.

Por exemplo, digamos que você configure uma política de exclusão de 45 dias para um processo. A política torna-se ativa no final da Fase 1, mas demora cerca de um mês para garantir que todos os seus trabalhos de 45 dias sejam excluídos. Essa é uma exceção na primeira vez, para permitir que o trabalho passe pela lista de pendência de dados.

Configurando uma política de retenção personalizada

Para configurar uma política de retenção personalizada:

1. No Orchestrator, navegue até a pasta desejada em seu tenant.
2. Abra a página Processos .
3. Para adicionar um novo processo, clique em Adicionar processo. Respectivamente, para editar um processo existente, clique em Mais ações > Editar para o processo desejado. A página Criar/atualizar processo é aberta.
4. Na seção Política de Retenção, selecione o resultado de sua política no menu suspenso Ação.

   You can set different policy outcomes and retention durations for completed and uncompleted jobs.

   Para excluir trabalhos, mas manter as informações deles, leia as etapas na seção Arquivamento de trabalhos.

   Para excluir permanentemente trabalhos, leia as etapas na seção Exclusão de trabalhos.

Arquivando trabalhos

Se você não quiser perder os dados do seu trabalho, mas precisa descarregar essas informações do banco de dados do Orchestrator, arquive seus trabalhos.

Pré-requisito: você precisa de um bucket de armazenamento para armazenar seus trabalhos arquivados.

1. Selecione Arquivar no menu suspenso Ação.
2. Select a Retention duration for both completed and uncompleted jobs.

   For completed jobs, you can choose a value between 1 and 180, with 30 being the default.

   For uncompleted jobs, you can choose a value between 180 and 540, with 180 being the default.

   At the end of this duration, all jobs (including job events and execution media) that have not been updated in the meantime are deleted, and their information is stored in a target bucket.

3. Selecione um Bucket de destino para armazenar seus itens arquivados.

Para recuperar as informações arquivadas, acesse os arquivo arquivados no bucket de armazenamento associado.

Observação:

Observação 1: você pode usar um bucket de armazenamento do Orchestrator ou vincular um bucket de armazenamento externo.

Observação 2: o Bucket de armazenamento que você usar não deve ser somente leitura, para que a operação de arquivamento possa adicionar itens a ele.

Observação 3: você pode usar o mesmo bucket de armazenamento para arquivar itens de diferentes processos.

Observação 4: Este campo está disponível apenas para a opção Arquivo .

Observação 5: uma operação de arquivamento bem-sucedida é registrada em log na página Tenant > Auditoria, identificável pelo tipo Ação como Arquivar.

Observação 6: se um erro interromper a operação de arquivamento, um alerta informará a você para corrigir o erro. A operação de arquivamento será tentada novamente na próxima vez em que o trabalho de exclusão for executado (no próximo dia corrido). Até que o arquivamento seja tentado novamente com sucesso, os trabalhos afetados não poderão ser visualizados ou acessados.

Arquivar saída

O arquivo de transações

Ao arquivar seus trabalhos, um arquivo .zip será criado no final da duração de retenção com o seguinte caminho:

"Archive/Processes/Process-{process_key}/{archiving_operation_date}-{archiving_operation_timestamp}.zip", em que:

• {process_key} - o identificador exclusivo do processo que contém os trabalhos
• {archiving_operation_date} - a data UTC na qual o arquivo foi gerado, no formato yyyy-MM-dd
• {archiving_operation_timestamp} - o horário UTC no qual o arquivo foi gerado, no formato HH-mm-ss-fff
  Por exemplo, um arquivo arquivado pode receber o nome Archive/Processes/Process-1d1ad84a-a06c-437e-974d-696ae66e47c2/2022-05-26-03-00-08-496.zip.

O arquivo .csv

Após ter sido extraído, o arquivo .zip exibe um arquivo .csv com a mesma sintaxe de nome:

"Process-{process_key}-{archiving_operation_date}-{archiving_operation_timestamp}.csv".

O arquivo Metadata.json

O arquivo .json contém detalhes sobre o processo em contêiner, para ajudar você a identificá-la mais facilmente.

Grandes volumes de dados

Os processos que processaram um grande número de trabalhos são arquivados em lotes. Neste caso, o arquivo .zip de cada lote possui um {carimbo-de-data-hora-da-operação-de-arquivamento}, dependendo da hora em que o arquivo do lote foi criado.

Excluindo trabalhos

Se decidir que os dados processados do trabalho não são mais úteis, você pode remover todas essas informações do banco de dados do Orchestrator.

1. Selecione Excluir no menu suspenso Ação.
2. Select a Retention duration for both completed and uncompleted jobs.

   For completed jobs, you can choose a value between 1 and 180, with 30 being the default.

   For uncompleted jobs, you can choose a value between 180 and 540, with 180 being the default.

   At the end of this duration, all jobs (including job events and execution media) that have not been updated in the meantime are deleted, and their information is stored in a target bucket.

Keeping jobs

If you want to keep processed jobs data for an indefinite time, select Keep from the Action dropdown menu.

All jobs, be they in a final or in a non-final status, are kept indefinitely in your configured database.

APIs de política de retenção de processos

Para incorporar a política de retenção em seu cliente, use os pontos de extremidade dedicados da API de ReleaseRetention em seu arquivo Swagger:

• GET /odata/ReleaseRetention — retorna a lista de todas as políticas ativas, contendo informações como a ação da política, a duração de retenção em dias e o ID do processo ao qual a política se aplica.
• GET /odata/ReleaseRetention({key}) — retorna as informações da política relacionadas ao processo especificado.
• PUT /odata/ReleaseRetention({key}) — atualiza as informações da política relacionadas ao processo especificado.
• DELETE /odata/ReleaseRetention({key}) — redefine a política de processo especificada para o valor padrão, retenção de 30 dias + exclusão.

Observação: se você chamar o ponto de extremidade DELETE para processos criados antes da introdução do recurso de política de retenção, a política de retenção integrada de 30 dias + exclusão se aplica.

Veja um exemplo em nosso guia de referência.

Colunas Rastreamento de políticas e auditoria

Para identificar com facilidade quais processos têm uma política de retenção personalizada em vigor, habilite as colunas Ação de retenção e Retenção (dias) na página Processos selecionando as caixas de seleção correspondentes no menu suspenso Colunas.

A coluna Ação de retenção exibe o resultado da política, enquanto que a coluna Retenção (dias) exibe o tempo restante até que a política se aplique.

Como mencionado, uma política de retenção de 30 dias se aplica para os processos recém-criados. No entanto, você nem sempre pode confiar nesse valor para identificar os processos que têm uma política padrão em vigor. Por exemplo, se você definir uma duração de retenção personalizada de 55 dias e, posteriormente, atualizá-la para 30 dias, a política resultante não será a padrão. Para ver se esses cenários representam políticas padrão ou não, verifique a página Auditoria.

Sempre que o trabalho em segundo plano realiza ações de limpeza relacionadas à política de retenção (arquivar + excluir ou apenas excluir), uma entrada correspondente é criada na auditoria em nome do administrador.

1 representa o tipo de ação Arquivar. 0 representa o tipo de ação Excluir.