Stratégie de conservation des données des processus

Vue d'ensemble (Overview)

L'exécution des éléments de processus génère de grandes quantités de données, ce qui peut rapidement surcharger votre base de données Orchestrator. Une stratégie de rétention vous aide à libérer la base de données de manière organisée.

Qu'est-ce qu'une stratégie de rétention ? Il s'agit d'un accord visant à garantir des capacités intégrées de déchargement des données, en définissant une action pour supprimer les données de votre base de données après une période de temps. À quoi s'attendre ? Grâce à une base de données plus légère, votre cloud Orchestrator fonctionne mieux.

Conditions de tâche

Pour le processus spécifié, la stratégie de rétention que vous configurez s'applique à toutes les tâches qui remplissent simultanément les conditions suivantes :

• Pour les tâches terminées :
  • Ils ont un statut final : Défaillant ( Faulted), Réussi ( Successful), Arrêté ( Stopped).
  • Elles ont été terminées il y a plus de X jours, X étant la durée de rétention.
• Pour les tâches non terminées :
  • Ils ont un statut non final : En attente ( Pending), En cours d'arrêt ( Stopping), En fin d'exécution ( Terminating).
  • Ils n'ont pas été modifiés depuis plus de X jours, X étant la durée de rétention.

Déterminer le moment où une tâche doit être supprimée

La rétention est calculée en jours calendaires. Par conséquent, les éléments de tâches qualifiés sont supprimés le jour calendaire X+1, X étant la durée de rétention et +1 représentant l'exécution de la tâche de suppression le jour calendaire suivant.

Notez que la suppression peut s'exécuter au tout début du jour calendaire suivant, soit à quelques heures de la fin de la durée de conservation.

Par exemple, imaginons que vous définissiez une durée de rétention de 1 jour :

Si la date de fin d'une tâche est le 6 juin 2022 00:01:00 (la première minute du jour calendaire) ou le 6 juin 2022 23:59:00 (la dernière minute du jour calendaire), il est admissible à la tâche de suppression qui s'exécute le 8 juin (6 juin + durée de rétention d'un jour + 1 jour après = 8 juin).

Par conséquent :

• nous veillons à ce que les données de vos éléments de tâche soient conservées pendant au moins 1 jour calendaire (la durée de rétention) en les archivant le jour calendaire suivant,
• notre objectif est de garantir que vos éléments sont archivés avant la fin du jour calendaire suivant.

Types de stratégie

Voici les types de stratégie de rétention :

• la stratégie par défaut pour les processus nouvellement créées : toutes les transactions qui font partie de nouvelles files d'attente sont supprimées après 30 jours, sans possibilité d'annuler leur suppression. Il s'agit de l'option intégrée.
• La stratégie personnalisée : toutes les transactions sont supprimées ou archivées après une durée de rétention de votre choix. Cette option peut être configurée comme indiqué dans la section Configuration d'une stratégie de rétention personnalisée ( Configuring a custom retention policy ).
  • Tâches terminées :
    • La durée par défaut est de 30 jours.
    • La durée maximale est de 180 jours.
  • Tâches non terminées :
    • La durée par défaut est de 180 jours.
    • La durée maximale est de 540 jours.

Important :

La stratégie par défaut de 30 jours s'applique à :

• tâches sans processus associé
• tâches dont le processus associé a été supprimé

Résultats de la stratégie

Une stratégie de rétention personnalisée a les résultats suivants :

• elle supprime les tâches antérieures à la durée spécifiée.

• elle supprime les éléments de file d'attente valides antérieurs à la durée spécifiée, mais archive leurs données dans un compartiment de stockage existant, pour référence future. De cette façon, vous déchargez votre base de données Orchestrator sans perdre les informations.

  Remarque :

  Les tableaux de bord Insights contenant des informations sur les tâches supprimées continueront d'afficher les données correctes.

  La suppression dans Orchestrator ne sera pas propagée à Insights.

  Remarque : nous conservons les références uniques de la tâche supprimée. Par conséquent, l'ajout d'une nouvelle tâche ne crée pas de référence unique en double.

Mécanisme de déchargement

Une tâche en arrière-plan s'exécute quotidiennement lorsque votre serveur n'est pas occupé et effectue les actions nécessaires pour toutes les stratégies de rétention.

Au départ, un grand volume de données doit être traité. Pour éviter tout impact sur les performances opérationnelles, la tâche peut prendre environ un mois pour analyser son retour de données et devenir précise au jour le jour.

Par conséquent, les stratégies peuvent ne pas s’appliquer immédiatement, mais elles se rattraperont dans environ un mois.

Par exemple, imaginons que vous configuriez une stratégie de suppression de 45 jours pour une file d'attente. La stratégie devient active à la fin de la phase 1, mais il faut environ un mois pour garantir que tous vos éléments de file d'attente de 45 jours sont supprimés. Il s'agit d'une première exception, pour permettre à la tâche de passer par le retour de données.

Configuration d'une stratégie de rétention personnalisée

Pour configurer une stratégie de rétention personnalisée :

1. Dans Orchestrator, accédez au dossier souhaité dans votre locataire.
2. Ouvrez la page Processus (Processes).
3. Pour ajouter un nouveau processus, cliquez sur Ajouter un processus (Add Process). Respectivement, pour modifier un processus existant, cliquez sur Autres actions (More Actions) > Modifier (Edit) pour la file d'attente souhaitée. La page Créer/Mettre à jour le processus (Create/Update Process) s'ouvre.
4. Dans la section Stratégie de rétention (Retention policy), sélectionnez le résultat de votre stratégie dans le menu déroulant Action.

   Vous pouvez définir différents résultats de stratégie et différentes durées de rétention pour les tâches terminées et non terminées.

   Pour supprimer des tâches tout en conservant leurs informations, lisez les étapes de la section Archivage des tâches (Archiving jobs).

   Pour supprimer définitivement des tâches, lisez les étapes de la section Suppression de tâches (Deleting jobs).

Archivage des tâches

Si vous ne souhaitez pas perdre vos données de tâche, mais que vous devez décharger ces informations de la base de données Orchestrator, archivez vos tâches.

Prérequis : vous avez besoin d'un compartiment de stockage pour stocker vos tâches archivées.

1. Sélectionnez Archiver (Archive) dans le menu déroulant Action.
2. Sélectionnez une Durée de rétention (Retention duration) pour les tâches terminées et non terminées.

   Pour les tâches terminées, vous pouvez choisir une valeur comprise entre 1 et 180, 30 étant la valeur par défaut.

   Pour les tâches non terminées, vous pouvez choisir une valeur comprise entre 180 et 540, 180 étant la valeur par défaut.

   À la fin de cette durée, toutes les tâches (y compris les événements de tâche et les supports d'exécution) qui n'ont pas été mis à jour entre-temps sont supprimés et leurs informations sont stockées dans un compartiment cible.

3. Sélectionnez un compartiment cible (Target bucket) pour enregistrer vos éléments archivés.

Pour récupérer les informations archivées, accédez aux fichiers d'archive à partir du compartiment de stockage associé.

Remarque :

Remarque 1 : vous pouvez soit utiliser un compartiment de stockage Orchestrator, soit lier un compartiment de stockage externe.

Remarque 2 : le compartiment de stockage que vous utilisez ne doit pas être en lecture seule, afin que l'opération d'archivage puisse y ajouter des éléments.

Remarque 3 : vous pouvez utiliser le même compartiment de stockage pour archiver des éléments de processus de différents processus.

Remarque 4 : ce champ n'est disponible que pour l'option Archiver (Archive).

Remarque 5 : une opération d'archivage réussie est consignée sur la page Locataire (Tenant) > Audit, identifiable par le type d'Action Archive.

Remarque 6 : si une erreur interrompt l'opération d'archivage, une alerte vous en informe afin de corriger l'erreur. L'opération d'archivage est relancée lors de la prochaine exécution de la tâche de suppression (le jour calendaire suivant). Jusqu'à ce que l'archivage soit retenté avec succès, les éléments de file d'attente affectés ne peuvent pas être consultés ou accessibles.

Archiver la sortie

Le fichier zip Fichier

Lorsque vous archivez vos éléments de file d'attente, un fichier .zip est créé à la fin de la durée de rétention avec le chemin d'accès :

"Archive/Processes/Process-{process_key}/{archiving_operation_date}-{archiving_operation_timestamp}.zip", dans lequel :

• {process_key} : l'identifiant unique du processus contenant les tâches
• {archiving_operation_date} : la date UTC à laquelle l'archive a été générée, au format yyyy-MM-dd
• {archiving_operation_timestamp} : l'heure UTC à laquelle l'archive a été générée, au format HH-mm-ss-fff
  Par exemple, un fichier archive peut être nommé Archive/Processes/Process-1d1ad84a-a06c-437e-974d-696ae66e47c2/2022-05-26-03-00-08-496.zip.

Le fichier .csv

Une fois extrait, le fichier .zip affiche un fichier .csv avec la même syntaxe de nom :

"Process-{process_key}-{archiving_operation_date}-{archiving_operation_timestamp}.csv".

Le fichier Metadata.json

Le fichier .json contient des informations sur le processus de conteneur, pour vous aider à l'identifier plus facilement.

Grands volumes de données

Pour les processus qui ont traité un grand nombre de tâches, celles-ci sont archivés par lots. Dans ce cas, le fichier .zip de chaque lot a un {archiving-operation-timestamp} différent, selon l'heure à laquelle l'archive de lot a été créée.

Suppression de tâches

Si vous décidez que les données de tâche traitées ne sont plus utiles, vous pouvez supprimer toutes ces informations de votre base de données Orchestrator.

1. Sélectionnez Supprimer (Delete) dans le menu déroulant Action.
2. Sélectionnez une Durée de rétention (Retention duration) pour les tâches terminées et non terminées.

   Pour les tâches terminées, vous pouvez choisir une valeur comprise entre 1 et 180, 30 étant la valeur par défaut.

   Pour les tâches non terminées, vous pouvez choisir une valeur comprise entre 180 et 540, 180 étant la valeur par défaut.

   À la fin de cette durée, toutes les tâches (y compris les événements de tâche et les supports d'exécution) qui n'ont pas été mis à jour entre-temps sont supprimés et leurs informations sont stockées dans un compartiment cible.

Conserver les tâches

Si vous souhaitez conserver les données des tâches traitées pendant une durée indéfinie, sélectionnez Conserver ( Keep ) dans le menu déroulant Action .

Toutes les tâches, qu'elles soient dans un statut final ou non final, sont conservées indéfiniment dans votre base de données configurée.

API de stratégie de rétention des processus

Pour incorporer la stratégie de rétention dans votre client, utilisez les points de terminaison dédiés de l'API RétentionFilesAttente (QueueRetention) dans votre fichier Swagger :

• OBTENIR /odata/ReleaseRetention : renvoie la liste de toutes les stratégies actives, contenant des informations telles que l'action de stratégie, la durée de rétention en jours, l'ID de la file d'attente à laquelle la stratégie s'applique.
• OBTENIR /odata/ReleaseRetention({key}) : renvoie les informations de stratégie sur la file d'attente indiquée.
• PUT /odata/ReleaseRetention({key}) : met à jour les informations de stratégie sur la file d'attente spécifiée.
• SUPPRIMER /odata/ReleaseRetention({key}) : réinitialise la stratégie de file d'attente spécifiée à la stratégie par défaut de rétention + suppression de 30 jours.

Remarque : si vous appelez le point de terminaison DELETE pour les processus créés avant l'introduction de la fonctionnalité de stratégie de rétention, la stratégie de rétention intégrée de 30 jours + suppression s'applique.

Voir un exemple dans notre guide de référence.

Colonnes de suivi des stratégies et audit

Pour identifier facilement les files d'attente ayant une politique de rétention personnalisée en place, activez les colonnes Action de rétention (Retention) et Rétention (jours) sur la page Processus en cochant les cases correspondantes dans la liste déroulante Colonnes.

La colonne Action de rétention (Retention action) affiche le résultat de la stratégie, tandis que la colonne Rétention (jours) (Retention (days)) affiche le temps restant avant l'application de la stratégie.

Comme mentionné, une stratégie de rétention de 30 jours s'applique aux processus nouvellement créés. Cependant, vous ne pouvez pas toujours vous fier à cette valeur pour identifier les processus pour lesquels une stratégie par défaut est en place. Par exemple, si vous définissez une durée de rétention personnalisée de 55 jours et que vous la mettez à jour ultérieurement à 30 jours, la stratégie résultante n'est pas celle par défaut. Pour voir si ces scénarios représentent des stratégies par défaut ou non, consultez la page Audit.

Chaque fois que la tâche en arrière-plan effectue des actions de nettoyage liées à la stratégie de rétention (archivage + suppression, ou suppression uniquement), une entrée correspondante est créée dans l'audit au nom de l'Administrator.

1 représente le type d’action Archiver (Archive). 0 représente le type d’action Supprimer (Delete).