Stratégie de conservation des données des processus

Vue d'ensemble (Overview)

L'exécution des éléments de processus génère de grandes quantités de données, ce qui peut rapidement surcharger votre base de données Orchestrator. Une stratégie de rétention vous aide à libérer la base de données de manière organisée.

Qu'est-ce qu'une stratégie de rétention ? Il s'agit d'un accord visant à garantir des capacités intégrées de déchargement des données, en définissant une action pour supprimer les données de votre base de données après une période de temps. À quoi s'attendre ? Grâce à une base de données plus légère, votre cloud Orchestrator fonctionne mieux.

Conditions de tâche

Pour le processus spécifié, la stratégie de rétention que vous configurez s'applique à toutes les tâches qui remplissent simultanément les conditions suivantes :

• Pour les tâches terminées :
  • Elles ont un statut final : Défaillante (Faulted), Réussie (Successful) ou Arrêtée (Stopped).
  • Elles ont été terminées il y a plus de X jours, X étant la durée de rétention.
• Pour les tâches non terminées :
  • Elles ont un statut non final : En attente (Pending), En cours d’arrêt (Stopping), En fin d’exécution (Terminating).
  • Elles n’ont pas été modifiés depuis plus de X jours, X étant la durée de rétention.

Déterminer le moment où une tâche doit être supprimée

La rétention est calculée en jours calendaires. Par conséquent, les éléments de tâches qualifiés sont supprimés le jour calendaire X+1, X étant la durée de rétention et +1 représentant l'exécution de la tâche de suppression le jour calendaire suivant.

Notez que la suppression peut s'exécuter au tout début du jour calendaire suivant, soit à quelques heures de la fin de la durée de conservation.

Par exemple, imaginons que vous définissiez une durée de rétention de 1 jour :

Si la date de fin d'une tâche est le 6 juin 2022 00:01:00 (la première minute du jour calendaire) ou le 6 juin 2022 23:59:00 (la dernière minute du jour calendaire), il est admissible à la tâche de suppression qui s'exécute le 8 juin (6 juin + durée de rétention d'un jour + 1 jour après = 8 juin).

Par conséquent :

• nous veillons à ce que les données de vos éléments de tâche soient conservées pendant au moins 1 jour calendaire (la durée de rétention) en les archivant le jour calendaire suivant,
• notre objectif est de garantir que vos éléments sont archivés avant la fin du jour calendaire suivant.

Types de stratégie

Voici les types de stratégie de rétention :

• la stratégie par défaut pour les processus nouvellement créées : toutes les transactions qui font partie de nouvelles files d'attente sont supprimées après 30 jours, sans possibilité d'annuler leur suppression. Il s'agit de l'option intégrée.
• la stratégie personnalisée : toutes les tâches sont supprimées ou archivées après une durée de rétention de votre choix. Cette option peut être configurée comme indiqué dans la section Configuration d'une stratégie de rétention personnalisée .
  • Tâches terminées :
    • La durée par défaut est de 30 jours.
    • La durée maximale est de 180 jours.
  • Tâches non terminées :
    • La durée par défaut est de 180 jours.
    • La durée maximale est de 540 jours.

Important :

La stratégie par défaut de 30 jours s'applique à :

• tâches sans processus associé
• tâches dont le processus associé a été supprimé

Résultats de la stratégie

Une stratégie de rétention personnalisée a les résultats suivants :

• elle supprime les tâches antérieures à la durée spécifiée.
• elle supprime les éléments de file d'attente valides antérieurs à la durée spécifiée, mais archive leurs données dans un compartiment de stockage existant, pour référence future. De cette façon, vous déchargez votre base de données Orchestrator sans perdre les informations.
  Remarque :

  Les tableaux de bord Insights contenant des informations sur les tâches supprimées continueront d’afficher les données correctes. La suppression dans Orchestrator ne sera pas propagée à Insights.

  Remarque :

  We preserve unique references of deleted job, therefore adding a new job does not create a duplicate unique reference.

Mécanisme de déchargement

Une tâche en arrière-plan s'exécute quotidiennement lorsque votre serveur n'est pas occupé et effectue les actions nécessaires pour toutes les stratégies de rétention.

Au départ, un grand volume de données doit être traité. Pour éviter tout impact sur les performances opérationnelles, la tâche peut prendre environ un mois pour analyser son retour de données et devenir précise au jour le jour.

Par conséquent, les stratégies peuvent ne pas s’appliquer immédiatement, mais elles se rattraperont dans environ un mois.

Par exemple, imaginons que vous configuriez une stratégie de suppression de 45 jours pour une file d'attente. La stratégie devient active à la fin de la phase 1, mais il faut environ un mois pour garantir que tous vos éléments de file d'attente de 45 jours sont supprimés. Il s'agit d'une première exception, pour permettre à la tâche de passer par le retour de données.

Configuration d'une stratégie de rétention personnalisée

Pour configurer une stratégie de rétention personnalisée :

1. Dans Orchestrator, accédez au dossier souhaité dans votre locataire.
2. Open the Processes page.
3. To add a new process, click Add Process. Respectively, to edit an existing process, click More Actions > Edit for the desired process. The Create/Update Process page opens.
4. Dans la section Stratégie de rétention (Retention policy), sélectionnez le résultat de votre stratégie dans le menu déroulant Action.

Vous pouvez définir différents résultats de stratégie et différentes durées de rétention pour les tâches terminées et non terminées.

Pour supprimer des tâches tout en conservant leurs informations, lisez les étapes de la section Archivage des tâches (Archiving jobs).

Pour supprimer définitivement des tâches, lisez les étapes de la section Suppression de tâches .

Archivage des tâches

Si vous ne souhaitez pas perdre vos données de tâche, mais que vous devez décharger ces informations de la base de données Orchestrator, archivez vos tâches.

Prerequisite: You need a storage bucket to store your archived jobs.

1. Sélectionnez Archiver (Archive) dans le menu déroulant Action.
2. Sélectionnez une durée de rétention (Retention duration) pour les tâches terminées et non terminées.

Pour les tâches terminées, vous pouvez choisir une valeur comprise entre 1 et 180, 30 étant la valeur par défaut.

Pour les tâches non terminées, vous pouvez choisir une valeur comprise entre 30 et 540, 180 étant la valeur par défaut.

À la fin de cette durée, toutes les tâches qui n’ont pas été mises à jour entre-temps sont supprimées et leurs informations sont stockées dans un compartiment cible. 3. Sélectionnez un compartiment cible pour enregistrer vos éléments archivés.

Pour récupérer les informations archivées, accédez aux fichiers d'archive à partir du compartiment de stockage associé.

Remarque :

Remarque 1 : vous pouvez soit utiliser un compartiment de stockage Orchestrator, soit lier un compartiment de stockage externe.

Remarque 2 : le compartiment de stockage que vous utilisez ne doit pas être en lecture seule, afin que l'opération d'archivage puisse y ajouter des éléments.

Remarque 3 : vous pouvez utiliser le même compartiment de stockage pour archiver des éléments de processus de différents processus.

Remarque 4 : ce champ n'est disponible que pour l'option Archiver (Archive).

Note 5: A successful archiving operation is logged on the Tenant > Audit page, identifiable by the Action type as Archive.

Note 6: If an error interrupts the archiving operation, an alert informs you in order to fix the error. The archiving operation is retried the next time the deletion runs (the next calendar day). Until the archiving is successfully retried, the affected jobs cannot be viewed or accessed.

Archiver la sortie

Le fichier zip Fichier

Lorsque vous archivez vos éléments de file d'attente, un fichier .zip est créé à la fin de la durée de rétention avec le chemin d'accès :

"Archive/Processes/Process-{process_key}/{archiving_operation_date}-{archiving_operation_timestamp}.zip", dans lequel :

• {process_key} : l'identifiant unique du processus contenant les tâches
• {archiving_operation_date} : la date UTC à laquelle l'archive a été générée, au format yyyy-MM-dd
• {archiving_operation_timestamp} : l'heure UTC à laquelle l'archive a été générée, au format HH-mm-ss-fff

Par exemple, un fichier archive peut être nommé Archive/Processes/Process-1d1ad84a-a06c-437e-974d-696ae66e47c2/2022-05-26-03-00-08-496.zip.

Le fichier .csv

Une fois extrait, le fichier .zip affiche un fichier .csv avec la même syntaxe de nom :

"Process-{process_key}-{archiving_operation_date}-{archiving_operation_timestamp}.csv".

Le fichier Metadata.json

Le fichier .json contient des informations sur le processus de conteneur, pour vous aider à l'identifier plus facilement.

Grands volumes de données

Pour les processus qui ont traité un grand nombre de tâches, celles-ci sont archivés par lots. Dans ce cas, le fichier .zip de chaque lot a un {archiving-operation-timestamp} différent, selon l'heure à laquelle l'archive de lot a été créée.

Suppression de tâches

Si vous décidez que les données de tâche traitées ne sont plus utiles, vous pouvez supprimer toutes ces informations de votre base de données Orchestrator.

1. Sélectionnez Supprimer (Delete) dans le menu déroulant Action.
2. Sélectionnez une durée de rétention (Retention duration) pour les tâches terminées et non terminées.

Image 1. Stratégie de rétention

Pour les tâches terminées, vous pouvez choisir une valeur comprise entre 1 et 180, 30 étant la valeur par défaut.

Pour les tâches non terminées, vous pouvez choisir une valeur comprise entre 30 et 540, 180 étant la valeur par défaut.

À la fin de cette durée, toutes les tâches (y compris les événements relatifs aux tâches et les supports d’exécution) qui n’ont pas été mises à jour entre-temps sont supprimées et leurs informations sont stockées dans un compartiment cible.

API de stratégie de rétention des processus

Pour incorporer la stratégie de rétention dans votre client, utilisez les points de terminaison dédiés de l'API ReleaseRetention dans votre fichier Swagger:

• OBTENIR /odata/ReleaseRetention : renvoie la liste de toutes les stratégies actives, contenant des informations telles que l'action de stratégie, la durée de rétention en jours, l'ID de la file d'attente à laquelle la stratégie s'applique.
• OBTENIR /odata/ReleaseRetention({key}) : renvoie les informations de stratégie sur la file d'attente indiquée.
• PUT /odata/ReleaseRetention({key}) : met à jour les informations de stratégie sur la file d'attente spécifiée.
• SUPPRIMER /odata/ReleaseRetention({key}) : réinitialise la stratégie de file d'attente spécifiée à la stratégie par défaut de rétention + suppression de 30 jours.
  Remarque :

  Si vous appelez le point de terminaison DELETE pour les processus créés avant l’ introduction de la fonctionnalité de stratégie de rétention, la stratégie de rétention intégrée de 30 jours + suppression s’applique.

Voir un exemple dans notre guide de référence.

Colonnes de suivi des stratégies et audit

To easily identify which processes have a custom retention policy in place, enable the Retention action and Retention (days) columns on the Processs page, by selecting the corresponding checkboxes from the Columns dropdown.

La colonne Action de rétention (Retention action) affiche le résultat de la stratégie, tandis que la colonne Rétention (jours) (Retention (days)) affiche le temps restant avant l'application de la stratégie.

Figure 2. Filtre Colonnes

Comme mentionné, une stratégie de rétention de 30 jours s'applique aux processus nouvellement créés. Cependant, vous ne pouvez pas toujours vous fier à cette valeur pour identifier les processus pour lesquels une stratégie par défaut est en place. Par exemple, si vous définissez une durée de rétention personnalisée de 55 jours et que vous la mettez à jour ultérieurement à 30 jours, la stratégie résultante n'est pas la stratégie par défaut. Pour voir si ces scénarios représentent des stratégies par défaut ou non, consultez la page Audit.

Chaque fois que la tâche en arrière-plan effectue des actions de nettoyage liées à la stratégie de rétention (archivage + suppression, ou suppression uniquement), une entrée correspondante est créée dans l'audit au nom de l'Administrator.

1 représente le type d’action Archiver (Archive). 0 représente le type d’action Supprimer (Delete).

Différence entre la stratégie de conservation des données de processus et la rétention du journal de robot

Il est important de comprendre que la stratégie de conservation des données de processus et la stratégie de rétention des journaux du robot sont configurées et appliquées indépendamment dans Automation Cloud Orchestrator.

Stratégie de conservation des données des processus

La politique de conservation des données des processus contrôle la durée de stockage des données liées aux tâches. Cela comprend :

• Métadonnées de la tâche
• Données de transaction (pour les files d'attente)
• Autres enregistrements d'exécution de processus

Par exemple, s’ils sont configurés sur 180 jours, les enregistrements de tâches restent disponibles pour :

• Piste d’audit
• Analyse des performances
• Conformité et rapports

Stratégie de rétention des journaux du Robot

Les journaux des évènements du Robot suivent une stratégie de rétention distincte, généralement plus courte (par exemple, 30 jours). Ces journaux incluent :

• Détails au niveau de l’exécution
• Journaux étape par étape
• Erreurs et informations de diagnostic

Étant donné que les journaux de robots peuvent générer de grands volumes de données, leur rétention est souvent limitée afin d'optimiser le stockage et les performances.