Stratégie de rétention des éléments de la file d'attente

Vue d'ensemble (Overview)

Le traitement des éléments de files d'attente génère de grandes quantités de transactions, ce qui peut rapidement surcharger votre base de données Orchestrator. Une stratégie de rétention vous aide à libérer la base de données de manière organisée.

Qu'est-ce qu'une stratégie de rétention ? Il s'agit d'un accord visant à garantir des capacités intégrées de déchargement des données, en définissant une action pour supprimer les données de votre base de données après une période de temps. À quoi s'attendre ? Grâce à une base de données plus légère, votre cloud Orchestrator fonctionne mieux.

Conditions des éléments de la file d'attente

Pour la file d'attente spécifiée, la stratégie de rétention que vous configurez s'applique à tous les éléments de file d'attente qui remplissent simultanément les conditions suivantes :

• Pour les éléments de file d'attente terminés :
  • Elles ont un statut final : Échoué(Failed), Réussi ( Successful), Abandonné(Abandoned), Réessayé(Retried), Supprimé ( Deleted).
  • Ils n'ont pas été modifiés depuis plus de X jours, X étant la durée de rétention.
• Pour les éléments de file d'attente non terminés :
  • Ils ont le statut Nouveau (New ).
  • Ils n'ont pas été modifiés depuis plus de X jours, X étant la durée de rétention.

Éléments de file d'attente différés

Les éléments de file d'attente qui étaient en cours et différés ont leur durée de rétention calculée comme suit : nombre de jours jusqu'à la date de report + nombre de jours configurés pour la durée de rétention.

Exemple

• Vous avez défini une action de suppression avec une durée de rétention de 30 jours pour la file d'attente A.
• L'élément de file d'attente B appartenant à la file d'attente A est reporté de 10 jours.

L'élément de file d'attente B sera supprimé dans 40 jours.

Suspended jobs

Les stratégies de rétention personnalisées ne sont pas appliquées aux éléments de file d'attente liés à une tâche suspendue tant que cette tâche n'est pas déplacée vers un état terminé, ou tant qu'elle n'est pas supprimée ou archivée.

Exemple

• Vous avez défini une action de suppression avec une durée de rétention de 30 jours pour la file d'attente A.
• La file d'attente A est liée à la tâche B, qui est suspendue.
• La tâche B est réactivée et terminée dans les 10 jours suivant le paramétrage de la durée de rétention de la file d'attente A.

Les éléments de file d’attente appartenant à la file d’attente A seront supprimés dans 40 jours.

Détermination de la date de dernière modification d'un élément de la file d'attente

L'algorithme de validation des éléments de file d'attente effectue une recherche dans toutes les files d'attente et détermine les éléments de file d'attente qui remplissent les conditions en fonction de quatre propriétés, dans l'ordre suivant :

• 1 - HeureDernièreModification
• 2 - HeureFinTraitement
• 3 - HeureDébutTraitement
• 4 - Heure de création (CreationTime)

Si un élément de la file d'attente n'a pas de valeur HeureDernièreModification (1), ou si la valeur est nulle, l'algorithme examine la valeur HeureFinTraitement (2). Si la valeur HeureFinTraitement est nulle, l'algorithme examine la valeur HeureDébutTraitement (3). Si la valeur HeureDébutTraitement est nulle, l'algorithme examine la valeur HeureCréation (4) et applique la stratégie en fonction de la première valeur non nulle trouvée.

Détermination de la suppression d'un élément de la file d'attente

La rétention est calculée en jours calendaires. Par conséquent, les éléments de file d'attente qualifiés sont supprimés le jour calendaire X+1, X étant la durée de rétention et +1 représentant l'exécution de la tâche de suppression le jour calendaire suivant.

Notez que la tâche peut s'exécuter au tout début du jour calendaire suivant, donc à quelques heures de la fin de la durée de rétention.

Par exemple, imaginons que vous définissiez une durée de rétention de 1 jour :

Si la date de dernière modification d'un élément de la file d'attente est le 10-06-2022 00:00:00 (la première minute du jour calendaire) ou le 10-06-2022 23:59:00 (la dernière minute du jour calendaire), il est admissible à la tâche de suppression qui s'exécute le 12 juin (10 juin + durée de rétention d'un jour + 1 jour après = 12 juin).

Par conséquent :

• nous veillons à ce que les données de vos éléments de file d'attente soient conservées pendant au moins 1 jour calendaire (la durée de rétention) en les archivant le jour calendaire suivant,
• notre objectif est de garantir que vos éléments sont archivés avant la fin du jour calendaire suivant.

Types de stratégie

Voici les types de stratégie de rétention :

• la stratégie par défaut pour les files d'attente nouvellement créées : toutes les transactions qui font partie de nouvelles files d'attente sont supprimées après 30 jours, sans possibilité d'annuler leur suppression. Il s'agit de l'option intégrée.
• La stratégie personnalisée : toutes les transactions sont supprimées ou archivées après une durée de rétention de votre choix. Cette option peut être configurée comme indiqué dans la section Configuration d'une stratégie de rétention personnalisée ( Configuring a custom retention policy ).
  • Éléments de file dʹattente terminés :
    • La durée par défaut est de 30 jours.
    • La durée maximale est de 180 jours.
  • Éléments de file d’attente non terminés :
    • La durée par défaut est de 180 jours.
    • La durée maximale est de 540 jours.

Important : les stratégies de rétention par défaut s'appliquent à toutes les files d'attente du locataire.

Résultats de la stratégie

Une stratégie de rétention personnalisée a les résultats suivants :

• il supprime les éléments de file d'attente valides antérieurs à la durée spécifiée.
• elle supprime les éléments de file d'attente valides antérieurs à la durée spécifiée, mais archive leurs données dans un compartiment de stockage existant, pour référence future. De cette façon, vous déchargez votre base de données Orchestrator sans perdre les informations.
• cela préserve les références uniques des éléments de la file d'attente, pour garantir l'occurrence des validations après l'application de la stratégie.
  Remarque : les tableaux de bord Insights contenant des informations sur les éléments de file d'attente supprimés continueront d'afficher les données correctes.

Page Files d'attente (Queues)

La stratégie de rétention n'est pas immédiatement reflétée sur la page Files d'attente.

Le recalcul des données est déclenché par n'importe quel événement d'élément de file d'attente, tel que Créer, Modifier, Supprimer, Statut ou Réessayer. Les éléments de file d'attente supprimés ne sont plus inclus dans la liste recalculée.

Configuration d'une stratégie de rétention personnalisée

Pour configurer une stratégie de rétention personnalisée :

1. Dans Orchestrator, accédez au dossier souhaité dans votre locataire.
2. Ouvrez la page Files d'attente (Queues).
3. Pour ajouter une nouvelle file d'attente, cliquez sur Ajouter une file d'attente (Add Queue). Respectivement, pour modifier une file d'attente existante, cliquez sur Autres actions (More Actions) > Modifier (Edit) pour la file d'attente souhaitée. La page Créer/Mettre à jour la file d'attente (Create/Update Queue) s'ouvre.
4. Dans la section Stratégie de rétention (Retention policy), sélectionnez le résultat de votre stratégie dans le menu déroulant Action.

   Vous pouvez définir différents résultats de stratégie et différentes durées de rétention pour les éléments de file d'attente terminés et non terminés.

   Pour supprimer des éléments de la file d'attente tout en conservant leurs informations, lisez les étapes de la section Archivage des éléments de la file d'attente (Archiving queue items).

   Pour supprimer définitivement des éléments de la file d'attente, lisez les étapes de la section Suppression d'éléments de la file d'attente (Deleting queue items).

Archivage des éléments de la file d'attente

Si vous ne souhaitez pas perdre vos données d'éléments de file d'attente, mais que vous devez décharger ces informations de la base de données Orchestrator, archivez vos éléments de file d'attente.

Prérequis : vous avez besoin d'un compartiment de stockage pour stocker vos éléments de file d'attente archivés.

1. Sélectionnez Archiver (Archive) dans le menu déroulant Action.
2. Sélectionnez une Durée de rétention pour les éléments de file d'attente terminés et non terminés.

   Pour les éléments de file d'attente terminés, vous pouvez choisir une valeur comprise entre 1 et 180, 30 étant la valeur par défaut.

   Pour les éléments de file d'attente non terminés, vous pouvez choisir une valeur comprise entre 180 et 540, 180 étant la valeur par défaut.

   À la fin de cette durée, tous les éléments de file d'attente (y compris les événements d'élément de file d'attente et les commentaires) qui n'ont pas été mis à jour entre-temps sont supprimés et leurs informations sont stockées dans le compartiment cible.

3. Sélectionnez un compartiment cible (Target bucket) pour enregistrer vos éléments archivés.

Pour récupérer les informations archivées, accédez aux fichiers d'archive à partir du compartiment de stockage associé.

Remarque :

Remarque 1 : vous pouvez soit utiliser un compartiment de stockage Orchestrator, soit lier un compartiment de stockage externe.

Remarque 2 : le compartiment de stockage que vous utilisez ne doit pas être en lecture seule, afin que l'opération d'archivage puisse y ajouter des éléments.

Remarque 3 : vous pouvez utiliser le même compartiment de stockage pour archiver des éléments de file d'attente de différentes files d'attente.

Remarque 4 : ce champ n'est disponible que pour l'option Archiver (Archive).

Remarque 5 : les données spécifiques et les données de sortie des éléments de file d'attente chiffrés sont visibles dans le compartiment de stockage, car l'opération d'archivage déchiffre les données lors de la récupération et les exporte vers le stockage cible.

Remarque 6 : une opération d'archivage réussie est consignée sur la page Locataire (Tenant) > Audit, identifiable par le type d'Action Archive.

Remarque 7 : si une erreur interrompt l'opération d'archivage, une alerte vous en informe afin de corriger l'erreur. L'opération d'archivage est relancée lors de la prochaine exécution de la tâche de suppression (le jour calendaire suivant). Jusqu'à ce que l'archivage soit retenté avec succès, les éléments de file d'attente affectés ne peuvent pas être consultés ou accessibles.

Archiver la sortie

Le fichier zip Fichier

Lorsque vous archivez vos éléments de file d'attente, un fichier .zip est créé à la fin de la durée de rétention avec le chemin d'accès :

"Archive/Queues/Queue-{queue_key}/{archiving_operation_date}-{archiving_operation_timestamp}.zip", dans lequel :

• {queue_key} : l'identifiant unique de la file d'attente contenant les éléments de la file d'attente
• {archiving_operation_date} : la date UTC à laquelle l'archive a été générée, au format yyyy-MM-dd
• {archiving_operation_timestamp} : l'heure UTC à laquelle l'archive a été générée, au format HH-mm-ss-fff
  Par exemple, un fichier archive peut être nommé Archive/Queues/Queue-1d1ad84a-a06c-437e-974d-696ae66e47c2/2022-05-26-03-00-08-496.zip.

Le fichier .csv

Une fois extrait, le fichier .zip affiche un fichier .csv avec la même syntaxe de nom :

« File d’attente-{queue_key}-{archiving_operation_date}-{archiving_operation_timestamp}.csv ».

Le fichier .csv contient les informations suivantes sur vos éléments de file d'attente archivés :

Le fichier Metadata.json

Le fichier .json contient des détails sur la file d'attente de conteneurs, pour vous aider à l'identifier plus facilement.

Grands volumes de données

Pour les files d'attente qui ont traité un grand nombre de transactions, les éléments de file d'attente sont archivés par lots. Dans ce cas, le fichier .zip de chaque lot a un {archiving-operation-timestamp} différent, selon l'heure à laquelle l'archive de lot a été créée.

Supprimer les éléments de la file d'attente

Si vous décidez que les données des éléments de file d'attente traités ne sont plus utiles, vous pouvez supprimer toutes ces informations de votre base de données Orchestrator.

1. Sélectionnez Supprimer (Delete) dans le menu déroulant Action.
2. Sélectionnez une Durée de rétention pour les éléments de file d'attente terminés et non terminés.

   Pour les éléments de file d'attente terminés, vous pouvez choisir une valeur comprise entre 1 et 180, 30 étant la valeur par défaut.

   Pour les éléments de file d'attente non terminés, vous pouvez choisir une valeur comprise entre 180 et 540, 180 étant la valeur par défaut.

   À la fin de cette durée, tous les éléments de file d'attente (y compris les événements d'élément de file d'attente et les commentaires) qui n'ont pas été mis à jour entre-temps sont définitivement supprimés.

API de stratégie de rétention des files d'attente

Pour incorporer la stratégie de rétention dans votre client, utilisez les points de terminaison dédiés de l'API RétentionFilesAttente (QueueRetention) dans votre fichier Swagger :

• OBTENIR /odata/QueueRetention : renvoie la liste de toutes les stratégies actives, contenant des informations telles que l'action de stratégie, la durée de rétention en jours, l'ID de la file d'attente à laquelle la stratégie s'applique.
• OBTENIR /odata/QueueRetention({key}) : renvoie les informations de stratégie sur la file d'attente indiquée.
• PUT /odata/QueueRetention({key}) : met à jour les informations de stratégie sur la file d'attente spécifiée.
• SUPPRIMER /odata/QueueRetention({key}) : réinitialise la stratégie de file d'attente spécifiée à la stratégie par défaut de rétention + suppression de 30 jours.

Remarque : si vous appelez le point de terminaison DELETE pour les files d'attente créées avant l'introduction de la fonctionnalité de stratégie de rétention, la stratégie de rétention intégrée de 30 jours + suppression s'applique. Voir un exemple dans notre guide de référence.

Colonnes de suivi des stratégies et audit

Pour identifier facilement les files d'attente ayant une politique de rétention personnalisée en place, activez les colonnes Action de rétention (Retention) et Rétention (jours) sur la page Files d'attente, en cochant les cases correspondantes dans la liste déroulante Colonnes.

La colonne Action de rétention (Retention action) affiche le résultat de la stratégie, tandis que la colonne Rétention (jours) (Retention (days)) affiche le temps restant avant l'application de la stratégie.

Comme mentionné, une stratégie de rétention de 30 jours s'applique aux files d'attente nouvellement créées. Cependant, vous ne pouvez pas toujours vous fier à cette valeur pour identifier les files d'attente pour lesquelles une stratégie par défaut est en place. Par exemple, si vous définissez une durée de rétention personnalisée de 55 jours et que vous la mettez à jour ultérieurement à 30 jours, la stratégie résultante n'est pas celle par défaut. Pour voir si ces scénarios représentent des stratégies par défaut ou non, consultez la page Audit.

1 représente le type d'action Archiver (Archive)

0 représente le type d'action Supprimer (Delete)