Stratégie de rétention des éléments de la file d'attente

Vue d'ensemble (Overview)

Le traitement des éléments de files d'attente génère de grandes quantités de transactions, ce qui peut rapidement surcharger votre base de données Orchestrator. Une stratégie de rétention vous aide à libérer la base de données de manière organisée.

Qu'est-ce qu'une stratégie de rétention ? Il s'agit d'un accord visant à garantir des capacités intégrées de déchargement des données, en définissant une action pour supprimer les données de votre base de données après une période de temps. À quoi s'attendre ? Grâce à une base de données plus légère, votre cloud Orchestrator fonctionne mieux.

Conditions des éléments de la file d'attente

Pour la file d'attente spécifiée, la stratégie de rétention que vous configurez s'applique à tous les éléments de file d'attente qui remplissent simultanément les conditions suivantes :

• elles ont un statut final, tel que Échouée (Failed), Réussie (Successful), Abandonnée (Abandoned), Réessayée (Retried) ou Supprimée (Deleted) et
• elles ont été modifiées pour la dernière fois il y a plus de X jours, X étant la durée de rétention.

Détermination de la date de dernière modification d'un élément de la file d'attente

L'algorithme de validation des éléments de file d'attente effectue une recherche dans toutes les files d'attente et détermine les éléments de file d'attente qui remplissent les conditions en fonction de quatre propriétés, dans l'ordre suivant :

• 1 - HeureDernièreModification
• 2 - HeureFinTraitement
• 3 - HeureDébutTraitement
• 4 - Heure de création (CreationTime)

Si un élément de la file d'attente n'a pas de valeur HeureDernièreModification (1), ou si la valeur est nulle, l'algorithme examine la valeur HeureFinTraitement (2). Si la valeur HeureFinTraitement est nulle, l'algorithme examine la valeur HeureDébutTraitement (3). Si la valeur HeureDébutTraitement est nulle, l'algorithme examine la valeur HeureCréation (4) et applique la stratégie en fonction de la première valeur non nulle trouvée.

Détermination de la suppression d'un élément de la file d'attente

La rétention est calculée en jours calendaires. Par conséquent, les éléments de file d'attente qualifiés sont supprimés le jour calendaire X+1, X étant la durée de rétention et +1 représentant l'exécution de la tâche de suppression le jour calendaire suivant.

Notez que la tâche peut s'exécuter au tout début du jour calendaire suivant, donc à quelques heures de la fin de la durée de rétention.

Par exemple, imaginons que vous définissiez une durée de rétention de 1 jour :

Si la date de dernière modification d'un élément de la file d'attente est le 10-06-2022 00:00:00 (la première minute du jour calendaire) ou le 10-06-2022 23:59:00 (la dernière minute du jour calendaire), il est admissible à la tâche de suppression qui s'exécute le 12 juin (10 juin + durée de rétention d'un jour + 1 jour après = 12 juin).

Par conséquent :

• nous veillons à ce que les données de vos éléments de file d'attente soient conservées pendant au moins 1 jour calendaire (la durée de rétention) en les archivant le jour calendaire suivant,
• notre objectif est de garantir que vos éléments sont archivés avant la fin du jour calendaire suivant.

Types de stratégie

Voici les types de stratégie de rétention :

• la stratégie par défaut pour les files d'attente nouvellement créées : toutes les transactions qui font partie de nouvelles files d'attente sont conservées pour une durée indéfinie dans votre base de données configurée. Il s'agit de l'option intégrée.
  Important :

  Nous vous encourageons fortement à archiver ou à supprimer les éléments de la file d'attente. Vous éviterez ainsi que la taille de votre base de données n'augmente et n'entraîne une dégradation des performances.

• la stratégie par défaut pour les files d'attente existantes : toutes les transactions existantes sont conservées indéfiniment dans votre base de données configurée.

• la stratégie personnalisée : toutes les transactions sont supprimées ou archivées après une durée de rétention de votre choix, qui est de 180 jours maximum, ou conservées indéfiniment dans votre base de données configurée. Cette option peut être configurée comme indiqué dans la section Configuration d'une stratégie de rétention personnalisée (Configuring a custom retention policy).

Important : les stratégies de rétention par défaut s'appliquent à toutes les files d'attente du locataire.

Résultats de la stratégie

Une stratégie de rétention personnalisée a les résultats suivants :

• It keeps the valid queue items in your configured database.
• il supprime les éléments de file d'attente valides antérieurs à la durée spécifiée.
• elle supprime les éléments de file d'attente valides antérieurs à la durée spécifiée, mais archive leurs données dans un compartiment de stockage existant, pour référence future. De cette façon, vous déchargez votre base de données Orchestrator sans perdre les informations.
• cela préserve les références uniques des éléments de la file d'attente, pour garantir l'occurrence des validations après l'application de la stratégie.
  Remarque : les tableaux de bord Insights contenant des informations sur les éléments de file d'attente supprimés continueront d'afficher les données correctes.

Page Files d'attente (Queues)

La stratégie de rétention n'est pas immédiatement reflétée sur la page Files d'attente.

Le recalcul des données est déclenché par n'importe quel événement d'élément de file d'attente, tel que Créer, Modifier, Supprimer, Statut ou Réessayer. Les éléments de file d'attente supprimés ne sont plus inclus dans la liste recalculée.

Mécanisme de déchargement

Une tâche en arrière-plan s'exécute quotidiennement lorsque votre serveur n'est pas occupé et effectue les actions nécessaires pour toutes les stratégies de rétention.

Au départ, un grand volume de données doit être traité. Pour éviter tout impact sur les performances opérationnelles, la tâche peut prendre environ un mois pour analyser son retour de données et devenir précise au jour le jour.

Par conséquent, les stratégies peuvent ne pas s’appliquer immédiatement, mais elles se rattraperont dans environ un mois.

Par exemple, imaginons que vous configuriez une stratégie de suppression de 45 jours pour une file d'attente. La stratégie devient active à la fin de la phase 1, mais il faut environ un mois pour garantir que tous vos éléments de file d'attente de 45 jours sont supprimés. Il s'agit d'une première exception, pour permettre à la tâche de passer par le retour de données.

Configuration d'une stratégie de rétention personnalisée

Pour configurer une stratégie de rétention personnalisée :

1. Dans Orchestrator, accédez au dossier souhaité dans votre locataire.
2. Ouvrez la page Files d'attente (Queues).
3. Pour ajouter une nouvelle file d'attente, cliquez sur Ajouter une file d'attente (Add Queue). Respectivement, pour modifier une file d'attente existante, cliquez sur Autres actions (More Actions) > Modifier (Edit) pour la file d'attente souhaitée. La page Créer/Mettre à jour la file d'attente (Create/Update Queue) s'ouvre.

4. Dans la section Stratégie de rétention (Retention policy), sélectionnez le résultat de votre stratégie dans le menu déroulant Action.

   Pour supprimer des éléments de la file d'attente tout en conservant leurs informations, lisez les étapes de la section Archivage des éléments de la file d'attente (Archiving queue items).

   Pour supprimer définitivement des éléments de la file d'attente, lisez les étapes de la section Suppression d'éléments de la file d'attente (Deleting queue items).

   Pour conserver les éléments de la file d'attente dans votre base de données pendant une durée indéfinie, lisez les étapes de la section Conservation des éléments de la file d'attente (Keep queue items).

Archivage des éléments de la file d'attente

Si vous ne souhaitez pas perdre vos données d'éléments de file d'attente, mais que vous devez décharger ces informations de la base de données Orchestrator, archivez vos éléments de file d'attente.

Prérequis : vous avez besoin d'un compartiment de stockage pour stocker vos éléments de file d'attente archivés.

1. Sélectionnez Archiver (Archive) dans le menu déroulant Action.

2. Sélectionnez une Durée de rétention (Retention duration). Saisissez une valeur comprise entre 1 et 180. La valeur par défaut est 30. À la fin de cette durée, tous les éléments de file d'attente de l'état final (final state queue items) (y compris les événements d'élément de file d'attente et les commentaires) qui n'ont pas été mis à jour entre-temps sont supprimés et leurs informations sont stockées dans un Compartiment cible (Target bucket).

3. Sélectionnez un compartiment cible (Target bucket) pour enregistrer vos éléments archivés.

Pour récupérer les informations archivées, accédez aux fichiers d'archive à partir du compartiment de stockage associé.

Remarque :

Remarque 1 : vous pouvez utiliser un compartiment de stockage Orchestrator, lier un compartiment de stockage externe ou utiliser le compartiment FileSystem sur votre machine.

Remarque 2 : le compartiment de stockage que vous utilisez ne doit pas être en lecture seule, afin que l'opération d'archivage puisse y ajouter des éléments.

Remarque 3 : vous pouvez utiliser le même compartiment de stockage pour archiver des éléments de file d'attente de différentes files d'attente.

Remarque 4 : ce champ n'est disponible que pour l'option Archiver (Archive).

Remarque 5 : les données spécifiques et les données de sortie des éléments de file d'attente chiffrés sont visibles dans le compartiment de stockage, car l'opération d'archivage déchiffre les données lors de la récupération et les exporte vers le stockage cible.

Remarque 6 : une opération d'archivage réussie est consignée sur la page Locataire (Tenant) > Audit, identifiable par le type d'Action Archive.

Remarque 7 : si une erreur interrompt l'opération d'archivage, une alerte vous en informe afin de corriger l'erreur. L'opération d'archivage est relancée lors de la prochaine exécution de la tâche de suppression (le jour calendaire suivant). Jusqu'à ce que l'archivage soit retenté avec succès, les éléments de file d'attente affectés ne peuvent pas être consultés ou accessibles.

Supprimer les éléments de la file d'attente

Si vous décidez que les données des éléments de file d'attente traités ne sont plus utiles, vous pouvez supprimer toutes ces informations de votre base de données Orchestrator.

1. Sélectionnez Supprimer (Delete) dans le menu déroulant Action.

2. Sélectionnez une Durée de rétention (Retention duration). Saisissez une valeur comprise entre 1 et 180. La valeur par défaut est 30. À la fin de cette durée, tous les éléments de file d'attente de l'état final (final state queue items) (y compris les événements d'élément de file d'attente et les commentaires) qui n'ont pas été mis à jour entre-temps sont définitivement supprimés.

Conserver les éléments de la file d'attente

Si vous souhaitez conserver les données des éléments de file d'attente traités indéfiniment, sélectionnez Conserver (Keep) dans le menu déroulant Action.

Tous les éléments de file d'attente de l'état final (y compris les événements et les commentaires liés aux élément de file d'attente) sont conservés indéfiniment dans votre base de données configurée.

Archiver la sortie

Le fichier zip Fichier

Lorsque vous archivez vos éléments de file d'attente, un fichier .zip est créé à la fin de la durée de rétention avec le chemin d'accès :

"Archive/Queues/Queue-{queue_key}/{archiving_operation_date}-{archiving_operation_timestamp}.zip", dans lequel :

• {queue_key} : l'identifiant unique de la file d'attente contenant les éléments de la file d'attente
• {archiving_operation_date} : la date UTC à laquelle l'archive a été générée, au format yyyy-MM-dd
• {archiving_operation_timestamp} : l'heure UTC à laquelle l'archive a été générée, au format HH-mm-ss-fff
  Par exemple, un fichier archive peut être nommé Archive/Queues/Queue-1d1ad84a-a06c-437e-974d-696ae66e47c2/2022-05-26-03-00-08-496.zip.

Le fichier .csv

Une fois extrait, le fichier .zip affiche un fichier .csv avec la même syntaxe de nom :

« File d’attente-{queue_key}-{archiving_operation_date}-{archiving_operation_timestamp}.csv ».

Le fichier .csv contient les informations suivantes sur vos éléments de file d'attente archivés :

Le fichier Metadata.json

Le fichier .json contient des détails sur la file d'attente de conteneurs, pour vous aider à l'identifier plus facilement.

Grands volumes de données

Pour les files d'attente qui ont traité un grand nombre de transactions, les éléments de file d'attente sont archivés par lots. Dans ce cas, le fichier .zip de chaque lot a un {archiving-operation-timestamp} différent, selon l'heure à laquelle l'archive de lot a été créée.

API de stratégie de rétention des files d'attente

Pour incorporer la stratégie de rétention dans votre client, utilisez les points de terminaison dédiés de l'API RétentionFilesAttente (QueueRetention) dans votre fichier Swagger :

• OBTENIR /odata/QueueRetention : renvoie la liste de toutes les stratégies actives, contenant des informations telles que l'action de stratégie, la durée de rétention en jours, l'ID de la file d'attente à laquelle la stratégie s'applique.
• OBTENIR /odata/QueueRetention({key}) : renvoie les informations de stratégie sur la file d'attente indiquée.
• PUT /odata/QueueRetention({key}) : met à jour les informations de stratégie sur la file d'attente spécifiée.
• SUPPRIMER /odata/QueueRetention({key}) : réinitialise la stratégie de file d'attente spécifiée à la stratégie par défaut de rétention + suppression de 30 jours.

Remarque : si vous appelez le point de terminaison DELETE pour les files d'attente créées avant l'introduction de la fonctionnalité de stratégie de rétention, la stratégie de rétention intégrée de 30 jours + suppression s'applique. Voir un exemple dans notre guide de référence.

Colonnes de suivi des stratégies et audit

Pour identifier facilement les files d'attente ayant une politique de rétention personnalisée en place, activez les colonnes Action de rétention (Retention) et Rétention (jours) sur la page Files d'attente, en cochant les cases correspondantes dans la liste déroulante Colonnes.

La colonne Action de rétention (Retention action) affiche le résultat de la stratégie, tandis que la colonne Rétention (jours) (Retention (days)) affiche le temps restant avant l'application de la stratégie.

Comme mentionné, une stratégie de rétention de 30 jours s'applique aux files d'attente nouvellement créées. Cependant, vous ne pouvez pas toujours vous fier à cette valeur pour identifier les files d'attente pour lesquelles une stratégie par défaut est en place. Par exemple, si vous définissez une durée de rétention personnalisée de 55 jours et que vous la mettez à jour ultérieurement à 30 jours, la stratégie résultante n'est pas celle par défaut. Pour voir si ces scénarios représentent des stratégies par défaut ou non, consultez la page Audit.

1 représente le type d'action Archiver (Archive)

0 représente le type d'action Supprimer (Delete)