Aufbewahrungsrichtlinie für Warteschlangenelemente

Überblick

Die Verarbeitung von Warteschlangenelementen generiert große Mengen an Transaktionen, die Ihre Orchestrator-Datenbank schnell überfüllen können. Eine Aufbewahrungsrichtlinie hilft Ihnen, die Datenbank auf organisierte Weise freizugeben.

Was ist eine Aufbewahrungsrichtlinie? Es handelt sich um eine Vereinbarung, um integrierte Funktionen zum Entfernen von Daten sicherzustellen, indem eine Aktion festgelegt wird, mit der Daten nach einem bestimmten Zeitraum aus Ihrer Datenbank entfernt werden. Was ist zu erwarten? Aufgrund einer einfacheren Datenbank bietet Ihr Cloud-Orchestrator eine bessere Leistung.

Bedingungen für Warteschlangenelemente

Für die angegebene Warteschlange gilt die von Ihnen konfigurierte Aufbewahrungsrichtlinie für alle Warteschlangenelemente, die gleichzeitig die folgenden Bedingungen erfüllen:

• Sie haben einen endgültigen Status, z. B. Fehlgeschlagen, Erfolgreich, Abgebrochen, Wiederholt oder Gelöscht und
• sie wurden vor mehr als X Tagen zuletzt geändert, wobei X die Aufbewahrungsdauer ist.

Ermitteln, wann ein Warteschlangenelement zuletzt geändert wurde

Der Algorithmus zur Validierung von Warteschlangenelementen durchsucht alle Warteschlangen und ermittelt anhand von vier Eigenschaften in der folgenden Reihenfolge, welche Warteschlangenelemente die Bedingungen erfüllen:

• 1 – LetzteÄnderungsZeit
• 2 – EndeVerarbeitungsZeit
• 3 – StartVerarbeitungsZeit
• 4 – Erstellungszeit

Wenn ein Warteschlangenelement keinen LetzteÄnderungsZeit-Wert (1) hat oder wenn der Wert null ist, betrachtet der Algorithmus den EndeVerarbeitungsZeit-Wert (2). Wenn der EndeVerarbeitungsZeit-Wert null ist, betrachtet der Algorithmus den StartVerarbeitungsZeit-Wert (3). Wenn der Wert für StartVerarbeitungsZeit null ist, prüft der Algorithmus den Wert für ErstellungsZeit (4) und wendet die Richtlinie auf der Grundlage des ersten gefundenen Werts an, der nicht null ist.

Bestimmen, wann ein Warteschlangenelement gelöscht wird

Die Aufbewahrung wird basierend auf Kalendertagen berechnet. Daher werden qualifizierte Warteschlangenelemente am Kalendertag X+1 gelöscht, wobei X die Aufbewahrungsdauer und +1 die Ausführung des Löschauftrags am folgenden Kalendertag darstellt.

Beachten Sie, dass der Auftrag zu Beginn des nächsten Kalendertages ausgeführt werden kann, also einige Stunden nach dem Ende der Aufbewahrungsfrist.

Angenommen, Sie legen eine Aufbewahrungsdauer von einem Tag fest:

Wenn das Datum der letzten Änderung für ein Warteschlangenelement entweder der 10.06.2022 00:01:00 (die erste Minute des Kalendertages) oder der 10.06.2022 23:59:00 (die letzte Minute des Kalendertages) ist, qualifiziert es sich für den Löschauftrag, der am 12. Juni ausgeführt wird (10. Juni plus 1 Tag Aufbewahrungsdauer plus 1 Tag danach = 12. Juni).

Daher:

• Wir stellen sicher, dass Ihre Warteschlangenelementdaten für mindestens einen Kalendertag (die Aufbewahrungsdauer) aufbewahrt werden, indem wir sie am nächsten Kalendertag archivieren.
• Wir möchten sicherstellen, dass Ihre Elemente bis zum Ende des nächsten Kalendertages archiviert werden.

Richtlinientypen

Dies sind die Typen von Aufbewahrungsrichtlinien:

• Die Standardrichtlinie für neu erstellte Warteschlangen – Alle Transaktionen, die Teil neuer Warteschlangen sind, werden auf unbestimmte Zeit in Ihrer konfigurierten Datenbank aufbewahrt. Dies ist die integrierte Option.
  Wichtig:

  Wir empfehlen Ihnen dringend, Warteschlangenelemente entweder zu archivieren oder zu löschen. Auf diese Weise verhindern Sie, dass Ihre Datenbank größer wird und die Leistung beeinträchtigt wird.

• Die Standardrichtlinie für vorhandene Warteschlangen – Alle vorhandenen Transaktionen werden auf unbestimmte Zeit in Ihrer konfigurierten Datenbank aufbewahrt.

• Die benutzerdefinierte Richtlinie – Alle Transaktionen werden nach einer Aufbewahrungsdauer Ihrer Wahl, die maximal 180 Tage beträgt, gelöscht oder archiviert, oder in Ihrer konfigurierten Datenbank unbegrenzt aufbewahrt. Diese Option kann gemäß den Anweisungen im Abschnitt Konfigurieren einer benutzerdefinierten Aufbewahrungsrichtlinie konfiguriert werden.

Wichtig: Die Standardaufbewahrungsrichtlinien gelten für alle Warteschlangen im Mandanten.

Richtlinienergebnisse

Eine benutzerdefinierte Aufbewahrungsrichtlinie hat die folgenden Ergebnisse:

• It keeps the valid queue items in your configured database.
• Sie löscht die gültigen Warteschlangenelemente, die älter als die angegebene Dauer sind.
• Sie löscht die gültigen Warteschlangenelemente, die älter als die angegebene Dauer sind, archiviert ihre Daten jedoch in einem vorhandenen Speicher-Bucket, um später darauf zurückgreifen zu können. Auf diese Weise können Sie Ihre Orchestrator-Datenbank entlasten, ohne die Informationen zu verlieren.
• Die eindeutigen Referenzen der Warteschlangenelemente werden beibehalten, um das Auftreten von Validierungen nach der angewandten Richtlinie zu gewährleisten.
  Hinweis: Insights-Dashboards, die Informationen zu gelöschten Warteschlangenelementen enthalten, zeigen weiterhin die richtigen Daten an.

Seite „Warteschlangen“

Die Aufbewahrungsrichtlinie wird nicht sofort auf der Seite „Warteschlangen“ angezeigt.

Die Neuberechnung von Daten wird durch ein beliebiges Warteschlangenelementereignis ausgelöst, z. B. Erstellen, Bearbeiten, Löschen, Status oder Wiederholen. Gelöschte Warteschlangenelemente sind nicht mehr in der neu berechneten Liste enthalten.

Auslagerungsmechanismus

Ein Hintergrundauftrag wird täglich zu einer Zeit ausgeführt, zu der Ihr Server nicht ausgelastet ist, und führt die für alle Aufbewahrungsrichtlinien erforderlichen Aktionen durch.

Zu Beginn muss eine große Datenmenge verarbeitet werden. Um Auswirkungen auf die Betriebsleistung zu vermeiden, kann es etwa einen Monat dauern, bis der Auftrag seinen Datenrückstand analysiert hat und auf den Tag genau ist.

Daher gelten die Richtlinien möglicherweise nicht sofort, aber sie werden in etwa einem Monat nachgeholt.

Beispiel: Sie konfigurieren eine Löschrichtlinie von 45 Tagen für eine Warteschlange. Die Richtlinie wird am Ende von Phase 1 aktiv, aber es dauert etwa einen Monat, bis garantiert ist, dass alle 45 Tage alten Warteschlangenelemente gelöscht werden. Dies ist eine erstmalige Ausnahme, damit der Auftrag den Datenrückstand abarbeiten kann.

Konfigurieren einer benutzerdefinierten Aufbewahrungsrichtlinie

So konfigurieren Sie eine benutzerdefinierte Aufbewahrungsrichtlinie:

1. Navigieren Sie im Orchestrator zum gewünschten Ordner in Ihrem Mandanten.
2. Öffnen Sie die Seite Warteschlangen.
3. Um eine neue Warteschlange hinzuzufügen, klicken Sie auf Warteschlange hinzufügen.Um eine vorhandene Warteschlange zu bearbeiten, klicken Sie für die gewünschte Warteschlange auf Weitere Aktionen > Bearbeiten.Die Seite Warteschlange erstellen/aktualisieren wird geöffnet.

4. Wählen Sie im Abschnitt Aufbewahrungsrichtlinie das Ergebnis Ihrer Richtlinie aus dem Dropdown-Menü Aktion aus.

   Um Warteschlangenelemente zu löschen, aber ihre Informationen beizubehalten, lesen Sie die Schritte im Abschnitt Archivieren von Warteschlangenelementen.

   Um Warteschlangenelemente endgültig zu löschen, lesen Sie die Schritte im Abschnitt Löschen von Warteschlangenelementen.

   Um Warteschlangenelemente auf unbestimmte Zeit in Ihrer Datenbank zu behalten, lesen Sie die Schritte im Abschnitt Behalten von Warteschlangenelementen.

Archivieren von Warteschlangenelementen

Wenn Sie die Daten Ihrer Warteschlangenelemente nicht verlieren möchten, aber diese Informationen aus der Orchestrator-Datenbank auslagern müssen, archivieren Sie Ihre Warteschlangenelemente.

Voraussetzung: Sie benötigen einen Speicher-Bucket, um Ihre archivierten Warteschlangenelemente zu speichern.

1. Wählen Sie Archivieren aus dem Dropdown-Menü Aktion aus.

2. Wählen Sie eine Aufbewahrungsdauer aus. Geben Sie einen Wert zwischen 1 und 180 ein. Der Standardwert ist 30. Am Ende dieser Dauer werden alle Warteschlangenelemente mit endgültigem Status (einschließlich Warteschlangenelementereignisse und Kommentare), die in der Zwischenzeit nicht aktualisiert wurden, gelöscht und ihre Informationen in einem Ziel-Bucket gespeichert.

3. Wählen Sie einen Ziel-Bucket aus, um Ihre archivierten Elemente zu speichern.

Um die archivierten Informationen abzurufen, greifen Sie über den zugehörigen Speicher-Bucket auf die Archivdateien zu.

Hinweis:

Hinweis 1: Sie können entweder einen Orchestrator-Speicher-Bucket, eine Verknüpfung mit einem externen Speicher-Bucket oder den FileSystem-Bucket auf Ihrer Maschine verwenden.

Hinweis 2: Der von Ihnen verwendete Speicher-Bucket darf nicht schreibgeschützt sein, damit der Archivierungsvorgang Elemente hinzufügen kann.

Hinweis 3: Sie können denselben Speicher-Bucket verwenden, um Warteschlangenelemente aus verschiedenen Warteschlangen zu archivieren.

Hinweis 4: Dieses Feld ist nur für die Option Archivieren verfügbar.

Hinweis 5: Spezifische Daten und Ausgabedaten von verschlüsselten Warteschlangenelementen sind im Speicher-Bucket sichtbar, da der Archivierungsvorgang Daten beim Abrufen entschlüsselt und in den Zielspeicher exportiert.

Hinweis 6: Ein erfolgreicher Archivierungsvorgang wird auf der Seite Mandant > Prüfung protokolliert, erkennbar am Aktionstyp Archiv.

Hinweis 7: Wenn ein Fehler den Archivierungsvorgang unterbricht, wird eine Warnung angezeigt, damit Sie den Fehler beheben können.Der Archivierungsvorgang wird bei der nächsten Ausführung des Löschauftrags (am nächsten Kalendertag) wiederholt.Bis die Archivierung erfolgreich wiederholt wurde, können die betroffenen Warteschlangenelemente nicht angezeigt oder darauf zugegriffen werden.

Löschen von Warteschlangenelementen

Wenn Sie feststellen, dass verarbeitete Warteschlangenelementdaten nicht mehr nützlich sind, können Sie alle diese Informationen aus Ihrer Orchestrator-Datenbank entfernen.

1. Wählen Sie Löschen aus dem Dropdown-Menü Aktion aus.

2. Wählen Sie eine Aufbewahrungsdauer aus. Geben Sie einen Wert zwischen 1 und 180 ein. Der Standardwert ist 30. Am Ende dieser Dauer werden alle Warteschlangenelemente mit endgültigem Status (einschließlich Warteschlangenelementereignisse und Kommentare), die in der Zwischenzeit nicht aktualisiert wurden, endgültig gelöscht.

Beibehalten von Warteschlangenelementen

Wenn Sie die Daten der verarbeiteten Warteschlangenelemente auf unbestimmte Zeit aufbewahren möchten, wählen Sie die Option Behalten im Dropdown-Menü Aktion aus.

Alle Warteschlangenelemente mit endgültigem Status (einschließlich Warteschlangenelementereignisse und Kommentare) werden auf unbestimmte Zeit in Ihrer konfigurierten Datenbank gespeichert.

Ausgabe archivieren

Die ZIP-Datei

Wenn Sie Ihre Warteschlangenelemente archivieren, wird am Ende der Aufbewahrungsdauer eine .zip-Datei mit dem Pfad erstellt:

„Archive/Queues/Queue-{queue_key}/{archiving_operation_date}-{archiving_operation_timestamp}.zip“, wobei Folgendes zutrifft:

• {queue_key} – die eindeutige Kennung der Warteschlange, die die Warteschlangenelemente enthält
• {archiving_operation_date} – das UTC-Datum, an dem das Archiv generiert wurde, im Format yyyy-MM-dd
• {archiving_operation_timestamp} – Die UTC-Zeit, zu der das Archiv generiert wurde, im Format HH-mm-ss-fff
  Beispielsweise könnte eine Archivdatei den Namen Archive/Queues/Queue-1d1ad84a-a06c-437e-974d-696ae66e47c2/2022-05-26-03-00-08-496.zip haben.

Die .csv-Datei

Nach dem Extrahieren zeigt die .zip-Datei eine .csv-Datei mit derselben Namenssyntax an:

„Queue-{queue_key}-{archiving_operation_date}-{archiving_operation_timestamp}.csv“.

Die Datei .csv enthält die folgenden Informationen zu Ihren archivierten Warteschlangenelementen:

Die Metadata.json-Datei

Die Datei .json enthält Details zur Container-Warteschlange, damit Sie sie leichter identifizieren können.

Große Datenmengen

Bei Warteschlangen, die eine große Anzahl von Transaktionen verarbeitet haben, werden Warteschlangenelemente in Batches archiviert. In diesem Fall hat die .zip-Datei jedes Batches einen anderen {archiving-operation-timestamp}, je nachdem, zu welchem Zeitpunkt das Batcharchiv erstellt wurde.

APIs für Richtlinien zur Aufbewahrung von Warteschlangen

Um die Aufbewahrungsrichtlinie in Ihren Client zu integrieren, verwenden Sie die dedizierten Endpunkte der QueueRetention-API in Ihrer Swagger-Datei:

• GET /odata/QueueRetention – Gibt die Liste aller aktiven Richtlinien zurück, die Informationen wie die Richtlinienaktion, die Aufbewahrungsdauer in Tagen und die ID der Warteschlange enthält, für die die Richtlinie gilt.
• GET /odata/QueueRetention({key}) – Gibt die Richtlinieninformationen über die angegebene Warteschlange zurück.
• PUT /odata/QueueRetention({key}) – Aktualisiert die Richtlinieninformationen über die angegebene Warteschlange.
• DELETE /odata/QueueRetention({key}) – Setzt die angegebene Warteschlangenrichtlinie auf den Standardwert von 30 Tagen Aufbewahrung plus Löschung zurück.

Hinweis: Wenn Sie den DELETE-Endpunkt für Warteschlangen aufrufen, der vor der Einführung der Aufbewahrungsrichtlinienfunktion erstellt wurde, gilt die integrierte Aufbewahrungsrichtlinie von 30 Tagen plus Löschung. Ein Beispiel finden Sie in unserem Referenzhandbuch.

Spalten zur Richtlinienverfolgung und Prüfung

Um einfach zu identifizieren, welche Warteschlangen eine benutzerdefinierte Aufbewahrungsrichtlinie haben, aktivieren Sie die Spalten Aufbewahrungsaktion und Aufbewahrung (Tage) auf der Seite Warteschlangen, indem Sie die entsprechenden Kontrollkästchen in der Dropdownliste Spalten auswählen.

Die Spalte Aufbewahrungsaktion zeigt das Richtlinienergebnis an, während die Spalte Aufbewahrung (Tage) die verbleibende Zeit bis zur Anwendung der Richtlinie anzeigt.

Wie bereits erwähnt, gilt eine 30-tägige Aufbewahrungsrichtlinie für neu erstellte Warteschlangen. Sie können sich jedoch nicht immer auf diesen Wert verlassen, um die Warteschlangen zu identifizieren, die über eine Standardrichtlinie verfügen. Wenn Sie beispielsweise eine benutzerdefinierte Aufbewahrungsdauer von 55 Tagen festlegen und diese später auf 30 Tage aktualisieren, ist die resultierende Richtlinie nicht die Standardrichtlinie. Ob diese Szenarien Standardrichtlinien darstellen oder nicht, können Sie auf der Seite Prüfung nachlesen.

1 steht für den Aktionstyp Archivieren.

0 steht für den Aktionstyp Löschen.