Aufbewahrungsrichtlinie für Warteschlangenelemente

Überblick

Die Verarbeitung von Warteschlangenelementen generiert große Mengen an Transaktionen, die Ihre Orchestrator-Datenbank schnell überfüllen können. Eine Aufbewahrungsrichtlinie hilft Ihnen, die Datenbank auf organisierte Weise freizugeben.

Was ist eine Aufbewahrungsrichtlinie? Es handelt sich um eine Vereinbarung, um integrierte Funktionen zum Entfernen von Daten sicherzustellen, indem eine Aktion festgelegt wird, mit der Daten nach einem bestimmten Zeitraum aus Ihrer Datenbank entfernt werden. Was ist zu erwarten? Aufgrund einer einfacheren Datenbank bietet Ihr Cloud-Orchestrator eine bessere Leistung.

Bedingungen für Warteschlangenelemente

Für die angegebene Warteschlange gilt die von Ihnen konfigurierte Aufbewahrungsrichtlinie für alle Warteschlangenelemente, die gleichzeitig die folgenden Bedingungen erfüllen:

• Für abgeschlossene Warteschlangenelemente:
  • Sie haben einen endgültigen Status: Fehlgeschlagen, Erfolgreich, Aufgegeben, Wiederholt, Gelöscht.
  • Sie wurden in über X Tagen nicht mehr geändert, wobei X die Aufbewahrungsdauer ist.
• Bei nicht abgeschlossenen Warteschlangenelementen:
  • Sie haben den Status Neu .
  • Sie wurden in über X Tagen nicht mehr geändert, wobei X die Aufbewahrungsdauer ist.

Verschobene Warteschlangenelemente

Bei Warteschlangenelementen, die in Bearbeitung waren und verschoben wurden, wird die Aufbewahrungsdauer wie folgt berechnet: Anzahl der Tage bis zum Verschiebungsdatum + Anzahl der Tage, die für die Aufbewahrungsdauer konfiguriert sind.

Beispiel

• Sie legen eine Löschaktion mit einer Aufbewahrungsdauer von 30 Tagen für Warteschlange A fest.
• Warteschlangenelement B, das zu Warteschlange A gehört, wird um 10 Tage verschoben.

Warteschlangenelement B wird in 40 Tagen gelöscht.

Suspended jobs

Benutzerdefinierte Aufbewahrungsrichtlinien werden erst dann auf Warteschlangenelemente angewendet, die mit einem angehaltenen Auftrag verknüpft sind, wenn dieser Auftrag in den Status „Abgeschlossen“ übergeht oder bis er gelöscht oder archiviert wird.

Beispiel

• Sie legen eine Löschaktion mit einer Aufbewahrungsdauer von 30 Tagen für Warteschlange A fest.
• Warteschlange A ist mit Auftrag B verknüpft, der angehalten ist.
• Auftrag B wird innerhalb von 10 Tagen nach Festlegen der Aufbewahrungsdauer für Warteschlange A erneut aktiviert und abgeschlossen.

Warteschlangenelemente, die zu Warteschlange A gehören, werden in 40 Tagen gelöscht.

Ermitteln, wann ein Warteschlangenelement zuletzt geändert wurde

Der Algorithmus zur Validierung von Warteschlangenelementen durchsucht alle Warteschlangen und ermittelt anhand von vier Eigenschaften in der folgenden Reihenfolge, welche Warteschlangenelemente die Bedingungen erfüllen:

• 1 – LetzteÄnderungsZeit
• 2 – EndeVerarbeitungsZeit
• 3 – StartVerarbeitungsZeit
• 4 – Erstellungszeit

Wenn ein Warteschlangenelement keinen LetzteÄnderungsZeit-Wert (1) hat oder wenn der Wert null ist, betrachtet der Algorithmus den EndeVerarbeitungsZeit-Wert (2). Wenn der EndeVerarbeitungsZeit-Wert null ist, betrachtet der Algorithmus den StartVerarbeitungsZeit-Wert (3). Wenn der Wert für StartVerarbeitungsZeit null ist, prüft der Algorithmus den Wert für ErstellungsZeit (4) und wendet die Richtlinie auf der Grundlage des ersten gefundenen Werts an, der nicht null ist.

Bestimmen, wann ein Warteschlangenelement gelöscht wird

Die Aufbewahrung wird basierend auf Kalendertagen berechnet. Daher werden qualifizierte Warteschlangenelemente am Kalendertag X+1 gelöscht, wobei X die Aufbewahrungsdauer und +1 die Ausführung des Löschauftrags am folgenden Kalendertag darstellt.

Beachten Sie, dass der Auftrag zu Beginn des nächsten Kalendertages ausgeführt werden kann, also einige Stunden nach dem Ende der Aufbewahrungsfrist.

Angenommen, Sie legen eine Aufbewahrungsdauer von einem Tag fest:

Wenn das Datum der letzten Änderung für ein Warteschlangenelement entweder der 10.06.2022 00:01:00 (die erste Minute des Kalendertages) oder der 10.06.2022 23:59:00 (die letzte Minute des Kalendertages) ist, qualifiziert es sich für den Löschauftrag, der am 12. Juni ausgeführt wird (10. Juni plus 1 Tag Aufbewahrungsdauer plus 1 Tag danach = 12. Juni).

Daher:

• Wir stellen sicher, dass Ihre Warteschlangenelementdaten für mindestens einen Kalendertag (die Aufbewahrungsdauer) aufbewahrt werden, indem wir sie am nächsten Kalendertag archivieren.
• Wir möchten sicherstellen, dass Ihre Elemente bis zum Ende des nächsten Kalendertages archiviert werden.

Richtlinientypen

Dies sind die Typen von Aufbewahrungsrichtlinien:

• Die Standardrichtlinie für neu erstellte Warteschlangen – Alle Transaktionen, die Teil neuer Warteschlangen sind, werden nach 30 Tagen gelöscht, ohne dass das Löschen rückgängig gemacht werden kann. Dies ist die integrierte Option.
• Die benutzerdefinierte Richtlinie – Alle Transaktionen werden nach einer Aufbewahrungsdauer Ihrer Wahl gelöscht oder archiviert. Diese Option kann gemäß den Anweisungen im Abschnitt Konfigurieren einer benutzerdefinierten Aufbewahrungsrichtlinie konfiguriert werden .
  • Abgeschlossene Warteschlangenelemente:
    • Die Standarddauer beträgt 30 Tage.
    • Die maximale Dauer beträgt 180 Tage.
  • Nicht abgeschlossene Warteschlangenelemente:
    • Die Standarddauer beträgt 180 Tage.
    • Die maximale Dauer beträgt 540 Tage.

Wichtig: Die Standardaufbewahrungsrichtlinien gelten für alle Warteschlangen im Mandanten.

Richtlinienergebnisse

Eine benutzerdefinierte Aufbewahrungsrichtlinie hat die folgenden Ergebnisse:

• Sie löscht die gültigen Warteschlangenelemente, die älter als die angegebene Dauer sind.
• Sie löscht die gültigen Warteschlangenelemente, die älter als die angegebene Dauer sind, archiviert ihre Daten jedoch in einem vorhandenen Speicher-Bucket, um später darauf zurückgreifen zu können. Auf diese Weise können Sie Ihre Orchestrator-Datenbank entlasten, ohne die Informationen zu verlieren.
• Die eindeutigen Referenzen der Warteschlangenelemente werden beibehalten, um das Auftreten von Validierungen nach der angewandten Richtlinie zu gewährleisten.
  Hinweis: Insights-Dashboards, die Informationen zu gelöschten Warteschlangenelementen enthalten, zeigen weiterhin die richtigen Daten an.

Seite „Warteschlangen“

Die Aufbewahrungsrichtlinie wird nicht sofort auf der Seite „Warteschlangen“ angezeigt.

Die Neuberechnung von Daten wird durch ein beliebiges Warteschlangenelementereignis ausgelöst, z. B. Erstellen, Bearbeiten, Löschen, Status oder Wiederholen. Gelöschte Warteschlangenelemente sind nicht mehr in der neu berechneten Liste enthalten.

Konfigurieren einer benutzerdefinierten Aufbewahrungsrichtlinie

So konfigurieren Sie eine benutzerdefinierte Aufbewahrungsrichtlinie:

1. Navigieren Sie im Orchestrator zum gewünschten Ordner in Ihrem Mandanten.
2. Öffnen Sie die Seite Warteschlangen.
3. Um eine neue Warteschlange hinzuzufügen, klicken Sie auf Warteschlange hinzufügen.Um eine vorhandene Warteschlange zu bearbeiten, klicken Sie für die gewünschte Warteschlange auf Weitere Aktionen > Bearbeiten.Die Seite Warteschlange erstellen/aktualisieren wird geöffnet.
4. Wählen Sie im Abschnitt Aufbewahrungsrichtlinie das Ergebnis Ihrer Richtlinie aus dem Dropdown-Menü Aktion aus.

   Sie können unterschiedliche Richtlinienergebnisse und Aufbewahrungsdauer für abgeschlossene und nicht abgeschlossene Warteschlangenelemente festlegen.

   Um Warteschlangenelemente zu löschen, aber ihre Informationen beizubehalten, lesen Sie die Schritte im Abschnitt Archivieren von Warteschlangenelementen.

   Um Warteschlangenelemente endgültig zu löschen, lesen Sie die Schritte im Abschnitt Löschen von Warteschlangenelementen.

Archivieren von Warteschlangenelementen

Wenn Sie die Daten Ihrer Warteschlangenelemente nicht verlieren möchten, aber diese Informationen aus der Orchestrator-Datenbank auslagern müssen, archivieren Sie Ihre Warteschlangenelemente.

Voraussetzung: Sie benötigen einen Speicher-Bucket, um Ihre archivierten Warteschlangenelemente zu speichern.

1. Wählen Sie Archivieren aus dem Dropdown-Menü Aktion aus.
2. Wählen Sie eine Aufbewahrungsdauer für abgeschlossene und nicht abgeschlossene Warteschlangenelemente aus.

   Für abgeschlossene Warteschlangenelemente können Sie einen Wert zwischen 1 und 180 wählen, wobei 30 der Standardwert ist.

   Für nicht abgeschlossene Warteschlangenelemente können Sie einen Wert zwischen 180 und 540 auswählen, wobei 180 der Standardwert ist.

   Am Ende dieser Dauer werden alle Warteschlangenelemente (einschließlich Warteschlangenelementereignisse und Kommentare), die in der Zwischenzeit nicht aktualisiert wurden, gelöscht und ihre Informationen im Ziel-Bucket gespeichert.

3. Wählen Sie einen Ziel-Bucket aus, um Ihre archivierten Elemente zu speichern.

Um die archivierten Informationen abzurufen, greifen Sie über den zugehörigen Speicher-Bucket auf die Archivdateien zu.

Hinweis:

Hinweis 1: Sie können entweder einen Orchestrator Speicher-Bucket verwenden oder einen externen Speicher-Bucket verknüpfen.

Hinweis 2: Der von Ihnen verwendete Speicher-Bucket darf nicht schreibgeschützt sein, damit der Archivierungsvorgang Elemente hinzufügen kann.

Hinweis 3: Sie können denselben Speicher-Bucket verwenden, um Warteschlangenelemente aus verschiedenen Warteschlangen zu archivieren.

Hinweis 4: Dieses Feld ist nur für die Option Archivieren verfügbar.

Hinweis 5: Spezifische Daten und Ausgabedaten von verschlüsselten Warteschlangenelementen sind im Speicher-Bucket sichtbar, da der Archivierungsvorgang Daten beim Abrufen entschlüsselt und in den Zielspeicher exportiert.

Hinweis 6: Ein erfolgreicher Archivierungsvorgang wird auf der Seite Mandant > Prüfung protokolliert, erkennbar am Aktionstyp Archiv.

Hinweis 7: Wenn ein Fehler den Archivierungsvorgang unterbricht, wird eine Warnung angezeigt, damit Sie den Fehler beheben können.Der Archivierungsvorgang wird bei der nächsten Ausführung des Löschauftrags (am nächsten Kalendertag) wiederholt.Bis die Archivierung erfolgreich wiederholt wurde, können die betroffenen Warteschlangenelemente nicht angezeigt oder darauf zugegriffen werden.

Ausgabe archivieren

Die ZIP-Datei

Wenn Sie Ihre Warteschlangenelemente archivieren, wird am Ende der Aufbewahrungsdauer eine .zip-Datei mit dem Pfad erstellt:

„Archive/Queues/Queue-{queue_key}/{archiving_operation_date}-{archiving_operation_timestamp}.zip“, wobei Folgendes zutrifft:

• {queue_key} – die eindeutige Kennung der Warteschlange, die die Warteschlangenelemente enthält
• {archiving_operation_date} – das UTC-Datum, an dem das Archiv generiert wurde, im Format yyyy-MM-dd
• {archiving_operation_timestamp} – Die UTC-Zeit, zu der das Archiv generiert wurde, im Format HH-mm-ss-fff
  Beispielsweise könnte eine Archivdatei den Namen Archive/Queues/Queue-1d1ad84a-a06c-437e-974d-696ae66e47c2/2022-05-26-03-00-08-496.zip haben.

Die .csv-Datei

Nach dem Extrahieren zeigt die .zip-Datei eine .csv-Datei mit derselben Namenssyntax an:

„Queue-{queue_key}-{archiving_operation_date}-{archiving_operation_timestamp}.csv“.

Die Datei .csv enthält die folgenden Informationen zu Ihren archivierten Warteschlangenelementen:

Die Metadata.json-Datei

Die Datei .json enthält Details zur Container-Warteschlange, damit Sie sie leichter identifizieren können.

Große Datenmengen

Bei Warteschlangen, die eine große Anzahl von Transaktionen verarbeitet haben, werden Warteschlangenelemente in Batches archiviert. In diesem Fall hat die .zip-Datei jedes Batches einen anderen {archiving-operation-timestamp}, je nachdem, zu welchem Zeitpunkt das Batcharchiv erstellt wurde.

Löschen von Warteschlangenelementen

Wenn Sie feststellen, dass verarbeitete Warteschlangenelementdaten nicht mehr nützlich sind, können Sie alle diese Informationen aus Ihrer Orchestrator-Datenbank entfernen.

1. Wählen Sie Löschen aus dem Dropdown-Menü Aktion aus.
2. Wählen Sie eine Aufbewahrungsdauer für abgeschlossene und nicht abgeschlossene Warteschlangenelemente aus.

   Für abgeschlossene Warteschlangenelemente können Sie einen Wert zwischen 1 und 180 wählen, wobei 30 der Standardwert ist.

   Für nicht abgeschlossene Warteschlangenelemente können Sie einen Wert zwischen 180 und 540 auswählen, wobei 180 der Standardwert ist.

   Am Ende dieser Dauer werden alle Warteschlangenelemente (einschließlich Warteschlangenelementereignisse und Kommentare), die in der Zwischenzeit nicht aktualisiert wurden, endgültig gelöscht.

APIs für Richtlinien zur Aufbewahrung von Warteschlangen

Um die Aufbewahrungsrichtlinie in Ihren Client zu integrieren, verwenden Sie die dedizierten Endpunkte der QueueRetention-API in Ihrer Swagger-Datei:

• GET /odata/QueueRetention – Gibt die Liste aller aktiven Richtlinien zurück, die Informationen wie die Richtlinienaktion, die Aufbewahrungsdauer in Tagen und die ID der Warteschlange enthält, für die die Richtlinie gilt.
• GET /odata/QueueRetention({key}) – Gibt die Richtlinieninformationen über die angegebene Warteschlange zurück.
• PUT /odata/QueueRetention({key}) – Aktualisiert die Richtlinieninformationen über die angegebene Warteschlange.
• DELETE /odata/QueueRetention({key}) – Setzt die angegebene Warteschlangenrichtlinie auf den Standardwert von 30 Tagen Aufbewahrung plus Löschung zurück.

Hinweis: Wenn Sie den DELETE-Endpunkt für Warteschlangen aufrufen, der vor der Einführung der Aufbewahrungsrichtlinienfunktion erstellt wurde, gilt die integrierte Aufbewahrungsrichtlinie von 30 Tagen plus Löschung. Ein Beispiel finden Sie in unserem Referenzhandbuch.

Spalten zur Richtlinienverfolgung und Prüfung

Um einfach zu identifizieren, welche Warteschlangen eine benutzerdefinierte Aufbewahrungsrichtlinie haben, aktivieren Sie die Spalten Aufbewahrungsaktion und Aufbewahrung (Tage) auf der Seite Warteschlangen, indem Sie die entsprechenden Kontrollkästchen in der Dropdownliste Spalten auswählen.

Die Spalte Aufbewahrungsaktion zeigt das Richtlinienergebnis an, während die Spalte Aufbewahrung (Tage) die verbleibende Zeit bis zur Anwendung der Richtlinie anzeigt.

Wie bereits erwähnt, gilt eine 30-tägige Aufbewahrungsrichtlinie für neu erstellte Warteschlangen. Sie können sich jedoch nicht immer auf diesen Wert verlassen, um die Warteschlangen zu identifizieren, die über eine Standardrichtlinie verfügen. Wenn Sie beispielsweise eine benutzerdefinierte Aufbewahrungsdauer von 55 Tagen festlegen und diese später auf 30 Tage aktualisieren, ist die resultierende Richtlinie nicht die Standardrichtlinie. Ob diese Szenarien Standardrichtlinien darstellen oder nicht, können Sie auf der Seite Prüfung nachlesen.

1 steht für den Aktionstyp Archivieren.

0 steht für den Aktionstyp Löschen.