Batch-Löschung

Löschen Sie Daten in einem Massenauftrag aus Communications Mining mithilfe der CLI, entweder aus einer einzelnen Quelle oder nach Bucket nach Zeitbereich oder über ganze Datensätze hinweg mit alternativer Aufbewahrung.

Die CLI bietet drei Möglichkeiten zum Löschen von Daten in einem Massenauftrag, z. B. beim Bereinigen historischer Daten oder Anwenden einer Aufbewahrungsrichtlinie.

Befehl	Scope	VERWENDEN
re delete bulk	Eine Quelle	Löschen von Kommentaren nach Zeitbereich
re delete bulk-emails	Ein Bucket	Löschen von unformatierten E-Mails nach Zeitbereich
re prune	Jede Quelle und jeder Bucket in den Datasets, die Sie auflisten	Anwenden der alternativen Aufbewahrung auf ein gesamtes Dataset, Kommentare und unformatierte E-Mails zusammen

Warnung:

re delete bulk und re delete bulk-emails werden gelöscht, sobald Sie sie ausführen. Es gibt keine Bestätigungsaufforderung, keinen Schreibtischtest und keine Sicherung – erstellen Sie zuerst selbst eine. Nur re prune sichert, was gelöscht wird.

In diesem Abschnitt wird davon ausgegangen, dass Sie die CLI bereits installiert und konfiguriert haben. Sie benötigen Berechtigungen zum Lesen und Löschen für jedes Projekt, aus dem Sie löschen. Das Wiederherstellen aus einer Sicherung benötigt zusätzlich die Berechtigung zum Hochladen von Kommentaren und E-Mails sowie Dataset – Überprüfung, um Anmerkungen wiederherzustellen.

Informationen zu den Optionen, die ein Befehl verwendet, finden Sie unter re <command> --help oder in der Befehlsreferenz.

Hinweis:

Für alle drei Befehle basiert der Zeitraum auf dem Feld timestamp des Kommentars oder der E-Mail und nicht auf dem Datum/Uhrzeit, an dem er in Communications Mining™ hochgeladen wurde.

Für re delete bulk und re delete bulk-emails sind beide Enden des Bereichs optional: Geben Sie keines von beiden an und der Befehl deckt die gesamte Quelle oder den Bucket ab. --from-timestamp ist inklusiv; --to-timestamp ist inklusiv für Kommentare und exklusiv für E-Mails.

Daten werden gesichert, bevor sie gelöscht werden

Bevor Sie Ihre Kommentare löschen oder ändern, möchten Sie optional mit Anmerkungen versehene Kommentare sichern, um die manuelle Arbeit der Modelltrainer nicht versehentlich zu verlieren:

re get comments \
  <project_name/source_name> \
  --dataset <project_name/dataset_name> \
  --reviewed-only true \
  --file <output_file_name.jsonl>

Wenn die Quelle zu mehreren Datasets hinzugefügt wurde, sollten Sie den zuvor erwähnten Befehl für jedes dieser Datasets ausführen.

Dieser Befehl erfasst die Kommentare, die --include-annotated=false behält, nicht die, die durch ein Löschen entfernt werden. Um diese zu erfassen, exportieren Sie denselben Bereich, den Sie löschen möchten: Verwenden Sie für eine Quelle re get comments mit --from-timestamp und --to-timestamp wie unter Batch-Download beschrieben, und für einen Bucket:

re get emails \
  <project_name/bucket_name> \
  --from-timestamp FROM_TIMESTAMP \
  --to-timestamp TO_TIMESTAMP \
  --file <output_file_name.jsonl>

Hinweis:

Anhangsinhalte werden nur exportiert, wenn Sie --attachments true an re get comments übergeben, und nur erneut hochgeladen, wenn Sie --attachments <directory> an re create comments übergeben. Ohne diese enthält eine Sicherung Anhangsmetadaten, aber nicht die Dateien selbst.

Löschen von Kommentaren aus einer Quelle

Warnung:

Das Löschen von Anmerkungen ändert die Modellleistung.

Wenn die Kommentare, die Sie löschen möchten, zu einem oder mehreren Datasets hinzugefügt wurden, in denen sie mit Anmerkungen versehen werden könnten, führt das Löschen von Kommentaren mit Anmerkungen zu einer Änderung der Modellleistung in diesen Datasets. Veröffentlichte Modelle sind davon nicht betroffen.

Optional können Sie die CLI so konfigurieren, dass Kommentare mit Anmerkungen übersprungen werden.

Der folgende Befehl löscht alle Kommentare in einer Quelle zwischen FROM_TIMESTAMP und TO_TIMESTAMP , ohne Anmerkungen. Der Zeitstempel muss im RFC 3339-Format vorliegen , z. B 1970-01-02T03:04:05Z.

re delete bulk \
  --source <project_name/source_name> \
  --include-annotated=false \
  --from-timestamp FROM_TIMESTAMP \
  --to-timestamp TO_TIMESTAMP

Wenn Sie mit Anmerkungen versehene Kommentare wirklich löschen möchten, können Sie --include-annotated=true festlegen.

Hinweis:

Hier behält --include-annotated=false einen Kommentar, der in jedem Dataset mit einer Anmerkung versehen wird, das die Quelle enthält, einschließlich Datasets, die Sie nicht sehen können. re prune verwendet eine strengere Regel.

Beim Löschen von Kommentaren werden die unformatierten E-Mails, aus denen sie geparst wurden, nicht entfernt.

Löschen von E-Mails aus einem Bucket

Um die unformatierten E-Mails selbst zu löschen, zielen Sie den Bucket nach Zeitbereich ab:

re delete bulk-emails \
  --bucket <project_name/bucket_name> \
  --from-timestamp FROM_TIMESTAMP \
  --to-timestamp TO_TIMESTAMP

Dadurch wird jede E-Mail im Bereich gelöscht, einschließlich E-Mails, die in andere Quellen als die, mit der Sie gearbeitet haben, analysiert wurden. Kommentare, die bereits aus diesen E-Mails analysiert wurden, werden nicht gelöscht.

Um stattdessen einzelne E-Mails zu löschen, übergeben Sie bis zu 32 IDs gleichzeitig:

re delete emails \
  --bucket <project_name/bucket_name> \
  <email_id>...

Warnung:

Übergeben Sie immer mindestens eine ID. Weder re delete emails noch re delete comments prüft auf eine leere Liste, und eine Löschanforderung, die keine IDs enthält, besteht darin, dass viel mehr entfernt wird, als Sie beabsichtigt haben – achten Sie also auf nicht erweiterte Platzhalter und leere Shell-Variablen.

Entfernen alter Daten in einem Dataset

re prune wendet die altersbasierte Aufbewahrung auf ein oder mehrere Datasets in einer einzigen Ausführung an und löscht Folgendes:

• Kommentare, die älter als der Grenzwert sind, aus jeder Quelle in den Datasets, die Sie auflisten.
• E-Mails, die älter als die Frist sind, aus jedem Bucket, aus dem diese Quellen lesen.

Der Grenzwert ist genau der Moment, in dem die Ausführung beginnt, minus --older-than-days, und nicht eine Kalendertaggrenze.

Warnung:

re prune löscht Daten endgültig. Die geschriebene Sicherung ist die einzige Möglichkeit, einen Lauf rückgängig zu machen, und sie enthält persönliche Daten. Schreiben Sie Backups an einem sicheren Ort, aufbewahren Sie sie sicher und führen Sie immer zuerst einen Schreibtischtest durch.

So funktioniert eine Bereinigungsausführung

1. Scope auflösen. Jede Quelle in den Datasets, die Sie an --datasets übergeben, befindet sich im Scope, zusammen mit jedem Bucket, aus dem diese Quellen lesen.
2. Suchen Sie nach gemeinsamen Quellen. Wenn eine In-Scope-Quelle auch zu einem Dataset gehört, das Sie nicht aufgelistet haben, wird die Ausführung abgebrochen und benennen. Nur Datasets, zu deren Lese Sie über eine Berechtigung verfügen, können aktiviert werden.
3. Bestätigen. Der Befehl fasst den Scope und die dafür geltenden Vorbemerkungen zusammen und wartet auf Sie. --dry-run und -y überspringen dies.
4. Sichern Sie Ihre Daten. Zuerst jeder überprüfte Kommentar in jedem In-Scope-Dataset, dann die Kommentare und E-Mails, die zum Löschen ausgewählt wurden.
5. Überprüfen, dann löschen. Die Ausführung prüft jede Sicherungsdatei anhand der Datensatzanzahl und der Prüfsumme im Manifest, und eine einzelne Abweichung wird abgebrochen, bevor etwas gelöscht wird.

Ein Schreibtischtest wird nach Schritt 4 angehalten: Er schreibt eine echte Sicherung und meldet, was er löschen würde, aber er überprüft oder löscht weder.

Ausführen einer Bereinigung

Beginnen Sie mit --dry-run.

re prune \
  --datasets <project_name/dataset_name> \
  --older-than-days 730 \
  --backup-dir <backup_directory> \
  --dry-run

Wenn die Anzahl stimmt, führen Sie denselben Befehl ohne --dry-run aus.

Standardmäßig wird ein Kommentar unabhängig vom Alter beibehalten, wenn er in einem der von Ihnen aufgelisteten Datasets überprüft wird. Ein Kommentar, der nur in einem Dataset mit Anmerkungen versehen ist, auf das Sie nicht zugreifen können, zählt nicht und wird gelöscht. Übergeben Sie --include-annotated, um alte Kommentare zu löschen, unabhängig davon, ob sie mit Anmerkungen versehen sind oder nicht. Beachten Sie dabei die oben beschriebenen Auswirkungen auf die Modellleistung.

Beschneiden eines einzelnen Postfachs

--mailbox beschränkt, was gelöscht wird, auf die Daten, die mit einem Postfach synchronisiert werden, was nützlich ist, wenn ein Bucket mehrere Postfächer erhält und nur eines von ihnen bereinigt werden muss. Die Plattform filtert E-Mails nach dem genauen Postfachnamen. Kommentare werden ohne Groß-/Kleinschreibung mit ihrer Benutzereigenschaft Mailbox ID abgeglichen, die bei der E-Mail-Analyse nur festgelegt wird, wenn das Transformations-Tag der Quelle den Postfachnamen aufzeichnet.

Hinweis:

Ein Kommentar, der keine übereinstimmende Mailbox ID enthält, wird nie abgeglichen. Wenn die Kommentare im Scope diese Eigenschaft also nicht enthalten, wird bei einer Postfach-Scope-Ausführung keiner von ihnen gelöscht. Überprüfen Sie das Transformations-Tag mit re get sources, bevor Sie sich auf --mailbox verlassen.

--mailbox schränkt die Anmerkungssicherung nicht ein.

Was die Sicherung enthält

Bei jeder Ausführung wird unter --backup-dir ein neuer Ordner erstellt, der nach der UTC-Zeit benannt ist, zu der die Ausführung gestartet wurde. re prune verwendet nie einen vorhandenen Ordner wieder.

<backup_directory>/20260807T104500Z/
├── manifest.json
├── annotations/<dataset-id>/<source-id>.jsonl
├── deleted-comments/<source-id>.jsonl
└── deleted-emails/<bucket-id>.jsonl

PATH	Inhalte
manifest.json	Zusammenfassung der Ausführung und der Index jeder Sicherungsdatei.
annotations/	Jeder überprüfte Kommentar in jedem In-Scope-Dataset mit seinen Anmerkungen, eine Datei pro Dataset und Quelle – nicht nur die, die gelöscht werden.
deleted-comments/	Die zum Löschen ausgewählten Kommentare, eine Datei pro Quelle, im gleichen Format wie re get comments, jedoch ohne ihre Anmerkungen.
deleted-emails/	Die zur Löschung ausgewählten E-Mails, eine Datei pro Bucket, einschließlich ihres unformatierten MIME-Inhalts.

Das Manifest zeichnet die Parameter der Ausführung (run_id, cutoff, include_annotated, mailbox, datasets), die Größe des Löschsatzes (comment_count, email_count) und für jede Sicherungsdatei das auf resource, den er abdeckt, seinen file -Pfad relativ zum Sicherungsordner, seinen Datensatz count und eine crc32 -Prüfsumme.

Hinweis:

comment_count und email_count sind die Größe des Löschsatzes, der von der Ausführung ausgewählt wurde. Das Manifest wird geschrieben, bevor etwas gelöscht wird, und wird danach nicht aktualisiert, sodass es keine Aufzeichnung dessen ist, was erfolgreich gelöscht wurde.

Wiederherstellen aus Sicherung

Die Wiederherstellung erfolgt manuell und verwendet die üblichen re create -Befehle. Sicherungsdateien werden nach ID benannt: re get datasets, re get sources und re get buckets führen die IDs neben den Namen auf, und das Manifest gibt die Quelle oder den Bucket an, den jede Löschsatzdatei in ihrem Feld resource abdeckt. Der count jeder Datei im Manifest gibt an, wie viele Datensätze sie enthält, was einen Vergleich mit dem, was Sie wiederherstellen, wert ist.

Gelöschte Kommentare in ihrer Quelle wiederherstellen:

re create comments \
  --source <project_name/source_name> \
  --file <backup_directory>/<run_id>/deleted-comments/<source-id>.jsonl

Bei einer Standardbereinigung bleiben die Kommentare in den von Ihnen aufgelisteten Datasets mit Anmerkungen versehen, sodass Anmerkungen erst nach einer Ausführung mit --include-annotated wiederhergestellt werden müssen. Stellen Sie sie aus der Anmerkungssicherung wieder her – re create annotations liest diese Datei und lädt nur die Anmerkungen hoch, wobei die Kommentare selbst unberührt bleiben:

re create annotations \
  --source <project_name/source_name> \
  --dataset <project_name/dataset_name> \
  --file <backup_directory>/<run_id>/annotations/<dataset-id>/<source-id>.jsonl

Gelöschte E-Mails in ihrem Bucket wiederherstellen:

re create emails \
  --bucket <project_name/bucket_name> \
  --file <backup_directory>/<run_id>/deleted-emails/<bucket-id>.jsonl

Warnung:

Eine Anmerkungssicherung deckt jeden überprüften Kommentar im Dataset ab, nicht nur die gelöschten. Wenn Sie also eine wiederherstellen, werden die Anmerkungen wieder so angewendet, wie sie zum Zeitpunkt der Ausführung waren. Überprüfen Sie die seit der Ausführung ausgeführte Arbeit für einen Kommentar, der sich in der Sicherung befindet, überschrieben wird.

Das Hochladen von unformatierten E-Mails zurück in einen Bucket bewirkt, dass die Plattform sie in die Quellen analysiert, die aus diesem Bucket lesen, und Kommentare neu erstellt. Stellen Sie nicht sowohl die E-Mails als auch die Kommentare für dieselbe Quelle wieder her, es sei denn, Sie möchten. Wenn Sie die E-Mails anstelle der Kommentare wiederherstellen, warten Sie, bis die Kommentare wieder angezeigt werden, bevor Sie die Anmerkungen wiederherstellen, die nur auf bereits vorhandene Kommentare angewendet werden können.

re create comments und re create emails sind Uploads, deshalb werden Sie von der CLI aufgefordert, den AI Unit-Gebühren dafür zuzustimmen. re create annotations wird nicht berechnet.

Einschränkungen und Vorteile

Sicherung und Wiederherstellung:

• Der Inhalt des Kommentaranhangs wird nicht gesichert. Nur Anhangsmetadaten sind vorhanden, sodass der Anhangsinhalt nicht wiederhergestellt werden kann. E-Mails werden vollständig gesichert, sodass Anhänge mit ihrem MIME-Inhalt erhalten bleiben.
• Verworfene Extraktionsfeldanmerkungen werden nicht wiederhergestellt. Sie sind in der Sicherung vorhanden, aber das Upload-Format bietet keine Möglichkeit, sie erneut anzuwenden.
• Bei einem Schreibtischtest wird eine echte Sicherung geschrieben. Sie liest alle Daten, die sie löschen würde, und schreibt sie in --backup-dir. Behandeln Sie ihre Ausgabe also so sicher wie jede andere Sicherung.

Scope und Verhalten beim Löschen:

• Nur Anmerkungen in Datasets, die Sie aufgeführt haben, schützen einen Kommentar. Ein Kommentar, der nur in einem Dataset mit Anmerkungen versehen ist, auf das Sie nicht zugreifen können, wird als ohne Anmerkungen behandelt: Er wird gelöscht und diese Anmerkung wird nicht gesichert.
• Das Löschen von E-Mails erfolgt nach Alter für einen gesamten Bucket. Ohne --mailbox wird jede E-Mail, die vor dem Ausschluss datiert ist, aus jedem In-Scope-Bucket gelöscht, einschließlich E-Mails, die andere Quellen oder Datasets liefern, unabhängig davon, ob diese im Scope enthalten sind oder nicht.
• Quellen außerhalb der aufgeführten Datasets sind außerhalb des Scopes. Ihre Kommentare werden nicht gelöscht, auch wenn die E-Mails in ihrem Bucket gelöscht werden. Dadurch können Kommentare hinterlassen werden, deren unformatierte E-Mail-Adresse nicht mehr vorhanden ist.
• Die Prüfung der freigegebenen Quelle sieht nur, was Sie lesen können. Wenn eine In-Scope-Quelle auch zu einem Dataset in einem Projekt gehört, auf das Sie nicht zugreifen können, verliert dieses Dataset die hier gelöschten Kommentare und die Ausführung kann Sie nicht warnen.
• Das Löschen ist nicht transaktional. Wenn dies teilweise fehlschlägt, z. B. bei einem Netzwerkfehler, bleiben die bereits gelöschten Daten gelöscht. Die Sicherung ist intakt, also führen Sie den Befehl erneut aus, oder stellen Sie ihn aus der Sicherung wieder her.