Human-in-the-Loop-Validierung

Überblick

Human-in-the-Loop (HITL) in Communications Mining wurde entwickelt, um die betriebliche Entscheidungsfindung zu unterstützen, wenn die Modellkonfidenz unzureichend ist, während gleichzeitig die Integrität der Modelltrainingsdaten erhalten bleibt.

In einer Produktionsautomatisierung wird das Modell verwendet, um eingehende Kommunikation in Echtzeit zu klassifizieren. Wenn das Modell die richtigen Beschriftungen nicht sicher vorhersagen kann, ist bei der Automatisierung vorübergehend ein menschlicher Benutzer erforderlich, um die Vorhersage zu validieren oder zu korrigieren, sodass der Geschäftsprozess ohne Unterbrechung fortgesetzt werden kann.

Es ist wichtig, zwischen Folgendem zu unterscheiden:

• Betriebliche Validierung , die Endbenutzer im Action Center durchführen.
• Modelltraining und -wartung, die Modelltrainer später durchführen.

Die HITL-Validierung stellt sicher, dass:

• Die Automatisierung kann sofort mit korrigierten Beschriftungen fortgesetzt werden.
• Die Kommunikation wird aus Geschäftsperspektive korrekt gehandhabt.

Bei der HITL-Validierung wird das Modell jedoch nicht direkt erneut trainiert oder aktualisiert. Stattdessen werden Kommunikationen, die menschliches Eingreifen erforderten, explizit als Ausnahmen markiert, sodass Modelltrainer sie später im Rahmen eines laufenden Modellwartungsprozesses, d. h. des Ausnahmetrainings, unter kontrollierten Bedingungen überprüfen und mit Anmerkungen versehen können.

Diese Trennung stellt sicher:

• hochwertige, konsistente Trainingsdaten
• Schutz vor unvollständigen oder verzerrten Anmerkungen.
• Kontinuierliche Modellverbesserung ohne Beeinträchtigung der Live-Automatisierungsleistung.

Workflow

1. Der Roboter nimmt Kommunikation vom Stream auf.
2. Der Roboter bewertet die Modellkonfidenz.
3. Wenn die Konfidenz unter dem Schwellenwert liegt, ist eine Validierung erforderlich.
4. Im Action Center wird eine Validierungsaufgabe erstellt. Weitere Informationen finden Sie unter Formularaufgabe erstellen.
5. Die Kommunikationsinhalte und vorhergesagten Beschriftungen werden einem menschlichen Benutzer präsentiert.
6. Der Mensch überprüft oder korrigiert Beschriftungen im Action Center.
7. Diese Korrekturen werden nur für die Weiterverarbeitung, nicht für das Modelltraining verwendet.
8. Der Roboter markiert die Kommunikation als Ausnahme über die API. Damit wird die Nachricht zur späteren Überprüfung durch Modelltrainer gekennzeichnet. Weitere Informationen finden Sie unter Eine Ausnahme markieren .
9. Der Roboter setzt die Verarbeitung sofort fort. Die Kommunikation wird nicht erneut durch den Stream verarbeitet.
10. Die korrigierten Beschriftungen werden für betriebliche Zwecke angewendet, z. B. zum Hochladen in Communications Mining oder nachgelagerte Systeme.
11. Später überprüft der Modelltrainer die Ausnahme. Der Trainer kommentiert die Nachricht in Communications Mining korrekt. Diese Anmerkungen können in zukünftigen Trainingszyklen enthalten sein.

Hinweis:

Im Action Center vorgenommene Validierungskorrekturen trainieren oder aktualisieren das Modell nicht automatisch erneut.