Verwenden der Datenbeschriftung mit Menschen in der Schleife

Mit der Datenbeschriftung können Sie Rohdaten hochladen, Textdaten im Beschriftungstool mit Anmerkungen versehen (für die Klassifizierung oder Entitätserkennung) und die beschrifteten Daten zum Trainieren von ML-Modellen verwenden. Außerdem können Sie die Datenbeschriftung für die menschliche Validierung der Modellausgaben verwenden.

Ein gängiges Szenario ist das Training eines Extraktor- oder Klassifizierermodells. Wenn die Modellvorhersage unter einen festgelegten Konfidenzschwellenwert fällt, können diese Daten zur menschlichen Validierung an Actions Center gesendet werden. Die validierten Daten können verwendet werden, um das Modell erneut zu trainieren, um die Konfidenz bei nachfolgenden Modellvorhersagen zu verbessern.

Aktivieren der Validierung durch Menschen

1. Verwenden Sie die Aktivität Wait for External Task and Resume , um über Studio eine Aufgabe im Actions Center zu erstellen.
2. Verwenden Sie die Aktivitäten Create Labeling Task und Create External Task , um die Modellausgabe in ein Format zu konvertieren, das mit Data Labeling kompatibel ist.
   Data Labeling unterstützt Dateien im JSON-Format. Die JSON-Datei sollte ein Datenobjekt enthalten, das wiederum die im vorherigen Schritt konfigurierte Struktur enthält.
3. Senden Sie die Aufgabe zur Überprüfung an einen Menschen.
   Sobald ein Mensch die Aufgabe überprüft und abgeschlossen hat, wird das Aufgabenobjekt mit der Ausgabe der menschlichen Überprüfung aktualisiert.
4. Konvertieren Sie das Aufgabenobjekt in ein Format, das die Modelle als Trainingsdaten verwenden können.
5. Senden Sie die validierten Daten mithilfe der Aktivität Upload File als Trainingsdaten an ein AI Center-Dataset.
6. Starten Sie eine Pipelineausführung mit dem hochgeladenen Dataset.

Der Beispielworkflow schließt den gesamten Human-in-the-Loop-Prozess ab und durchläuft die folgenden Schritte: Rohdaten > Datenbeschriftung > ML-Modelltraining > ML -Fähigkeit bereitstellen > Human-in-the-Loop-Trigger bei Vorhersagen mit niedriger Konfidenz > Erneutes Trainieren des Modells mit validierte Daten zur Verbesserung der Modellleistung.

Sie können diesen Beispielworkflow verwenden, um die Human-in-the-Loop-Sequences zu testen.