Utilisation de la labellisation des données avec Human in the loop

La labellisation des données vous permet de télécharger des données brutes, d'annoter des données textuelles dans l'outil de labellisation (pour la classification ou la reconnaissance d'entités) et d'utiliser les données labellisées pour entraîner des modèles ML. En dehors de cela, vous pouvez utiliser la labellisation des données pour la validation humaine sur les sorties du modèle.

Un scénario courant est lorsque vous entraînez un modèle d'extracteur ou de classifieur. Lorsque la prédiction du modèle tombe en dessous d'un seuil de confiance défini, ces données peuvent être envoyées à Actions Center pour validation humaine. Les données validées peuvent être utilisées pour réentraîner le modèle afin d'améliorer la confiance dans les prédictions ultérieures du modèle.

Activation de la validation humaine

1. Utilisez l’activité Attendre la tâche externe et reprendre (Wait for External Task and Resume) pour créer une tâche dans Actions Center à partir de Studio.
2. Utilisez les activités Créer une tâche de labellisation (Create Labeling Task) et Créer une tâche externe (Create External Task) pour convertir la sortie du modèle dans un format compatible avec la labellisation des données.
   La labellisation des données prend en charge les fichiers utilisant le format JSON. Le fichier JSON doit contenir un objet de données qui contient à son tour la structure configurée à l'étape précédente.
3. Envoyez la tâche à un être humain pour qu'il la révise.
   Une fois qu'un humain a examiné et terminé la tâche, l'objet de tâche est mis à jour avec la sortie de l'examen humain.
4. Convertissez l'objet de tâche dans un format que les modèles peuvent utiliser comme données d'entraînement.
5. Envoyez les données validées à un ensemble de données AI Center en tant que données d'entraînement à l'aide de l'activité Charger le fichier (Upload File).
6. Démarrez une exécution de pipeline à l'aide de l'ensemble de données téléchargé.

L’exemple de workflow termine l’ensemble du processus d’interactivité en passant par les étapes suivantes : Données brutes > Labellisation des données > Entraînement du modèle ML > Déployer la compétence ML > Déclencheur Human-in-the-loop sur les prédictions à faible confiance > Réentraîner le modèle avec des données validées pour améliorer les performances du modèle.

Vous pouvez utiliser cet exemple de workflow pour tester les séquences d'humain dans la boucle.