Uso del etiquetado de datos con humanos en el bucle

El etiquetado de datos te permite cargar datos sin procesar, anotar datos de texto en la herramienta de etiquetado (para clasificación o reconocimiento de entidades) y usar los datos etiquetados para entrenar modelos de ML. Aparte de esto, puede utilizar el etiquetado de datos para la validación humana en los resultados del modelo.

Un escenario común es cuando se entrena un modelo de extractor o clasificador. Cuando la predicción del modelo cae por debajo de un umbral de confianza establecido, los datos pueden enviarse al Centro deActions para su validación humana. Los datos validados pueden utilizarse para reentrenar el modelo con el fin de mejorar la confianza en las predicciones del modelo posteriores.

Habilitar la validación humana

1. Use la actividad Esperar tarea externa y reanudar para crear una tarea en el Centro de Actions desde Studio.
2. Use las actividades Crear tarea de etiquetado y Crear tarea externa para convertir la salida del modelo a un formato compatible con el etiquetado de datos.
   El etiquetado de datos admite archivos que usan el formato JSON. El archivo JSON debe contener un objeto de datos que a su vez contenga la estructura configurada en el paso anterior.
3. Envía la tarea a un humano para que la revise.
   Una vez que un humano ha revisado y completado la tarea, el Objeto de Tarea se actualiza con el resultado de la revisión humana.
4. Convertir Objeto de tarea en un formato que los modelos puedan usar como datos de entrenamiento.
5. Envía los datos validados a un conjunto de datos de AI Center como datos de entrenamiento utilizando la actividad Cargar archivo.
6. Iniciar una ejecución de proceso con el conjunto de datos cargado.

El flujo de trabajo de muestra completa todo el proceso de humano en bucle pasando por los siguientes pasos: Datos sin procesar > Etiquetado de datos > Entrenamiento del modelo ML > Implementar habilidad de ML > Desencadenador de humano en el bucle en predicciones de baja confianza > Volver a entrenar el modelo con datos validados para mejorar el rendimiento del modelo.

Puedes utilizar este flujo de trabajo de muestra para probar las secuencias human-in-the-loop.