Validación de intervención humana

Información general

Human-in-the-loop (HITL) en Communications Mining está diseñado para respaldar la toma de decisiones operativas cuando la confianza del modelo es insuficiente, al tiempo que preserva la integridad de los datos de entrenamiento del modelo.

En una automatización de producción, el modelo se utiliza para clasificar las comunicaciones entrantes en tiempo real. Cuando el modelo no puede predecir con confianza las etiquetas correctas, la automatización implica temporalmente a un usuario humano para validar o corregir la predicción para que el proceso empresarial pueda continuar sin interrupción.

Es importante distinguir entre lo siguiente:

• Validación operativa que los usuarios finales realizan en Action Center.
• Entrenamiento y mantenimiento de modelos que los entrenadores de modelos realizan más tarde.

La validación HITL garantiza que:

• La automatización puede continuar inmediatamente utilizando las etiquetas corregidas.
• La comunicación se gestiona correctamente desde una perspectiva empresarial.

Sin embargo, la validación HITL no reentrena ni actualiza directamente el modelo. En cambio, las comunicaciones que requerían la intervención humana se marcan explícitamente como excepciones, lo que permite a los entrenadores de modelos revisarlas posteriormente y anotarlas de forma controlada como parte de un proceso continuo de mantenimiento del modelo, es decir, el entrenamiento de excepciones.

Esta separación garantiza:

• Datos de entrenamiento consistentes y de alta calidad.
• Protección contra anotaciones incompletas o sesgadas.
• Mejora continua del modelo sin afectar al rendimiento de la automatización en vivo.

Flujo de trabajo

1. El robot recoge las comunicaciones del flujo.
2. El robot evalúa la confianza del modelo.
3. Si la confianza está por debajo del umbral, se requiere validación.
4. Se crea una tarea de validación en Action Center. Para obtener más información, consulta Crear tarea de formulario.
5. El contenido de la comunicación y las etiquetas previstas se presentan a un usuario humano.
6. El humano valida o corrige las etiquetas en Action Center.
7. Estas correcciones se utilizan solo para el procesamiento posterior, no para el entrenamiento del modelo.
8. El robot etiqueta la comunicación como una excepción a través de la API. Esto marca el mensaje para su posterior revisión por parte de los entrenadores de modelos. Para obtener más información, consulta Etiquetar una excepción.
9. El robot continúa procesando inmediatamente. La comunicación no se vuelve a procesar a través de la transmisión.
10. Las etiquetas corregidas se aplican con fines operativos, por ejemplo, cargar en Communications Mining o sistemas posteriores.
11. Más tarde, el entrenador de modelos revisa la excepción. El entrenador anota el mensaje correctamente en Communications Mining. Estas anotaciones pueden incluirse en futuros ciclos de entrenamiento.

Nota:

Las correcciones de validación realizadas en Action Center no reentrenan ni actualizan automáticamente el modelo.