Por qué es importante la validación del modelo

Communications Mining es una plataforma de inteligencia de datos conversacional que permite a los usuarios descubrir, medir y automatizar procesos ocultos en sus canales de comunicación.

Los canales típicos incluyen correos electrónicos, tickets, chats y llamadas. Las conversaciones en estos dominios son complejas y matizadas. Como resultado, los modelos genéricos de aprendizaje automático funcionan mal. En cambio, Communications Mining permite a cualquiera crear modelos personalizados con poco esfuerzo. No se requieren conocimientos técnicos.

Este es un enfoque increíblemente poderoso. Los modelos pueden aprender patrones complejos y hacer predicciones sobre datos no vistos, al igual que los humanos. Los modelos de aprendizaje automático incluso han superado a los humanos en algunas tareas de lenguaje natural.

Pero al igual que los humanos, los modelos de aprendizaje automático también pueden cometer errores. Estimar la frecuencia con la que un modelo será erróneo es crucial para cualquier aplicación del aprendizaje automático en el mundo real. De igual importancia es presentar esto de forma intuitiva y resaltar las mejores acciones para mejorar un modelo. Communications Mining utiliza la validación de modelos para realizar todas estas tareas.

Cómo validar un modelo

​Durante​la creación de modelos, los usuarios crean etiquetas para los temas que les interesan y etiquetan los ejemplos con los que se aplican. A continuación, la plataforma entrena un modelo de aprendizaje automático para predecir las etiquetas correctas para estos ejemplos.

Para validar este modelo, comparamos sus predicciones con anotaciones humanas y buscamos errores. Comparar las predicciones a mano para muchos ejemplos es difícil. En su lugar, calculamos una puntuación de validación que resume lo bien que funciona un modelo. Para hacer esto para un modelo entrenado, necesitamos dos cosas: anotaciones y una puntuación.

Anotaciones​

Para comprobar si las predicciones son correctas, necesitamos conocer las anotaciones correctas para cada ejemplo. En otras palabras, necesitamos puntos de datos anotados por los usuarios.

Ya utilizamos anotaciones para entrenar el modelo, y podríamos reutilizarlas durante la validación. Sin embargo, al igual que un humano que realiza una prueba, los modelos de aprendizaje automático funcionarán mejor en los ejemplos que han "visto" antes.

Si puntuamos un modelo utilizando los datos en los que se entrenó, podemos sobrestimar la calidad del modelo. Esto da una imagen engañosa de lo bien que funciona nuestro modelo (conocido como sobreajuste). Por ello, utilizamos diferentes puntos de datos para entrenar y validar modelos.

El enfoque estándar es dividir el conjunto de anotaciones en dos partes desiguales al azar

• Conjunto de entrenamiento. El conjunto de ejemplos utilizados para entrenar el modelo. Normalmente es una fracción mayor, digamos el 80 % del total de datos anotados

• Conjunto de prueba. La fracción restante (20 %) de ejemplos utilizados para medir el rendimiento del modelo.

Consejo:

Es posible que en la literatura sobre aprendizaje automático hayas visto los datos divididos en tres secciones: entrenar, validar y probar. El conjunto de validación se utiliza para ajustar el modelo y el conjunto de prueba se evalúa una vez con el modelo final para medir el rendimiento. En Communications Mining, utilizamos la validación cruzada de k-fold en el conjunto de entrenamiento para ajustar el modelo, y nuestras puntuaciones de "validación" se calculan en el conjunto de pruebas con el modelo final. Esto los hace equivalentes al rendimiento de las pruebas en la literatura ML.

Como proviene de la misma fuente, el conjunto de prueba es similar al conjunto de entrenamiento. Cuando comprobamos el rendimiento en el conjunto de pruebas, simulamos que el modelo ve nuevos correos electrónicos, pero podemos compararlos con las etiquetas reales para tener una idea de la calidad del modelo.

Puntuación​

Para resumir el rendimiento del modelo como un número, necesitamos una función de puntuación. Esta función compara las predicciones del modelo y las anotaciones humanas y genera un número.

Seleccionar una función de puntuación puede ser un proceso difícil. La función debe coincidir con nuestra idea de un buen modelo, y debemos tener en cuenta los errores comunes que pueden hacer que las puntuaciones sean inexactas.

En Communications Mining, utilizamos Precisión media media para nuestra función de puntuación. Esta es una forma sólida de medir el rendimiento del modelo en múltiples etiquetas y casos de uso. Si estás interesado en obtener más información, lee nuestra entrada de blog sobre métricas.

Validación con Communications Mining

Con estos dos componentes, la validación es sencilla. Todo lo que tenemos que hacer es obtener predicciones del modelo para el conjunto de pruebas y luego usar nuestra puntuación para medir el rendimiento del modelo. Cada vez que entrenas un nuevo modelo en Communications Mining, el proceso de validación se ejecuta automáticamente en segundo plano y los resultados se notifican en la página Validación.

De hecho, cada vez que entrenamos un nuevo modelo, entrenamos dos modelos en segundo plano

• Modelo de validación. Esto se entrena en el conjunto de entrenamiento y se prueba en el conjunto de prueba para medir el rendimiento.

• Modelo de producción. Esto se entrena en todos los ejemplos anotados (el conjunto de entrenamiento Y el conjunto de prueba) y se utiliza para hacer predicciones sobre datos en vivo. Este modelo puede ser diferente del modelo de validación, ya que se entrena con más datos, pero ambos modelos comparten muchos ejemplos de entrenamiento, por lo que cualquier diferencia será pequeña. Como resultado, el rendimiento del modelo de validación es una buena estimación del rendimiento del modelo de producción.

Con este enfoque, el modelo utilizado para las aplicaciones posteriores ha visto tantos datos como sea posible.

El modelo de validación se entrena en el conjunto de entrenamiento y se prueba en el conjunto de prueba, pero el modelo de producción se entrena en todos los datos anotados

Por qué debería preocuparse por la validación

La validación es una parte vital del desarrollo de modelos de aprendizaje automático eficaces y ofrece muchas ventajas a los usuarios. En caso de que no te convenza, aquí tienes tres razones clave por las que deberías preocuparte.

Incógnitas conocidas​

La validación te indica el rendimiento de tu modelo, pero también destaca situaciones en las que tu modelo puede tener problemas. Estas situaciones pueden surgir por varias razones; desde tendencias cambiantes en datos activos hasta anotaciones incoherentes entre usuarios y equipos. Es importante que la validación del modelo sea interpretable para que conozcas los problemas a medida que surjan y puedas solucionarlos rápidamente.

La validación te permite inspeccionar puntos de datos sobre los que tu modelo no está seguro. A continuación, puede mejorar su modelo en esta área o construir robustez en cualquier proceso posterior. Esto significa que puedes estar seguro de que tu modelo está haciendo exactamente lo que quieres que haga, y no hay sorpresas desagradables.

En la página de validación, los usuarios pueden inspeccionar el modelo y calibrar los procesos posteriores

No se requiere experiencia​

Hay muchos peligros al entrenar modelos que a menudo pueden ser difíciles de diagnosticar. Afortunadamente, nuestro proceso de validación significa que no es necesario ser un científico de datos para crear grandes modelos.

Cuando validamos un modelo, no solo devolvemos una única puntuación. En su lugar, calculamos una calificación de modelo. Esto incluye la puntuación de validación del modelo, así como otros factores, como los patrones en los datos no revisados y el sesgo en los ejemplos anotados.

Las valoraciones de los modelos ofrecen comentarios detallados sobre el rendimiento e instrucciones claras sobre cómo mejorar. Los usuarios pueden centrarse en aprovechar su conocimiento del dominio para resolver problemas sin colaborar con equipos de desarrollo o expertos en IA. Communications Mining te guiará en cada paso del desarrollo del modelo.

Las clasificaciones de modelos ofrecen información detallada sobre el rendimiento y acciones recomendadas para mejorar un modelo

Comentarios más rápidos, mejores modelos​

La mayoría de los modelos de aprendizaje automático se actualizan con poca frecuencia y se validan una vez antes de la implementación. En Communications Mining adoptamos un enfoque diferente.

En lugar de esperar mucho tiempo entre actualizaciones, entrenamos y validamos continuamente nuevos modelos. Esto significa que el modelo siempre es aplicable al estado actual de los datos, y los resultados de la validación están actualizados.

Los comentarios rápidos minimizan el tiempo de iteración del modelo. Cualquier caída en el rendimiento puede corregirse lo más rápido posible, y los usuarios nunca pierden el tiempo respondiendo a comentarios obsoletos. El ágil proceso de validación de Communications Mining permite a los usuarios crear modelos de alta calidad en menos tiempo.

Resumen

• ​La validación​se utiliza para puntuar modelos y garantizar un buen rendimiento en datos no vistos.

• Los modelos se puntúan en datos no vistos para estimar con precisión su rendimiento y evitar el sobreajuste.

• Utilizamos las valoraciones de los modelos para ofrecer comentarios detallados, de modo que puedas solucionar rápidamente los problemas y estar seguro de que tu modelo está haciendo exactamente lo que debe.