Cómo funciona la validación

Nota: debes tener asignados los permisos Origen - Leer y Conjunto de datos - Leer como usuario de Automation Cloud, o los permisos Ver orígenes y Ver etiquetas como usuario heredado.

Dentro de Validación, la plataforma evalúa el rendimiento de los modelos de etiqueta y de campo general asociados a un conjunto de datos.

Para el modelo de etiqueta específicamente, calcula una calificación general del modelo probando una serie de factores de rendimiento diferentes, que incluyen:

• Qué tan bien es capaz de predecir cada etiqueta en la taxonomía, utilizando un subconjunto de datos de entrenamiento de ese conjunto de datos.
• Qué tan bien cubierto está el conjunto de datos en su conjunto por las predicciones de etiquetas informativas.
• Qué tan equilibrados están los datos de entrenamiento, en términos de cómo se han asignado y qué tan bien representan el conjunto de datos en su conjunto.

Evaluación del rendimiento de las etiquetas

Para evaluar qué tan bien puede predecir cada etiqueta, la plataforma primero divide los mensajes revisados, es decir, anotados en el conjunto de datos en los siguientes grupos:

• un conjunto mayoritario de datos de entrenamiento.
• un conjunto minoritario de datos de prueba.

En la siguiente imagen, los puntos de colores representan los mensajes anotados dentro de un conjunto de datos. Esta división está determinada por el ID del mensaje cuando los mensajes se añaden al conjunto de datos, y permanece constante a lo largo de la vida del conjunto de datos.

A continuación, la plataforma se entrena a sí misma utilizando solo el conjunto de entrenamiento como datos de entrenamiento.

En función de este entrenamiento, intenta predecir qué etiquetas deben aplicarse a los mensajes en el conjunto de pruebas y evalúa los resultados tanto para la precisión como para la recuperación frente a las etiquetas reales que fueron aplicadas por un usuario humano.

Además de este proceso, la plataforma también tiene en cuenta cómo se asignaron las etiquetas, es decir, qué modos de entrenamiento se utilizaron al aplicar etiquetas para comprender si se han anotado de forma sesgada o equilibrada.

Luego, la validación publica estadísticas en vivo sobre el rendimiento de las etiquetas para la última versión del modelo, pero también puedes ver las estadísticas de rendimiento históricas para las versiones del modelo previamente ancladas.

Evaluación de la cobertura

Para comprender qué tan bien tu modelo cubre tus datos, la plataforma analiza todos los datos no revisados en el conjunto de datos y las predicciones que la plataforma ha hecho para cada uno de esos mensajes no revisados.

A continuación, evalúa la proporción del total de mensajes que tienen al menos una etiqueta informativa prevista.

Las etiquetas informativas son aquellas etiquetas que la plataforma entiende que son útiles como etiquetas independientes, al observar la frecuencia con la que se asignan con otras etiquetas. Etiquetas que siempre se asignan con otra etiqueta. Por ejemplo, las etiquetas principales que nunca se asignan por sí solas o Urgente si siempre se asigna con otra etiqueta, se ponderan hacia abajo cuando se calcula la puntuación.

Evaluación del equilibrio

Cuando la plataforma evalúa el equilibrio de tu modelo, busca esencialmente un sesgo de anotación que pueda causar un desequilibrio entre los datos de entrenamiento y el conjunto de datos en su conjunto.

Para ello, utiliza un modelo de sesgo de anotación que compara los datos revisados y no revisados para garantizar que los datos anotados sean representativos de todo el conjunto de datos. Si los datos no son representativos, las medidas de rendimiento del modelo pueden ser engañosas y potencialmente poco fiables.

El sesgo de anotación suele ser el resultado de un desequilibrio de los modos de entrenamiento utilizados para asignar etiquetas, especialmente si se utiliza demasiada 'búsqueda de texto' y no suficiente 'Aleatorio'.

El modo de entrenamiento Reequilibrar muestra los mensajes que están subrepresentados en el conjunto revisado. Anotar ejemplos en este modo ayudará a abordar rápidamente cualquier desequilibrio en el conjunto de datos.

Cuándo se produce la validación

Cada vez que completas algún entrenamiento dentro de un conjunto de datos, el modelo se actualiza y proporciona nuevas predicciones en cada mensaje. Paralelamente, también vuelve a evaluar el rendimiento del modelo. Esto significa que, cuando las nuevas predicciones estén listas, también deberían estar disponibles las nuevas estadísticas de validación (aunque a veces un proceso puede tardar más que otro), incluido el último archivo .

Nota: La plataforma siempre te mostrará de forma predeterminada las últimas estadísticas de validación que se han calculado, y te indicará si aún hay que terminar de calcular nuevas estadísticas.