Mejorar el equilibrio y utilizar Reequilibrar

Nota: debes tener asignados los permisos Origen - Leer y Conjunto de datos - Revisar como usuario de Automation Cloud, o los permisos Ver orígenes y Revisar y anotar como usuario heredado.

Equilibrio: introducción e importancia

La calificación de Equilibrio presentada en la Calificación del modelo en Validación es un reflejo de cuán equilibrados están los datos revisados (es decir, los datos de entrenamiento) en un conjunto de datos, en comparación con el conjunto de datos en su conjunto.

Tiene en cuenta una serie de factores contribuyentes, que incluyen:

• La similitud de los datos revisados con los datos no revisados, mostrada como puntuación porcentual.
• La proporción de datos revisados que se han revisado mediante muestreo aleatorio, es decir, modo aleatorio .
• La proporción de datos que se ha revisado utilizando Reequilibrar.
• La proporción de datos que se han revisado mientras se utilizaba la Búsqueda de texto.

Un ejemplo de componente de "equilibrio" de la calificación del modelo

Es importante que la proporción de datos revisados mediante muestreo aleatorio sea alta (idealmente más del 20 %) y la proporción de datos revisados anotados mediante búsqueda sea baja.

Sin embargo, la puntuación de equilibrio está muy influenciada por la puntuación de similitud que mide la similitud de los datos no revisados con los datos revisados.

Esta puntuación de similitud se calcula mediante un modelo de sesgo de anotación patentado que compara los datos revisados y no revisados para garantizar que los datos anotados sean representativos de todo el conjunto de datos. Si los datos no son representativos y se han anotado de forma sesgada, las medidas de rendimiento del modelo pueden ser engañosas y potencialmente poco fiables.

El sesgo de anotación en la plataforma suele ser el resultado de un desequilibrio de los modos de entrenamiento utilizados para asignar etiquetas, especialmente si se utiliza demasiada 'búsqueda de texto' y no suficiente modo 'Aleatorio'. Sin embargo, aún puede ocurrir, incluso si se utiliza una alta proporción del modo 'Aleatorio'. El entrenamiento de etiquetas específicas en modos como "Enseñar etiqueta" puede provocar naturalmente un ligero desequilibrio en los datos revisados. La plataforma te ayuda a identificar cuándo sucede esto y te ayuda a abordarlo de una manera rápida y eficaz.

Reequilibrar: introducción y uso

Reequilibrar es un modo de entrenamiento que ayuda a reducir los posibles desequilibrios en la forma en que se ha anotado un modelo, es decir, el sesgo de anotación, lo que significa que los datos revisados no son tan representativos de todo el conjunto de datos como podrían ser.

El modo de entrenamiento Reequilibrar muestra los mensajes que están subrepresentados en el conjunto revisado.

Anotar los mensajes (como lo harías en cualquier otro modo de entrenamiento) presentados en este modo ayudará a abordar los desequilibrios en los datos de entrenamiento y mejorar la puntuación de equilibrio del modelo.

Consejo: Reequilibrar suele ser más eficaz cuando se utiliza poco y con frecuencia. Anotar un pequeño número de mensajes, entre 10 y 20, en este modo y permitir que el modelo se vuelva a entrenar antes de actualizar y anotar más ejemplos es la mejor manera de maximizar el impacto que tendrá en la puntuación de equilibrio del modelo.

El modo de entrenamiento 'Reequilibrar' en un conjunto de datos de demostración

Si descubres que tienes una puntuación de similitud alta pero la calificación de Equilibrio sigue siendo baja, es probable que esto se deba a que no has anotado suficientes datos de entrenamiento en el modo aleatorio . Si este es el caso, la plataforma sugerirá anotar una selección aleatoria de mensajes como acción prioritaria recomendada. El entrenamiento en este modo da a la plataforma la confianza adicional de que el conjunto de datos no ha sido anotado de forma sesgada y de que los datos de entrenamiento son una muestra representativa.

Cuánto Reequilibrar usar

Debes seguir utilizando Reequilibrar de forma iterativa para mejorar la puntuación de similitud de tu modelo, lo que a su vez aumentará tu puntuación de Equilibrio .

Una vez que esto alcance una calificación de Bueno en Validación, depende de usted cuánto más le gustaría aumentar la puntuación de similitud antes de detener el entrenamiento en Reequilibrar.

Puedes intentar optimizar esta calificación tanto como sea posible, pero el entrenamiento continuo siempre será un caso de rendimientos decrecientes. Una calificación Buena generalmente debe considerarse un nivel aceptable de rendimiento para un buen modelo.