Comprender y mejorar el rendimiento del modelo

Comprender el rendimiento general del modelo

El rendimiento general de un modelo de aprendizaje automático está determinado por una serie de factores contribuyentes, que deben considerarse en combinación entre sí. No es suficiente considerar solo si las etiquetas de un modelo tienen una precisión promedio alta, o solo observar qué parte de un conjunto de datos está cubierto por las predicciones por sí solo.

Para estar seguros de que un modelo es una representación real de un conjunto de datos, con predicciones de etiquetas precisas y fiables y una alta cobertura, evaluamos los siguientes factores principales. Para obtener más información, consulta Cómo funciona la validación.

• Todas las etiquetas : evalúa el rendimiento medio de todas las etiquetas de la taxonomía
• Etiquetas de bajo rendimiento : evalúa el rendimiento del 10 % de las etiquetas que tienen los problemas de rendimiento más significativos o el estado general más bajo
• Cobertura : evalúa la proporción de mensajes que se prevé que tengan al menos una etiqueta informativa
• Equilibrio : evalúa si los datos revisados son un representante eficaz y equilibrado de todo el conjunto de datos

La plataforma combina su evaluación de estos 4 factores en una única calificación de modelo patentada y fácil de entender. Esta calificación es la mejor medida del rendimiento del modelo, ya que tiene en cuenta todos los factores más importantes en los que debe evaluarse un modelo de etiqueta, ponderados por su importancia relativa.

La calificación del modelo es una puntuación de 0 a 100, que equivale a una calificación de Pobre (0-49), Regular (50-69), Bueno (70-89) o Excelente (90-100).

La validación también proporciona un desglose de cada uno de estos factores: a cada factor se le asigna su propia calificación cualitativa, además de mostrar las métricas que contribuyen a esa calificación. Estos se analizan con más detalle a continuación.

Cada factor puede tener una contribución positiva o negativa a la Calificación del modelo, dependiendo de su rendimiento. Es muy posible que los modelos con calificaciones Pobres en cada factor tengan una calificación general de cero, particularmente cuando es muy temprano en el proceso de entrenamiento del modelo.

Nota: la clasificación del modelo es específica de las etiquetas y no tiene en cuenta el rendimiento de los campos generales. Sin embargo, la validación también proporciona métricas detalladas sobre el rendimiento de las predicciones generales de campo. Para obtener más información, consulta Utilizar campos generales.

El menú desplegable Versión del modelo te permite ver todas las puntuaciones de validación en versiones anteriores del modelo en un conjunto de datos determinado. También puedes priorizar o "destacar" los individuales para que aparezcan en la parte superior de la lista en el futuro. Esta herramienta puede ser útil para realizar un seguimiento y comparar el progreso a medida que construyes tu modelo.

El menú desplegable garantiza que no tengas que anclar una versión del modelo para ver las puntuaciones de validación. Anclar una versión del modelo solo debe utilizarse para las versiones del modelo que desea poder llamar en sentido descendente a través de la API (por ejemplo, para el enrutamiento automatizado).

El menú desplegable de la versión del modelo

Factores

La pestaña Factores en Validación, como se ha mostrado anteriormente, ofrece un desglose de cada uno de los factores clave que se tienen en cuenta al calcular la Calificación del modelo.

Cada tarjeta de factor muestra:

• La calificación del factor y una descripción cualitativa del mismo
• Los contribuyentes, que son los diferentes componentes que contribuyen a la calificación de ese factor
• Acciones recomendadas, enumeradas en orden de prioridad, que pueden ayudar a mejorar la calificación del factor

Todas las etiquetas

• Este factor evalúa el rendimiento medio de todas las etiquetas de la taxonomía,
• Se basa principalmente en la precisión media media (MAP) en todas las etiquetas, ponderada por la frecuencia con la que se asignan
• También tiene en cuenta cuando hay etiquetas en la taxonomía que tienen advertencias de rendimiento rojas o ámbar
• Las acciones recomendadas para este factor suelen estar diseñadas para aumentar la precisión media de etiquetas específicas o para eliminar sus advertencias de rendimiento

Etiquetas de bajo rendimiento

• Este factor evalúa el rendimiento del 10 % de las etiquetas de la taxonomía que tienen los problemas de rendimiento más significativos o el estado general más bajo de la etiqueta (si no se devuelven advertencias)
• Si incluso el 10 % inferior de tus etiquetas sigue funcionando muy bien, esta es una gran señal de que tu modelo está en buen estado
• Esto depende del MAP de las etiquetas de menor rendimiento, así como de si estas etiquetas tienen advertencias de rendimiento significativas (por ejemplo, advertencias rojas o ámbar)
• Las acciones recomendadas para este factor suelen estar diseñadas para aumentar la precisión media de etiquetas específicas de bajo rendimiento y eliminar cualquier otra advertencia de rendimiento individual

Cobertura

• Este factor evalúa la proporción de mensajes que se prevé que tengan al menos una etiqueta informativa. Para obtener más información, consulta Cómo funciona la validación.
• Es muy importante que un modelo de buen rendimiento "cubra" la mayor parte posible del conjunto de datos con predicciones de etiquetas informativas
• Las acciones recomendadas para este factor están diseñadas para ayudar a aumentar la cobertura del conjunto de datos. La mayoría de las veces se entrenará en modo de baja confianza .
• Para obtener más información sobre la cobertura, consulta Comprender y aumentar la cobertura.

Equilibrio

• Este factor evalúa si los datos revisados son una representación eficaz y equilibrada de todo el conjunto de datos, y está diseñado para detectar posibles sesgos de anotación. Para obtener más información, consulta Cómo funciona la validación.
• Se basa en una puntuación de similitud, que resulta de comparar los datos revisados con los datos no revisados en el conjunto de datos, así como de si se ha utilizado suficiente modo aleatorio al anotar los datos.
• Es importante que los datos revisados en un conjunto de datos sean lo más similares posible a los datos no revisados, para que la plataforma pueda identificar de forma fiable tanto como sea posible.
• Las acciones recomendadas para este factor están diseñadas para reducir cualquier posible sesgo de anotación y aumentar la puntuación de similitud de los datos revisados.
• Para obtener más información sobre la comprensión y la mejora del equilibrio del conjunto de datos, consulta Mejorar el equilibrio y utilizar Reequilibrar.

Nota: La plataforma siempre intentará mostrar las siguientes mejores acciones recomendadas que podrían mejorar un factor, incluso si el factor está calificado como Bueno o Excelente. Esto es en caso de que quieras seguir optimizando el rendimiento de ese factor.

Métricas

La pestaña Métricas de la página Validación muestra algunas estadísticas de rendimiento promedio de las etiquetas, así como un gráfico que muestra la precisión promedio de cada etiqueta en comparación con el tamaño de su conjunto de entrenamiento. El gráfico también marca las etiquetas que tienen advertencias de rendimiento de color ámbar o rojo.

Las estadísticas de rendimiento de la etiqueta que se muestran son:

• Precisión media media (MAP)
• Precisión media en la recuperación

Esencialmente, cuanto mayor sea tu puntuación MAP , mejor será el rendimiento general del modelo en lo que respecta a la precisión de sus predicciones, pero esto variará entre conjuntos de datos dependiendo del tipo de datos y los objetivos en los que hayas centrado tu taxonomía.

Sin embargo, MAP no es una buena medida de cobertura o equilibrio y no debe confiarse únicamente en él para determinar si tu modelo es adecuado para el propósito. Para obtener más información, consulta Comprender y aumentar la cobertura y Comprender y mejorar el rendimiento del modelo.

Comprender el rendimiento de las etiquetas

El gráfico de rendimiento de la etiqueta que se muestra en la pestaña Métricas de la página Validación ofrece una indicación visual inmediata de cómo está funcionando cada etiqueta individual.

Para que una etiqueta aparezca en este gráfico, debe tener al menos 20 ejemplos anclados presentes en el conjunto de entrenamiento utilizado por la plataforma durante la validación. Para garantizar que esto suceda, los usuarios deben asegurarse de proporcionar un mínimo de 25 (a menudo más) ejemplos anclados por etiqueta.

Cada etiqueta se trazará como uno de los tres colores, en función de la comprensión del modelo de cómo está funcionando la etiqueta. A continuación, explicamos lo que significan:

Indicadores de rendimiento de etiquetas

• Las etiquetas representadas en azul en el gráfico tienen un nivel de rendimiento satisfactorio. Esto se basa en numerosos factores que contribuyen, incluido el número y la variedad de ejemplos, el sesgo de anotación y la precisión promedio para esa etiqueta.
• Las etiquetas representadas en ámbar tienen un rendimiento ligeramente menos que satisfactorio. Es posible que tengan una precisión media relativamente baja, que no sean suficientes ejemplos de entrenamiento o que se hayan anotado de forma sesgada. Estas etiquetas requieren un poco de entrenamiento/corrección para mejorar su rendimiento o para reducir el sesgo en la forma en que fueron entrenadas.
• Las etiquetas representadas en rojo son etiquetas de bajo rendimiento. Pueden tener una precisión media muy baja, no tener suficientes ejemplos de entrenamiento o estar muy sesgados en la forma en que se anotaron. Estas etiquetas pueden requerir un entrenamiento/corrección considerablemente mayor para llevar su rendimiento a un nivel satisfactorio o para reducir significativamente el sesgo en la forma en que fueron entrenadas.

Nota: Verás que los indicadores de rendimiento ámbar y rojo aparecen en las barras de filtro de etiquetas en Explorar, Informes y Validación. Esto ayuda a notificarte rápidamente qué etiquetas necesitan ayuda, y también en qué predicciones de las etiquetas no se debe confiar (sin algún trabajo para mejorarlas) al utilizar las características de análisis.

Rendimiento de etiqueta individual

Los usuarios pueden seleccionar etiquetas individuales desde la barra de filtro de etiquetas, o seleccionando el gráfico de la etiqueta en el gráfico Todas las etiquetas , para ver las estadísticas de rendimiento de la etiqueta. La vista de etiqueta específica también mostrará cualquier advertencia de rendimiento y sugerencias de mejores acciones recomendadas para ayudar a mejorar su rendimiento.

La vista de etiqueta mostrará la precisión promedio de la etiqueta, así como su precisión frente a la recuperación en función de un umbral de confianza dado que los usuarios pueden ajustar para ver cómo cambia. Para obtener más información, consulta Comprender el control deslizante de umbral de etiqueta.

Mejorar el modelo general y el rendimiento de las etiquetas individuales

Si tu modelo o una etiqueta específica tiene una advertencia de rendimiento, la plataforma recomienda la siguiente mejor acción que cree que ayudará a abordar esa advertencia. Esto se realizará a través de una de las tarjetas de factores (como se muestra a continuación) o cuando selecciones una etiqueta específica de la taxonomía o el gráfico Todas las etiquetas , como se muestra anteriormente.

Para algunas etiquetas que tienen una precisión media muy baja, puede que no siempre esté claro por qué tienen un mal rendimiento. Las posibles razones por las que una etiqueta puede tener una precisión media baja y cómo mejorarla se analizan en el siguiente artículo Razones para la precisión media baja de la etiqueta. La plataforma siempre proporcionará las que crea que son las mejores acciones correctivas para mejorar la etiqueta, enumeradas en orden de prioridad.

Cuando no estás en la página de Validación , las advertencias de rendimiento en rojo y ámbar siguen apareciendo en el filtro de taxonomía en Explorar e Informes, por lo que pueden ser un indicador útil para comprobar la Validación y ver las acciones correctivas recomendadas.

Las siguientes sugerencias de mejores acciones actúan como enlaces que puedes seleccionar para llevarte directamente a la vista de entrenamiento que sugiere la plataforma para mejorar el rendimiento de la etiqueta o reducir su sesgo. Las sugerencias se ordenan de forma inteligente con la acción de mayor prioridad para mejorar la etiqueta enumerada en primer lugar.

Estas son la herramienta más importante para ayudarte a comprender el rendimiento de tu modelo, y deben utilizarse regularmente como guías al intentar mejorar el rendimiento de una etiqueta.

El siguiente artículo cubre en detalle las razones por las que una etiqueta puede tener una precisión media baja. Los últimos artículos de esta sección de la base de conocimientos también cubren los otros modos de entrenamiento que la plataforma puede sugerir para mejorar el rendimiento de tu modelo, que son Comprobar etiqueta, Etiqueta perdida y Reequilibrar.

Nota: Si has seleccionado una versión de modelo anterior, seguirás viendo las advertencias y las acciones sugeridas, pero si pasas el ratón por encima del icono de información, una ventana emergente te avisará de que estas estadísticas específicas no se pueden cambiar, ya que hay una versión de modelo más reciente, en la que puedes trabajar.

Comprender el control deslizante de umbral de etiqueta

Nota: Ajustar el control deslizante del umbral de confianza en realidad no afecta al modelo, solo te ofrece una representación visual de cómo se verían afectadas las predicciones para esa etiqueta si se seleccionara un determinado umbral de confianza. Esto puede ayudarte a seleccionar un umbral adecuado para las transmisiones o el uso de predicciones para la automatización posterior.

Para ajustar el umbral de confianza de una etiqueta, puedes escribir un signo de porcentaje % en el cuadro, o simplemente arrastrar el control deslizante a lo largo de la escala.

Anotar estadísticas de validación específicas

Observa cómo en la imagen anterior, el umbral de confianza para la etiqueta Presupuesto > Motor se establece en 68,7 %, lo que da una precisión del 100 % y una recuperación del 85 %.

A continuación, en la siguiente imagen, el umbral de confianza se ha ajustado utilizando el control deslizante al 17 %, lo que reduce la precisión al 84 %, pero aumenta la recuperación al 100 %.

Etiquetar gráficos de validación específicos

Para obtener más información sobre la relación entre precisión y recuperación, consulta Precisión y recuperación.

Para obtener más información sobre cómo seleccionar los umbrales que se utilizarán en las automatizaciones, consulta Seleccionar umbrales de confianza de etiquetas.