Comprender y aumentar la cobertura

Permisos de usuario necesarios: 'Ver fuentes' Y 'Revisar y anotar'.

¿Qué es la cobertura?

Cobertura es un término que se utiliza con frecuencia en el aprendizaje automático y se refiere a lo bien que un modelo "cubre" los datos que se utilizan para analizar. En la plataforma, esto se relaciona con la proporción de mensajes en el conjunto de datos que tienen predicciones de etiquetas informativas, y se presenta en Validación como una puntuación porcentual.

Las "etiquetas informativas " son aquellas etiquetas que la plataforma considera útiles como etiquetas independientes, al observar la frecuencia con la que se asignan a otras etiquetas. Etiquetas que siempre se asignan con otra etiqueta, por ejemplo las etiquetas principales que nunca se asignan por sí solas o "Urgente" si siempre se asigna con otra etiqueta, se ponderan a la baja cuando se calcula la puntuación.

La siguiente imagen muestra cómo sería la cobertura baja frente a la cobertura alta en todo un conjunto de datos. Imagina que los círculos sombreados son mensajes que tienen predicciones de etiquetas informativas.

Como métrica, la cobertura es una forma muy útil de entender si has capturado todos los diferentes conceptos potenciales en tu conjunto de datos, y si has proporcionado suficientes ejemplos de entrenamiento variados para que la plataforma pueda predecirlos de forma efectiva.

En casi todos los casos, cuanto mayor sea la cobertura de un modelo, mejor será su rendimiento, pero no debe considerarse de forma aislada al comprobar el rendimiento del modelo.

También es muy importante que las etiquetas de la taxonomía sean saludables, lo que significa que tengan una precisión media alta y no tengan otras advertencias de rendimiento, y que los datos de entrenamiento sean una representación equilibrada del conjunto de datos en su conjunto.

Si tus etiquetas no son saludables o los datos de entrenamiento no son representativos del conjunto de datos, entonces la cobertura de tu modelo que calcula la plataforma no será fiable.

Que tu modelo tenga una alta cobertura es especialmente importante si lo utilizas para impulsar procesos automatizados.

Cobertura en contexto

Así que vamos a considerar cómo se aplica esto en un caso de uso típico: enrutar automáticamente diferentes solicitudes recibidas por una bandeja de entrada de correo electrónico compartida en una empresa.

Para un modelo diseñado para ayudar a enrutar automáticamente diferentes solicitudes, la baja cobertura significaría que muchas solicitudes se enrutaron de forma incorrecta o se enviaron para su revisión manual, ya que el modelo no pudo identificarlas.

Si hay 10 procesos clave gestionados por el equipo que trabaja en el buzón, pero la taxonomía solo captura de forma efectiva 7 de ellos, es probable que esto conduzca a una puntuación de cobertura baja. Alternativamente , el modelo puede predecir incorrectamente los procesos restantes como otros procesos, ya que no se le ha enseñado lo que realmente son. Esto daría lugar a una puntuación de cobertura artificialmente alta.

Durante la automatización, los tres procesos restantes probablemente se perderían, se enviarían para revisión manual o se clasificarían erróneamente como un proceso diferente y se enrutarían al lugar equivocado.

También es importante que para cada uno de los procesos haya suficientes ejemplos de entrenamiento variados que capturen las diversas expresiones utilizadas al hablar del proceso. Si no las hay, cada etiqueta tendrá un menor recuerdo y la cobertura del modelo será baja.

La siguiente imagen muestra cómo se vería este ejemplo en la práctica : tenemos varios clientes que envían varios tipos de solicitudes por correo electrónico. Cada cliente puede escribir el mismo tipo de solicitud de forma diferente:

Se muestran tres escenarios de modelo diferentes, cada uno con un impacto potencial diferente en la cobertura:

	No todos los tipos de solicitud (es decir, conceptos) cubiertos por la taxonomía: es probable que tengan una cobertura baja
	Se cubren todos los tipos de solicitudes, pero algunas etiquetas no están en buen estado y pueden no tener suficientes ejemplos: la cobertura puede ser baja y es probable que no sea fiable
	Todos los tipos de solicitudes están cubiertos y las etiquetas están en buen estado: alta cobertura que probablemente sea fiable

Cómo comprobar la cobertura de tu modelo

En Validación, la funcionalidad Calificación del modelo proporciona un desglose detallado del rendimiento del modelo en los factores contribuyentes más importantes, incluida la cobertura.

Los usuarios reciben una puntuación porcentual de la proporción de mensajes que se prevé que tengan predicciones de etiquetas informativas ( consulte la explicación anterior), que a su vez se correlaciona con una calificación y una contribución a la calificación general del modelo.

La plataforma también proporcionó la proporción de mensajes que tienen al menos una etiqueta prevista, pero esto no es lo que determina la puntuación y la calificación de este factor.

En el siguiente ejemplo podemos ver que:

• La cobertura para este modelo es del 85,2 %
• Esto se traduce en una calificación evaluada de 'Bueno ' para este factor
• Esto también se traduce en una contribución positiva a la calificación general del modelo de +3

Ejemplo de desglose de cobertura mostrado en Validación

Es importante recordar que la cobertura como medida de rendimiento siempre debe entenderse junto con el estado de las etiquetas en la taxonomía y el equilibrio del conjunto de datos. Antes de considerar que la puntuación de cobertura proporcionada por la plataforma es fiable, también debes asegurarte de tener al menos una calificación de "Bueno " para los demás factores que contribuyen a la Calificación del modelo.

¿Qué tan alta debe ser la cobertura de un modelo?

Como mínimo, su cobertura debe ser lo suficientemente alta como para que la plataforma proporcione una calificación de 'Bueno'. Si llega a esta etapa, tu modelo está funcionando bien y puedes optar por optimizarlo aún más en función de los requisitos de tu caso de uso.

Al igual que los humanos, los modelos de aprendizaje automático tienen sus límites, por lo que no debes esperar alcanzar el 100 % de cobertura. Puede acercarse a esto, pero solo si sus datos son extremadamente simples y repetitivos, o si anota una proporción muy alta del conjunto de datos.

Alcanzar una calificación de "Excelente " puede ser un desafío dependiendo de los datos, y no siempre es necesario según el caso de uso.

Para los casos de uso centrados en la automatización , tener una alta cobertura es especialmente importante, por lo que es probable que en estos casos quieras optimizar la cobertura tanto como sea posible y lograr una calificación de "Excelente ".

Para los casos de uso centrados en el análisis , tener una cobertura muy alta es un poco menos crítico. A menudo es suficiente que los modelos sean capaces de identificar los conceptos más frecuentes, ya que estos proporcionan la mayor información y las posibles oportunidades de cambio y mejora.

Vale la pena señalar que un modelo centrado en el análisis normalmente sacrificará algo de precisión para capturar una amplia gama de conceptos en su taxonomía.

¿Cómo se aumenta la cobertura de un modelo?

Al igual que para los demás factores contribuyentes, la plataforma ofrece útiles "próximas mejores acciones" recomendadas que los usuarios pueden realizar para mejorar la cobertura de tu modelo (consulta las imágenes anteriores y siguientes).

Las acciones recomendadas actúan como enlaces que te llevan directamente al modo de entrenamiento sugerido.

En el caso de la cobertura, la plataforma recomendará la mayoría de las veces el entrenamiento en modo 'Baja confianza ', ya que este modo permite a los usuarios anotar el menos 'cubierto' de todos los mensajes en el conjunto de datos. Para obtener más información sobre el uso de este modo de entrenamiento, consulta aquí.

Después de completar una cantidad razonable de entrenamiento en el modo de entrenamiento recomendado (cuánto dependerá de lo baja que sea la cobertura inicial), los usuarios pueden volver a comprobar cómo ha mejorado una vez que el modelo se haya reentrenado y la Validación se haya actualizado. Si es necesario, pueden repetir el proceso para seguir mejorando sus puntuaciones.

Cuando la cobertura es muy baja, normalmente al principio del proceso de entrenamiento, la plataforma también puede recomendar otros modos de entrenamiento que considere beneficiosos, como anotar grupos de mensajes similares en Discover (como se muestra en el siguiente ejemplo).

Tarjeta de factor de ejemplo que muestra una cobertura baja para un modelo y acciones recomendadas

Comprobación de cobertura para etiquetas específicas

La plataforma es capaz de identificar de forma inteligente qué etiquetas de una taxonomía son "informativas" al evaluar la cobertura de un modelo y lo presenta en la Calificación del modelo (como se ha comentado anteriormente).

Sin embargo, si quieres evaluar la proporción de un conjunto de datos que es probable que esté cubierta por predicciones para un conjunto específico de etiquetas en tu taxonomía, puedes hacerlo en la página Informes .

Para ello, puedes seleccionar todas las etiquetas en cuestión en la barra de filtro de etiquetas en Informes (como se muestra a continuación).

Etiquetas seleccionadas en la barra de filtro de informes

El recuento de mensajes en la parte superior de la página en Informes se actualiza en función de los filtros aplicados. Cuando seleccionas etiquetas del filtro de etiquetas, el recuento se actualiza para mostrar el número de mensajes que es probable que tengan prevista al menos una de las etiquetas seleccionadas.

Recuento de mensajes en Informes

En este conjunto de datos de ejemplo de correos electrónicos relacionados únicamente con un proceso de llamada de margen en un banco (que contiene 260 000 correos electrónicos), puedes ver que es probable que 237 551 mensajes de los 260 000 tengan al menos una de las etiquetas seleccionadas previstas. Lo que indica una buena cobertura de aproximadamente el 91,4 %.

Esta no debería ser la única comprobación para probar la cobertura general de tu modelo. La medida de cobertura más fiable para todo el conjunto de datos se presenta en la Calificación del modelo (como se ha comentado anteriormente), y debe considerarse junto con el rendimiento general de las etiquetas en la taxonomía.