Precisión y recuperación

Información general

Cuando creas una taxonomía anotando datos, estás creando un modelo. Este modelo utilizará las etiquetas que has aplicado a un conjunto de datos para identificar conceptos e intenciones similares en otros mensajes y predecir qué etiquetas se aplican a ellos.

Al hacerlo, cada etiqueta tendrá su propio conjunto de puntuaciones de precisión y recuperación .

Digamos que como parte de una taxonomía tenemos una etiqueta en la plataforma llamada 'Solicitud de información', ¿cómo se relacionan la precisión y la recuperación con esto?

• Precisión: por cada 100 mensajes previstos con la etiqueta "Solicitud de información", es el porcentaje de veces que la "Solicitud de información" se predijo correctamente del total de veces que se predijo. Una precisión del 95 % significaría que de cada 100 mensajes, 95 se anotarían correctamente como "Solicitud de información" y 5 se anotarían incorrectamente (es decir, no deberían haberse anotado con esa etiqueta)
• Recordatorio: por cada 100 mensajes que deberían haberse anotado como "Solicitud de información", cuántos encontró la plataforma. Un 77 % de recuperación significaría que había 23 mensajes que deberían haberse previsto que tuvieran la etiqueta "Solicitud de información", pero no los detectó

La "recuperación" en todas las etiquetas está directamente relacionada con la cobertura de tu modelo.

Si estás seguro de que tu taxonomía cubre todos los conceptos relevantes dentro de tu conjunto de datos, y tus etiquetas tienen la precisión adecuada, entonces la recuperación de esas etiquetas determinará qué tan bien cubierto está tu conjunto de datos por las predicciones de las etiquetas. Si todas sus etiquetas tienen un alto recuerdo, entonces su modelo tendrá una alta cobertura.

Precisión frente a recuperación

También necesitamos entender el equilibrio entre precisión y recuperación dentro de una versión particular del modelo.

Las estadísticas de precisión y recuperación para cada etiqueta en una versión particular del modelo están determinadas por un umbral de confianza (es decir, ¿Qué tan seguro es el modelo de que se aplica esta etiqueta?).

La plataforma publica estadísticas de precisión y recuperación en vivo en la página Validación, y los usuarios pueden comprender cómo los diferentes umbrales de confianza afectan a las puntuaciones de precisión y recuperación utilizando el control deslizante ajustable.

A medida que aumentas el umbral de confianza, el modelo tiene más certeza de que se aplica una etiqueta y, por lo tanto, la precisión suele aumentar. Al mismo tiempo, debido a que el modelo debe tener más confianza para aplicar una predicción, hará menos predicciones y, por lo general, la recuperación disminuirá. Lo contrario también suele ser el caso a medida que se reduce el umbral de confianza.

Por lo tanto, como regla general, cuando se ajusta el umbral de confianza y la precisión mejora, la recuperación suele disminuir, y viceversa.

Dentro de la plataforma, es importante comprender este compromiso y lo que significa al configurar automatizaciones utilizando la plataforma. Los usuarios tendrán que establecer un umbral de confianza para la etiqueta que quieren que forme parte de su automatización, y este umbral debe ajustarse para proporcionar precisión y recuperar estadísticas que sean aceptables para ese proceso.

Ciertos procesos pueden valorar una alta recuperación (capturar tantas instancias de un evento como sea posible), mientras que otros valorarán una alta precisión (identificar correctamente las instancias de un evento).