Précision et rappel

Vue d'ensemble (Overview)

Lorsque vous créez une taxonomie en annotant des données, vous créez un modèle. Ce modèle utilisera les libellés que vous avez appliqués à un ensemble de données pour identifier des concepts et des intentions similaires dans d'autres messages et prédire les libellés qui leur seront appliqués.

Ce faisant, chaque libellé aura son propre ensemble de scores de précision et de rappel .

Supposons que dans le cadre d'une taxonomie, nous avons une étiquette dans la plate-forme appelée « Demande d'information », comment la précision et le rappel seraient-ils liés à cela :

• Précision : pour tous les 100 messages prédits comme ayant le libellé « Demande d'informations », il s'agit du pourcentage de fois où la « Demande d'informations » a été correctement prédite par rapport au nombre total de fois où elle a été prédite. Une précision de 95 % signifierait que pour tous les 100 messages, 95 seraient correctement annotés comme « Demande d’information » (Request for information), et 5 seraient annotés à tort (c’est-à-dire qu’ils n’ auraient pas dû être annotés avec ce libellé)
• Rappel : pour tous les 100 messages qui auraient dû être annotés comme « Demande d'informations », combien la plate-forme en a-t-elle trouvé. Un rappel de 77 % signifierait qu'il y avait 23 messages qui auraient dû être prédits comme ayant le libellé « Demande d'information » (Request for information), mais qui ont été omis

Le « rappel » de tous les libellés est directement lié à la couverture de votre modèle.

Si vous êtes sûr que votre taxonomie couvre tous les concepts pertinents dans votre ensemble de données et que vos libellés ont une précision adéquate, le rappel de ces libellés déterminera la couverture de votre ensemble de données par les prédictions de libellés. Si tous vos libellés ont un rappel élevé, votre modèle aura une couverture élevée.

Précision vs rappel

Nous devons également comprendre le compromis entre précision et rappel dans une version de modèle particulière.

Les statistiques de précision et de rappel de chaque libellé dans une version de modèle donnée sont déterminées par un seuil de confiance (c.-à-d. quel est le niveau de confiance du modèle auquel ce libellé s’applique ?).

La plate-forme publie des statistiques de précision et de rappel en direct sur la page Validation, et les utilisateurs sont en mesure de comprendre comment différents seuils de confiance affectent les scores de précision et de rappel à l'aide du curseur personnalisable.

Lorsque vous augmentez le seuil de confiance, le modèle est plus certain qu'une étiquette s'applique et, par conséquent, la précision augmente généralement. Dans le même temps, comme le modèle doit être plus fiable pour appliquer une prédiction, il fera moins de prédictions et le rappel diminuera généralement. L'inverse est également généralement le cas lorsque vous diminuez le seuil de confiance.

Ainsi, en règle générale, lorsque vous ajustez le seuil de confiance et que la précision s'améliore, le rappel diminue généralement, et vice versa.

Au sein de la plate-forme, il est important de comprendre ce compromis et ce que cela signifie lors de la configuration des automatisations à l'aide de la plate-forme. Les utilisateurs devront définir un seuil de confiance pour le libellé qu'ils souhaitent intégrer dans le cadre de leur automatisation, et ce seuil doit être ajusté pour fournir des statistiques de précision et de rappel acceptables pour ce processus.

Certains processus peuvent accorder une valeur élevée de rappel (capture d'autant d'instances d'un événement que possible), tandis que d'autres accordent une haute précision (identification correcte des instances d'un événement).