Précision et rappel

Vue d'ensemble (Overview)

Lorsque vous créez une taxonomie en annotant des données, vous créez un modèle. Ce modèle utilisera les libellés que vous avez appliqués à un ensemble de données pour identifier des concepts et des intentions similaires dans d'autres messages et prédire les libellés qui leur seront appliqués.

Ainsi, chaque libellé disposera de son propre ensemble de scores de précision et de rappel.

Par exemple, envisagez d'avoir, dans le cadre d'une taxonomie, un libellé dans la plate-forme appelé Demande d'informations. Dans ce scénario, la précision et le rappel peuvent y être liés comme suit :

• Précision : pour 100 messages prédits comme ayant le libellé « Demande d'information », il s'agit du pourcentage de fois où la « Demande d'information » a été correctement prédite par rapport au nombre total de fois où elle a été prédite. Une précision de 95 % signifierait que pour 100 messages, 95 seraient correctement annotés en tant que « Demande d’information » et 5 seraient annotés de façon incorrecte (c’est-à-dire qu’ils n’auront pas dû être annotés avec ce libellé)
• Rappel : pour 100 messages qui auraient dû être annotés en tant que « Demande d’information », combien la plate-forme a-t-elle trouvé. Un rappel de 77 % aurait pu signifier que 23 messages auraient dû être censés être appliqués comme libellé « Demande d’information », mais qu’ils ont été omis

Le rappel entre tous les libellés est directement lié à la couverture de votre modèle.

Si vous êtes sûr que votre taxonomie couvre tous les concepts pertinents dans votre ensemble de données et que vos libellés ont une précision adéquate, le rappel de ces libellés déterminera la façon dont votre ensemble de données est bien couverts par les prédictions des libellés. Si tous vos libellés ont un rappel élevé, votre modèle aura une couverture élevée.

Comparaison de la précision et du rappel

Nous devons également comprendre le compromis entre précision et rappel dans une version de modèle particulière.

Les statistiques de précision et de rappel de chaque libellé dans une version de modèle donnée sont déterminées par un seuil de confiance (c.-à-d. quel est le niveau de confiance du modèle auquel ce libellé s’applique ?).

La plate-forme publie des statistiques de précision et de rappel en direct sur la page Validation, et les utilisateurs sont en mesure de comprendre comment différents seuils de confiance affectent les scores de précision et de rappel à l'aide du curseur personnalisable.

Lorsque vous augmentez le seuil de confiance, le modèle est plus certain qu'une étiquette s'applique et, par conséquent, la précision augmente généralement. Dans le même temps, comme le modèle doit être plus fiable pour appliquer une prédiction, il fera moins de prédictions et le rappel diminuera généralement. L'inverse est également généralement le cas lorsque vous diminuez le seuil de confiance.

Ainsi, en règle générale, lorsque vous ajustez le seuil de confiance et que la précision s'améliore, le rappel diminue généralement, et vice versa.

Au sein de la plate-forme, il est important de comprendre ce compromis et ce que cela signifie lors de la configuration des automatisations à l'aide de la plate-forme. Les utilisateurs devront définir un seuil de confiance pour le libellé qu'ils souhaitent intégrer dans le cadre de leur automatisation, et ce seuil doit être ajusté pour fournir des statistiques de précision et de rappel acceptables pour ce processus.

Certains processus peuvent accorder une valeur élevée de rappel (capture d'autant d'instances d'un événement que possible), tandis que d'autres accordent une haute précision (identification correcte des instances d'un événement).