- Démarrage
- Équilibre
- Clusters
- Dérive de concept
- Couverture
- Jeux de données
- Entités (Entities)
- Libellés (prédictions, niveaux de confiance, hiérarchie, etc.)
- Modèles
- Flux
- Évaluation du modèle
- Projets
- Précision
- Rappel
- Messages examinés et non examinés
- Sources
- Taxonomies
- Apprentissage
- Prédictions positives et négatives vraies et fausses
- Validation
- Messages
- Administration
- Gérer les sources et les jeux de données
- Comprendre la structure des données et les autorisations
- Créer une source de données dans l'interface graphique
- Téléchargement d’un fichier CSV dans une source
- Créer un nouveau jeu de données
- Sources et jeux de données multilingues
- Activation des sentiments sur un ensemble de données
- Modifier les paramètres d’un jeu de données
- Supprimer des messages via l'interface utilisateur
- Supprimer un jeu de données
- Exporter un jeu de données
- Utilisation des intégrations Exchange
- Préparation des données en vue du téléchargement .CSV
- Entraînement et maintenance du modèle
- Comprendre les libellés, les entités et les métadonnées
- Hiérarchie des libellés et bonnes pratiques
- Définition de vos objectifs de taxonomie
- Cas d'utilisation d'analyse vs d'automatisation
- Transformer vos objectifs en libellés
- Construire votre structure de taxonomie
- Meilleures pratiques de conception de taxonomie
- Importation de votre taxonomie
- Présentation du processus d'entraînement du modèle
- Annotation générative (New)
- Comprendre le statut de votre jeu de données
- Meilleures pratiques d'entraînement et de labellisation des modèles
- Entraînement avec l'analyse des sentiments des libellés activée
- Entraîner
- Vue d'ensemble (Overview)
- Examen des prédictions de libellé
- Entraînement à l'aide de « Mélanger »
- Entraînement à l'aide d'« Ensemble des libellés » (Explore)
- Entraînement à l'aide de l'option 'Faible confiance'
- Entraînement à l'aide de la recherche (Explorer)
- Réduction et réorganisation de votre taxonomie
- Introduction à 'Raffiner'
- Précision et rappel expliqués
- Précision et rappel
- Comment fonctionne la validation ?
- Comprendre et améliorer les performances du modèle
- Pourquoi un libellé peut-il avoir une précision moyenne faible ?
- Entraînement à l'aide de « Vérifier le libellé » et « Libellé manquant »
- Entraînement à l'aide du libellé En savoir plus (Affiner)
- Entraînement à l'aide de la recherche (affiner)
- Comprendre et augmenter la couverture
- Amélioration de l'équilibre et utilisation de « Rééquilibrer »
- Quand arrêter l'entraînement de votre modèle
- Définition et configuration de vos entités
- Comprendre les entités
- Quelles sont les entités pré-entraînées disponibles ?
- Activation, désactivation, mise à jour et création d'entités
- Filtrage des entités
- Examiner et appliquer des entités
- Validation pour les entités
- Amélioration des performances de l'entité
- Création d'entités Regex personnalisées
- Utilisation des analyses de surveillance &
- Automatisations et Communications Mining
- FAQ et plus
Précision et rappel
Vue d'ensemble (Overview)
Lorsque vous créez une taxonomie en labellisant des données, vous créez un modèle. Ce modèle utilisera les libellés que vous avez appliqués à un ensemble de données pour identifier des concepts et des intentions similaires dans d'autres messages et prédire les libellés qui leur seront appliqués.
Ce faisant, chaque libellé aura son propre ensemble de scores de précision et de rappel .
Supposons que dans le cadre d'une taxonomie, nous avons une étiquette dans la plate-forme appelée « Demande d'information », comment la précision et le rappel seraient-ils liés à cela :
- Précision : pour tous les 100 messages prédits comme ayant le libellé « Demande d'informations », il s'agit du pourcentage de fois où la « Demande d'informations » a été correctement prédite par rapport au nombre total de fois où elle a été prédite. Une précision de 95 % signifierait que pour tous les 100 messages, 95 seraient correctement étiquetés comme 'Demande d'information', et 5 seraient incorrectement étiquetés (c'est-à-dire qu'ils n'aurait pas dû être labellisé avec ce libellé)
- Rappel : pour tous les 100 messages qui auraient dû être labellisés comme « Demande d'informations », combien la plate-forme a-t-elle trouvées. Un rappel de 77 % signifierait qu'il y avait 23 messages qui auraient dû être prédits comme ayant le libellé « Demande d'information » (Request for information), mais qui ont été omis
Le « rappel » de tous les libellés est directement lié à la couverture de votre modèle.
Si vous êtes sûr que votre taxonomie couvre tous les concepts pertinents dans votre ensemble de données et que vos libellés ont une précision adéquate, le rappel de ces libellés déterminera la couverture de votre ensemble de données par les prédictions de libellés. Si tous vos libellés ont un rappel élevé, votre modèle aura une couverture élevée.
Précision vs rappel
Nous devons également comprendre le compromis entre précision et rappel dans une version de modèle particulière.
Les statistiques de précision et de rappel de chaque libellé dans une version de modèle donnée sont déterminées par un seuil de confiance (c.-à-d. quel est le niveau de confiance du modèle auquel ce libellé s’applique ?).
La plate-forme publie des statistiques de précision et de rappel en direct sur la page Validation, et les utilisateurs sont en mesure de comprendre comment différents seuils de confiance affectent les scores de précision et de rappel à l'aide du curseur personnalisable.
Lorsque vous augmentez le seuil de confiance, le modèle est plus certain qu'une étiquette s'applique et, par conséquent, la précision augmente généralement. Dans le même temps, comme le modèle doit être plus fiable pour appliquer une prédiction, il fera moins de prédictions et le rappel diminuera généralement. L'inverse est également généralement le cas lorsque vous diminuez le seuil de confiance.
Ainsi, en règle générale, lorsque vous ajustez le seuil de confiance et que la précision s'améliore, le rappel diminue généralement, et vice versa.
Au sein de la plate-forme, il est important de comprendre ce compromis et ce que cela signifie lors de la configuration des automatisations à l'aide de la plate-forme. Les utilisateurs devront définir un seuil de confiance pour le libellé qu'ils souhaitent intégrer dans le cadre de leur automatisation, et ce seuil doit être ajusté pour fournir des statistiques de précision et de rappel acceptables pour ce processus.
Certains processus peuvent accorder une valeur élevée de rappel (capture d'autant d'instances d'un événement que possible), tandis que d'autres accordent une haute précision (identification correcte des instances d'un événement).