Amélioration de l'équilibre et utilisation du rééquilibrage

Remarque : vous devez avoir attribué les autorisations Source - Lecture et Ensemble de données - Révision en tant qu'utilisateur d'Automation Cloud, ou les autorisations Afficher les sources et Réviser et annoter en tant qu'utilisateur hérité.

Équilibre : Introduction et importance

La note d' équilibrage présentée dans la notation du modèle de validation reflète l'équilibrage des données examinées dans un ensemble de données par rapport à l'ensemble de données.

Il prend en compte un certain nombre de facteurs contributifs, notamment :

• La similarité des données examinées par rapport aux données non examinées, indiquée sous la forme d'un score en pourcentage.
• La part des données examinées qui ont été examinées via des échantillons aléatoires, c’est-à-dire en mode Mélanger .
• La proportion de données ayant été examinées à l'aide de Rééquilibrage.
• La proportion de données qui ont été examinées lors de l’utilisation de la recherche de texte.

Un exemple de composant « Équilibre » de la notation du modèle

Il est important que la proportion de données examinées via des échantillons aléatoires soit élevée (

La note de frais est cependant fortement influencée par le score de similarité qui mesure la similarité des données non examinées par rapport aux données examinées.

Ce score de similarité est calculé par un modèle de biais d’annotation propriétaire qui compare les données examinées et non examinées pour garantir que les données annotées sont représentatives de l’ensemble de données. Si les données ne sont pas représentatives et qu’elles ont été annotées de manière biaisée, les mesures de performances du modèle peuvent être trompeurs et potentiellement peu fiables.

Les biais d’annotation au niveau de la plate-forme sont généralement le résultat d’un flux de mode d’entraînement utilisé pour attribuer des libellés, en particulier si la « recherche de texte » est trop importante et que le mode « mélanger » est insuffisant. Cela peut toujours se produire, cependant, même si une proportion élevée de mode « mélanger » est utilisée. L’entraînement de libellés spécifiques dans des modes comme « Apprentissage du libellé » peut naturellement entraîner un léger décalage dans les données examinées. La plate-forme vous aide à identifier lorsque cela se produit et vous aide à y remédier de manière rapide et efficace.

Rééquilibrer : Introduction et utilisation

Rééquilibrer est un mode d’entraînement qui aide à réduire les flux d’activité potentiels dans le mode d’annotation d’un modèle, c’est-à-dire les biais d’annotation, ce qui signifie que les données examinées ne sont pas aussi représentatives de l’ensemble des données que cela pourrait l’être.

Le mode d’entraînement Rééquilibrer affiche les messages sous-représentés dans l’ensemble examiné.

L’annotation des messages (comme vous le feriez dans n’importe quel autre mode d’entraînement) présenté dans ce mode permettra de corriger les flux d’entraînement et d’améliorer le score d’équilibrage du modèle.

Astuce : Rééquilibrer est généralement le plus efficace lorsqu’il est peu et souvent utilisé. Le fait d'annoter un petit nombre de messages, entre 10 et 20, dans ce mode et de permettre au modèle de s'entraîner avant d'actualiser et d'annoter plus d'exemples est le meilleur moyen de maximiser l'impact qu'il aura sur le score d'équilibrage du modèle.

Le mode d'entraînement « Rééquilibrer » sur un ensemble de données de démonstration

Si vous constatez que vous avez un score de similarité élevé mais que la note d’équilibrage est toujours faible, c’est probablement parce que vous n’avez pas suffisamment annoté les données d’entraînement en mode Mélanger . Si tel est le cas, la plate-forme suggérera d’annoter une sélection aléatoire de messages comme action recommandée en priorité. L’entraînement dans ce mode donne à la plate-forme une confiance supplémentaire dans le fait que l’ensemble de données n’a pas été annoté de manière biaisée et que les données de l’entraînement sont un échantillon représentatif.

Nombre de rééquilibrage à utiliser

Vous devez continuer à utiliser Rééquilibrer de façon itérative pour améliorer le score de similarité de votre modèle, ce qui augmentera votre note d’équilibrage .

Une fois que cela a atteint la note Bonne dans Validation, c'est à vous de décider à quel point vous souhaitez augmenter le score de similarité avant d'arrêter l'entraînement dans Rééquilibrage.

Vous pouvez essayer d'optimiser cette note au maximum, mais l'entraînement continu sera toujours un cas de diminution des revenus. Une note Bon doit généralement être considérée comme un niveau de performances acceptable pour un bon modèle.