バランス

「バランス」とは、モデルのトレーニング データがデータセット全体をどの程度適切に代表しているかを表す場合に使用される用語です。

モデルがどの程度バランスがとれているかを評価する場合、基本的には、トレーニング データとデータセット全体との間のアンバランスの原因となり得るアノテーションの偏りが検索されます。

このために、アノテーションの偏りモデルを使用して、確認済みのデータと未確認のデータを比較し、アノテーションが行われたデータがデータセット全体を代表していることが確認されます。データが代表的ではない場合、モデルのパフォーマンス指標は誤解を招くものになり、信頼できない可能性があります。

アノテーションの偏りは通常、ラベルの割り当てに使用したトレーニング モードのバランスがとれていなかった結果です。特に、[テキスト検索] を使用しすぎて「シャッフル」モードを十分に使用していない場合にあてはまります。

「リバランス」トレーニング モードは、確認済みのセット内の代表性の低いメッセージを示します。このモードで例にアノテーションすると、データセット内のアンバランスに素早く対処できます。