[信頼度が低い] を使用したトレーニング

必要なユーザー権限:「ソースの表示」および「確認とアノテーション」

[探索] の最後の重要な手順は、「信頼度が低い」モードを使用したトレーニングです。このモードでは、有益なラベルの予測によって十分に網羅されていないメッセージが表示されます。このようなメッセージは、プラットフォームによって有益であると認識されたラベルの予測がまったくないか、信頼度が非常に低い予測しかありません。

「有益なラベル」とは、他のラベルと一緒に割り当てられている頻度を調べることで、スタンドアロンのラベルとして有用であるとプラットフォームが理解したラベルのことです。

これは、モデルの全体的なカバレッジを向上させる上で非常に重要なステップです。既存のラベルが予測されているべきメッセージが表示される場合は、そのラベルに対してさらにトレーニングを実施する必要があることを示しています。関連するメッセージが表示され、現在のラベルの中にそのメッセージに適用できるものがない場合は、新しいラベルを作成してそのメッセージをキャプチャできます。

このモードでは、[探索] の他のモードと同じ方法でメッセージにラベルを割り当てることができます。

このモードにアクセスするには、[探索] ページの左上隅にあるドロップダウンを使用します。

「信頼度が低い」にアクセスするためのドロップダウンメニュー

この手順で行うトレーニングの量

このモードでは、一度に 20 個のメッセージが提示されます。このモードで複数のページのメッセージを確認して正しいラベルを適用し、妥当な量のトレーニングを完了してモデルのカバレッジを拡大する必要があります (カバレッジについて詳しくは、こちらをご覧ください)。

「信頼度が低い」で完了する必要があるトレーニングの合計量は、次のようにいくつかの異なる要因によって変わります。

「シャッフル」および「教える」で完了したトレーニングの量 - 「シャッフル」および「教える」で行うトレーニングが多いほど、トレーニングセットはデータセット全体を代表するサンプルになり、「信頼度が低い」に含まれる関連するメッセージが少なくなります。
データセットの目的 - データセットが自動化での使用を目的としており、非常に高いカバレッジが必要な場合は、「信頼度が低い」でのトレーニングの割合を増やして、各ラベルのさまざまなエッジケースを特定する必要があります。

このモードでは、少なくとも 5 ページ分のメッセージにアノテーションを行うことを目標にする必要があります。後で改良フェーズでカバレッジを確認したときに、「信頼度が低い」で追加のトレーニングを行い、カバレッジをさらに改善しなければならないことが判明する場合があります。