[信頼度が低い] を使用したトレーニング

手記： Automation Cloud ユーザーとして [ソース] - [読み取り ] 権限と [データセット - 確認 ] 権限、またはレガシ ユーザーとして [ ソースの表示 ] 権限と [ 確認とアノテーション] 権限を割り当てている必要があります。

[探索] の最後の重要な手順は、「信頼度が低い」モードを使用したトレーニングです。このモードでは、有益なラベルの予測によって十分に網羅されていないメッセージが表示されます。このようなメッセージには、プラットフォームによって有益であると認識されたラベルの予測がまったくないか、信頼度が非常に低い予測しかありません。

有益なラベルとは、他のラベルと一緒に割り当てられている頻度を調べることで、スタンドアロンのラベルとして有用であるとプラットフォームが理解したラベルのことです。

これは、モデルの全体的なカバレッジを向上させる上で非常に重要なステップです。既存のラベルが予測されているべきメッセージが表示される場合は、そのラベルに対してさらにトレーニングを実施する必要があることを示しています。関連するメッセージが表示され、現在のラベルの中にそのメッセージに適用できるものがない場合は、新しいラベルを作成してそのメッセージをキャプチャできます。

信頼度が低いモードにアクセスするには、次の画像に示すように、[探索] ページのドロップダウン メニューを使用します。

必要なトレーニング量

[信頼度が低い] モードでは、一度に 20 個のメッセージが提示されます。このモードで複数のページのメッセージを確認して正しいラベルを適用し、妥当な量のトレーニングを完了してモデルのカバレッジを拡大する必要があります。カバレッジについて詳しくは、「 モデルのトレーニングを停止するタイミング」をご覧ください。

[信頼度が低い] で完了する必要があるトレーニングの合計量は、次のようにいくつかの異なる要因によって変わります。

• 「シャッフル」および「教える」で完了したトレーニングの量。「シャッフル」および「教える」で行うトレーニングが多いほど、トレーニング セットはデータセット全体を代表するサンプルになり、「信頼度が低い」に含まれる関連するメッセージが少なくなります。
• データセットの目的。データセットが自動化での使用を目的としており、非常に高いカバレッジが必要な場合は、「信頼度が低い」でのトレーニングの割合を増やして、各ラベルのさまざまなエッジ ケースを特定する必要があります。

このモードでは、少なくとも 5 ページ分のメッセージにアノテーションを行うことを目標にする必要があります。後で改良フェーズでカバレッジを確認したときに、「信頼度が低い」で追加のトレーニングを行い、カバレッジをさらに改善しなければならないことが判明する場合があります。