モデルのトレーニングを停止するタイミング

[モデルの評価] 機能をはじめとするプラットフォームの包括的な検証機能により、モデルのトレーニングを停止するタイミングを比較的簡単に把握できるようになりました。

モデルに求めるパフォーマンスのレベルは、ユーザーとその業務に応じて自由に選択できますが、プラットフォームの [モデルの評価] を使用すると、モデルのパフォーマンスの状態と、必要に応じてパフォーマンスを改善する方法を正確に理解できます。

スコアが 70 以上のモデルは「良好」として分類されます。モデルが「優秀」に分類されるには、90 のスコアが必要です。

どのようなユース ケースであれ、トレーニングを停止する前に必ず以下を適用することをお勧めします。

• モデルの総合スコアで少なくとも 「良好 」の評価が提供されていること。これは、モデルが総合的に比較的健全であると見なされていることを意味します。
• 個々の要因のそれぞれの評価も 、少なくとも「良好」であること。
• 重要なラベルのいずれにも赤または琥珀色のパフォーマンス警告がないこと。

分析に重点を置いたモデルの場合、前述の要因以上にどこまでモデルのパフォーマンスを最適化するかは、モデルのトレーナーの裁量で判断することをお勧めします。必要なパフォーマンスは、ユース ケースの目的や、モデルのトレーナーにトレーニングを継続する余裕があるかどうかなど、さまざまな要因によって変わります。

自動化の実現を目的としたモデルを作成する場合は、モデルの評価を「優秀」にすることをお勧めします。また、モデルを運用環境にデプロイする前に、ライブ データでテストすることもお勧めします。

追加のパフォーマンス チェック (任意)

[モデルの評価] は包括的なパフォーマンス評価ですが、追加のチェックをいくつか実行して、モデルのパフォーマンスに完全に満足できることを確認することをお勧めします。

この場合、推奨されるアクションで実行できる有用なチェックをいくつか次に示します。これらのアクションのいずれかを実行することが重要であるとプラットフォームによって判断された場合、[検証] でもこのアクションが推奨されることに注意してください。

チェック	プロセス	実行するアクション
2 日間分の予測の確認	1 から 2 日分の最近のデータについての予測を確認します。時間フィルターとドロップダウンの [最近] を使用して、最近 2 日分のデータを選択します。予測を確認し、各メッセージの予測の信頼度が十分に高いことを確認します。1 から 2 日分のデータの予測を確認することで、潜在的な概念がすべてカバーされていることを確認する必要があります。	• 予測がないか、または信頼度が不十分なメッセージがある場合は、そのメッセージを標準としてアノテーションを行います。 • その後、「シャッフル」と「信頼度が低い」でさらにトレーニングします。
シャッフル	「シャッフル」で予測を少なくとも 5 ページ確認します。各メッセージには、適度に高い信頼度で予測されたラベルが必要です。	• 予測がないか、または信頼度が不十分なメッセージがある場合は、そのメッセージを標準としてアノテーションを行います。 • その後、「シャッフル」と「信頼度が低い」でさらにトレーニングします。
信頼度が低い	「信頼度が低い」モードでは、有益なラベルの予測で十分に網羅されていないメッセージを表示します。このようなメッセージには、プラットフォームによって有益であると認識されたラベルの予測がまったくないか、信頼度が非常に低い予測しかありません。	• カバーされていないメッセージがある場合は、そのメッセージに新しいラベルを追加し、通常どおりトレーニングします。 • 既存のラベルに対してメッセージが見つかった場合は、通常どおりラベルを適用します。
再発見	[発見] に戻り、ラベルが適用されている確率が低い潜在的な新しいクラスターを表示できます。これを使用して、「信頼度が低い」の場合と同様に、潜在的なラベルを見逃していないことを確認したり、既存のラベルにさらに多様な例を提供したりすることをお勧めします。	• 予測がない (または信頼度が非常に低い) クラスターがある場合は、新しいラベルか、該当する場合は既存のラベルを使用してクラスターにアノテーションを行います。 • 新しいラベルを通常どおりトレーニングします。

再発見

[再発見] はトレーニング プロセス中にいつでもアクセスできる手順ですが、十分なトレーニングを完了したかどうかを確認する場合にも役立ちます。

This check essentially just entails going back to the Discover page on Cluster mode and reviewing the clusters in there to check their predictions and to see if Discover has found any clusters that may have been missed by your training.

プラットフォームで大量のトレーニングが完了するか (180 個のアノテーション)、またはデータセットに大量のデータ (1000 個または 1% のメッセージのいずれか大きい方と、少なくとも 1 つのアノテーション) が追加されると、[発見] のクラスターは再トレーニングされるため、トレーニング プロセスを通して定期的に更新されます。

Discover tries to find clusters that are not well covered by label predictions. If there are clusters in Discover that should have certain labels predicted but don't, you know you need to do some more training for those labels. For more details on how to annotate clusters in Discover, check Training using clusters.

モデルが適切にトレーニングされている場合、[発見] は信頼度が低いクラスターや予測のないクラスターを見つけるのに苦労します。[発見] の各クラスターの信頼度が適度に高く、予測が正しいことが確認できる場合、モデルがデータセットを十分に網羅していることを示す良い指標になります。