モデルのトレーニングを停止するタイミング

[モデルの評価] 機能をはじめとするプラットフォームの包括的な検証機能により、モデルのトレーニングを停止するタイミングを比較的簡単に把握できるようになりました。

モデルに求めるパフォーマンスのレベルは、ユーザーとその業務に応じて自由に選択できますが、プラットフォームの [モデルの評価] を使用すると、モデルのパフォーマンスの状態と、必要に応じてパフォーマンスを改善する方法を正確に理解できます。

スコアが 70 以上のモデルは「良好」として分類されます。モデルが「優秀」に分類されるには、90 のスコアが必要です。

どのようなユース ケースであれ、常に、トレーニングを停止する前に次の点を確認することをお勧めします。

• モデルの総合スコアで少なくとも「良好」の評価が提供されていること。これは、モデルが総合的に比較的健全であると見なされていることを意味します。
• 個々の要因のそれぞれの評価が少なくとも「良好」であること (以下を参照)。

• 重要なラベルのいずれにも赤または琥珀色のパフォーマンス警告がないこと。

分析に重点を置いたモデルの場合、上記の要因以上にどこまでモデルのパフォーマンスを最適化するかは、モデルのトレーナーの裁量で判断することをお勧めします。必要なパフォーマンスは、ユース ケースの目的や、モデルのトレーナーにトレーニングを継続する余裕があるかどうかなど、さまざまな要因によって変わります。

自動化の実現を目的としたモデルを作成する場合は、モデルの評価を「優秀」にすることをお勧めします。また、モデルを運用環境にデプロイする前に、ライブ データでテストすることもお勧めします。

非常に健全なモデルに対するモデルの評価の例

追加のパフォーマンス チェック (任意)

[モデルの評価] は包括的なパフォーマンス評価ですが、追加のチェックをいくつか実行して、モデルのパフォーマンスに完全に満足できることを確認することをお勧めします。

この場合、推奨されるアクションで実行できる有用なチェックをいくつか次に示します。これらのアクションのいずれかを実行することが重要であるとプラットフォームによって判断された場合、[検証] でもこのアクションが推奨されることに注意してください。

チェック	プロセス	実行するアクション
2 日間分の予測の確認	1 から 2 日分の最近のデータについての予測を確認します。時間フィルターとドロップダウンの [最近] を使用して、最近 2 日分のデータを選択します。予測を確認し、各メッセージの予測の信頼度が十分に高いことを確認します。1 から 2 日分のデータの予測を確認することで、潜在的な概念がすべてカバーされていることを確認する必要があります。	• 予測がないか、または信頼度が不十分なメッセージがある場合は、そのメッセージを標準としてアノテーションを行います。 • その後、「シャッフル」と「信頼度が低い」でさらにトレーニングします。
シャッフル	「シャッフル」で予測を少なくとも 5 ページ確認します。各メッセージには、適度に高い信頼度で予測されたラベルが必要です。	• 予測がないか、または信頼度が不十分なメッセージがある場合は、そのメッセージを標準としてアノテーションを行います。 • その後、「シャッフル」と「信頼度が低い」でさらにトレーニングします。
信頼度が低い	信頼度が低いモードでは、有益なラベル予測で十分に網羅されていないメッセージを表示します。このメッセージには、有益であると理解されているラベルの予測がまったくないか、信頼度が非常に低い予測しかありません。	• カバーされていないメッセージがある場合は、そのメッセージに新しいラベルを追加し、通常どおりトレーニングします。 • 既存のラベルに対してメッセージが見つかった場合は、通常どおりラベルを適用します。
再発見 (以下を参照)	[発見] に戻り、ラベルが適用されている確率が低い潜在的な新しいクラスターを表示できます。これを使用して、「信頼度が低い」の場合と同様に、潜在的なラベルを見逃していないことを確認したり、既存のラベルにさらに多様な例を提供したりすることをお勧めします。	• 予測がない (または信頼度が非常に低い) クラスターがある場合は、新しいラベルか、該当する場合は既存のラベルを使用してクラスターにアノテーションを行います。 • 新しいラベルを通常どおりトレーニングします。

「再発見」

「再発見」はトレーニング プロセス中にいつでもアクセスできる手順ですが、十分なトレーニングを完了したかどうかを確認する場合にも役立ちます。

このチェックでは基本的に、[発見] ページに戻って「クラスター」モードを使用し、そこに表示されるクラスターを確認することによって予測をチェックし、トレーニングで見逃された可能性のあるクラスターが [発見] で見つかっているかどうかを確かめます。

プラットフォームで大量のトレーニングが完了するか (180 個のアノテーション)、またはデータセットに大量のデータ (1000 個または 1% のメッセージのいずれか大きい方と、少なくとも 1 つのアノテーション) が追加されると、[発見] のクラスターは再トレーニングされるため、トレーニング プロセスを通して定期的に更新されます。

[発見] は、ラベルの予測で十分に網羅されていないクラスターを見つけようと試みます。特定のラベルが予測されているべきであるのに予測されていないクラスターが [発見] にある場合、そのラベルについてさらにトレーニングを行う必要があります。[発見] でクラスターにアノテーションを行う方法については、こちらをご覧ください。

モデルが適切にトレーニングされている場合、[発見] は信頼度が低いクラスターや予測のないクラスターを見つけるのに苦労します。[発見] の各クラスターの信頼度が適度に高く、予測が正しいことが確認できる場合、モデルがデータセットを十分に網羅していることを示す良い指標になります。