ラベルの平均適合率が低い理由

以下に、ラベルの平均適合率が低い主な理由と、推奨される改善策の概要を示します。

1. トレーニング セットのサイズが小さすぎる可能性がある

• トレーニング セットのサイズが非常に小さい場合は、モデルにさらにトレーニング例を提供するだけで良い可能性があります。
• 探索フェーズで概説されている方法、特に「シャッフル」と「ラベルを教える」を使用してラベルのトレーニングを続けます。

2. ラベルが一貫性を持って適用されていないか、一部のメッセージに誤って適用されている可能性がある

• 多くの場合、ユーザーのラベル定義は時間とともに変化します。この場合、そのラベルが付いた古い確認済みのメッセージを再検討して、ラベルがまだ適用されるかどうかを確認する必要があります。
• または、データセットをトレーニングするユーザーが複数いる場合、各ラベルの意味をそれぞれが異なって解釈し、曖昧なシグナルをモデルに送っている可能性もあります。
• これに該当するかどうかを判断するには、「ラベルを確認」および「見逃されたラベル」のトレーニング モードを使用して、そのラベルの確認済みのメッセージを調べることで、ラベルが誤って適用されている箇所、またはラベルが意図せず見逃されている箇所を確認できます。
• その後、エラーを修正してラベルを更新し、一貫性を確保できます。
• 今後、データセットをトレーニングするユーザーが複数いる場合は、各ラベルで網羅される意図または概念の定義を完全に一致させる必要があります。

3. ラベルでキャプチャしようとしている意図または概念が曖昧か非常に広範であり、他のラベルと区別するのが難しい可能性がある

• 1 つのラベルで非常に広範か曖昧な意図や概念をキャプチャした場合、そのラベルをメッセージに適用する理由を特定しづらいため、あまりにも多くのメッセージにラベルを適用しようとしてしまうことがあります。
• ラベルを作成するときは、一般的になりすぎないようにしてください。ラベルは、識別可能で、他のラベルから区別できる必要があります。

4. あるいは、意図または概念が非常に具体的であるか、階層内のレイヤーが多すぎる可能性がある

• 具体的すぎたり、ラベルの階層にレイヤーを多数追加したりすると、モデルが検出するのが難しくなったり、前のレイヤーと区別しにくくなったりする可能性があります。
• ラベルの特異性のレベルは、メッセージの内容と一致する必要があります。あまりにも具体的すぎて、階層内の他の類似するラベルと現実的に区別できない場合、モデルが混乱する可能性があります。
• ほとんどの場合、ラベルの階層内のレイヤーは 3 つ以下 ([ルート ラベル] > [接続ラベル] > [リーフ ラベル]) にするのがベスト プラクティスです。

5. 大きく重複するラベルがタクソノミー内に複数あり、モデルが 2 つを区別しにくい可能性がある

• 非常によく似ていて区別がつきにくいラベルが 2 つある場合、2 つのラベルのどちらが適用されるかを判断できないため、モデルが混乱する可能性があります。
• このような場合は、ラベルを結合することを検討します。
• または、各ラベルの確認済みのメッセージを調べて、概念が一貫性を持って適用されていて、互いに異なっていることを確認します。

6. そのラベルが適用されているメッセージのほとんどが非常に似ているか同一である可能性があり、モデルが同じ意図または概念の異なる表現方法を検出するのに苦労している

• すべてのラベルについて、ラベルでキャプチャする意図または概念の異なる表現方法が含まれる複数のトレーニング例をモデルに提供する必要があります。

7. そのラベルでキャプチャする意図または概念が、メッセージのテキストまたはそのサポート メタデータから意味的に推論できない

• ユーザーは、メッセージにアノテーションを行う際に、メッセージの実際のテキストやメタデータを基にするのではなく、その後に続くコンテキストやプロセスについての自分の業務知識を基にすることがよくあります。
• たとえば、SME ユーザーは、テキストやメタデータ内にラベルを適用すべきことを示すものがほかに何もなくても、特定の個人からのコミュニケーションであるため、必ず特定のトピックに関係していると分かる場合があります。
• この場合、こうした内部の知識を用いることなく、モデルがテキストやメタデータからラベルを検出できるときにのみ、ラベルを適用する必要があります。