[ラベルを確認] と [見逃されたラベル] を使用したトレーニング

必要なユーザー権限:「ソースの表示」および「確認とアノテーション」

注:

以前は、「教える」機能では、確認済みのメッセージをフィルター処理した場合、選択したラベルが誤って適用されているか見逃された可能性があると考えられるメッセージが表示されていました。「ラベルを確認」と「見逃されたラベル」により、これらのメッセージが 2 つの別個のビューに分割されました。「ラベルを確認」では、ラベルが誤って適用された可能性があるメッセージが表示され、「見逃されたラベル」では、選択したラベルが見逃された可能性があるメッセージが表示されます。

「ラベルを確認」と「見逃されたラベル」の使用について

「ラベルを確認」と「見逃されたラベル」のトレーニング モードは、改良フェーズの一部として使用し、既に確認済みのメッセージのラベルの不整合や見逃されたラベルの識別を試みます。これは「ラベルを教える」の手順とは異なります。「ラベルを教える」では、割り当てられたラベルではなく、プラットフォームが行った予測を持つ未確認のメッセージに焦点を当てます。

「ラベルを確認」では、選択したラベルが誤って適用された可能性があると考えられる場所、つまりラベルが適用されるべきではなかった可能性があるメッセージが表示されます。

「ラベルを確認」モードで「Claim > Reason for Loss > Fire」ラベルが選択された状態

「見逃されたラベル」では、選択したラベルが見逃された可能性があると考えられるメッセージ、つまりラベルが適用されるべきであったのに適用されなかった可能性があるメッセージが表示されます。ここでは、選択したラベルは、下の図に示すように通常は提案として表示されます。

「見逃されたラベル」モードで「Payment > Error」ラベルが選択された状態

どちらのモードでも、プラットフォームによる提案が必ずしも正しいとは限りません。これらは単に、プラットフォームが現在までに完了したトレーニングに基づいて判断できない例にすぎません。プラットフォームの提案に同意できない場合は、確認後に提案を無視できます。

これらのトレーニング モードを使用すると、ユーザーが一貫性を持ってラベルを適用していない可能性がある箇所を非常に効果的に見つけることができます。これらのモードを使用して該当箇所を修正し、ラベルのパフォーマンスを改善できます。

「ラベルを確認」と「見逃されたラベル」を使用する

どちらのトレーニング モードを使用すべきかについての最も簡単な答えは、[モデルの評価] セクションの [推奨されるアクション] の 1 つであるか、それとも [検証] ページの特定のラベル ビューであるかです (こちらをご覧ください)。

経験則として、ピン留めされた例が多数あるのに平均適合率が低いラベル ([検証] ページまたは [ラベル] フィルター バーに赤いラベルの警告で表示されている可能性があります) は、「ラベルを確認」モードまたは「見逃されたラベル」モードのいずれかで修正トレーニングを多少行うと、おそらくメリットがあります。

モデルのパフォーマンスを検証するときは、ラベルが多くの場合に誤って適用されていると考えられるかどうか、またはラベルが何度も見逃されていると考えられる場所が判断され、ラベルのパフォーマンスを改善するのに最も有益と思われる修正アクションに優先順位が付けられます。

「見逃されたラベル」は、確認済みの例が多数ある既存のタクソノミーに新しいラベルを追加した場合にも非常に役立つツールです。新しいラベルの概念に最初の例をいくつか提供したら、「見逃されたラベル」を使用して、以前に確認済みのメッセージ内で、同じくラベルを適用すべき例をすばやく特定できます。詳しくはこちらをご覧ください。

「ラベルを確認」と「見逃されたラベル」の使用方法

これらのいずれかのトレーニング モードを表示するには、主に 2 つのオプションがあります。

1. ラベルの [検証] の推奨されるアクションである場合、アクションのカードがリンクとして機能するので、このリンクを使用して、選択したラベルのトレーニング モードに直接移動できます。

2. または、[探索] ページの上部にあるドロップダウン メニューからいずれかのトレーニング モードを選択し、並べ替えの条件にするラベルを選択します (例については上の画像をご覧ください)。

注: ドロップダウン メニューに [ラベルを確認] または [見逃されたラベル] を表示するには、最初にラベルを選択する必要があります。どちらのモードも確認済みのメッセージ専用であるため、確認済みのメッセージと未確認のメッセージをフィルター処理する機能は無効化されます。

各モードでは、選択したラベルが誤って適用されている可能性があるか (「ラベルを確認」)、選択したラベルが見逃されている可能性がある (「見逃されたラベル」) と考えられる確認済みのメッセージについて、ページあたり最大で 20 個の例が表示されます。

「ラベルを確認」

「ラベルを確認」では、ページの各例を確認して、選択したラベルの本当の例であることを確認します。本当の例である場合は、何も実行せずに次に進みます。本当の例ではない場合は、ラベルを削除し (ホバーしたときに [X] をクリックします)、代わりに正しいラベルを適用します。

確認済みのメッセージのページを必要な数だけ確認し、確認済みのセット内の不整合を特定し、ラベルに対するモデルの理解を深めます。誤って追加されたラベルを修正すると、モデルに一貫性のある正しい例が提供され、モデルはそのラベルから予測を行うようになるため、ラベルのパフォーマンスに大きな影響を及ぼすことができます。

「見逃されたラベル」

「見逃されたラベル」では、ページの各例を確認して、選択したラベルが実際に見逃されているかどうかを確かめます。見逃されている場合は、ラベルの提案 (上の画像を参照) をクリックしてラベルを適用します。見逃されていない場合は、提案を無視して次に進みます。

確認済みのメッセージに対してラベルが「提案」されているという理由だけで、モデルがそのラベルを予測と見なすことはありません。また、データセット内のラベル数の統計情報のカウント対象にすることもありません。提案が間違っている場合は、無視してかまいません。

確認済みのメッセージのページを必要な数だけ確認し、確認済みのセットで、選択したラベルが付いているべきであるのに付いていない例を識別します。部分的にアノテーションが行われたメッセージは、モデルがラベルを予測する能力にとって大きな悪影響を及ぼす可能性があります。メッセージにラベルを適用しないと、モデルに対し「これはこのラベルの概念の例ではない」と伝えることになるためです。実際には正しい例である場合、これはモデルを大きく混乱させる可能性があります。特に、非常によく似た例がほかにあり、そちらには実際にラベルが適用されている場合、その影響は顕著です。

したがって、見逃されたラベルを追加すると、モデルに一貫性のある正しい例が提供され、その例からラベルを予測するようになるので、該当するラベルのパフォーマンスに大きな影響を与える可能性があります。

これらのモードでの修正トレーニングが完了してモデルを再トレーニングする時間を設けたら、[検証] に戻って、実行した操作が、モデルの評価とトレーニングした特定のラベルのパフォーマンスに与えた好影響を確認できます。