[ラベルを確認] と [見逃されたラベル] を使用したトレーニング

手記： Automation Cloud ユーザーとして [ソース] - [読み取り ] 権限と [データセット - 確認 ] 権限、またはレガシ ユーザーとして [ ソースの表示 ] 権限と [ 確認とアノテーション] 権限を割り当てている必要があります。

注: 以前は、[教える] 機能では、確認済みのメッセージをフィルター処理した場合、選択したラベルが誤って適用されているか見逃された可能性があると考えられるメッセージが表示されていました。「ラベルを確認」と「見逃されたラベル」により、このようなメッセージが 2 つの別個のビューに分割されます。「ラベルを確認」では、ラベルが誤って適用された可能性があるメッセージが表示され、「見逃されたラベル」では、選択したラベルが見逃された可能性があるメッセージが表示されます。

はじめに

「ラベルを確認」と「見逃されたラベル」のトレーニング モードは、改良フェーズの一部として使用し、すでに確認済みのメッセージのラベルの不整合や見逃されたラベルの識別を試みます。これは「ラベルを教える」の手順とは異なります。「ラベルを教える」では、割り当てられたラベルではなく、プラットフォームが行った予測を持つ未確認のメッセージに焦点を当てます。

「ラベルを確認」では、選択したラベルが誤って適用された可能性があると考えられる場所、つまりラベルが適用されるべきではなかった可能性があるメッセージが表示されます。

「見逃されたラベル」では、選択したラベルが見逃された可能性があると考えられるメッセージ、つまりラベルが適用されるべきであったのに適用されなかった可能性があるメッセージが表示されます。この場合、選択したラベルは、下の図に示すように通常は提案として表示されます。

どちらのモードでも、プラットフォームによる提案が必ずしも正しいとは限りません。これらは単に、プラットフォームが現在までに完了したトレーニングに基づいて判断できない例にすぎません。プラットフォームの提案に同意できない場合は、確認後に提案を無視できます。

これらのトレーニング モードを使用すると、ユーザーが一貫性を持ってラベルを適用していない可能性がある箇所を非常に効果的に見つけることができます。これらのモードを使用して該当箇所を修正し、ラベルのパフォーマンスを改善できます。

「ラベルを確認」と「見逃されたラベル」を使用する状況

どちらのトレーニング モードを使用すべきかについての最も簡単な答えは、[モデルの評価] セクションの [推奨されるアクション] の 1 つであるか、それとも [検証] ページの特定のラベル ビューであるかです。詳しくは、「モデルのパフォーマンスを理解および改善する」をご覧ください。

経験則として、ピン留めされた例が多数あるのに平均適合率が低いラベル ([検証] ページまたは [ラベル] フィルター バーに赤いラベルの警告で表示されている可能性があります) は、「ラベルを確認」モードまたは「見逃されたラベル」モードのいずれかで修正トレーニングを多少行うと、おそらくメリットがあります。

モデルのパフォーマンスを検証するときは、ラベルが多くの場合に誤って適用されていると考えられるかどうか、またはラベルが何度も見逃されていると考えられる場所が判断され、ラベルのパフォーマンスを改善するのに最も有益と思われる修正アクションに優先順位が付けられます。

「見逃されたラベル」は、確認済みの例が多数ある既存のタクソノミーに新しいラベルを追加した場合にも非常に役立つツールです。新しいラベルの概念に最初の例をいくつか提供したら、「見逃されたラベル」を使用して、以前に確認済みのメッセージ内で、同じくラベルを適用すべき例を素早く特定できます。詳しくは、「既存のタクソノミーに新しいラベルを追加する」をご覧ください。

「ラベルを確認」と「見逃されたラベル」を使用する

これらのいずれかのトレーニング モードを表示するには、主に次のオプションがあります。

1. ラベルの [検証] の推奨されるアクションである場合、アクションのカードがリンクとして機能するので、このリンクを使用して、選択したラベルのトレーニング モードに直接移動できます。

2. または、[探索] ページの上部にあるドロップダウン メニューからいずれかのトレーニング モードを選択し、並べ替えの条件にするラベルを選択します。例については前の画像をご覧ください。

注: ドロップダウン メニューに [ラベルを確認] または [見逃されたラベル] を表示するには、最初にラベルを選択する必要があります。どちらのモードも確認済みのメッセージ専用であるため、確認済みのメッセージと未確認のメッセージをフィルター処理する機能は無効化されます。

各モードでは、選択したラベルが誤って適用されている可能性があるか (「ラベルを確認」)、選択したラベルが見逃されている可能性がある (「見逃されたラベル」) と考えられる確認済みのメッセージについて、ページあたり最大で 20 個の例が表示されます。

ラベルを確認

「ラベルを確認」では、ページの各例を確認して、選択したラベルの本当の例であることを確認します。本当の例である場合は、何も実行せずに次に進みます。本当の例ではない場合は、ラベルにホバーしたときに [X] ボタンを選択してラベルを削除し、代わりに正しいラベルを適用します。

注: 確認済みのメッセージのページを必要な数だけ確認し、確認済みのセット内の不整合を特定し、ラベルに対するモデルの理解を深めます。

誤って追加されたラベルを修正すると、モデルに一貫性のある正しい例が提供され、モデルはそのラベルから予測を行うようになるため、ラベルのパフォーマンスに大きな影響を及ぼすことができます。

見逃されたラベル

「見逃されたラベル」では、ページの各例を確認して、選択したラベルが実際に見逃されているかどうかを確かめます。見逃されている場合は、上の画像に示すように、ラベルの提案を選択してラベルを適用します。見逃されていない場合は、提案を無視して次に進みます。

確認済みのメッセージに対してラベルが提案されているという理由だけで、モデルがそのラベルを予測と見なすことはありません。また、データセット内のラベル数の統計情報のカウント対象にすることもありません。提案が間違っている場合は、無視してかまいません。

注: 確認済みのメッセージのページを必要な数だけ確認し、確認済みのセットで、選択したラベルが付いているべきであるのに付いていない例を識別します。

部分的にアノテーションが行われたメッセージは、モデルがラベルを予測する能力にとって大きな悪影響を及ぼす可能性があります。メッセージにラベルを適用しないと、基本的にモデルに対し、これはこのラベルの概念の例ではないと伝えることになるためです。実際には正しい例である場合、これはモデルを大きく混乱させる可能性があります。特に、非常によく似た例がほかにあり、そちらには実際にラベルが適用されている場合、その影響は顕著です。

したがって、見逃されたラベルを追加すると、モデルに一貫性のある正しい例が提供され、その例からラベルを予測するようになるので、該当するラベルのパフォーマンスに大きな影響を与える可能性があります。

注: これらのモードでの修正トレーニングが完了してモデルを再トレーニングする時間を設けたら、[検証] に戻って、実行した操作が、モデルの評価とトレーニングした特定のラベルのパフォーマンスに与えた好影響を確認できます。