[ラベルを教える] を使用したトレーニング (探索)

探索フェーズで「ラベルを教える」を使用して、ラベルに対するモデルの予測を確認し、予測を確認または修正してトレーニングの精度を向上させます。

注:

Automation Cloud ユーザーとして [ソース] - [読み取り ] 権限と [データセット - 確認 ] 権限、またはレガシ ユーザーとして [ ソースの表示 ] 権限と [ 確認とアノテーション] 権限を割り当てている必要があります。

「教える」は探索フェーズの 2 番目の手順にあたり、その目的は、ラベルが適用されるかどうかについてモデルが最も混乱しているラベルの予測を表示することです。前の手順と同様に、予測が正しいか間違っているかを確認し、それによってモデルに強力なトレーニング シグナルを提供する必要があります。

これは最も重要な、ラベル固有のトレーニング モードです。

注:

「ラベルを教える 」は、未確認のメッセージにアノテーションを行うこと専用に設計されたトレーニング モードです。そのため、このモードでは [確認済み] フィルターは無効化されます。

主な手順

1. ドロップダウン メニューから [ ラベルを教える ] を選択します (次の図を参照)。

2. トレーニングするラベルを選択します。「教える」モードでは、既定で未確認のメッセージを表示するように選択されています。

3. 選択したラベルが適用されているかどうかについてモデルが最も混乱しているメッセージが選択され、提示されます。つまり、予測を確認して、正しければラベルを適用し、正しくなければ他のラベルを適用する必要があります。

   注:

   • 予測の範囲は、感情が有効化されていないデータでは最大 50%、感情が有効化されたデータでは 66% です。
   • 必ず、適用される他のすべてのラベルに加え、焦点を当てている特定のラベルも適用してください。

   

必要に応じて、このトレーニング モードを使用して各ラベルのトレーニング例の数を 25 個以上に増やし、プラットフォームがラベルのパフォーマンスを正確に推定できるようにする必要があります。

各ラベルで十分なパフォーマンスを達成するために必要な例の数は、さまざまな要因によって異なります。各ラベルのパフォーマンスを理解して改善する方法については、改良フェーズで対応します。

このプラットフォームでは、特定のラベルのパフォーマンスを改善する手段として「ラベルを教える」を使用するよう定期的に推奨されます。これによってさらに多様なトレーニング例を提供し、その例を使用して、ラベルを適用すべきデータセット内の他のインスタンスを識別できます。

「教える」の例が不十分な場合の解決策

[発見] と [シャッフル] を実行した後、一部のラベルにはまだ例がほとんどないことや、「ラベルを教える」モードで有用なトレーニング例が提示されないことに気付く場合があります。この場合、次のトレーニング モードを使用して、学習すべき例をさらにプラットフォームに提供することをお勧めします。

オプション 1 - 検索

探索での語句やフレーズの検索は、発見での検索と同じように機能します。2 つの主な違いの 1 つは、 探索 では検索結果を個別に確認してラベル付けする必要があるのに対し、発見では一括でアノテーションを行う点です。[探索] で検索するには、ページの左上にある検索ボックスに検索語句を入力します。

However, too much Search can bias your model which is something we want to avoid. Add no more than 10 examples per label in this training mode to avoid annotating bias. Make sure you also allow the platform time to retrain before going back to Teach mode.

詳しくは 、[探索] タブの「検索を使用してトレーニングする」をご覧ください。

オプション 2 - ラベル

ラベルを使用したトレーニングは、探索フェーズで概説されている主要な手順の 1 つではありませんが、トレーニングのこのフェーズで役立つことに変わりはありません。ラベル モードでは、そのラベルが予測されているメッセージが信頼度順に降順で表示されます。つまり、最も信頼度の高い予測が先頭に表示され、最も信頼度の低い予測が最後に表示されます。

ただし、このモードが役に立つのは、90% を超える高信頼度ではない予測を確認する場合のみです。その理由は、モデルの信頼度が非常に高い (90% 超) 場合、予測を確認してもモデルに新しい情報は伝わらず、モデルはラベルが適用されることにすでに自信を持っているためです。

必要に応じて、ページのさらに下の方にある、信頼度の低い例を探します。ただし、信頼度が高い予測が誤っている場合は、正しいラベルを適用し、それによって誤った予測を却下してください。

役に立つヒント

• 1 つのラベルに対して、同じ内容を表現する異なる方法が複数ある場合 (例: A、B、C)、必ず、その表現方法それぞれのトレーニング例をプラットフォームに提供してください。A には 30 個の例を提供し、B と C には数個しか提供しないと、モデルは今後、そのラベルの B または C の例を習得するのに苦労します。
• 成熟したタクソノミーに新しいラベルを追加する場合、以前に確認済みのメッセージにそのラベルが適用されていない可能性があります。この場合、前に戻って [見逃されたラベル] 機能を使用して新しいラベルをモデルに教える必要があります。