[ラベルを教える] を使用したトレーニング (探索)

必要なユーザー権限:「ソースの表示」および「確認とアノテーション」

注: 「ラベルを教える」は、未確認のメッセージに対するアノテーションに特化したトレーニング モードであるため、このモードでは [確認済み] フィルターは無効化されます。

「ラベルを教える」の使用について

「教える」は探索フェーズの 2 番目の手順にあたり、その目的は、ラベルが適用されるかどうかについてモデルが最も混乱しているラベルの予測を表示することです。前の手順と同様に、予測が正しいか間違っているかを確認し、それによってモデルに強力なトレーニング シグナルを提供する必要があります。これは最も重要な、ラベル固有のトレーニング モードです。

主な手順

1. 次に示すように、左上のドロップダウン メニューから [教える] を選択します。
2. トレーニングするラベルを選択します。「教える」モードでは、既定で未確認の眼セージを表示するように選択されています。
3. 選択したラベルが適用されるかどうかの判断が最も難しいメッセージが選択され、提示されます。予測を確認して、正しければラベルを適用し、間違っていれば他のラベルを適用します。
   • 予測の範囲は、感情が有効化されていないデータでは最大 50%、感情が有効化されたデータでは 66% です。
   • 必ず、適用される他のすべてのラベルに加え、焦点を当てている特定のラベルも適用してください。

必要に応じて、このトレーニング モードを使用して各ラベルのトレーニング例の数を 25 個以上に増やし、プラットフォームがラベルのパフォーマンスを正確に推定できるようにする必要があります。

各ラベルで十分なパフォーマンスを達成するために必要な例の数は、さまざまな要因によって異なります。各ラベルのパフォーマンスを理解して改善する方法については、「改良」フェーズで説明します。

このプラットフォームでは、特定のラベルのパフォーマンスを改善する手段として「ラベルを教える」を使用するよう定期的に推奨されます。これによってさらに多様なトレーニング例を提供し、その例を使用して、ラベルを適用すべきデータセット内の他のインスタンスを識別できます。

「教える」の例が不十分な場合の対応

発見とシャッフルを実行しても、一部のラベルにまだ例がほとんどなく、「ラベルを教える」モードで有用なトレーニング例が明らかにならない場合があります。この場合、次のトレーニング モードを使用して、学習すべき例をさらにプラットフォームに提供することをお勧めします。

「教える」で十分なトレーニング例が生成されない場合

オプション 1 - 「検索」

探索での語句やフレーズの検索は、発見での検索と同じように機能します。2 つの主な違いの 1 つは、探索では検索結果を個別に確認してラベル付けする必要があるのに対し、発見では一括でアノテーションを行う点です。[探索] で検索するには、ページの左上にある検索ボックスに検索語句を入力します。

[探索] で「検索」にアクセスする

ただし、検索を使用しすぎるとモデルに偏りが生じる可能性があります。これは避けるべき問題です。このトレーニング モードでは、追加する例をラベルあたり 10 個未満にし、アノテーションの偏りを避けます。また、「教える」モードに戻る前に、プラットフォームが再トレーニングする時間を確保することも重要です。

[探索] で検索を使用する方法について詳しくは、こちらをクリックしてください。

オプション 2 - 「ラベル」

「ラベル」を使用したトレーニングは、探索フェーズで概説されている主要な手順の 1 つではありませんが、トレーニングのこのフェーズで役立つことに変わりはありません。ラベル モードでは、そのラベルが予測されているメッセージが信頼度順に降順で表示されます (つまり、最も信頼度の高い予測が先頭に表示され、最も信頼度の低い予測が最後に表示されます)。

[探索] で「ラベル」トレーニング モードにアクセスする

ただし、このモードが役に立つのは、高信頼度 (90%+) ではない予測を確認する場合のみです。その理由は、モデルの信頼度が非常に高い (90% 超) 場合、予測を確認してもモデルに新しい情報は伝わらず、モデルはラベルが適用されることに既に自信を持っているためです。必要に応じて、ページのさらに下の方にある、信頼度の低い例を探します。ただし、信頼度が高い予測が誤っている場合は、正しいラベルを適用して、誤った予測を却下することが重要です。

役に立つヒント

• 1 つのラベルに対して、同じ内容を表現する異なる方法が複数ある場合 (例: A、B、C)、必ず、その表現方法それぞれのトレーニング例をプラットフォームに提供してください。A には 30 個の例を提供し、B と C には数個しか提供しないと、モデルは今後、そのラベルの B または C の例を習得するのに苦労します。
• 成熟したタクソノミーに新しいラベルを追加する場合、以前に確認済みのメッセージにそのラベルが適用されていない可能性があります。この場合、前に戻って「見逃されたラベル」機能を使用して新しいラベルをモデルに教える必要があります。方法については、こちらをご覧ください。