[シャッフル] を使用したトレーニング

注: ソース - 読み取り権限とデータセット - 確認権限を Automation Cloud ユーザーとして割り当て済みであるか、ソースの表示権限と確認とラベル付け権限をレガシ ユーザーとして割り当て済みである必要があります。

[シャッフル] は [探索] フェーズの最初の手順であり、その目的は、ランダムに選択されたメッセージをユーザーに提供し、確認できるようにすることです。シャッフル モードでは、すべてのラベルを網羅する予測があるメッセージと、予測がまったくないメッセージが表示されます。したがって、シャッフルの手順は、トレーニングする特定のラベルに焦点を当てるのではなく、すべてのラベルを網羅するという点で、[探索] の他の手順とは異なります。

シャッフル モードでのトレーニングの重要性

モデルに提供するトレーニング例がデータセット全体を代表していて、データの特定の領域にのみ焦点を絞ったために偏っておらず、十分であることを、シャッフル モードを使用して確認することが非常に重要です。

全体として、データセットで完了するトレーニングの少なくとも 10% をシャッフル モードで行う必要があります。

シャッフル モードでアノテーションを行うと、基本的に、タクソノミーがデータセット内のデータを十分に網羅していることを確認するのに役立つほか、データセット内のデータのごく一部のみを非常に正確に予測できるモデルが作成されるのを防ぐことができます。

したがって、シャッフル モードでメッセージを確認すると、モデル全体の状況を簡単に把握でき、トレーニング プロセス全体で参照できます。十分にトレーニングされたタクソノミーの場合は、シャッフルで未確認のメッセージを調べて予測を承認するだけで、モデルをさらにトレーニングできます。間違った予測が大量に見つかった場合は、さらにトレーニングが必要なラベルを確認できます。

トレーニング プロセスの後半にシャッフルで複数のページを確認するのも、タクソノミーでキャプチャされておらず、キャプチャされるべきであった意図や概念があるかどうかを確認する良い方法です。その後、必要な箇所に既存のラベルを追加したり、必要に応じて新しいラベルを作成したりできます。

主な手順

1. ドロップダウン メニューから [シャッフル] を選択すると、ランダムなメッセージが 20 個表示されます。
2. 未確認のメッセージのみが表示されるようにフィルター処理します。
3. 各メッセージと、関連する予測を確認します。
   • 予測がある場合は、その予測を確認または却下する必要があります。適用される予測を選択して確認します。
   • ほかにも適用されるラベルがある場合は、それらもすべて追加する必要があります。
   • 予測を却下する場合は、正しいラベルをすべて適用する必要があります。メッセージを、ラベルが適用されていないままにしないようにしてください。

4. [更新] ボタンをクリックして新しいメッセージのセットを取得したり、ページ番号や矢印を選択して次のページに進むこともできます。

シャッフルでは、少なくとも 10 ページのメッセージにアノテーションを行うことをお勧めします。多くのトレーニング例を含む大規模なデータセットでは、これよりもはるかに多くなる可能性があります。

注: 目標として、すべてのトレーニングのうち約 10% 以上をシャッフル モードで完了することをお勧めします。