検証の仕組み

Communications Mining の検証では、ラベル モデルと一般フィールド モデルのパフォーマンスを、それらにアクセスするために必要な権限を含めて評価します。

注:

Automation Cloud ユーザーとして [ソース] - [読み取り ] 権限と [データセット] - [読み取り ] 権限、またはレガシ ユーザーとして [ ソースの表示 ] 権限と [ラベルの表示 ] 権限を割り当てておく必要があります。

検証では、データセットに関連付けられているラベル モデルと一般フィールド モデルの両方のパフォーマンスが評価されます。

特にラベル モデルについては、次のようなさまざまなパフォーマンス要因をテストして、全体的なモデルの評価が計算されます。

• モデルが、データセット内のトレーニング データのサブセットを使用して、タクソノミー内の各ラベルをどの程度適切に予測できるか
• データセット全体が有益なラベル予測によってどの程度網羅されているか
• トレーニング データがどのように割り当てられているか、およびデータセット全体をどの程度適切に代表しているかという観点から、トレーニング データのバランスがどの程度取れているか

ラベルのパフォーマンスを評価する

各ラベルをどの程度適切に予測できるかを評価するため、最初に、データセット内の確認済みのメッセージ、つまりアノテーション済みのメッセージが以下のグループに分割されます。

• トレーニング データの多数派のセットです。
• テスト データの少数派のセット。

次の図では、色付きのドットは、データセット内のアノテーション済みメッセージを表しています。この分割は、メッセージがデータセットに追加されるときにメッセージの ID によって決定され、データセットの存続期間を通して一貫性が維持されます。

その後、プラットフォームはトレーニング セットのみをトレーニング データとして使用して自身をトレーニングします。

続いて、このトレーニングに基づいて、テスト セット内のメッセージに適用すべきラベルを予測しようと試みます。また、適合率と再現率の両方について、人間のユーザーが適用した実際のラベルに照らしてその結果を評価します。

このプロセスに加えて、プラットフォームは、ラベルがどのように割り当てられたか (つまり、ラベルを適用するときにどのトレーニング モードが使用されたか) も考慮して、偏った方法でアノテーションが行われているか、それともバランスのとれた方法でアノテーションが行われているかを理解します。

その後、[検証] では、最新のモデル バージョンのラベルのパフォーマンスに関するライブ統計情報が公開されますが、以前にパブリッシュしたモデル バージョンのパフォーマンス統計情報の履歴を表示することもできます。

カバレッジの評価

モデルがどの程度十分にデータを網羅しているかを理解するために、データセット内にあるすべての未確認のデータと、その未確認のメッセージそれぞれに対して行われた予測が調べられます。

次に、有益なラベルが少なくとも 1 つ予測されているメッセージの合計の割合を評価します。

Informative labels are those labels that the platform understands to be useful as standalone labels, by looking at how frequently they're assigned with other labels. Labels that are always assigned with another label, for example, parent labels that are never assigned on their own or Urgent if it's always assigned with another label, are down-weighted when the score is calculated.

バランスの評価

お使いのモデルがどの程度バランスがとれているかを評価する場合、基本的には、トレーニング データとデータセット全体との間のアンバランスの原因となり得るアノテーションの偏りが検索されます。

To do this, it uses an annotating bias model that compares the reviewed and unreviewed data to ensure that the annotated data is representative of the whole dataset. If the data is not representative, model performance measures can be misleading and potentially unreliable.

アノテーションの偏りは通常、ラベルの割り当てに使用したトレーニング モードのバランスがとれていなかった結果です。特に、[テキスト検索] を使用しすぎてシャッフル モードを十分に使用していない場合にあてはまります。

トレーニング モードのバランスをリバランスする

リバランス トレーニング モードは、確認済みのセット内の代表性の低いメッセージを示します。このモードで例にアノテーションすると、データセット内のアンバランスにすばやく対処できます。

検証の発生時

データセット内で何らかのトレーニングを完了するたびにモデルが更新され、すべてのメッセージで新しい予測を提供します。これと並行して、モデルのパフォーマンスも再評価します。つまり、新しい予測が準備できるころには、最新のものを含め、新しい検証の統計情報も利用可能になります (ただし、一方のプロセスに他方よりも時間がかかる場合もあります)。

注:

既定では常に、計算が完了した最新の検証統計が表示され、新しい統計情報の計算がまだ完了していない場合は通知されます。